파이썬(Python)

파이썬은 프로그램을 설계할때 사용되는 프로그래밍 언어 중 하나로
91년 네덜란드 수학자인 귀도 반 로섬에 의해 개발되었습니다.

​C언어를 기반으로 한 오픈소스 프로그래밍 언어로
초보자뿐 아니라 전문가들도 포함하여
다양한 사용자층을 가지고 있습니다.

​플랫폼이 독립적이기 때문에 다양한 플랫폼에서 사용이 가능하고
또한 기본으로 제공되는 라이브러리가 매우 많습니다.

C언어와 다르게 인터프리터식 동적 타이핑 대화형 언어로
사용자가 컴파일을 하지 않고서도
작성한 프로그램을 바로 실행할 수 있을뿐 아니라
한 줄 단위로 실행되기 때문에 사용자가 쉽게 결과를 확인할 수 있죠.

 



​파이썬이 사랑받는 이유중 하나는 바로 문법이 간결하고
표현 구조가 인간의 사고 체계와 닮아 있기 때문인데요,

​이와 같은 이유로 초보자도 쉽게 배울 수 있으며
비전공자가 1순위로 접하는 언어로 꼽히고 있답니다.

​많은 분들이 파이썬 강좌에 대해 문의를 주고 있으며
이를 충족시키기 위한 파이썬 입문과정을 진행하고 있습니다.

​파이썬과정은 국비지원이 가능한 강좌로
국민내일배움카드 소지 시 교육비 지원이 가능하며
출석율 80% 이상만 되면 수료가 가능합니다.

​또한 실무적인 부분을 반복적으로 실습함으로써
실무에 필요한 스킬들도 습득할 수 있고
자유로운 분위기에서 강사님에게 피드백도 주고 받을 수 있습니다.

파이썬 언어, 도전해 보신다면
오라클자바교육센터 홈페이지를 참조하시기 바랍니다.

 

www.oraclejava.co.kr

 

오라클자바교육학원

오라클 아키텍쳐 전문가과정(Oracle 1… 03월 18일(토) ~ 03월 26일(일) 과정 바로가기

www.oraclejava.co.kr

 

 

빅데이터는 우리 실생활에 많은 도움을 주고 있습니다.

우리가 흔히 사용하는 PC, 스마트폰 등을 통해
많은 정보를 주고 받고 있으며
이러한 것들이 하나하나 쌓여 거대한 데이터의 집합을 만들어 냅니다.

빅데이터는 기존 데이터보다 너무 방대하여
기존의 방법이나 도구로 수집/저장/분석 등
어려운 정형 및 비정형 데이터들을 뜻합니다.

​이처럼 다양성을 전제로 한 데이터의 증가는
계속해서 가속화 될 전망이며
사용자 수의 증가 및 니즈 증가로 빅데이터 분석이 어려운 상황이나
데이터 처리 속도도 빨라지고 비용은 지속적으로 낮아지는 등
분석환경은 나아지고 있습니다.

​의료 / 유통 / 마케팅 / IT 등
다양한 분야에서 빅데이터 활용을 모색하고 있으며
앞으로 빅데이터 분석 전문가를 양성하기 위해
많은 투자를 할 것으로 전망하고 있답니다.

​빅데이터 분석 전문가가 되기 위해선
전문기관의 도움을 받으시는걸 추천드립니다.

독학으로는 어려운 부분이 많다보니
보다 쉽고 빠르게 배우기 위해선
빅데이터 강의를 참여하시기 바랍니다.

최근에는 재직자 및 실업자 누구나
교육비 지원을 받을 수 있고
취업연계도 도움받을 수 있다보니
많은 분들이 빅데이터 교육을 문의주고 계시는데요,

오라클자바교육센터에서는
빅데이터 전문가를 꿈꾸는 분들을 위해
취업준비반을 진행하고 있답니다.

해당 교육은 100% 무료로 진행되며
매월 훈련수당 명목으로 지원금도 받을 수 있다는 사실!

빅데이터 취업을 목표로 잡으시거나
빅데이터 입문을 해보고 싶으시다면
아래 홈페이지를 참조하시기 바랍니다.

 

www.oraclejava.co.kr  

 

오라클자바교육학원

자바(JAVA)기반 스프링 프레임워크 응… 02월 28일(화) ~ 04월 18일(화) 과정 바로가기

www.oraclejava.co.kr

 

 

 

최근 IT산업에서 가장 각광받는 분야를 꼽으라면
단연 빅데이터입니다.

​미래 고부가가치 산업으로 관심도가 높아지고
기업들은 빅데이터 전문가를 모시기에 발벗고 나서고 있기도 하죠.

​신규 구축 사업으로 데이터신기술을 많이 언급하고
빅데이터, 머신러닝, 엘라스틱서치 등 검색분야에서 큰 주목을 받고 있는데요,
오늘은 엘라스틱서치에 대해 알아보도록 하겠습니다.

 



엘라스틱서치(Elastic Search) 는 분산형 레스트풀 검색 및 분석엔진으로
정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로
다양한 유형의 검색을 수행하고 결합할 수 있습니다.

​작은 규모로 적용해도 쉽게 확대할 수 있으며
API 등을 이용해 구조를 단순화하고 설치하기 쉽죠.

​클러스터에 사용자 이름과 암호를 설정하고
성능을 모니터링, 변칙을 감지하는 머신러닝 작업을 실행하며
이 모든 작업들을 확장기능으로 간편하게 제공이 됩니다.

​또한 5개국어를 지원하는데 이 중 한국어도 포함되어 있어
한국시장 진출을 활발히 하면서
많은 IT대기업을 고객사로 두고 있는만큼
엘라스틱 서치를 배워놓으신다면 많은 도움이 되실거에요.

오라클자바교육학원에서는
빅데이터 엘라스틱서치 교육과정을 모집, 진행예정중에 있습니다.

 

엘라스틱서치뿐 아니라 파이썬 언어부터 빅데이터 머신러닝,
시각화 디자인, 웹크롤링 
다양한 과정을 진행하고 있으며 국비지원이 가능하다는 사실!

국민내일배움카드 or 사업주환급 등
다양한 방법으로 교육비 지원을 받으실 수 있으니
교육관련하여 궁금하신 사항은
아래 홈페이지를 참조하시기 바랍니다.

www.oraclejava.co.kr

빅데이터 하둡 프로그래밍 교육과정] Spark

 

빅데이터 하둡 프로그래밍 교육과정] Spark

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.


Spark

* 성능


* Fast


* Spark stack


* Interface
 - Scala
   : 매우 간결한 표현이 가능한 언어
   : REPL(aka Shell) 제공, interactive하게 데이터를 다루는 것이 가능
   : Functional Programming이 가능하므로 MapReduce와 같은functional한 개  념을 표현하기에 적합함

* 확장 프로젝트
 - Spark SQL
 - Spark Streaming
 - MLLib
 - GraphX
 - SparkR
 - Zeppelin
 - 등 …

* 장점
 - 시간과 비용을 아껴준다
 - 수십대의 Hadoop Cluster를 10대 이하의 Cluster로 대체할  수 있다
 - 수십분 기다려야 하던 작업이 1분만에 완료된다
 - 작업 능률 향상
 - MR 작업 코드 만들고, 패키징하고, submit하고 하던 복잡한  과정이,shell에서 코드 한줄 치는것으로 대체된다
 - 처음 접하는 사람도 배우기 쉽다
 - 다양한 제품을 조합해야 했던 작업이 Spark으로 다 가능하다 









 

 

 

 

 

 

 

빅데이터 하둡 프로그래밍 교육과정] RDD

 

빅데이터 하둡 프로그래밍 교육과정] RDD

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.



RDD
Resilient Distributed Dataset
탄력적으로 분산된 데이터셋
클러스터에 분산된 메모리를 활용하여 계산되는 List
데이터를 어떻게 구해낼지를 표현하는 Transformation 을 기술한  Lineage(계보)를 interactive하게 만들어 낸 후, Action을 통해 lazy하게 값을  구해냄
클러스터 중 일부의 고장 등으로 작업이 중간에 실패하더라도, Lineage를 통  해 데이터를 복구

빅데이터 하둡 프로그래밍 교육과정] MapReduce / Hive

 

빅데이터 하둡 프로그래밍 교육과정] MapReduce / Hive

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.


MapReduce / Hive

 * MapReduce / Hive 장단점
  - 장점
  : 빅데이터 시대를 열어준 선구적인 기술
  : 거대한 데이터를 안정적으로 처리
  : 많은 사람들이 사용 중
 - 단점
  : 오래된 기술이다 보니, 발전이 느리다
  : 불편한점이 많다

* MapReduce의 문제점
  - MapReduce는 Map의 입출력 및 Reduce의 입출력을  매번 HDFS에 쓰고, 읽는다
  - MapReduce코드는 작성하기 불편하다 

빅데이터 하둡 프로그래밍 교육과정] 빅데이터분석의 시초

 

빅데이터 하둡 프로그래밍 교육과정] 빅데이터분석의 시초

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.


빅데이터분석의 시초

 - GFS(Google File System) 논문 (2003)
  : 여러 컴퓨터를 연결하여 저장용량과 I/O성능을 scale
  : 이를 구현한 오픈소스 프로젝트인 Hadoop HDFS

 - MapReduce논문 (2004)
  : Map과 Reduce연산을 조합하여 클러스터에서 실행, 큰  테이터를 처리
​  : 이를 구현한 오픈소스 프로젝트인 Hadoop MapReduce

 - Hive
  : MapReduce 코드를 짜는건 괴롭다
  : 쿼리로 MapReduce의 거의 모든 기능을 표현할 수 있다!
  : HDFS등에 있는 파일을 읽어들여 쿼리로 분석 수행
  : HiveQL 을 작성하면 MapReduce 코드로 변환되어 실행


빅데이터 하둡 프로그래밍 교육과정] sqoop

 

빅데이터 하둡 프로그래밍 교육과정] sqoop

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.



sqoop

 - Sql to Hadoop
 - RDBMS로 부터 수집/저장
    : 별도의 로그 수집 시스템 및 데이터 저장소가 마련되  지 않아 Oracle, MySQL 등의 RDBMS에 로그를 저장  하는 경우.
    : 로그 뿐 아니라, 메타성 데이터는 대부분 RDBMS에  저장되어 있는데, 이 RDBMS의 메타 데이터를  Hadoop, Hive 등으로 옮겨야 하는 경우
    : 분산 환경의 Hadoop, Hive 등에서 분석된 결과를 API  형태가 아닌 원격의 RDBMS로 전송할 경우

 - Sqoop 1 / Sqoop 2


 - import


 - Export 





 

 

 

 

+ Recent posts