빅데이터 하둡 프로그래밍 교육과정] Spark

빅데이터 하둡 프로그래밍 교육과정] Spark

 

빅데이터 하둡 프로그래밍 교육과정] Spark

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Spark
​

* 성능

​
* Fast

​
​

* Spark stack

​
​

* Interface
 - Scala
   : 매우 간결한 표현이 가능한 언어
   : REPL(aka Shell) 제공, interactive하게 데이터를 다루는 것이 가능
   : Functional Programming이 가능하므로 MapReduce와 같은functional한 개  념을 표현하기에 적합함
​

​

* 확장 프로젝트
 - Spark SQL
 - Spark Streaming
 - MLLib
 - GraphX
 - SparkR
 - Zeppelin
 - 등 …
​

* 장점
 - 시간과 비용을 아껴준다
 - 수십대의 Hadoop Cluster를 10대 이하의 Cluster로 대체할  수 있다
 - 수십분 기다려야 하던 작업이 1분만에 완료된다
 - 작업 능률 향상
 - MR 작업 코드 만들고, 패키징하고, submit하고 하던 복잡한  과정이,shell에서 코드 한줄 치는것으로 대체된다
 - 처음 접하는 사람도 배우기 쉽다
 - 다양한 제품을 조합해야 했던 작업이 Spark으로 다 가능하다