빅데이터 하둡 프로그래밍 교육과정 ]MapReduce 프레임웍

빅데이터 하둡 프로그래밍 교육과정 ]MapReduce 프레임웍

빅데이터 하둡 프로그래밍 교육과정 ]MapReduce 프레임웍

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

MapReduce 프레임웍

■ 2004년 구글랩에서 발표한 MapReduce: Simplified Data Processing on Large Cluster란 논문을 바탕으로 작성된 분산처리시스템.

■ MapReduce 프레임웍은 일종의 대규모 분산 Merge-Sorting 프레임웍.

■ 특징

- 데이터가 있는 서버로 코드를 전송. 

- 데이터프로세싱을 키/밸류 데이터셋의 변환으로 진행 (mapper와 reducer) 

- Share Nothing 아키덱쳐. 

  * MapReduce 프레임웍에서 동작하는 mapper들끼리 그리고 reducer들끼리는 서로에 대한 의존성없이 동작. 

  * 프레임웍이 mapper와 reducer의 중간에서 셔플링/소팅을 해주기에 가능.

- Data Locality를 최대한 활용: 

  * Mapper를 실행한 서버를 찾을때 입력파일블럭을 이미 갖고 있는 서버나 그 서버와 같은 Rack에 있는 서버를 찾으려고 시도..