[ 빅데이터 Tip ]- MapReduce 프레임웍

MapReduce 프레임웍

 

 

 

 

 

• 2004년 구글랩에서 발표한 MapReduce: Simplified Data Processing on Large Cluster란 논문을 바탕으로 작성된 분산처리시스템.

• MapReduce 프레임웍은 일종의 대규모 분산 Merge-Sorting 프레임웍.

• 특징

– 데이터가 있는 서버로 코드를 전송.

– 데이터프로세싱을 키/밸류 데이터셋의 변환으로 진행 (mapper와 reducer)

– Share Nothing 아키덱쳐.

• MapReduce 프레임웍에서 동작하는 mapper들끼리 그리고 reducer들끼리는 서로에 대한 의존성없이 동작.

• 프레임웍이 mapper와 reducer의 중간에서 셔플링/소팅을 해주기에 가능.

– Data Locality를 최대한 활용:

• Mapper를 실행한 서버를 찾을때 입력파일블럭을 이미 갖고 있는 서버나 그 서버와 같은 Rack에 있는 서버를 찾으려고 시도..