빅데이터공부하기 28 ◆MapReduce 프레임웍◆

빅데이터공부하기 28 ◆MapReduce 프레임웍◆

 

빅데이터공부하기 28번째글입니다.

오늘부터.. 무지 덥다네요 ㅠㅠ

다들 더위조심하시고 자외선 차단제 꼭 바르고 다니세요^^

 

---

MapReduce 프레임웍

 

2004년 구글랩에서 발표한 MapReduce: Simplified Data Processing on Large Cluster란 논물을 바탕으로 작성된 분산처리시스템

 

MapReduce 프레임웍은 일종의 대규모 분산 Merge-Sorting 프레임웍

 

특징

- 데이터가 있는 서버로 코드를 전송

 

- 데이터프로세싱을 키/밸류 데이터셋의 변환으로 진행(mapper와 reducer)

 

- Shar Nothing 아키텍쳐

* MapReduce 프레임웍에서 동작하는 mapper들끼리

      그리고 reducer들끼리는 서로에 대한 의존성없이 동작

          * 프레임웍이 mapper와 reducer의 중간에서 셔플링/소팅을

해주기에 가능                                               

                                             

- Data Locality

* Mapper를 실행한 서버를 찾을 때 입력파일블럭을 이미 갖고 있는

서버나 그 서버와 같은 Rack에 있는 서버를 찾으려고 시도..

 

 

 

빅데이터공부하기 28 ◆MapReduce 프레임웍◆