빅데이터공부하기 32-1 MapReduce

빅데이터공부하기 32-1 MapReduce

 

지난시간글은 MapReduce 프로그래밍에 대해서 간단하게 소개를 했는데요.

이번 빅데이터공부하기 글은 MapReduce 사용 적합분야와

사용 부적합분야에 대해서 알아보겠습니다.

 

 

MapReduce 사용적합분야

 

 병렬도가 높은 Jobs(no dependency)

- File Format conversion, Text Grep, Web Cramling, ...

 

로그분석

- Search Log

 

 

머신 러닝, 데이터 마이닝

- Recommendation Engine

 

- Model Building

Search Ranking, Document Classifier, ...

 

- ETL(Extrant, Tranform and Load)

 

MapReduce 사용 부적합 분야

 

리얼타임 데이터 처리

- 데이터 스트립을 리얼타임으로 처리해주는 Realtime Analytics

 

리얼타임 데이터 액세스

- 하둡이 처리한 데이터는 리얼타임으로 외부에서 액세스 불가

-> HBase!

 

많은 Iteration이 필요한 작업들

- 그래프 프로세싱