빅데이터공부하기 46번째글입니다.
이번에 공부할 빅데이터하둡내용은요...
Local Reducer에 대해서 알아볼께요^^
오늘하루도 파이팅!! ^-^
Local Reducer
mapper의 출력에 적용
- 따라서 mapper와 같은 타입의 출력이 필요
- 대부분 reducer를 그대로 combiner로 사용
Reducer로 보내지는 네트웍 통신의 양을 최소화하기 위해 사용
- 작업이 결합법칙과 교환법칙을 만족하는 사용 가능
- WordCount나 Min, Max등이 이에 속함
- Mean은 이에 속하지 않음
Combiner는 Job 클래스의 setCombinerClass 메소드를 통해지정
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
| 빅데이터공부하기 46-2 Mapper의 출력버퍼링 (0) | 2014.09.18 |
|---|---|
| 빅데이터공부하기 46-1 Local Reducer (0) | 2014.09.17 |
| 빅데이터공부하기 45-2 주요 writableComparable타입 (0) | 2014.09.15 |
| 빅데이터공부하기 45-1 밸류타입과 키 타입 (0) | 2014.09.15 |
| 빅데이터공부하기 45 MapReduce에서 사용되는 타입들 (0) | 2014.09.12 |