빅데이터 하둡 프로그래밍 교육과정 ]Combiner의 동작확인

빅데이터 하둡 프로그래밍 교육과정 ]Combiner의 동작확인

빅데이터 하둡 프로그래밍 교육과정 ]Combiner의 동작확인

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Combiner의 동작확인

■ Job의 출력에서 Map-Reduce Framework 카운터들중에 다음 2개를 확인

  * Combine Input Records

  * Combine Output Records

■ 둘을 비교해보면 Combine Output Records의 값이 훨씬 작다.

  * Combine Input Records의 경우 Mapper의 Output Records인 셈인데 Mapper의 Output Records보다 그 값이 큰데 그 이유는 Combiner는 Mapper output이 merge될때마다 지속적으로 적용되기 때문이다.

12/08/06 12:31:37 INFO mapred.JobClient:  Map output records=417,783,208

12/08/06 12:31:37 INFO mapred.JobClient:  Combine input records=460,692,608

12/08/06 12:31:37 INFO mapred.JobClient:  Combine output records=53,872,927