빅데이터공부하기 41 Reducer클래스

이번글은 Reducer 클랙스 공부입니다.

오늘도 빅데이터공부로 열심히열심히 글을 올리겠습니다. ^-^

하핫 !!! 빅데이터공부하시는 분들 퐈이팅!!

 

Reducer 클래스

 

org.apache.hadoop.mapreduce.Reducer로부터 계승

 

extends Reducer<K1, V1, K2, V2>

처음 2개는 입력레코드의 키, 밸류의 타입 (K1, V1)

- mapper 출력레코드의 키, 밸류의 타입과 일치

 

다음 2개는 출력레코드의 키, 밸류의 타입(K2, V2)

이 타입들은 main함수에서 Job클래스의 setOutputKeyClass setOutputValueClass로 지정한 타임과 일치해야함.

 

Job 클래스의 setReducerClass로 지정(프레임웍에 알린다)

 

코어는 바로 Reducer의 reduce메소드

-벨류는 V2타입의 리스트이며 이를 *개의 출력레코드로 변환

- 출력레코드를 프레임웍으로 내보내는데 Context 클래스의 srite메소드를 사용

- 출력레코드가 어떻게 저장되느냐는 main함수에서 호출한 Job클래스의 setOutputFormatClass 메소드에서 지정한 출력차입에 의해 결정