빅데이터 하둡 프로그래밍 교육과정 ]Reducer 클래스

빅데이터 하둡 프로그래밍 교육과정 ]Reducer 클래스

빅데이터 하둡 프로그래밍 교육과정 ]Reducer 클래스

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Reducer 클래스

■ org.apache.hadoop.mapreduce.Reducer로부터 계승

■ extends Reducer<K1, V1, K2, V2>

  - 처음 2개는 입력레코드의 키,밸류의 타입 (K1,V1)

      * mapper 출력레코드의 키,밸류의 타입과 일치

■ 다음 2개는 출력레코드의 키,밸류의 타입 (K2,V2)

   * 이 타입들은 main함수에서 Job클래스의 setOutputKeyClasssetOutputValueClass로 지정한 타입과 일치해야함. 

■ Job클래스의 setReducerClass로 지정 (프레임웍에 알린다)

■ 코어는 바로 Reducer의 reduce 메소드

   - 밸류는 V2 타입의 리스트이며 이를 *개의 출력레코드로 변환

   - 출력레코드를 프레임웍으로 내보는데 Context 클래스의 write메소 드를 사용.  

   - 출력레코드가 어떻게 저장되느냐는 main함수에서 호출한 Job 클래 스의 setOutputFormatClass 메소드에서 지정한 출력타입에 의해 결정