빅데이터 하둡 프로그래밍 교육과정 ]기타

빅데이터 하둡 프로그래밍 교육과정 ]기타

빅데이터 하둡 프로그래밍 교육과정 ]기타

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

기타

■ reduce 메소드에서 같은 키값을 갖는 밸류들의 리스트가 들어오는 Iterable<ValueType>의 경우 한번밖에 읽을 수 없음.

■ Job클래스의 setNumReduceTasks로 reducer의 수 조절가능.

  - 만일 reducer의 수를 0으로 세팅하면 mapper의 출력이 그대로 Job의 결과물이 됨. 

  - 질문: setNumReduceTasks(0)와 Identity Reducer를 사용하는 것 사이의 차이점? 

■ reducer의 수를 0로 할 경우 HDFS상의 결과파일의 이름패턴이 part-m-NNNNN의 형태로 달라진다.

  - reducer를 거칠 경우에는 part-r-NNNNN