빅데이터 하둡 프로그래밍 교육과정 ]개요

빅데이터 하둡 프로그래밍 교육과정 ]개요

빅데이터 하둡 프로그래밍 교육과정 ]개요

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

개요

■ 2M 영문 위키피디아 페이지(2M.ID.CONTENTS)들에 있는 단어들의 수를 빈도수를 계산. 

■ 앞서 본 WordCount와 크게 안 다름. 몇 가지 차이점

  - 입력파일의 형태가 다름. ID\tContent. ID는 그냥 무시.

  - KeyValueTextInputFormat을 입력포맷으로 사용.

  - Combiner를 사용 (Reducer를 그대로 적용).

     * Combiner는 mapper 출력에 적용되는 로컬 reducer! 교환법칙과 결합법칙 성립 오퍼레이션에만 적용가능.

  - 카운터 사용