빅데이터공부하기 54_ COUNT TRIGRAM

COUNT TRIGRAM

 

개요

- Word Count 프로그램의 확장. 연속된 3개의 단어 빈도수를 계산.

- 계산이 끝난 후 TopN을 내부에서 바로 호출

* Job Chaining의 한가지 예

* Count Trigram의 출력이 TopN의 입력으로 사용됨

 

Job Chaining 코드

 

 

실행결과

 

$ hadoop fs- cat/counttrigram/topN/part-r-00000

 

a number of 83818

a number of 89594

the u s 90349

the university of  98566

the end of  100059

member of the  107580

part of the 147861

as well as  169659

the united states  177699

one of the   225768