빅데이터 하둡 프로그래밍 교육과정 ]Version 1

빅데이터 하둡 프로그래밍 교육과정 ]Version 1

빅데이터 하둡 프로그래밍 교육과정 ]Version 1

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Version 1

■ V1은 아무런 최적화작업없이 WordCount를 조금 바꾼 형태로 구현된다. 

■ WordCount에서는 텍스트부분을 파싱한 다음에 만들어진 토큰들에 대해 다음과 같이 reducer로의 출력쌍을 만들었다.

  - context.write(word, new LongWritable(1));

■ InvertedIndex에서는 

  - context.write(word, new Text(docID));

■위와 같이 단어키에 대해 docID를 밸류로 내보낸다.

■ Reducer 부분에서는 그냥 넘어오는 docID를 계속해서 스트링버퍼에 append한 후 결과물로 내보낸다.