빅데이터 하둡 프로그래밍 교육과정 ] Version 2
빅데이터 하둡 프로그래밍 교육과정 ]Version 2
실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.
Version 2
■ 앞에서 설명했듯이 이 버전은 Mapper에서 단순무식하게 (word,docID) 쌍을 출력하는 것이 아니라 HashSet을 이용한 unique한 (word,docID)쌍을 내보낸다.
■ StringTokenizer를 이용해 파싱이 끝나면 루프를 돌면서 단어들을 HashSet에 집어넣은 다음에 HashSet을 iteration하면서 나온 단어들과 해당문서의 docID를 Reducer로 넘긴다.
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
| 빅데이터 하둡 프로그래밍 교육과정 ]VersVersion 2의 문제 (0) | 2017.02.13 |
|---|---|
| 빅데이터 하둡 프로그래밍 교육과정 ] Version 2 – map (0) | 2017.02.13 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Version 1의 문제 (0) | 2017.02.10 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Version 1 - reduce (0) | 2017.02.10 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Version 1 (0) | 2017.02.10 |