빅데이터 하둡 프로그래밍 교육과정] 콤바이너 클래스(Combiner)
빅데이터 하둡 프로그래밍 교육과정] 콤바이너 클래스(Combiner)
실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.
콤바이너 클래스(Combiner)
- 셔플(Shuffle)
: 맵 태스크와 리듀스 태스크 사이의 데이터 전달 과정
: 맵 태스크의 출력 데이터는 네트워크를 통해 리듀스 태스크로 전달됨
- 콤바이너 클래스
: 셔플할 데이터의 크기를 줄이는 데 도움을 줌
: 매퍼의 출력 데ㅣ터를 입력 데이터로 전달받아 연산을 수행
: 로컬 노드에서 로컬에 생성된 매퍼의 출력 데이터를 이용하기 때문에 네트워크 비용이 발생하지 않음
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
| 빅데이터 하둡 프로그래밍 교육과정] GenericOptionsParser (0) | 2018.03.04 |
|---|---|
| 빅데이터 하둡 프로그래밍 교육과정] GenericOptionsParser, Tool, ToolRunner(사용자 정의 옵션) (0) | 2018.03.04 |
| 빅데이터 하둡 프로그래밍 교육과정] 리듀서(Reducer) (0) | 2018.02.25 |
| 빅데이터 하둡 프로그래밍 교육과정] 파티셔너 (Partitioner) (0) | 2018.02.25 |
| 빅데이터 하둡 프로그래밍 교육과정] 매퍼(Mapper) (0) | 2018.02.25 |