빅데이터 하둡 프로그래밍 교육과정 ]Mapper갯수의 결정방식
빅데이터 하둡 프로그래밍 교육과정 ]Mapper갯수의 결정방식
실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.
Mapper갯수의 결정방식
■ MapReduce 라이브러리부터는 Mapper의 갯수를 MapReduce 프레임웍이 결정
- setNumMapTasks 메소드는 이제 no-op.
■ 고려대상은 입력파일의 수와 크기, 입력파일포맷, HDFS의 블록크기 등의 다양한 변수들.
- 가장 중요한 것은 입력파일포맷.
- 입력파일들은 결국 Input Split이란 블록 (가능하면 HDFS블록의 크기만큼)으로 나눠지며 각 Input Split마다 mapper가 하나씩 할당.
- 즉 Input Split의 수 == mapper의 수
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
| 빅데이터 하둡 프로그래밍 교육과정 ]KeyValueTextInputFormat (0) | 2017.01.25 |
|---|---|
| 빅데이터 하둡 프로그래밍 교육과정 ]TextInputFormat (0) | 2017.01.25 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Mapper 출력타입 (0) | 2017.01.25 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Mapper 입력지정 (0) | 2017.01.25 |
| 빅데이터 하둡 프로그래밍 교육과정 ]Mapper 클래스의 메소드들 (0) | 2017.01.25 |