빅데이터 하둡 프로그래밍 교육과정 ]Mapper갯수의 결정방식

빅데이터 하둡 프로그래밍 교육과정 ]Mapper갯수의 결정방식

빅데이터 하둡 프로그래밍 교육과정 ]Mapper갯수의 결정방식

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Mapper갯수의 결정방식

■  MapReduce 라이브러리부터는 Mapper의 갯수를 MapReduce 프레임웍이 결정

   - setNumMapTasks 메소드는 이제 no-op.

■ 고려대상은 입력파일의 수와 크기, 입력파일포맷, HDFS의 블록크기 등의 다양한 변수들.

  - 가장 중요한 것은 입력파일포맷.

 

  - 입력파일들은 결국 Input Split이란 블록 (가능하면 HDFS블록의 크기만큼)으로 나눠지며 각 Input Split마다 mapper가 하나씩  할당. 

  - 즉 Input Split의 수 == mapper의 수