빅데이터 R-Hadoop 실무과정]

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

 

 

 

 

Mapper갯수의 결정방식

 

 

새 MapReduce 라이브러리부터는 Mapper의 갯수를 MapReduce 프레임웍이 결정
setNumMapTasks 메소드는 이제 no-op.
고려대상은 입력파일의 수와 크기, 입력파일포맷, HDFS의 블록크기 등의 다양한 변수들.
가장 중요한 것은 입력파일포맷.
입력파일들은 결국 Input Split이란 블록 (가능하면 HDFS블록의 크기만큼)으로 나눠지며 각 Input Split마다 mapper가 하나씩  할당.
즉 Input Split의 수 == mapper의 수

 

 

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.