빅데이터공부하기 43-3 Mapper 갯수의 결정방식

빅데이터 공부하기!!

오늘은 Mapper갯수의 결정방식에 대해서 알아볼게요^^

 

Mapper갯수의 결정방식

새 MapReduce라이브러리부터는 Mapper의 갯수를 MapReduce프레임웍이 결정

- setNumMapTasks메소드는 이제 no-op

 

 

고려대상은 입력파일의 수와 크기, 입력파일포맷, HDFS의 블록크기등의 다양한 변수들

- 가장 중요한 것은 입력파일포맷

 

- 입력파일들은 결국 Input Split이란 블록(가능하면 HDFS블록의 크기만큼)으로 나눠지며 각 Input Split마다 mapper가 하나씩 할당

 

- 즉 Input Split의 수 == mapper의 수