[ 빅데이터 Tip ]- Scheduler

Scheduler

 

 

 

 

• 기본적으로 MapReduce 프레임웍은 FIFO 스케줄링을 지원.

– Job 제출시 job의 우선순위를 지정해줄 수 있지만 실행중인 job의 pre-emption은 불가

– Job 하나가 전체 클러스터의 리소스를 독점가능.

 

• Capacity 스케줄러

– 야후에서 만든 스케줄러. 여러 큐를 만들어 큐별로 쿼터 제공.

 

• Fair 스케줄러

– 페이스북에서 만든 스케줄러. 사용자별로 쿼터 제공.

 

• 스케줄러는 플러그인 형태라 커스텀 스케줄러의 개발이 용이