빅데이터 공부하기 30 ◆ Scheduler

빅데이터 공부하기 30 ◆ Scheduler

 

빅데이터 공부하기 30번째 글입니다.  오늘 밖에는 굉장히 더운데요. ㅠㅠ 지금 수박이 무지생각나네요..

다들 더위 조심하시구요.. 감기도 조심하세요..(여름감기가 더 지독한것같아요..)

 

Scheduler

 

- 기본적으로 MapReduce 프레임웍은 FIFO 스케쥴링을 지원

* Job제출시 job의 우선순위를 지정해줄 수 있지만 실행중인 job의

   pre-emption은 불가

* Job하나가 전체 클러스터의 리소스를 독점가능

 

- Capacity스케쥴러

* 야후에서 만든 스케쥴러 여러큐를 만들어 큐별로 쿼터 제공

 

- Fair 스케쥴러

* 페이스북에서 만든 스케쥴러. 사용자별로 쿼터 제공

 

- 스케쥴러는 플러그인 형태라 커스텀 스케쥴러의 개발이 용이

 

 

 

 

빅데이터 공부하기 30 ◆ Scheduler