빅데이터공부하기 29-2 ★ Job & Tasks

빅데이터공부하기 29-2 ★ Job & Tasks

 

빅데이터공부하기 Job & Tasks에 대해 공부하겠습니다. ^^

 

Job & Tasks

 

- 보통 사용자가 실행하고자 하는 MapReduce프로그램을 칭함

   Job Tracker가 관리

- 보통 Job은 하나이상의 mapper와 하나이상의 reducer로 구성되며 이 mapper

   들과 reducer들을 task라고 부름.

* 각각의 task는 Task Tracker에 의해 관리되며 각 task는 별개의 JVM에서

   실행.

* 실패한 task는 Job Tracker에 의해 다른 노드에서 재시도됨.

* Speculative Excution : Job Tracker는 다른 태스크들이 실행이 현저하게 느린

   태스크들을 proactively하게 다른 TaskTracker들에서 중복실행하게 할 수

   있음. mapred-site.xml의 mapred.map.tasks.speculative.execution 피라미터

   로 조절

- 하나이상의 Job들이 엮어서 실제로 원하는 일을 수행하게 되는 경우가 대부분

   (Hadoop Job Chaining). 이러한 웍플로우 관리가 굉장히 중요(Cascading Ooaie

    등등..)

 

 

빅데이터공부하기 29-2 ★ Job & Tasks