[ 빅데이터 Tip ]- Job & Tasks

Job & Tasks

 

 

 

• 보통 사용자가 실행하고자 하는 MapReduce 프로그램을 칭함. Job Tracker가 관리.

 

 

• 보통 Job은 하나이상의 mapper와 하나이상의 reducer로 구성되며 이 mapper들과 reducer들을 task라고 부름.

 

– 각각의 task는 Task Tracker에 의해 관리되며 각 task는 별개의 JVM에서 실행.

 

– 실패한 task는 Job Tracker에 의해 다른 노드에서 재시도됨.

 

– Speculative Execution: JobTracker는 다른 태스크들이 실행이 현저하게 느린 태스크들을 proactively하게 다른 TaskTracker들에서

   중복실행하게 할 수 있음. mapred-site.xml의 mapred.map.tasks.speculative.execution 파라미터로 조절.

 

 

• 하나 이상의 Job들이 엮어서 실제로 원하는 일을 수행하게 되는 경우가 대부분 (Hadoop Job Chaining). 이러한 웍플로우 관리가 굉장히 중요

  (Cascading, Oozie 등등).