빅데이터 하둡 프로그래밍 교육과정 ]Job & Tasks

빅데이터 하둡 프로그래밍 교육과정 ]Job & Tasks

빅데이터 하둡 프로그래밍 교육과정 ]Job & Tasks

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Job & Tasks

■ 보통 사용자가 실행하고자 하는 MapReduce 프로그램을 칭함. Job Tracker가 관리.

■ 보통 Job은 하나이상의 mapper와 하나이상의 reducer로 구성되며 이 mapper들과 reducer들을 task라고 부름. 

  - 각각의 task는 Task Tracker에 의해 관리되며 각 task는 별개의 JVM에서 실행.

  - 실패한 task는 Job Tracker에 의해 다른 노드에서 재시도됨.

  - Speculative Execution: JobTracker는 다른 태스크들이 실행이 현저하게 느린 태스크들을 proactively하게 다른 TaskTracker들에서 중복실행하게 할 수 있음. mapred-site.xml의 mapred.map.tasks.speculative.execution 파라미터로 조절.

■ 하나 이상의 Job들이 엮어서 실제로 원하는 일을 수행하게 되는 경우가 대부분 (Hadoop Job Chaining). 이러한 웍플로우 관리가 굉장히 중요 (Cascading, Oozie 등등).