빅데이터 R-Hadoop 실무과정]

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

  ​

Job & Tasks

 

 

보통 사용자가 실행하고자 하는 MapReduce 프로그램을 칭함. Job Tracker가 관리.
보통 Job은 하나이상의 mapper와 하나이상의 reducer로 구성되며 이 mapper들과 reducer들을 task라고 부름.
각각의 task는 Task Tracker에 의해 관리되며 각 task는 별개의 JVM에서 실행.
실패한 task는 Job Tracker에 의해 다른 노드에서 재시도됨.
Speculative Execution: JobTracker는 다른 태스크들이 실행이 현저하게 느린 태스크들을 proactively하게 다른 TaskTracker들에서 중복실행하게 할 수 있음. mapred-site.xml의 mapred.map.tasks.speculative.execution 파라미터로 조절.
하나 이상의 Job들이 엮어서 실제로 원하는 일을 수행하게 되는 경우가 대부분 (Hadoop Job Chaining). 이러한 웍플로우 관리가 굉장히 중요 (Cascading, Oozie 등등).

 

 

 

 

  

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.