빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (1)

빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (1)

빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (1)

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Job Tracker (1)

■ MapReduce 프레임웍의 마스터로 한 클러스터에 하나만 존재.

■ 프레임웍에서 실행되는 모든 Job들을 실행을 관리.

  - 사용자로부터 하둡 잡 실행 요청(하둡코드가 들어간 jar 파일, 입력데이터 위치, 출력데이터 위치 등등)을 받아 클러스터내의 Task Tracker들로 나눠서 Job을 실행.

   * 정확히 이야기하면 사용자의 하둡 잡 실행 요청은 Job 스케줄러로 들어가고 Job Tracker는 Scheduler로부터 다음 실행할 Job을 얻는다. 

  - 태스크들이 종료될때까지 관리하며 만일 특정 태스크가 실패하면 다른 Task Tracker에 그 태스크를 다시 실행. 

  - T보통 Job Tracker는 HDFS의 마스터의 NameNode와 같은 서버에 위치

  - Task Tracker 역시 HDFS의 DataNode들과 같이 공존.

  - 하둡 셀커맨드나 웹 인터페이스를 Job/Tasks들의 상태를 볼 수 있음.

■ NameNode와 마찬가지로 A Single Point of Failure. 무슨 이유로건 Job Tracker가 재시작되면 모든 Job들도 재시작되어야 함. NameNode와 마찬가지로 이 문제는 Hadoop 0.23이나 Hadoop 2.0에서 개선됨.