[ 빅데이터 Tip ]- Job Tracker (1)

Job Tracker (1)

 

 

 

• MapReduce 프레임웍의 마스터로 한 클러스터에 하나만 존재.

 

 

• 프레임웍에서 실행되는 모든 Job들을 실행을 관리.

 

– 사용자로부터 하둡 잡 실행 요청(하둡코드가 들어간 jar 파일, 입력데이터 위치, 출력데이터 위치 등등)을 받아 클러스터내의 Task Tracker들로 나눠서 Job을 실행.

• 정확히 이야기하면 사용자의 하둡 잡 실행 요청은 Job 스케줄러로 들어가고 Job Tracker는 Scheduler로부터 다음 실행할 Job을 얻는다.

 

– 태스크들이 종료될때까지 관리하며 만일 특정 태스크가 실패하면 다른 Task Tracker에 그 태스크를 다시 실행.

 

– T보통 Job Tracker는 HDFS의 마스터의 NameNode와 같은 서버에 위치

 

– Task Tracker 역시 HDFS의 DataNode들과 같이 공존.

 

– 하둡 셀커맨드나 웹 인터페이스를 Job/Tasks들의 상태를 볼 수 있음.

 

 

• NameNode와 마찬가지로 A Single Point of Failure. 무슨 이유로건 Job Tracker가 재시작되면 모든 Job들도 재시작되어야 함. NameNode와

   마찬가지로 이 문제는 Hadoop 0.23이나 Hadoop 2.0에서 개선됨.