빅데이터 R-Hadoop 실무과정]

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

  ​

Job Tracker (1)

 

 

2MapReduce 프레임웍의 마스터로 한 클러스터에 하나만 존재.
프레임웍에서 실행되는 모든 Job들을 실행을 관리.
사용자로부터 하둡 잡 실행 요청(하둡코드가 들어간 jar 파일, 입력데이터 위치, 출력데이터 위치 등등)을 받아 클러스터내의 Task Tracker들로 나눠서 Job을 실행.
정확히 이야기하면 사용자의 하둡 잡 실행 요청은 Job 스케줄러로 들어가고 Job Tracker는 Scheduler로부터 다음 실행할 Job을 얻는다.
태스크들이 종료될때까지 관리하며 만일 특정 태스크가 실패하면 다른 Task Tracker에 그 태스크를 다시 실행.
T보통 Job Tracker는 HDFS의 마스터의 NameNode와 같은 서버에 위치
Task Tracker 역시 HDFS의 DataNode들과 같이 공존.
하둡 셀커맨드나 웹 인터페이스를 Job/Tasks들의 상태를 볼 수 있음.
NameNode와 마찬가지로 A Single Point of Failure. 무슨 이유로건 Job Tracker가 재시작되면 모든 Job들도 재시작되어야 함. NameNode와 마찬가지로 이 문제는 Hadoop 0.23이나 Hadoop 2.0에서 개선됨.

 

 

 

  

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.