빅데이터공부하기 29 ★ Job Tracker

빅데이터공부하기 29 ★ Job Tracker

 

빅데이터공부하기 29번째 시간입니다.

이번글은 Job Tracker에 대해서 글을 올리겠습니다. ^^

 

저녁에는 글을 처음올리는것 같네요..

오늘하루 다들 잘 보내셨나요?? 저는 오늘 너무더워서 힘들었어요..ㅠㅠ

내일도..덥겠죠.. 하하.. 공부를해볼까요.. ㅋㅋ

 

Job Tracker

 

- MapReduce 프레임웍의 마스터로 한 클러스터에 하나만 존재

- 프레임웍에서 실행되는 모든 Job들의 실행을 관리

- 사용자로부터 하둡 잡 실행 요청 (하둡코드가 들어간 jar파일, 입력데이터 위치, 출력 데이터 위치 등등)을 받아 클러스터내의 Task Tracker들로 나눠서 Job을 실행

* 정확히 이야기하면 사용자의 하둡 잡 실행 요청은 Job스케쥴러로 들어가고 Job Tracker는 Scheduler로 부터 다음 실행할 Job을 얻는다.

- 태스크들이 종료될때까지 관리하며 만일 특정 태스크가 실패하면 다른 Task Tracker에 그 태스크를 다시 실행

- 보통 Job Tracker는 HDFS의 DataNode와 같은 서버에 위치

- Task Tracker 역시 HDFS의 DataNode들과 같이 공존

- 하둡 셀커맨드나 웹 인터페이스를 Job/Tasks들의 상태를 볼 수 있음.

 

NameNode와 마찬가지로 A Single Point of Failure. 무슨 이유로건 Job Tracker가 재시작되면 모든 Job들도 재시작되어야함. NameNode와 마찬가지로 이 문제는 Hadoop0.23이나 Hadoop 2.0에서 개선됨

 

  

 

 

 빅데이터공부하기 29 ★ Job Tracker