빅데이터공부하기 29-1 ▶ Job Tracker

빅데이터공부하기 29-1 ▶ Job Tracker

 

지난글에 이어 빅데이터공부하기 29번째 -1 Job Tracker에 대해서 공부하겠습니다. ^^

 

포항 불빛축제가 오늘부터 시작이래요!!!

다들 한번 알아보세요 ^-^ 저는... 갈수없지만 여러분들이라도 가셔서 보고오시면 좋겠어요..

 

저는 그럼 Job Tracker을 이어서 공부하겠습니다.

 

Job Tracker

 

- Task Tracker는 주기적으로 Job Tracker에 상태보고 (heartbeat)를 함

- "나 살아있소"

- 실행중인 태스크의 상태 (카운터 정보 포함)

* mapper의 경우 이는 입력 레코드들의 처리 퍼센트를 알림

* reducer의 경우 조금 더 복잡

- 셔플링이 끝나면 33%

- 소팅이 끝나면 66%

- 그 이후부터는 reducer의 입력 레코드 처리 퍼센트

* 0.34+66%

- 놀고있는 태스크 슬롯의 유무

- 만일 heartbeat이 지정된 시간동안 안 오면 해당 서버는 죽은 것으로 간주되고 그 서버에서 돌던 태스크들은 다른 Task Tracker에서 재수행된다.

 

 

빅데이터공부하기 29-1 ▶ Job Tracker