빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (2)

빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (2)

빅데이터 하둡 프로그래밍 교육과정 ]Job Tracker (2)

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Job Tracker (2)

■ Task Tracker는 주기적으로 Job Tracker에 상태보고 (heartbeat)를 함

-“나 살아있소”.

- 실행중인 태스크의 상태 (카운터 정보 포함)

  ■ mapper의 경우 이는 입력 레코드들의 처리 퍼센트를 알림.

  ■ reducer의 경우 조금 더 복잡

     * 셔플링이 끝나면 33%

     * 소팅이 끝나면 66%

     * 그 이후부터는 reducer의 입력 레코드 처리 퍼센트 * 0.34 + 66%.

- 놀고 있는 태스크 슬롯의 유무.

- 만일 heartbeat이 지정된 시간동안 안 오면 해당 서버는 죽은 것으로 간주되고 그 서버에서 돌던 태스크들은 다른 Task Tracker에서 재수행됨.