[ 빅데이터 Tip ]- Job Tracker (2)

Job Tracker (2)

 

 

 

• Task Tracker는 주기적으로 Job Tracker에 상태보고 (heartbeat)를 함

– “나 살아있소”.

 

– 실행중인 태스크의 상태 (카운터 정보 포함)

• mapper의 경우 이는 입력 레코드들의 처리 퍼센트를 알림.

• reducer의 경우 조금 더 복잡

– 셔플링이 끝나면 33%

– 소팅이 끝나면 66%

– 그 이후부터는 reducer의 입력 레코드 처리 퍼센트 * 0.34 + 66%.

 

– 놀고 있는 태스크 슬롯의 유무.

 

– 만일 heartbeat이 지정된 시간동안 안 오면 해당 서버는 죽은 것으로 간주되고 그 서버에서 돌던 태스크들은 다른 Task Tracker에서 재수행됨.