빅데이터 하둡 프로그래밍 교육과정 ]Mapper/Reducer timeout

빅데이터 하둡 프로그래밍 교육과정 ]Mapper/Reducer timeout

빅데이터 하둡 프로그래밍 교육과정 ]Mapper/Reducer timeout

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Mapper/Reducer timeout

■ 만일 task가 오래 동안 아무 “소식”이 없으면 tasktracker는 그 잡이 문제가 있다고 생각하고 중지.

  - “소식”: 입력읽기, 출력쓰기 혹은 상태 리포트, 카운터증가 등등

  - 오래 걸리는 것이 예상된다면 해결책은

    * timeout 증가 (mapred.task.timeout). 디폴트는 10분.

    * 종종 tasktracker로 살아있다고 핑 보내기

      ** Mapper.Context나 Reducer.Context의 progress 혹은 setStatus 메소드 호출