지낙 빅데이터공부하기 51_2 번째 글에서 Mapper Task Log를 공부했었는데요.
이번에는 Task Log 페이지에 대해서 알아보도록하겠습니다.
Task Log 페이지
Mapper/Reducer timeout
만일 task가 오래동안 아무 "소식"이 없으면 tasktracker는 그 잡이 문제가 있다고 생각하고 중지.
- "소식" : 입력 읽기, 출력쓰기 혹은 상태 리포트, 타운터 증가 등등
- 오래 걸리는 것이 예상된다면 해결책은
* timeout 증가(mapred.task.timeout). 디폰트는 10분
* 종종 tasktracker로 살아있다고 핑 보내기
- Mapper.Context나 Reducer.Context의 progress 혹은 setStatus 메소드 호출
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
| 빅데이터공부하기 52 위키파디아 _데이터준비 (0) | 2014.10.31 |
|---|---|
| 빅데이터공부하기 51_4 MRUnit / WordCountTest.java (0) | 2014.10.29 |
| 빅데이터공부하기 51_1 Job Tracker 웹인터페이스 (0) | 2014.10.28 |
| 빅데이터공부하기 51 Job Tracker 웹인터페이스 (0) | 2014.10.28 |
| 빅데이터공부하기 50 hadoop job 커맨드 (0) | 2014.10.27 |