빅데이터 하둡 프로그래밍 교육과정 ]카운터의 수

빅데이터 하둡 프로그래밍 교육과정 ]카운터의 수

빅데이터 하둡 프로그래밍 교육과정 ]카운터의 수

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

카운터의 수

■ 이런 카운팅은 mapper나 reducer 각각에서 개별 발생.

■ TaskTracker는 주기적으로 JobTracker에게 heartbeat 메세지를 전송하는데 이때 각 태스크별로 발생한 카운터 정보를 같이 전송.

■ 너무 많은 카운터는 퍼포먼스에 영향을 줌.

  - 기본 최대값은 120이며 이를 넘어갈 경우 CountersExceededExceptions이 발생.

  - 이를 증가시키려면 mapreduce.job.counters.limit 파라미터의 값을 증가.