빅데이터 하둡 프로그래밍 교육과정 ]VersVersion 2의 문제

빅데이터 하둡 프로그래밍 교육과정 ]VersVersion 2의 문제

빅데이터 하둡 프로그래밍 교육과정 ]VersVersion 2의 문제

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

VersVersion 2의 문제

■ 버전 2는 버전 1에 비해 Mapper에서 Reducer로 넘어가는 데이터의 크기가 훨씬 작음. 

■ 하지만 아주 큰 텍스트를 가진 문서들이 많은 경우 HashSet의 크기가 커져 역시 메모리에러의 가능성 존재. 

■ 다른 방식은 Version 1처럼 Mapper/Reducer를 구현하고 중간의Shuffling/Sorting 방법을 바꿔보는 것이다.