빅데이터 하둡 프로그래밍 교육과정 ]MyMapper.setup (1)
빅데이터 하둡 프로그래밍 교육과정 ]MyMapper.setup (1)
실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.
MyMapper.setup (1)
■ Mapper의 setup 메소드에서는 다음 함수를 호출하여 distributed cache로 등록된 파일들의 위치정보를 받는다 (이젠 모두 로컬파일시스템의 path!)
localFiles = DistributedCache.getLocalCacheFiles(context.getConfiguration());
■ 이때 리턴되는 값은 Path의 배열인데 이 경우 우린 첫번째 원소만 필요하다. 그걸 String으로 바꿔서 Java의 File I/O stream을 이용해 한줄씩 읽어서 해쉬맵에 저장.
'빅데이터 > 빅데이터Hadoop' 카테고리의 다른 글
빅데이터 하둡 프로그래밍 교육과정 ]Inverted index v1, v2 and v3 개요 (0) | 2017.02.10 |
---|---|
빅데이터 하둡 프로그래밍 교육과정 ]MyMapper.setup (2) (0) | 2017.02.10 |
빅데이터 하둡 프로그래밍 교육과정 ]main 함수 (0) | 2017.02.09 |
빅데이터 하둡 프로그래밍 교육과정 ]사용전략 (0) | 2017.02.09 |
빅데이터 하둡 프로그래밍 교육과정 ]Join ID and Title v2 개요 (0) | 2017.02.09 |