빅데이터 하둡 프로그래밍 교육과정 ]Inverted index v1, v2 and v3 개요

빅데이터 하둡 프로그래밍 교육과정 ]Inverted index v1, v2 and v3 개요

빅데이터 하둡 프로그래밍 교육과정 ]Inverted index v1, v2 and v3 개요

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Inverted index v1, v2 and v3 개요

■ 이번에는 앞서 보았던 데이터파일중의 하나인 2M.ID.CONTENTS 파일을 이용해 Inverted Index를 만들어보자. 

■ 예를 들어 hadoop이란 단어가 들어간 문서들의 리스트를 모아보는 것인데 이를 모든 단어들에 대해 수집한다. 

■ 기본적으로 텍스트검색엔진이 수행하는 일이 이것인데 보다 자세한 랭킹을 위해 단어가 나타난 위치등등의 세세정보를 기록한다.