빅데이터 하둡 프로그래밍 교육과정] 색인

빅데이터 하둡 프로그래밍 교육과정] 색인

 

빅데이터 하둡 프로그래밍 교육과정] 색인

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

 

색인
 - 데이터 베이스의 특정 컬럼에 대해 검색가능한 형태인 자료구조를 만드는것
​

 - I/O의 범위를 전체적으로 줄여주는 역할을 한다
​

 - 색인 자체가 기본적인 정렬이 되어 있기 때문에 검색 시간도 줄어든다
​

 - table에 색인 생성
​

 - symbol컬럼에 색인 생성
0: jdbc:hive2://hadoop01:10000>CREATE INDEX simple_index ON TABLE  stocks (symbol) AS  'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' WITH  DEFERRED REBUILD;
​

 - index 확인
0: jdbc:hive2://hadoop01:10000>SHOW FORMATTED INDEX ON stocks;
​

 - query수행
0: jdbc:hive2://hadoop01:10000>SELECT s2.year, s2.avg FROM (SELECT  year(ymd) AS year, avg(price_close) AS avg FROM stocks WHERE symbol
= 'AAPL' GROUP BY year(ymd)) s2 WHERE s2.avg > 50.0;
​

 - 인덱스 생성
0: jdbc:hive2://hadoop01:10000>alter index simple_index on stocks rebuild;
​

 - 필요한 파일만 다시 로드
0: jdbc:hive2://hadoop01:10000>INSERT OVERWRITE DIRECTORY
"/tmp/index_result" SELECT `_bucketname` , `_offsets` FROM
default  stocks_simple_index  where symbol='AAPL';
​

 - 기존 테이블과 연결
0: jdbc:hive2://hadoop01:10000>SET hive.index.compact.file=/tmp/index_result;
0: jdbc:hive2://hadoop01:10000>SET  hive.input.format=org.apache.hadoop.hive.ql.index.compact.HiveCompactIndexInputFor  mat;
​

 - query수행
0: jdbc:hive2://hadoop01:10000>SELECT s2.year, s2.avg FROM (SELECT  year(ymd) AS year, avg(price_close) AS avg FROM stocks WHERE symbol =  'AAPL' GROUP BY year(ymd)) s2 WHERE s2.avg > 50.0;