it개발자스터디공간

빅데이터 하둡 프로그래밍 교육과정] View Table

빅데이터 하둡 프로그래밍 교육과정] View Table

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

View Table
 - View Table은 자주 사용되는 쿼리를 일종의 로지컬 테이블처럼 사용하는것.
 - 복잡한 쿼리를 단순하게 함
 - RAW table로 직접 접근하는것이 아니라 제한을 두는 목적으로도 사용함
 - 테이블의 모듈화에 적합

​

0: jdbc:hive2://hadoop01:10000>SELECT s2.year, s2.avg FROM (SELECT
year(ymd) AS year, avg(price_close) AS avg FROM stocks WHERE
`exchange` = 'NASDAQ' AND symbol = 'AAPL' GROUP BY year(ymd)) s2  WHERE s2.avg > 50.0;

0: jdbc:hive2://hadoop01:10000>create view stockview AS SELECT  year(ymd) AS year, avg(price_close) AS avg FROM stocks WHERE
`exchange` = 'NASDAQ' AND symbol = 'AAPL' GROUP BY year(ymd);

0: jdbc:hive2://hadoop01:10000>select stockview.year, stockview.avg
from stockview where stockview.avg > 50;
0: jdbc:hive2://hadoop01:10000>

빅데이터 하둡 프로그래밍 교육과정] Simple query / Group by

빅데이터 하둡 프로그래밍 교육과정] Simple query / Group by

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Simple query / Group by
 - 데이터 갯수 확인
0: jdbc:hive2://hadoop01:10000>SELECT count(*) FROM stocks;

​

 - 뉴욕 거래소 및 나스닥 전체 업종 수
0: jdbc:hive2://hadoop01:10000>SELECT count(DISTINCT symbol) FROM
stocks;

​

 - 애플의 각 연도별 종가 평균
0: jdbc:hive2://hadoop01:10000>SELECT year(ymd), avg(price_close)  FROM stocks WHERE `exchange` = 'NASDAQ' AND symbol =  'AAPL‘ GROUP BY year(ymd);

​

 - 2010 장종가 평균 상위 5개 업체
0: jdbc:hive2://hadoop01:10000>select symbol, avg(price_open) as  openprice from stocks where year(ymd) = '2010' group by symbol sort  by openprice DESC limit 5 

빅데이터 하둡 프로그래밍 교육과정] 데이터 업로드

빅데이터 하둡 프로그래밍 교육과정] 데이터 업로드

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

데이터 업로드
0: jdbc:hive2://hadoop01:10000>  load data local inpath
'/home/hadoop/sample_data/NASDAQ/NASDAQ_daily_price*' overwrite
into table stocks;
stocks;0: jdbc:hive2://hadoop01:10000>
load data local inpath
'/home/hadoop/sample_data/NYSE/NYSE_daily_prices*' into table stocks; 

빅데이터 하둡 프로그래밍 교육과정] 테이블 생성

빅데이터 하둡 프로그래밍 교육과정] 테이블 생성

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

테이블 생성
0: jdbc:hive2://hadoop01:10000>CREATE TABLE IF NOT EXISTS
stocks(`exchange` STRING,
symbol STRING,  ymd STRING,  price_open FLOAT,  price_high FLOAT,  price_low FLOAT,  price_close FLOAT,  volume INT,
price_adj_close FLOAT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
0: jdbc:hive2://hadoop01:10000>desc stocks ;

빅데이터 하둡 프로그래밍 교육과정] Hive metastore

빅데이터 하둡 프로그래밍 교육과정] Hive metastore

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Hive metastore
– MySQL 설치
[hadoop@hadoop01 ~]$ su - root  [root@hadoop01 ~]$yum install mysql-server
[root@hadoop01 ~]$ mysqladmin -u root password hadoop  [root@hadoop01 ~]$ service mysqld start
[root@hadoop01 ~]$ chkconfig mysqld on
[hadoop@hadoop01 ~]$ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-  connector-java-5.1.35.tar.gz
[hadoop@hadoop01 ~]$ tar -zxvf ./mysql-connector-java-5.1.35.tar.gz
[hadoop@hadoop01 ~]$ cp ./mysql-connector-java-5.1.35/mysql-connector-java-5.1.35-bin.jar
/home/hadoop/hive/lib/
[hadoop@hadoop01 ~]$mysql –u root –p
mysql> grant all privileges on *.* to hive@localhost identified by 'hive' with grant option;  mysql> flush privileges;
mysql> grant all privileges on *.* to hive@'%' identified by 'hive' with grant option;  mysql> flush privileges;

빅데이터 하둡 프로그래밍 교육과정] Hive 환경 구성

빅데이터 하둡 프로그래밍 교육과정] Hive 환경 구성

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Hive 환경 구성
 - Hive 다운로드 http://hive.apache.org 접속 후 다운로드
 - 압축을 풀고 hadoop 심볼릭 링크를 생성
  : $ tar –zxvf apache-hive
  : $ ln -s apache-hive-1.0.0 hive
 - .bash_profile에 HIVE_HOME과 PATH 추가

빅데이터 하둡 프로그래밍 교육과정] 파일 포맷 사용

빅데이터 하둡 프로그래밍 교육과정] 파일 포맷 사용

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

파일 포맷 사용
– 시퀀스파일
CREATE TABLE table_ex()  ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerde'
STORED AS SEQUENCEFILE;
CREATE TABLE table_ex()  ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerde'
STORED AS SEQUENCEFILE;
​

– RC파일
CREATE TABLE table_ex()  ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.columnar.ColumnarSerde'
STORED AS RCFILE;
CREATE TABLE table_ex()  ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.columnar.LazybinaryColumnarSer  de'
STORED AS RCFILE;
​

– ORC 파일
CREATE TABLE table_ex()  STORED AS ORC tblproperties() ;
​

– 파케이
CREATE TABLE table_parquet(  id int,
str string,
mp MAP<STRING,STRING>,  lst ARRAY<STRING>,
strct STRUCT<A:STRING,B:STRING>)
PARTITIONED BY (part string)
STORED AS PARQUET; 

빅데이터 하둡 프로그래밍 교육과정] 파일 포맷

빅데이터 하둡 프로그래밍 교육과정] 파일 포맷

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

파일 포맷