빅데이터 하둡 프로그래밍 교육과정 ]명령어 맛보기 - Load

빅데이터 하둡 프로그래밍 교육과정 ]명령어 맛보기 - Load

빅데이터 하둡 프로그래밍 교육과정 ]명령어 맛보기 - Load

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

명령어 맛보기 - Load

■ records = LOAD 'input/sample.txt' AS (year:chararray, temperature:int, quality:int);

■ Load는 데이터셋을 로드하는데 사용. 

  - 디폴트로는 필드들이 Tab문자로 나눠진 (HDFS상의) 텍스트파일을 로드.

■AS 다음은 파일내의 필드들의 이름과 타입을 지정.

  - AS가 없는 경우 데이터셋내의 필드들은 포지션 번호로 액세스 가능하다. 예를 들어 첫번째 필드는 #0으로 지칭가능.

■이 데이터셋의 이름(Pig에서는 relation이나 alias라고 부름)은 records가 되며 records는 위의 세 필드로 구성된 tuple의 리스트가 됨.

  - tuple은 ordered set of list로 스키마가 정의된 셈이다.

  - tuple 말고 bag과 map이란 complex 타입을 지원.

 ■“Describe records”를 실행하면 그 스키마를 볼 수 있음.