빅데이터 하둡 프로그래밍 교육과정 ]Job 실행 커맨드 보기

빅데이터 하둡 프로그래밍 교육과정 ]Job 실행 커맨드 보기

빅데이터 하둡 프로그래밍 교육과정 ]Job 실행 커맨드 보기

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Job 실행 커맨드 보기

bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount

■bin/hadoop jar:  기본적으로 필요. jar 대신 fs를 주면 HDFS 관련 커맨드를 실행가능. 

■ hadoop-examples-1.0.3.jar: 실행하고자하는 자바클래스가 들어있는 jar 파일. (하둡에 딸려오는 예제 jar)

■wordcount: 주어진 jar파일의 클래스들 중 실행하고자 하는 main 함수가 들어있는 클래스.

■ ./input/README.txt: wordcount 클래스 main 함수는 두 개의 인자를 예상. 첫번째는 입력파일의 위치

■ ./output/wordcount: 두번째 인자는 출력 디렉토리의 위치. 출력 디렉토리가 존재할 경우 에러발생 (먼저 삭제해야함)

■ 실행 결과 확인 

$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount 

12/07/29 22:11:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

12/07/29 22:11:10 INFO input.FileInputFormat: Total input paths to process : 1

12/07/29 22:11:10 INFO mapred.JobClient: Running job: job_local_0001

...

$ ls -tl ./output/wordcount/

total 276

-rwxrwxrwx 1 root root      0 2012-07-29 22:11 _SUCCESS

-rwxrwxrwx 1 root root 274751 2012-07-29 22:11 part-r-00000