it개발자스터디공간

이번 빅데이터 공부하기는 예제프로그램을 실행하고 결과를 확인하려합니다.

오늘하루도 힘차게 !! 빅데이터 공부를 시작해볼께요 ^^

예제프로그램 실행

wordcount를 pseudo모드에서 재실행

input디렉토리를 HDFS로 먼저 복사

* bin/hadoop fs-copyFromLocal input /input

* 확인은 bin/hadoop fs-ls/input

Hadoop jar 명령실행

* bin/hadoop jar hadoop-examples-1.0.3.jar wordcount/input/README.txt/output/wordcount

예제프로그램 실행결과 확인

HDFS상의 출력디렉토리 확인

* hadoop fs -ls/output/wordcount

HDFS상의 출력파일 내용보기

* hadoop fs -text/output/wordcount/part-r-00000

Job Tracker 인터페이스를 통해 확인

* http://[YourServer]:50030/

Task Tracker 인터페이스를 통해 확인

* http://[YourServer]:50060/

빅데이터공부하기

이번 공부하기는 웹인터페이스 입니다.

NameNode 웹인터페이스, JobTracker 웹인터페이스 두가지에대해서 공부할께요.

이번 빅데이터공부하기도 퐈이팅!!!

1. NameNode 웹인터페이스

2. JobTracker 웹인터페이스

여기까지!! 다음 빅데이터 공부에서 또만나요 ^^

빅데이터공부하기 -- 웹인터페이스

빅데이터공부하기 !!

이번시간도 하둡 Pseudo mode설치에 대해서 공부할거에요 ^^

지난글에선 설치를 했고 이번글은 설치확인을 해보겠어요.

설치확인

jps 커맨드를 실행하여 다음 5개의 프로세스가 모두 실행중인지 확인

* NameNode, Secondary NameNode, DataNode

* Job Tracker, Task Tracker

JT/NN 웹인터페이스 연결

* NameNode: http://[YourServer]:50070/

* Job Tracker: http://[YourServer]:50030/

HDFS shell 커맨드 실행

* bin/hadoop fs-ls/

하둡 Pseudo mode설치에 대해서 계속해서 공부하겠습니다.

설치(2)

환경파일들(conf 디렉토리)을 설정.

- 하둡 파일 시스템 포맷

* bin/gadoop namenode -format

- 다음으로 데몬들을 모두 실행

* bin/start-all.sh

- 에러메시지가 혹시 있는지 잘 확인

* 환경설정파일상의 오타일 가능성이 높음

*에러시 logs 디렉토리내의 파일들 점검

빅데이터공부하기 36-1 하둡 Pseudo mode 설치

이번 빅데이터공부하기내용은

하둡 PSEUDO MODE 설치입니다.

오늘날씨는 안좋지만 우리들마음은 행복을 잃지말아요! ^--^

설치 1

앞서 하둡디렉토리 설치와 JAVA_HOME 환경변수 설정

(conf/hadoop-env.sh)에 이어 다음 명령을 실행한다.

SSH key 설치

이는 패스워드없이 로그인하기 위함

ssh localhost시 패스워드를 물어본다면 다음 명령을 실행

$ssh-keygen-t dsa-P" -f~/.ssh/id_dsa

$cat~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

위의 ssh-keygen명령에서 "는 단일 따옴표 두개라는 점에 주의

제대로 실행되었다면 "sshlocalhost"실행시 패스워드 입력시

로그인이 되어야한다. 로그인이 된 후 반드시 exit로 빠져나와야한다. 

빅데이터공부하기 36 하둡 PSEUDO MODE 설치

이번 빅데이터공부하기는 실행결과를 확인하는 글을 올리겠습니다.

실행결과확인

$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt./output/wordcount

12/07/*29 22:11:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

12/07/29 22:11:10 INFO input.FilelnputFormat: Total input paths to process:1

12/07/29 22:11:10 INFO mapred.JobClientL Running job:job_local_0001

...

$IS-tl ./output/wordcount/

total276

-rwxrwxrwx 1 root root  0 2012_07_29:11_SUCCESS

-rwxrwxrwx 1 root root 274751 2012-07-29 22:11 part-r-00000

빅데이터공부하기 35-1

이번공부의 글은 Job 실행 커맨드 보기입니다.

오늘도 퐈이팅하세요!!

Job실행 커맨드 보기

bin/hadoop jar hadoop-examples-1.0.3.jar

wordcuont.input/README.txt./output/wordcount

bin/hadoop jar: 기본적으로 필요.jar 대신 fs를 주면 HDFS관련 커맨드를 실행가능.

hadoop-examples-1.0.3.jar: 실행하고자하는 자바클래스가 들어있는 jar파일.

(하둡에 딸려오는예제 jar)

wordcount: 주어진 jar파일의 클래스들 중 실행하고자 하는 main함수가

 들어있는 클래스

./input/README.txt:wordcount클래스 main함수는 두개의 인자를 예상.

첫번째는 입력파일의 위치

./output/wordcount: 두번째 인자는 출력 디렉토리의 위치. 출력 디렉토리가

존재할 경우 에러발생(먼저삭제해야함)

빅데이터공부하기 35번째글입니다.

하둡 STANDALONE MODE설치에 대해 공부하겠습니다.

먼저 예제프로그램 실행에 대해 보겠습니다.

예제프로그램실행

Standalone mode는 한 JVM안에서 모든 하둡 데몬들을 실행

conf/hadoop-env.sh 수정: JAVA_HOME 환경변수 부분의

주석을 제거하고 앞서 알아낸 JDK루트디렉토리를 지정

conf디렉토리에 있는 세개의 환경파일들이

비어있어야하는데 처음 설치시에는 비어있음

(<configuration></configruation>)

- core-site.xml, mapred-site.xml, hdfs-site.xml

딸려오는 예제 프로그램 실행하여 정상설치 확인

하둡 디렉토리로 이동 후 다음 명령 실행

1> mkdir input

2> cp README.txt input

3> bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount

빅데이터공부하기는 오라클자바IT공부하자를 이용해주세요 ^^