it개발자스터디공간

하둡 Pseudo mode설치에 대해서 계속해서 공부하겠습니다.

설치(2)

환경파일들(conf 디렉토리)을 설정.

- 하둡 파일 시스템 포맷

* bin/gadoop namenode -format

- 다음으로 데몬들을 모두 실행

* bin/start-all.sh

- 에러메시지가 혹시 있는지 잘 확인

* 환경설정파일상의 오타일 가능성이 높음

*에러시 logs 디렉토리내의 파일들 점검

빅데이터공부하기 36-1 하둡 Pseudo mode 설치

이번 빅데이터공부하기내용은

하둡 PSEUDO MODE 설치입니다.

오늘날씨는 안좋지만 우리들마음은 행복을 잃지말아요! ^--^

설치 1

앞서 하둡디렉토리 설치와 JAVA_HOME 환경변수 설정

(conf/hadoop-env.sh)에 이어 다음 명령을 실행한다.

SSH key 설치

이는 패스워드없이 로그인하기 위함

ssh localhost시 패스워드를 물어본다면 다음 명령을 실행

$ssh-keygen-t dsa-P" -f~/.ssh/id_dsa

$cat~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

위의 ssh-keygen명령에서 "는 단일 따옴표 두개라는 점에 주의

제대로 실행되었다면 "sshlocalhost"실행시 패스워드 입력시

로그인이 되어야한다. 로그인이 된 후 반드시 exit로 빠져나와야한다. 

빅데이터공부하기 36 하둡 PSEUDO MODE 설치

이번 빅데이터공부하기는 실행결과를 확인하는 글을 올리겠습니다.

실행결과확인

$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt./output/wordcount

12/07/*29 22:11:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

12/07/29 22:11:10 INFO input.FilelnputFormat: Total input paths to process:1

12/07/29 22:11:10 INFO mapred.JobClientL Running job:job_local_0001

...

$IS-tl ./output/wordcount/

total276

-rwxrwxrwx 1 root root  0 2012_07_29:11_SUCCESS

-rwxrwxrwx 1 root root 274751 2012-07-29 22:11 part-r-00000

빅데이터공부하기 35-1

이번공부의 글은 Job 실행 커맨드 보기입니다.

오늘도 퐈이팅하세요!!

Job실행 커맨드 보기

bin/hadoop jar hadoop-examples-1.0.3.jar

wordcuont.input/README.txt./output/wordcount

bin/hadoop jar: 기본적으로 필요.jar 대신 fs를 주면 HDFS관련 커맨드를 실행가능.

hadoop-examples-1.0.3.jar: 실행하고자하는 자바클래스가 들어있는 jar파일.

(하둡에 딸려오는예제 jar)

wordcount: 주어진 jar파일의 클래스들 중 실행하고자 하는 main함수가

 들어있는 클래스

./input/README.txt:wordcount클래스 main함수는 두개의 인자를 예상.

첫번째는 입력파일의 위치

./output/wordcount: 두번째 인자는 출력 디렉토리의 위치. 출력 디렉토리가

존재할 경우 에러발생(먼저삭제해야함)

빅데이터공부하기 35번째글입니다.

하둡 STANDALONE MODE설치에 대해 공부하겠습니다.

먼저 예제프로그램 실행에 대해 보겠습니다.

예제프로그램실행

Standalone mode는 한 JVM안에서 모든 하둡 데몬들을 실행

conf/hadoop-env.sh 수정: JAVA_HOME 환경변수 부분의

주석을 제거하고 앞서 알아낸 JDK루트디렉토리를 지정

conf디렉토리에 있는 세개의 환경파일들이

비어있어야하는데 처음 설치시에는 비어있음

(<configuration></configruation>)

- core-site.xml, mapred-site.xml, hdfs-site.xml

딸려오는 예제 프로그램 실행하여 정상설치 확인

하둡 디렉토리로 이동 후 다음 명령 실행

1> mkdir input

2> cp README.txt input

3> bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount

빅데이터공부하기는 오라클자바IT공부하자를 이용해주세요 ^^

하둡 및 기타 소프트웨어 다운로드

빅데이터공부하기 34번째 글입니다.^^

하둡 실행모드와 향후 실습환경에 대해서 공부할께요.

하둡 실행모드

싱글노드모드(서버하나)

- Standalonemode(localmode)

* 모든데몬들이 하나의 JVM안에서 동작. 로클 파일시스템을 HDFS로 사용.

* 개발환경으로적합(디버깅이 용이)

-Pseudo Distributed mode

* 각각의 데몬이 각기 별개의 JVM으로 동작.

Replication factor가 하나인 HDFS를 사용.

한대라는 점을 제외하고는 멀티노드모드와 동일

멀티노드모드(서버 둘 이상)

- Fully Distributed mode

향후 실습 환경

- 우분투 서버

* Standalone 모드와 Pseudo Distributed모드로 설치

- AWS ClasticMapReduce

* Fully Distributed모드 서비스로 사용

빅데이터공부하기 34-2 기타 소프트웨어 다운로드

기타 소프트웨어 다운로드를 이번 빅데이터공부하기글에서 공부하도록할께요^^

기타 소프트웨어 다운로드

자바설치

먼저 java- version을 실행해서 자바버전이 1.6밑이면 다음 명령을 실행

* sudo apt-get update

* sudo apt-get install openjdk-6-jre

* sudo apt-get install openjdk-6-jdk

JDK의 홈디렉토리를 JAVA_HOME이란 환경변수로 지정

* export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

* Is -tl $JAVA_HOME을 수행하여 존재 여부 확인

* JDK 홈디렉토리가 위와 다르면 다음을 수행

 - JAVA HOME=$(readlink -f /usr/bin/javac l sed "s:bin/javac::")

메이븐 설치

 sudo apt - get install maven2

ssh와 ssh-keygen

 ssh-keygen이 필요한데 이는 아마 디폴트로 설치되어 있을 것임

빅데이터공부하기 34번째 하둡 및 기타

소프트웨어 다운로드공부를 계속하겠습니다.

하둡 다운로드

1. 먼저 우분투 컴퓨터로 로그인

2. http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3

* 상당의 추천 미러 링크로 가서 hadoop-1.0.3 디렉토리로 들어간다.

3. hadoop-1.0.3.tar.gz를 다운로드

* 이는 하둡소스코드 포함(hadoop-1.0.3-bin.tar.gz는 소스제외 버전)

* wget  http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz

4. 홈 디렉토리에서 이것의 압축을 풀고 untar

* gzip-d hadoop-1.0.3.tar.gz

* tar xvf hadoop-1.0.3.tar

5. 하둡이 설치된 루트 디렉토리를 HADOOP_HOME 이란

환경변수로 지정하고 PATH에 추가한다.

* export HADOOP_HOME=[하둡루트디렉토리]

* ex) export HADOOP_HOME=/home/ubuntu/hadoop-1.0.3/

다음 빅데이터공부하기글은 기타 소프트웨어 다운로드에 대해서

공부할께요 ^-^

오늘하루도 Good Day~ ★ 되세용 !!