'빅데이터/빅데이터R' 카테고리의 글 목록 (4 Page)

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

설치 확인

jps 커맨드를 실행하여 다음 5개의 프로세스가 모두 실행중인지 확인
NameNode, Secondary NameNode, DataNode
Job Tracker, Task Tracker
JT/NN 웹인터페이스 연결
NameNode: http://[YourServer]:50070/
JobTracker: http://[YourServer]:50030/
HDFS shell 커맨드 실행
bin/hadoop fs -ls /

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

하둡 Pseudo mode 설치

설치 (3)

하둡 파일 시스템 포맷
bin/hadoop namenode -format
다음으로 데몬들을 모두 실행한다
bin/start-all.sh
에러 메시지가 혹시 있는지 잘 확인
환경설정파일상의 오타일 가능성이 높음
에러시 logs 디렉토리내의 파일들 점검

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

하둡 Pseudo mode 설치

설치 (2)

환경파일들(conf 디렉토리)을 설정.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

하둡 Pseudo mode 설치

설치 (1)

앞서 하둡 디렉토리 설치와 JAVA_HOME 환경변수 설정(conf/hadoop-env.sh)에 이어 다음 명령을 실행한다.
SSH key 설치
이는 패스워드없이 로그인하기 위함.
ssh localhost시 패스워드를 물어본다면 다음 명령을 실행

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
위의 ssh-keygen명령에서 ''는 단일 따옴표 두개라는 점에 주의.
제대로 실행되었다면 “ssh localhost” 실행시 패스워드입력시 로그인이 되어야 함. 로그인이 된 후 반드시 exit로 빠져나와야한다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실행 결과 확인

$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount
12/07/29 22:11:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/07/29 22:11:10 INFO input.FileInputFormat: Total input paths to process : 1
12/07/29 22:11:10 INFO mapred.JobClient: Running job: job_local_0001
...
$ ls -tl ./output/wordcount/
total 276
-rwxrwxrwx 1 root root 0 2012-07-29 22:11 _SUCCESS
-rwxrwxrwx 1 root root 274751 2012-07-29 22:11 part-r-00000

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Job 실행 커맨드 보기

bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount
bin/hadoop jar: 기본적으로 필요. jar 대신 fs를 주면 HDFS 관련 커맨드를 실행가능.
hadoop-examples-1.0.3.jar: 실행하고자하는 자바클래스가 들어있는 jar 파일. (하둡에 딸려오는 예제 jar)
wordcount: 주어진 jar파일의 클래스들 중 실행하고자 하는 main 함수가 들어있는 클래스.
./input/README.txt: wordcount 클래스 main 함수는 두 개의 인자를 예상. 첫번째는 입력파일의 위치
./output/wordcount: 두번째 인자는 출력 디렉토리의 위치. 출력 디렉토리가 존재할 경우 에러발생 (먼저 삭제해야함)

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

하둡 Standalone mode 설치

예제프로그램 실행

Standalone mode는 한 JVM안에서 모든 하둡 데몬들을 실행.
conf/hadoop-env.sh 수정: JAVA_HOME 환경변수 부분의 주석을 제거하고 앞서 알아낸 JDK 루트디렉토리를 지정.
conf 디렉토리에 있는 세개의 환경파일들이 비어있어야하는데 처음 설치시에는 비어있음(<configuration></configruation>)
core-site.xml, mapred-site.xml, hdfs-site.xml
딸려오는 예제 프로그램 실행하여 정상설치 확인
하둡 디렉토리로 이동 후 다음 명령 실행

1> mkdir input
2> cp README.txt input
3> bin/hadoop jar hadoop-examples-1.0.3.jar wordcount ./input/README.txt ./output/wordcount

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

향후 실습 환경

우분투 서버:
Standalone 모드와 Pseudo Distributed 모드로 설치
AWS ElasticMapReduce:
Fully Distributed 모드 서비스로 사용

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

저작자표시

'빅데이터 > 빅데이터R' 카테고리의 다른 글

빅데이터 R-Hadoop 실무과정] (0)	2016.10.02
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25
빅데이터 R-Hadoop 실무과정] (0)	2016.09.25

it개발자스터디공간