it개발자스터디공간

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡 사용회사들
 

http://wiki.apache.org/hadoop/PoweredBy/

대표적 회사들
국외: Facebook, Twitter, EBay, Linkedin, Yahoo, ...
국내: NHN, NCSoft, SDS
점점 늘어나는 추세

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

작업 모델
 

하둡 자체는 아파치 소프트웨어 재단의 소유물
아파치 재단은 비영리조직.

4가지 형태의 contribution이 가능
사용자 (대부분)
컨트리뷰터: 패치생성, 버그 리포트, 문서 작성, ...
커미터: 컨트리뷰터의 작업 반영 여부 결정.
프로젝트 관리 커미티(PMC - Project Management Committee): 새 릴리스와 커미터 선정 투표

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡 라이센스
 

 아파치 라이센스를 준수
무료 소프트웨어 라이센스.
누구든 코드를 갖고 내부적으로 사용하거나 재배포하거나 심지어 파는 것까지도 가능.
단 Attribution이 필요.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

3rd 파티 하둡 배포판
 

대표적으로 클라우데라(Cloudera)나 홀튼웍스(HortonWorks), MapR등의 회사도 하둡 배포판을 만듬.
참고로 클라우데라의 배포판들은 http://www.cloudera.com/hadoop/에서 더 자세한 사항을 볼 수 있는데 실질적으로 가장 많이 사용되는 배포판이며 흔히 CDH라 부름.
홀튼웍스의 배포판은 홀튼웍스 데이터 플랫폼이라 불리우며 HDP라 부르기도 한다. http://hortonworks.com/products/hortonworksdataplatform/에서 다운로드 가능.
둘다 역시 오픈소스이며  개인이 사용할 경우 무료이다.
MapR의 배포판은 AWS의 ElasticMapReduce에서 사용.
VMWare가 가상화버전의 Hadoop을 발표 (2012 Hadoop Summit) – Project Serengeti  

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡 배포판
 

​

아파치재단 (Apache Foundation)이 제공하는 하둡은 0.10버전부터 시작해서 현재 0.23까지 나와있으면 이중 일부 버전은 1.0과 2.0의 메이저 버전으로 존재한다.

지금 현재 액티브하게 개발되고 있는 버전들은 다음과 같다.
2.x.x: 현재 베타버전 (0.23.x 기반)
1.x: 현재 안정버전 (0.22.x 기반)

뒤에서 랩세션에서는 1.0.3의 하둡을 사용할 것이다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡의 발전
 

​

2005년 Doug Cutting이 Nutch 크롤/검색패키지에 구글페이퍼를 기반으로한 HDFS/MapReduce 프레임웍을 추가하면서 시작.

2006년 Doug Cutting 야후 검색팀 조인. 20노드 클러스터 셋업

2006년 Hadoop이 Nutch에서 떨어져나와 아파치 톱레벨 프로젝트로 변신.

2008년 야후에서 1000 노드 하둡클러스터를 프로덕션에서 사용시작.

2012년 현재 하둡 생태계가 활발히 커가고 있음.
컨퍼런스: Hadoop Summit, Hadoop World
많은 종류 하둡 기반 혹은 변방 소프트웨어들과 스타트업들

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡의 특징(2)

​

(Hadoop 1.0 기준)

기본적으로 하나의 마스터와 다수의 슬레이브로 구성된 마스터/슬레이브 아키텍쳐를 HDFS와 MapReduce모두에 적용.
.
HDFS:
하나의 Name Node(마스터)와 하나 이상의 Data Nodes (슬레이브)
Secondary NameNode가 존재하여 주기적으로 Name Node의 내용을 백업 (snapshot)

MapReduce:
하나의 Job Tracker(마스터)와 하나의 Task Trackers (슬레이브)

대부분의 경우 이 둘은 한 물리적인 클러스터에 공존.
Name Node/Job Tracker가 같이 살고 Data Node/Task Tracker가 같이 동거.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

  ​

하둡의 특징 (1)

​

데이터가 있는 곳으로 코드를 이동
대부분의 경우 데이터의 크기가 더 크다.

스케일 아웃 (vs. 스케일 업)
소수의 비싼 서버 보다는 다수의 저렴한 서버 사용

단순한 데이터 모델
반복적인 Key/Value pair의 트랜스포메이션.
데이터의 locality를 최대한 이용한 프로그래밍 모델

오프라인 배치 프로세싱에 최적화
 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.