빅데이터공부하기18 하둡의 특징

빅데이터공부하기18 하둡의 특징

 

빅데이터공부하기18번째글 ...

하둡의 특징에 대하여 공부해볼까요..^^

오늘 너무 더워요 ㅠㅠ

다들 선크림 꼭꼭 챙겨 바르세요 ^^

 

 

 

하둡의 특징

 

데이터가 있는 곳으로 코드를 이동

- 대부분의 경우 데이터의 크기가 더 크다.

 

스케일 아웃(vs. 스케일 업)

- 소수의 비싼 서버 보다는 다수의 저렴한 서버 사용

 

단순한 데이터 모델

- 반복적인 Key/Value pair의 트랜스포메이션.

- 데이터의 locality를 최대한 이용한 프로그래밍 모델

 

오프라인 배치 프로세싱에 최적화

 

---

 

(Hadoop 1.0 기준)

기본적으로 하나의 마스터와 다수의 슬레이브로 구성된 마스터/ 슬레이브 아키텍쳐를 HDFS와 MapReduce 모두에 적용

 

HDFS

- 하나의 Name Node(마스터)와 하나 이상의 Data Nodes(슬레이브)

- Secondary NameNode가 존재하여 주기적으로 Name Node의 내용을 백업(snapshot)

 

MapReduce

- 하나의 Job Tracker(마스터)와 하나의 Task Trackers(슬레이브)

 

대부분의 경우 이 둘은 한 물리적인 클러스터에 공존

- Name Node/Job Tracker가 같이 살고 Data Node/Task Tracker가 같이 동거

 

 

 

빅데이터공부하기18 하둡의 특징