빅데이터공부하기 24. NameNode

빅데이터공부하기 24. NameNode

 

빅데이터공부하기 24번째 글은  NameNode에 대해 공부하겠습니다.

 

오늘하루도 기분 좋은하루보내시고~~ 열공해봅시다 ~! >0<

 

 

 

NameNode

 

HDFS마다 단 하나만 존재(Hadoop 1.X나 이전버전)

 

HDFS의 마스터 노드로 저장되는 각종파일들의 메타정보를 관리하고 실제 데이터는 다수의 Data Node에 분산 저장

- 파일이 블록단위(기본 64MB)로 나뉘어 저장되고 설정에 따라 보통 세 군데(replication factor)의 Data Node에 중복 저장

* 블록크기는 hdfs-site.xml의 dfs.block.size 파라미터로 조절가능

 

- Rack awareness : 중복저장시 Rack위치를 유념하여 한 rack에 모든 복제블록이 놓이지 않도록함.

 

Data Node들의 계속적으로 통신 (Hearbeat)

- 각 DataNode들로부터 현재 상태와 보유 데이터블록 리스트(블록리포트)를 체크

 

- 문제 Data Node가 감지되면 그 노드의 블록들을 다른 노드들에 복제 (replication factor를 유지 하려 시도)

 

- 기본적으로 둘간의 통신은 3초마다 일어나는데 이는 hdfs-site.xml의 dfs.heartbeat.interval 파라미터로 조절가능

 

 

HDFS의 내용은 앞글에서 공부했어요 ^^

확인하실분은 아래를 눌러주세요.

 

 빅데이터공부하기 23. HDFS 개요

 

 

 

 

빅데이터공부하기 24. NameNode