[ 빅데이터 Tip ]- NameNode (1)

NameNode (1)

 

 

 

 

• HDFS마다 단 하나만 존재 (Hadoop 1.X나 이전 버전)

 

• HDFS의 마스터 노드로 저장되는 각종파일들의 메타정보를 관리하고 실제 데이터는 다수의 Data Node 에 분산 저장.

– 파일이 블록단위(기본 64MB)로 나뉘어 저장되고 설정에 따라 보통 세 군데((replication factor)의 Data Node에 중복 저장

• 블록크기는 hdfs-site.xml의 dfs.block.size 파라미터로 조절가능.

– Rack awareness: 중복저장시 Rack위치를 유념하여 한 rack에 모든 복제블록이 놓이지 않도록 함. 

 

•Data Node들의 계속적으로 통신 (Heartbeat)

– 각 DataNode들로부터 현재 상태와 보유 데이터블록 리스트(블록리포트)를 체크.

– 문제 Data Node가 감지되면 그 노드의 블록들을 다른 노드들에 복제. (replication factor를 유지하려 시도).

– 기본적으로 둘간의 통신은 3초마다 일어나는데 이는 hdfs-site.xml의 dfs.heartbeat.interval 파라미터로 조절가능.