빅데이터 하둡 프로그래밍 교육과정 ]NameNode (1)

빅데이터 하둡 프로그래밍 교육과정 ]NameNode (1)

빅데이터 하둡 프로그래밍 교육과정 ]NameNode (1)

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

NameNode (1)

■ vHDFS마다 단 하나만 존재 (Hadoop 1.X나 이전 버전)

■ HDFS의 마스터 노드로 저장되는 각종파일들의 메타정보를 관리하고 실제 데이터는 다수의 Data Node 에 분산 저장. 

- 파일이 블록단위(기본 64MB)로 나뉘어 저장되고 설정에 따라 보통 세 군데((replication factor)의 Data Node에 중복 저장 

  * 블록크기는 hdfs-site.xml의 dfs.block.size 파라미터로 조절가능. 

Rack awareness: 중복저장시 Rack위치를 유념하여 한 rack에 모든 복제블록이 놓이지 않도록 함.  

- Data Node들의 계속적으로 통신 (Heartbeat)

  * 각 DataNode들로부터 현재 상태와 보유 데이터블록 리스트(블록리포트)를 체크. 

  * 문제 Data Node가 감지되면 그 노드의 블록들을 다른 노드들에 복제. (replication factor를 유지하려 시도). 

  * 기본적으로 둘간의 통신은 3초마다 일어나는데 이는 hdfs-site.xml의 dfs.heartbeat.interval 파라미터로 조절가능.