빅데이터 R-Hadoop 실무과정]

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

 

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

 

  ​

NameNode (1)

 

HDFS마다 단 하나만 존재 (Hadoop 1.X나 이전 버전)

HDFS의 마스터 노드로 저장되는 각종파일들의 메타정보를 관리하고 실제 데이터는 다수의 Data Node 에 분산 저장.
파일이 블록단위(기본 64MB)로 나뉘어 저장되고 설정에 따라 보통 세 군데((replication factor)의 Data Node에 중복 저장
블록크기는 hdfs-site.xml의 dfs.block.size 파라미터로 조절가능.
Rack awareness: 중복저장시 Rack위치를 유념하여 한 rack에 모든 복제블록이 놓이지 않도록 함. 

Data Node들의 계속적으로 통신 (Heartbeat)
각 DataNode들로부터 현재 상태와 보유 데이터블록 리스트(블록리포트)를 체크.
문제 Data Node가 감지되면 그 노드의 블록들을 다른 노드들에 복제. (replication factor를 유지하려 시도).
기본적으로 둘간의 통신은 3초마다 일어나는데 이는 hdfs-site.xml의 dfs.heartbeat.interval 파라미터로 조절가능.

 

 

 

  

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.