빅데이터 하둡 프로그래밍 교육과정 ]HDFS 개요

빅데이터 하둡 프로그래밍 교육과정 ]HDFS 개요

빅데이터 하둡 프로그래밍 교육과정 ]HDFS 개요

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

HDFS 개요

■2003년 구글랩에서 발표된 The Google Filesystem이란 논문을 바탕으로 작성된 파일시스템.

■이 시스템의 특징

  - 파일을 여러개의 블록으로 나눠 저장 (기본 64MB)

  - 하드웨어 고장에 견고

     * 한 데이터블록을 보통 3군데 (Replication factor)에 저장하며 저장시 같은 rack에 있는 서버들에 두 개에 저장하고 다른 하나는 다른 rack에 있는 서버에 저장. 

  - Write Once Read Many

     * Append 작업은 가능하지만 내용을 바꾸기 위해서는 파일 전체를 새로 써야한다. 

  - 스트리밍 데이터 액세스

      * 배치잡에 최적화

- MapReduce나 HBase와 같은 시스템의 기본구성블록으로 사용

- 계층구조의 파일시스템을 제공