빅데이터공부하기 23. HDFS 개요

빅데이터공부하기 23. HDFS 개요

 

이번 23번째 빅데이터공부하기의 글은 HDFS의 개요입니다. ^^

 

빅데이터공부는 " ORACLEJAVA IT공부하자 " 티스토리 많이 애용해주세요

 

 

HDFS 개요

- 2003년 구글랩에서 발표된 The Google Filesystem이란 논문을 바탕으로 작성된 파일시스템.

 

- 이 시스템의 특징

* 파일을 여러개의 블록으로 나눠 저장 (기본 64MB)

* 하드웨어 고장에 견고

- 한 데이터블록을 보통 3군데 (Replication factor)에 저장하며 저장시 같은 rack에 있는 서버들에 두 개에 저장하고 다른 하나는 다른 rack에 있는 서버에 저장

 

* Write Once ReadMany

- Append작업은 가능하지만 내용을 바꾸기 위해서는 파일 전체를 새로 써야한다.

 

* 스트리밍 데이터 액세스

-  배치잡에 최적화

 

* MapReduce나 HBase와 같은 시스템의 기본구성블록으로 사용

* 계층구조의 파일시스템을 제공

 

 

 

빅데이터공부하기 23. HDFS 개요