빅데이터 하둡 프로그래밍 교육과정] HDFS 설계 목표

행복한짱짱이 2018. 1. 21. 09:29

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

HDFS 설계 목표

1. 장애 복구
  - 디스크 오류로 인한 데이터 저장 실패 및 유실과 같은 장애를 빠른 시간에 감지하고 대처
  - 데이터를 저장하면, 복제 데이터도 함께 저장해서 데이터 유실을 방지함
  - 분산 서버 간 주기적인 상태 체크

2. 스트리밍 방식의 데이터 접근
- HDFS에 파일 저자 및 조회를 위해 스트리밍 방식으로 데이터에 접근해야 함
- 배치 작업과 높은 데이터 처리량을 위해 스트리밍 방식을 사용

3. 대용량 데이터 저장
- 하나의 파일이 기가바이트에서 테라바이트 이상의 사이즈로 저장될 수 있게 설계
- 높은 데이터 전송 대역폭, 하나의 클러스터에서 수백 대의 노드를 지원
- 하나의 인스턴스에서 수백만 개 이상의 파일을 지원

4. 데이터 무결성
- 한번 저장한 데이터를 수정할 수 없음(읽기만 가능)
- 파일 이동, 삭제, 복사할 수 있는 인터페이스 제공