빅데이터공부하기 16. 빅데이터 시스템의 미래

빅데이터공부하기 16. 빅데이터 시스템의 미래

 

빅데이터공부하기 16번째 공부입니다.

빅데이터 시스템의 미래에 대해 공부해볼께요 ^-^

 

빅데이터 시스템의 미래

 

기본기능 개선

- 하둡의 security는 굉장히 초보적인 수준.

  기본적으로 기반 운영 체제의 보안을 이용

 

- Scheduling의 경우 기본적으로 FIFO이며 매끄러운 pre-emption을 지원하지 못함

 

- MapReduce 이외의 분산처리 프레임웍 지원

 

- 마스터 노드의 failover 기능 지원

 

- 기존 RDBMS의 SQL 지원

 

리얼타임 처리

- 하둡 == 대용량 오프라인 배치 처리 프레임웍

* 데이터처리에 적어도 시간 단위의 지연이 발생

 

- 지금 발생하는 데이터스트림을 바로 처리하고 싶다면?

* Splunk, Impala, Druid, ...

 

가상화

- VMWare의 Serengeti 프로젝트

* http://github.com/vmware-serengeti

 

- 하둡 클러스터 서버의 이용도(Utilization)를 높이기 위함

 

특화 서비스들의 출현

- 예 : 추천엔진

 

- 많은 수의 회사들이 자사 컨텐츠의 추천엔진으로 하둡을 활용

* 보통 R이나 Mahout등과 같이 사용

 

- 이쪽으로 특화된 서비스들이 나오기 시작

* Myrrix: 2013년 7월 Cloudera에 합병

 

 

빅데이터공부하기 16. 빅데이터 시스템의 미래