it개발자스터디공간

빅데이터공부하기 16. 빅데이터 시스템의 미래

빅데이터공부하기 16번째 공부입니다.

빅데이터 시스템의 미래에 대해 공부해볼께요 ^-^

빅데이터 시스템의 미래

기본기능 개선

- 하둡의 security는 굉장히 초보적인 수준.

  기본적으로 기반 운영 체제의 보안을 이용

- Scheduling의 경우 기본적으로 FIFO이며 매끄러운 pre-emption을 지원하지 못함

- MapReduce 이외의 분산처리 프레임웍 지원

- 마스터 노드의 failover 기능 지원

- 기존 RDBMS의 SQL 지원

리얼타임 처리

- 하둡 == 대용량 오프라인 배치 처리 프레임웍

* 데이터처리에 적어도 시간 단위의 지연이 발생

- 지금 발생하는 데이터스트림을 바로 처리하고 싶다면?

* Splunk, Impala, Druid, ...

가상화

- VMWare의 Serengeti 프로젝트

* http://github.com/vmware-serengeti

- 하둡 클러스터 서버의 이용도(Utilization)를 높이기 위함

특화 서비스들의 출현

- 예 : 추천엔진

- 많은 수의 회사들이 자사 컨텐츠의 추천엔진으로 하둡을 활용

* 보통 R이나 Mahout등과 같이 사용

- 이쪽으로 특화된 서비스들이 나오기 시작

* Myrrix: 2013년 7월 Cloudera에 합병

빅데이터공부하기 16. 빅데이터 시스템의 미래

빅데이터공부하기 15. 빅데이터관련회사

빅데이터공부하기 15번째글입니다.

이번글은 빅데이터의 관련회사들에 대해서 알아보도록 하겠습니다.

빅데이터 관련 회사

1. 아파치 재단

- 비영리 재단으로 빅데이터 시스템의 거의 모든 프로젝트들이 아파치재단의 오픈소스 프로젝트들, 기업스폰서십이나 개인들의 기부, 컨퍼런스 주최등으로 유지.

* 현재 100 개의 톱레벨 프로젝트가 존재

- 아파치 라이센스는 상업적인 목적으로 사용하기에 제약이 거의 없는 라이센스

- www.apache.org

2. Cloudera

- 2008년 설립된 하둡기반 빅데이터 스타트업. 가장 활발하고 유명하며 많은 수의 하둡관련 오픈소스 프로젝트에 참여

- 여기서 만든 하둡 배포판이 가장 많이 사용됨(CDH라 부릅니다.)

- Hadoop World라는 연례 컨퍼런스 주최

- 하둡관련 교육과 컨설팅으로 주 매출 달성.

- 하둡의 창시자 Doug Cutting도 2009년 조인

3. HortonWorks

- 2011년 야후내의 하둡플랫폼이 분사하여 설립됨. 2006년부터 야후내에서 하둡관련 일을 해온 EricBaldeschwieler가 CTO로 재직

- 하둡의 초기 발전에 많은 공헌을 함

- 하는 일이나 성격은 Cloudera와 굉장히 흡사. Hadoop Summit이란 연례 컨퍼런스 주최

4. 기타 플레이어들

- MapR: Cloudera나 HortonWorks와 비슷한 스타트업. 자체하둡배포판이 있음

- IBM, EMC/Greenplum, SAS, SAP: 기존의 RDBMS나 DW 솔루션에서 하둡기반의 빅데이터로 선회한 케이스들

- EMC/VMWare: 빅데이터 시스템들의 가상화라는 측면에서 접근

*  Serengeti 프로젝트

빅데이터공부하기 15. 빅데이터관련회사

이번 빅데이터공부하기도 빅데이터의 문제점에 대해서 알아보도록 하겠습니다. ^-^

곧 태풍 너구리가 온다네요.. 피해가 없었음 좋겠어요 ㅠㅠ

빅데이터 공부를 시작해볼까용~~

 <-- 빅데이터 오프라인교육안내입니다. ^-^

       문의는 02-6925-4760으로 연락주세요!

빅데이터문제점

ROI

- MySQL 한대로 충분한지 먼저 생각.

   하둡을 기반으로한 빅데이터시스템은 시간, 돈, 노력이 모두 많이 들어간다는

   점을 명심.

- 정말로 스케일이 문제가 될 경우에만 고려.

- 고려시에도 처음부터 하드웨어부터 다 준비하지말고 클라우드 서비스를 이용

   해서 가능성 타진.

오픈소스로 구성된 시스템

- 요즘 빅데이터시스템들은 대부분 오픈소스 프로젝트들을 여러개 모아서 만들어

   지고 있음.

- 이는 문제와 함께 기회를 제공

* 보안 문제 가능성(완전 공개된 소스)

* 오픈소스는 괸장히 빠르게 진화하며 없어지기도함

(호환성 이슈, 버전간 충돌 이슈 등등)

* 많은 스타트업들이 버전관리와 서포트를 해주는 배포판제공

빅데이터공부하기 14-1 빅데이터문제점

빅데이터공부하기 14번째글입니다.

빅데이터공부는 오랜만이네요 ^^ 앞으로는 빅데이터도 열씨미 공부할ㄲㅔ요

빅데이터문제점

빅데이터공부하기 14. 빅데이터문제점

C#공부하기 23 객체지향 - 재이용성 [상속, 다형성]

C#공부하기 21은 객체, 22번째글은 캡슐화까지 공부하였고, 23은 재이용성에 대해서 공부해 봅시다.^^

객체지향

 - 재이용성: 상속, 다형성

클래스의 개층구조

- 추상과 구체화

상위 개념과 하위 개념

다음글에서도 재이용성 [상속, 다형성] 에대해서 공부해보겠습니다. ^^

C#공부하기 23 객체지향 - 재이용성 [상속, 다형성]

C#공부하기 22-3 setter / getter

C#공부하기 22-3번째 글입니다.

객체지향 - 캡슐화에 대해서 계속 공부중이죠 ^-^

이번글은 setter / getter 에 대해서 배우도록 할께요 !!

오늘하루도 ~~ 즐!!! 겁게 ♪♪♬

setter / getter

- 단순한 데이터도 멤버 함수를 사용하여 읽고 쓴다.

- 귀찮아도 public으로 하고

   싶은 멤버의 수만 Set / Get

   짝으로

   * seter/geter를 호출함.

   * ↑accessor라고 부르기도

      합니다.

 - 이유

   * 내부사양이 바뀌어도

      외부 사양을 바꾸지 않기

      위해

   * 다형성을 위해

     (나중에 다형성도 배워요 )

C#에서는 "속성"이라는 accessor용의 구문이 따로 있습니다.

C#공부하기 22-3 setter / getter

C#공부하기 객체지향[캡슐화]에대해서 계속 공부합니다. ^^

C#공부하기 22번째 글부터는 객체지향 -> 캡슐화에 대해서 계속 공부하고있으니 참고해주세요~

이번글은 Private와 Public에 대해서 공부해볼꺼에요 ^^

Private

- 클래스 밖에서 안으로 보임(은폐, 캡슐화)

Public

- 클래스 밖에서도 보임 (공개)

클래스정의 입장

<----- 밖에서 안보임

list를 잘못 사용하면 잘못됨

리스트의 길이 num을 함부로

변경하면 잘못됨

<--- 밖에서 보임

 Add등을 통해서 list나 num의

 내용을 변경

글래스 사용 입장

<--- 에러

<--- OK

지침

- 데이터 감춤 (private)

- 처리를 보인다 (public)

C#공부하기 22-2 Private와 Public

지난글에 이어 이번 C#공부하기 글도 객체지향 -> 캡슐화에 대해서 공부해볼께요 ^^

객체지향 -> 캡슐화 : 개발자와 이용자, 구현감춤

자신도 사용자가 된다!!

- 일단 프로그램을 짠 후에는 자신도 사용자가 됩니다.

* 내용(구현)은 감춘다

* 인터페이스가 되는 처리만 클래스밖에 공개

C#오프라인 교육알아보기~~ ---> 클릭을 눌러주세요 ^-^