[빅데이터공부하기 6-1] 야후 검색팀의 예

[빅데이터공부하기 6-1] 야후 검색팀의 예

 

빅데이터공부하기 6-1번째 글입니다.

지난번글에서는 하둡 사용전과 하둡도입 초반에 대해서 글을 올렸는데요 ..

그 글을 원하시는 분들은 아래 그림을 클릭해주세요!

 

 

 

 

그럼 이번글은 야후검색팀의 예 - 하둡성숙기와, 몇가지 교훈에 대해서 글을 올리겠습니다.

 

하둡성숙기

- 몇개의 하둡 성공 스토리 이후 하둡팀이 전사적인 조직으로 확대(Platform그룹)

2011년 HortonWorks라는 회사로 스핀오프.

 

- 미디어 팀들을 포함한 거의 모든 팀들이 사용하기 시작

* 하둡이 일종의 corporate-wide 데이터 저장소로 변신

-> Web of object 프로젝트

 

* 4개의 하둡 클러스터 존재.

조직별, 리서치용 vs 프로덕션용

 

 

---

 

 

몇가지 교훈들에 대해 알아보겠습니다.

 

- 대용량 데이터 중앙수집의 어려움

* 빅데이터 처리를 위해서는 그 빅데이터를 한군데로 모으는 것이 시작인데 여러가지 어려운이 존재

* 소프트웨어 변경이 필요하며 여러 유관팀의 도움이 필요합니다.

 

- 성공스토리의 필요성

* 성공스토리가 있어야 보다 더 많은 팀의 adoption이나 매니지먼트의 지원을 끌어낼 수 있습니다.

 

- ROL를 고려

* 데이터가있다고 무작정 그걸 처리하려고 하기 보다는 무엇을 할 것인지 그게 리턴이 있을지 먼저 고려해야합니다. 빅데이터 처리 시스템을 만드는 것은 많은 시간과 비용이 들어간다는 점을 명심해야 합니다.

 

- 데이터 접근 민주화의 중요성

* 그전에는 샘플조차 얻기 힘들던 데이터들이 접근도 되고 그걸 쉽게 처리 할 수 있는 시스템까지 제공되자 크고 작은 이노베이션들이 쏟아져 나옴

 

 

 

★ 빅데이터 관련 오프라인 강좌보러가기  ↑↑ ★

행복한 하루보내세요 ^^

 

 

[빅데이터공부하기 6-1] 야후 검색팀의 예