빅데이터 하둡 프로그래밍 교육과정 ]야후 검색팀의 예 (하둡 사용전)

빅데이터 하둡 프로그래밍 교육과정 ]야후 검색팀의 예 (하둡 사용전)

빅데이터 하둡 프로그래밍 교육과정 ]야후 검색팀의 예 (하둡 사용전)

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

야후 검색팀의 예 (하둡 사용전)

■ 크롤,색인,그래프 생성을 위해서 조금씩 다른 자체개발 소프트웨어들을 사용.

  - 중복투자 및 유지보수의 문제. 

     * 세가지 모두 일종의 분산처리시스템으로 자기가 하는 일에 최적화되었지만 많은 부분에 공통점들이 존재. 

  - 야후밖에서 전혀 쓸모가 없음

    * 개인의 스킬셋 제약 및 Hiring 관점에서도 문제.

■ 검색로그의 경우 용량 문제로 데이터의 전수조사 불가. 

  - 마이닝시 샘플링에 의존. 

  - 데이터 액세스 자체가 쉽지 않았음. 

     * 이것 역시 복잡한 승인 프로세스로 시간이 걸렸음