빅데이터 하둡 프로그래밍 교육과정 ]웍플로우 실행 및 관리

빅데이터 하둡 프로그래밍 교육과정 ]웍플로우 실행 및 관리

빅데이터 하둡 프로그래밍 교육과정 ]웍플로우 실행 및 관리

실무개발자를위한 실무교육 전문교육센터학원

www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

웍플로우 실행 및 관리

■ 계속적으로 발생하는 데이터의 처리를 위해 처리작업들의 실행이 자동화되어야함

  - 복잡한 ETL 작업의 경우 수십개의 job들의 chaining이 필요.

  - 주기적으로 혹은 데이터가 특정 위치에 생기면 특정 Job을 시작하게 하는 메커니즘이 필요. 즉, 웍플로우 관리가 필요.

■ 몇개의 오픈소스 프로젝트가 널리쓰임.

  - Oozie, Cascading, Azkaban, Hamake, ...