빅데이터 하둡 프로그래밍 교육과정] Agent

빅데이터 하둡 프로그래밍 교육과정] Agent

 

빅데이터 하둡 프로그래밍 교육과정] Agent

 

 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Agent
​

* Source
 - avro : Avro 클라이언트에서 전송하는 이벤트를 입력으로 사용,  Agent와 Agent를 연결해줄 때 유용
 - netcat : TCP로 라인 단위 수집
 - seq : 0부터 1씩 증가하는 EVENT 생성
 - exec : System Command를 수행하고 출력 내용을 수집
 - syslogtcp : System 로그를 입력으로 사용
 - spooldir : Spooling Directory 디렉토리에 새롭게 추가되는 파일을 데이터로 사용
 - thirft : Thrift 클라이언트에서 전송하는 이벤트를 입력으로 사용
 - jms : JMS 메시지 수집
 - Customize
​

*Channel
 - memory : Source에서 받은 이벤트를 Memory에 가지고 있는 구조  로, 간편하고 빠른 고성능(High Throughput)을 제공하지만 이벤트  유실 가능성이 있다. 즉, 프로세스가 비정상적으로 죽을 경우 데이  터가 유실될 수 있다.
 - jdbc : JDBC로 저장
 - file : JDBC와 마찬가지로 속도는 Memory기반에 비해 느리지만, 프  로세스가 비정상적으로 죽더라도 transactional하게 프로세스를 재  시작하여 재처리하여 이벤트 유실이 없는 것이 장점이 있다.
 - Customize

*Sink
 - null : 이벤트를 버림
 - logger : 테스트 또는 디버깅을 위한 로깅
 - avro : 다른 Avro 서버(Avro Source)로 이벤트 전달
 - hdfs : HDFS에 저장
 - hbase : HBase에 저장
 - elasticsearch : 이벤트를 변환해서 ElasticSearch에 저장
 - file_roll : 로컬 파일에 저장
 - thrift : 다른 Thrift 서버(Thrift Source)로 이벤트 전달
 - Customize