빅데이터공부하기 39 MAIN 함수 코드 설명

이번 빅데이터공부하기 39번째글은 MAIN함수코드 설명입니다.

 

먼저 Main 함수부터 공부해보겠습니다. ^^

 

main 함수

 

Configuration과 Job 인스턴스 생성

 

두 인스턴스를 이용해서 수행하려는 잡의 환경설정

- mapper, rduecer 클래스지정

- 입렵/출력포맷 지정

- 입력파일위치, 출력디렉토리 지정

둘다 HDFS(혹은 AWS의 S3도 가능)

 

여러개 잡들의 chaining도 가능

 

---

public static void main(String[] args) throws Exception

{

Configuration conf = new Configuration();

Job job = new Job(conf, "wordcount");

 

 

job.setJarByClass(WordCount.class);

job.setMapperClass(Map.class);

job.setReducerClass(Reduce.class);

 

 

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(LongWritable.class);

 

job.setInputFormatClass(Text.class);

job.setOutputFormatClass(TextOutputFormat.class);

 

 

 

FileInoutFormat.addlnputPath(job, new Path(args[0]));

FileOutputFormat.setOutputPath(job, new Path(args[1]));

 

 

job.watiForCompletion(true);

}

 

여!기!까!지

다음 빅데이터 글에서 또만나요 ^^