빅데이터공부하기 38 MAPREDUCE 프로그램의 기본골격

벌써 8월이... 3일밖에 안남았어요 !!

시간은 왕왕빠름

시간은 우리를 기다려주지를 않죠 ㅠㅠ

 

이번글은 MAPREDUCE 프로그램의 기본 골격에 대해서 공부하겠습니다.

 

mapred vs. mapreduce

 

두 종류의 MapReduce 라이브러리

* org.apache.hadoop.mapred(옛날버전)

* org.apache.hadoop.mapreduce(새버전)

 

mapreduce가 새로 제공되는 라이브러리이고 mapred는 점진적으로 phase out

이후 모든 예제에서 mapreduce를 사용

 

MapReduce 템플릿 (1)

 

import org.apache.hadoop.mapreduce.*;

 

public static class Reduce extends Reducer<K2, V2, K3, V3>

{

K3 k3 = new K3();

V3 v3 = new V3();

public void reduce(K2 key, lterable<V2> values, Context contes)

{

....

context.write(k3, v3)

}

}

 

 

 

MapReduce 템플릿 (2)

 

public static void main(String[] args) throws Exception

{

Configuration conf=new Conflguration();

Job job = new Job(conf, "wordcount")

// job 인스턴스를 갖고 각종 초기화 작업

...

// 최종적으로 실행 !

job.waitForCompletion(true);

}

 

 

 다음글에서 또만나요~~ ^^