it개발자스터디공간

빅데이터 공부하기 51번째 글입니다. ^^

Job Tracker 웹 인터페이스에 대해서 공부하겠습니다.

1. Job Detail

2. Mapper Detail

이번글에서는 2가지로 알아보겠습니다.

1. Job Detail

Hadoop job_201208050100_0004 on localhost

이 잡은 모두 16개의 mapper와 1개의 reducer를 필요로 했음

2. Mapper Datail

Hadoop map task list for job_201208050110_0004 on localhost

hadoop job 커맨드

- hadoop job -kill Jpb_ID

* 주어진 Job ID의 Job의 실행을 중단. Job ID는 웹인터페이스나 커맨드라인에서 Job Client가 뿌려주는 메세지들에서 찾을 수 있다.

ex) 12/08/05 15:59:40 INFO mapred.JobClient: Running job: job_201208050100_0004

- hadoop job -list

* 실행중인 Job들의 리스트를 디스플레이

* all 옵션을 뒤에 붙이면 실행이 완료된 Job들의 리스트도 표시

Job 진행출력의 의미

빅데이터공부하기 49번째 글입니다. 이번글은 카운터에 대해서 알아보도록하겠습니다.

카운터

- Mapper나 reducer에서 특정 이벤트의 발생회수를 쉽게 카운트해 줄 수 있도록 해주는 메커니즘

- 카운터를 만드는 예

* context.getCounter("Stats", "1 character word").increment(1);

- context는 map이나 reduce의 세번째 인자

- "Stats" : 카운터 그룹의 이름

- "1 character word" : 카운터의 실제 이름

- 카운터의 최종값을 보려면

* 잡 실행시 터미널 화면이나 JobTracker의 웹인터페이스에서 확인가능

카운터 터미널 출력 예

카운터의 수

- 이런 카운팅은 mmapper나 reducer 각각에서 개별 발생

- TaskTracker는 주기적으로 JobTracker에게 hearbeat 메세지를 전송하는데 이때 각 태스크별로 발생한 카운터 정보를 같이 전송

- 너무 많은 카운터는 퍼포먼스에 영향을 줌

* 기본 최대값은 120이며 이를 넘어갈 경우 CountersExceededExceptions이 발생.

* 이를 증가시키려면 mapreduce.job.counters.limit 피라미터의 값을 증가

빅데이터공부하기 48번째글입니다.

오랜만에 빅데이터공부를하네요 ㅋㅋ

48번째는 출력포맷 클래스에대해서 공부할거에요.

1. TextOutputFormat

2. SequenceFileOutputFormat

두가지로 배워보겠습니다.

1. TextOutputFormat

FileOutputFormat에서 계승된 디폴트 출력 클래스

- 출력 클래스는 Job클래스의 setOutputFormatClass로 지정

TextInputFormat의 반대역할

- 텍스트파일이 만들어지면 출력레코드 하나가 한줄이 됩니다.

출력되는 키와 밸류 사이에 tab문자가 놓임

- keyValueTextOutputFormat은 존재하지 않음

키와 밸류의 타입은 아무 타입이나 가능

2. SequenceFileOutputFormat

SequenceFile 포맷의 파일을 쓸때 사용하는 포맷

- 특히 여러 하둡잡들을 체인닝하여 작업을 할 때 굉장히 유용 (퍼포먼스 측면)

퍼포먼스를 고려하면 반드시 사용해야할 출력포맷. setOutputCompressionType 메소드를 통해 압출 방식 지정가능 (BLICK, NONE, RECORD)

헤더의 존재로 인해 파일이 내용이 없는 경우에도 크기가 0가 아님

HTML5 공부하기  오늘은 문서구조에 대해서 보려합니다.

HTML의 구조를 코딩한것입니다. ^^

아직 CSS가 없어서 실행해도 이상하게 보일거에요 ^^ 차츰차츰 공부하자구요 ><

오호호 오늘은 목요일 ~~

내일은 불타는 금요일><

그러나 지금은 공부혀 ~~

ㅋㅋㅋ 빅데이터공부를 시작해볼까용 !!

Identity Reducer

- 모든 reducer의 선조가 되는 Reducer 클래스가 바로 Identity Reducer

- 입력으로 들어온 키, 밸류를 그대로 출력으로 내보냄

protected void reduce(KEYIN key, lterable<VALUEIN> values, Context context) throws IOException, InterryptedException

{

for(VALUCIN value: values)

{

context.write((KEYOUT)key, (VALUEOUT)value);

}

}

예를들어 같은 키를 갖는 레코드들끼리 모아서 처리해야할 필요없는 경우 사용가능

즉 mapper만 필요하면 생각보다 많이 사용된다.

- job.setReducerClass(Reducer.class);

빅데이터공부하기입니다.

오늘의 내용은 Reducer 클래스의 메소드들입니다.

오늘하루도 열공!!!

앞서 본 reduce메소드이외에도 다음 메소들들이 존재

- public void setup(Reducer.Context context)

* Reduce 메소드에서 필요리소스를 여기서 할당

- public void cleanup(Reducer.Context context)

* setup에서 할당한 리소스를 해제

- public void run(Reducer.Context context)

* Reducer의 기본구현은 다음과 같다.

public void run(Context context) throws IOException, InterruptedException

{

setep(context);

while(context.nextKey())

{

reduce(context.getCurrentkev(), context.getValues(), context);

}

cleanup(context);

}

월요일이에요 !!!

월요일은 열심히 한주를 계획해야하거늘...

ㅋㅋㅋ아직월요일이라니라는 생각이 더 많이 든다는..하핫!!

모두들 파이팅하세요^--^

오늘 빅데이터공부하기의 내용은 WritableComparator입니다.

WriableComparator

SortComparator와 GroupingComparator로 사용되는 디폴트 클래스

핵심이 되는 메소드는 두개의 WritableComparable을 인자로 받는 compare

public int compare(WritableComparable a, WritableComparable b)

{

return a.compareTo(b)

}

Tom White의 "Hadoop Definite Guide"