it개발자스터디공간

Join & OrderBy

from p in a

join q in a2 on p.X equals q.X

OrderBy

var b=

from p in a    orderby p.X, p.Y descending, p.Z ascending

select p;

GroupBy

GroupBy연산자는(그룹화 연산자:grouping)는 키를 지정하여 값이 동일한 것을 그룹화하는 것이다.

var b=

from p in a2

group p.W by p.X

foreach(var p in b)

{

Console.Write("{0}->(",p.Key);

foreach(var q in p)

{

Console.Write("{0}", q);

}

 Console.Write(")＼n");

}

C#공부하기 26 ○ Join & OrderBy ● GroupBy ○

Select구와 Where구를 C#공부하기24번째글에서 공부하겠습니다. ^^

날은 많이 흐리지만 마음은 밝았으면 좋겠어요 ^--^

Select구

varb =    

from p in a

select p.X;        // x만 추출

foreach(var p in b)

{

Console.Write("{0}, p")

}

var b= a.Select(p => p.X);

Where구

Where연산자는 제한(restriction)을 주는 연산자이다.

var b=

from p in a

where p.X>2 // 이 조건에 만족하는 것만 조회된다.

select p;

foreach(var p in b)

{

Console.Write("{0}＼n", p)

}

C#공부하기 24 ★ Select구 / Where구★

이번글은 C#공부하기 !!

지금 C#은 LINQ에 대해서 공부하고 있습니다. 이번글은 From구와 메서드 교환법칙에 대해서 공부를 해볼텐데요.

지금 태풍이 또 북상하고 있다고합니다. 우리나라에 피해가 없었으면 합니다. ㅠㅠ

그럼 C#공부하기 출발!!

From구

from구-> LINQ는 from구로 시작합니다.

var b=

from p in a

selet p.X;

여기서 p는 컬렉션 변수라고 생각하면 됩니다.

메서드호출 형식으로 변환

var b= a.Select(p=>p.x);

* a,b,p는 임의의 이름입니다.

메서드 교환 법칙

var b=    

form p in a                  =>         a

where p.Y<12             =>        .Where(p => p.Y <12)

select p.x;                  =>        .Select(p ==> p.X)

C#공부하기 24-3 From구/ 메서드교환법칙

빅데이터 공부하기 30번째 글입니다.  오늘 밖에는 굉장히 더운데요. ㅠㅠ 지금 수박이 무지생각나네요..

다들 더위 조심하시구요.. 감기도 조심하세요..(여름감기가 더 지독한것같아요..)

Scheduler

- 기본적으로 MapReduce 프레임웍은 FIFO 스케쥴링을 지원

* Job제출시 job의 우선순위를 지정해줄 수 있지만 실행중인 job의

   pre-emption은 불가

* Job하나가 전체 클러스터의 리소스를 독점가능

- Capacity스케쥴러

* 야후에서 만든 스케쥴러 여러큐를 만들어 큐별로 쿼터 제공

- Fair 스케쥴러

* 페이스북에서 만든 스케쥴러. 사용자별로 쿼터 제공

- 스케쥴러는 플러그인 형태라 커스텀 스케쥴러의 개발이 용이

빅데이터 공부하기 30 ◆ Scheduler

빅데이터공부하기 29-2 ★ Job & Tasks

빅데이터공부하기 Job & Tasks에 대해 공부하겠습니다. ^^

Job & Tasks

- 보통 사용자가 실행하고자 하는 MapReduce프로그램을 칭함

   Job Tracker가 관리

- 보통 Job은 하나이상의 mapper와 하나이상의 reducer로 구성되며 이 mapper

   들과 reducer들을 task라고 부름.

* 각각의 task는 Task Tracker에 의해 관리되며 각 task는 별개의 JVM에서

   실행.

* 실패한 task는 Job Tracker에 의해 다른 노드에서 재시도됨.

* Speculative Excution : Job Tracker는 다른 태스크들이 실행이 현저하게 느린

   태스크들을 proactively하게 다른 TaskTracker들에서 중복실행하게 할 수

   있음. mapred-site.xml의 mapred.map.tasks.speculative.execution 피라미터

   로 조절

- 하나이상의 Job들이 엮어서 실제로 원하는 일을 수행하게 되는 경우가 대부분

   (Hadoop Job Chaining). 이러한 웍플로우 관리가 굉장히 중요(Cascading Ooaie

    등등..)

빅데이터공부하기 29-2 ★ Job & Tasks

지난글에 이어 빅데이터공부하기 29번째 -1 Job Tracker에 대해서 공부하겠습니다. ^^

포항 불빛축제가 오늘부터 시작이래요!!!

다들 한번 알아보세요 ^-^ 저는... 갈수없지만 여러분들이라도 가셔서 보고오시면 좋겠어요..

저는 그럼 Job Tracker을 이어서 공부하겠습니다.

Job Tracker

- Task Tracker는 주기적으로 Job Tracker에 상태보고 (heartbeat)를 함

- "나 살아있소"

- 실행중인 태스크의 상태 (카운터 정보 포함)

* mapper의 경우 이는 입력 레코드들의 처리 퍼센트를 알림

* reducer의 경우 조금 더 복잡

- 셔플링이 끝나면 33%

- 소팅이 끝나면 66%

- 그 이후부터는 reducer의 입력 레코드 처리 퍼센트

* 0.34+66%

- 놀고있는 태스크 슬롯의 유무

- 만일 heartbeat이 지정된 시간동안 안 오면 해당 서버는 죽은 것으로 간주되고 그 서버에서 돌던 태스크들은 다른 Task Tracker에서 재수행된다.

빅데이터공부하기 29-1 ▶ Job Tracker

빅데이터공부하기 29번째 시간입니다.

이번글은 Job Tracker에 대해서 글을 올리겠습니다. ^^

저녁에는 글을 처음올리는것 같네요..

오늘하루 다들 잘 보내셨나요?? 저는 오늘 너무더워서 힘들었어요..ㅠㅠ

내일도..덥겠죠.. 하하.. 공부를해볼까요.. ㅋㅋ

Job Tracker

- MapReduce 프레임웍의 마스터로 한 클러스터에 하나만 존재

- 프레임웍에서 실행되는 모든 Job들의 실행을 관리

- 사용자로부터 하둡 잡 실행 요청 (하둡코드가 들어간 jar파일, 입력데이터 위치, 출력 데이터 위치 등등)을 받아 클러스터내의 Task Tracker들로 나눠서 Job을 실행

* 정확히 이야기하면 사용자의 하둡 잡 실행 요청은 Job스케쥴러로 들어가고 Job Tracker는 Scheduler로 부터 다음 실행할 Job을 얻는다.

- 태스크들이 종료될때까지 관리하며 만일 특정 태스크가 실패하면 다른 Task Tracker에 그 태스크를 다시 실행

- 보통 Job Tracker는 HDFS의 DataNode와 같은 서버에 위치

- Task Tracker 역시 HDFS의 DataNode들과 같이 공존

- 하둡 셀커맨드나 웹 인터페이스를 Job/Tasks들의 상태를 볼 수 있음.

NameNode와 마찬가지로 A Single Point of Failure. 무슨 이유로건 Job Tracker가 재시작되면 모든 Job들도 재시작되어야함. NameNode와 마찬가지로 이 문제는 Hadoop0.23이나 Hadoop 2.0에서 개선됨

 빅데이터공부하기 29 ★ Job Tracker

빅데이터공부하기 28 ◆MapReduce 프레임웍◆

빅데이터공부하기 28번째글입니다.

오늘부터.. 무지 덥다네요 ㅠㅠ

다들 더위조심하시고 자외선 차단제 꼭 바르고 다니세요^^

MapReduce 프레임웍

2004년 구글랩에서 발표한 MapReduce: Simplified Data Processing on Large Cluster란 논물을 바탕으로 작성된 분산처리시스템

MapReduce 프레임웍은 일종의 대규모 분산 Merge-Sorting 프레임웍

특징

- 데이터가 있는 서버로 코드를 전송

- 데이터프로세싱을 키/밸류 데이터셋의 변환으로 진행(mapper와 reducer)

- Shar Nothing 아키텍쳐

* MapReduce 프레임웍에서 동작하는 mapper들끼리

      그리고 reducer들끼리는 서로에 대한 의존성없이 동작

          * 프레임웍이 mapper와 reducer의 중간에서 셔플링/소팅을

해주기에 가능                                               

- Data Locality

* Mapper를 실행한 서버를 찾을 때 입력파일블럭을 이미 갖고 있는

서버나 그 서버와 같은 Rack에 있는 서버를 찾으려고 시도..

빅데이터공부하기 28 ◆MapReduce 프레임웍◆