it개발자스터디공간

WPF 공부하기 26 - 기본 연산자

이번 주제는 WPF - 기본연산자 입니다.

더운 날씨 건강 조심하시고 이 글로 많은 분들이 많은 정보를 얻길 바랍니다.

혼자 공부하기 힘드시다면? 오프라인 교육장은 밑에 그림을 클릭해주시면 확인하실 수 있습니다 ^^

기본 연산자

WPF 공부하기 25 - C#의 연산자 목록

이번글은 WPF - C#의 연산자 목록입니다. 많이 참고하시고 좋은 결과 가져가시길 바랍니다 ^^

C#의 연산자 목록

더 많은 WPF 프로그래밍에 대한 정보를 얻고 싶다면? 밑에 이미지를 클릭해 주세요 ^^

WPF 공부하기 24 - 상수

이번글은 WPF - 상수에 대해 설명드리겠습니다. 많은 도움 되시길 바랍니다.

더 많은 공부를 원하시면 위에 공부하기 버튼을 눌러주세요 ^^

빅데이터 공부하기25 . Data 읽기, Data 쓰기

빅데이터 공부하기 25번째 글입니다.^^

이번글도 열심히 공부해볼까요?!

Data 읽기

1. 클라이언트는 먼저 NameNode와 통신하여 해당 파일의 데이터 블록 위치 리스트 (DataNode와 블록ID)를 얻음

2. 클라이언트는 DataNode들과 직접 통신하여 블록데이터들을 차례대로 읽어들임.

Data 쓰기

1. 클라이언트는 HDFS 파일을 생성하고자 하면 먼저 로컬파일시스템에 파일을 생성해야함

2. 파일 생성이 끝나거나 크기가 데이터블록의 크기보다 커지면 이때 NameNode를 컨택. NameNode는 파일생성요청을 메모리메타정보와 EditLog에 저장.

3. NameNode는 Replication factor만큼의 DataNode와 블럭 ID를 클라이언트에게 전송.

4. 클라이언트는 이중 첫번째 DataNode에 데이터를 쓰면서 replication이 벌어져야 하는 나머지 DataNode들의 리스트를 같이 넘긴다.

5. 첫번째 DataNode는 데이터를 복제받으면서 두번째 DataNode로 복제를 시작한다.

6. 마지막 DataNode에서 블록의 복제가 완료되면 이 시점에서 해당 데이터블록의 생성은 완료된 것으로 간주됨. 이 프로세스를 Replication pipelining이라함.

7. 클라이언트에서 파일에 써야할 데이터(데이터의 크기가 블록크기가 되거나 파일생성이 끝날때까지 기다림)가 더 있으면 다시 3으로 가서 반복.

빅데이터 오프라인교육은 아래를 클릭!!

↓↓

빅데이터 공부하기25 . Data 읽기, Data 쓰기

빅데이터 공부하기 24-1 NameNode

지난시간에 이어 빅데이터 공부하기 24-1 에서도

NameNode에 대하여 공부하도록 하겠습니다.

IT온라인 공부는 ORACLEJAVA  IT공부하자 티스토리에서~ ♪♪

IT오프라인 공부는 오라클자바교육센터에서 ~~♬

NameNode

- A single point of failure.
    * NameNode는 메타정보(HDFS namespace와 파일블록맵핑)를 메모리에

      유지하며 또한 모든 HDFS 클라이언트와의 트랜잭션을 EditLog라는 파일에

      수록함(문제시 복구목적).

    * Checkpoint: 이 작업이 시작되면 NameNode의 메타정보를 FsImage라는

      디스크파일로 쓰고 EditLog 파일을 리셋함. 

        - Secondary Name Node는 주기적으로 이 checkpoint를 요청하고 FsImage

          를 백업. 하지만 NameNode에 문제가 생길 경우 이를 바로 대체할 수 있는

          것은 아님.

    * Hadoop HA (High Availability)의 주요 개선 포인트 (Introduction of standby

      NameNode) - Hadoop 0.23 or Hadoop 2.0

- 세이프 모드 (Safe Mode)
    * 처음 스타트업시 NameNode는 마지막으로 저장된 FsImage를 읽어들이고

      다음으로 EditLog의 내용을 리플레이한다. 

    * 그 다음으로 클러스터내의 DataNode들로부터 상태와 보유블럭리스트를

      받아서 자신이 갖고 있는 정보와 맞춰본 다음에 replication factor들이 보장

      되고 있는지 확인하는데 이 과정 중에는 외부 요청에 반응하지 않음. 이 모드를

      세이프 모드라고 함.

빅데이터 공부하기 24-1 NameNode

빅데이터공부하기 24번째 글은  NameNode에 대해 공부하겠습니다.

오늘하루도 기분 좋은하루보내시고~~ 열공해봅시다 ~! >0<

NameNode

HDFS마다 단 하나만 존재(Hadoop 1.X나 이전버전)

HDFS의 마스터 노드로 저장되는 각종파일들의 메타정보를 관리하고 실제 데이터는 다수의 Data Node에 분산 저장

Data Node들의 계속적으로 통신 (Hearbeat)

HDFS의 내용은 앞글에서 공부했어요 ^^

확인하실분은 아래를 눌러주세요.

 빅데이터공부하기 23. HDFS 개요

빅데이터공부하기 24. NameNode

이번 23번째 빅데이터공부하기의 글은 HDFS의 개요입니다. ^^

빅데이터공부는 " ORACLEJAVA IT공부하자 " 티스토리 많이 애용해주세요

HDFS 개요

- 2003년 구글랩에서 발표된 The Google Filesystem이란 논문을 바탕으로 작성된 파일시스템.

- 이 시스템의 특징

* 파일을 여러개의 블록으로 나눠 저장 (기본 64MB)

* 하드웨어 고장에 견고

- 한 데이터블록을 보통 3군데 (Replication factor)에 저장하며 저장시 같은 rack에 있는 서버들에 두 개에 저장하고 다른 하나는 다른 rack에 있는 서버에 저장

* Write Once ReadMany

- Append작업은 가능하지만 내용을 바꾸기 위해서는 파일 전체를 새로 써야한다.

* 스트리밍 데이터 액세스

-  배치잡에 최적화

* MapReduce나 HBase와 같은 시스템의 기본구성블록으로 사용

* 계층구조의 파일시스템을 제공

빅데이터공부하기 23. HDFS 개요

빅데이터공부하기 22. 하둡공부

22번째 글입니다. 빅데이터공부하기 많은 애용바랍니다. ^^

빅데이터 온라인으로 공부가 힘드실 경우는 오프라인 강좌를

오라클자바교육센터에서 운영하고 있습니다.

 참고하시어 많은 신청바랍니다. ^---^

하둡 사용회사들

- http://wiki.apache.org/hadoop/PoweredBy/

- 대표적 회사들

국외: Facebook, Twitter, EBay, Linkedin, Yahoo, ...

국내: NHN, NCsoft, SDS

추세는 점점 빅데이터 하둡을 사용하고 있는 회사가 늘고 있습니다.

하둡의 문제점

- 너무나도 많은 버전과 부실한 서포트

* 3rd Party 배포판이 인기가 높은 이유..

- 셋업과 사용이 쉽지 않음

* 비용 / 시간이 들며 맞는 스킬셋을 가진 사람의 고용도 쉽지 않음.

- 하둡에 맞지 않는 작업도 존재

* 소규모이거나 대용량의 데이터처리가 필요하지 않다면 하둡으로 옮겨갈 이유가 없음..