it개발자스터디공간

JAVA 프로그래밍언어 만큼이나 많이 사용하는

파이썬교육입문교육과정을 오라클자바교육센터에서 

2025월 2월 알찬 커리큘럼으로 개강을 앞두고 있습니다.

오라클자바교육센터에서는 국비지원을 통하여 

무료로 교육을 받을 수 있습니다. 

교육비 무료지원도 받고,

파이썬 프로그래밍언어도 배울 수 있는기회!

파이썬의 입문자교육은 기본기를 탄탄하게 쌓은 후

프로그래밍언어특성을 이해할 수 있도록 

응용소프트웨어도 구현 및 1:1강사님의

피드백을 활용하여 구체적인 교육이 가능하다는 점! 

오라클자바교육센터의 파이썬입문교육은

비전공자/전공자 모두가 함께 배울 수 있는 장점이 있습니다.

초보자도 쉽게 배울 수 있고, 자체 교재를 통하여 

더욱 깊이 있고 효율적인 학습을 제공받을 수 있습니다. 

또한 파이썬언어를 배워서 어디에 사용되고 있는지

다양한 분야등에 접목할 수 있는 실무위주의 

교육커리큘럼! 이거정말 중요합니다 

이론을 배우는것도 중요하지만 

프로그래밍언어도 결국 반복학습을 통하여 

익숙하게 만드는것이 중요합니다.

프로그래밍언어를 단순히 이론적으로 배우는것이아닌

실사용을 할 수 있을정도로 역량을 쌓을 수 있는 

국비지원 교육프로그램들이 많은 개강을 앞두고 있습니다!

파이썬입문과정을 통하여, 프로그래밍언어의 시작과,

더 나은 실력향상 교육을 통한 기초/실무/고급과정까지

한번에 오라클자바교육센터를 통해 배울 수 있습니다.

www.oraclejava.co.kr 

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

SequenceFileInputFormat

SequenceFile 포맷의 파일을 읽어들일때 사용하는 포맷
SequenceFile: 하둡 고유의 바이내리 키/밸류기반 압축 지원 파일포맷.  키와 밸류는 어떤 타입이건 가능.
특히 여러 하둡잡들을 체인닝하여 작업을 할때 굉장히 유용 (퍼포먼스 측면).
퍼포먼스를 고려하면 반드시 사용해야할 입력포맷

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

KeyValueTextInputFormat

TextInputFormat과 흡사
텍스트라인에서 키와 밸류가 tab문자를 사이에 두고 나뉘었다고 가정. 키와 밸류는 모두 Text 타입.
tab이외의 다른 문자를 delimiter로 사용시
Configuration의 “key.value.separator.in.input.line” 프로퍼티를 해당 문자로 설정

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

입력포맷 클래스들

TextInputFormat
디폴트 입력포맷클래스는 TextInputFormat
FileInputFormat에서 계승됨.
텍스트파일 대상이며 .gz로 압축된 것도 처리.
라인 하나 (\n, \r)가 하나의 입력레코드
키: 라인의 파일 오프셋.  LongWritable 타입
밸류: 라인 전체 스트링.  Text 타입
입력포맷클래스의 변경은 Job클래스의 setInputFormatClass로 지정

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Mapper갯수의 결정방식

새 MapReduce 라이브러리부터는 Mapper의 갯수를 MapReduce 프레임웍이 결정
setNumMapTasks 메소드는 이제 no-op.
고려대상은 입력파일의 수와 크기, 입력파일포맷, HDFS의 블록크기 등의 다양한 변수들.
가장 중요한 것은 입력파일포맷.
입력파일들은 결국 Input Split이란 블록 (가능하면 HDFS블록의 크기만큼)으로 나눠지며 각 Input Split마다 mapper가 하나씩  할당.
즉 Input Split의 수 == mapper의 수

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Mapper 출력타입

만일 mapper의 출력타입이 reducer의 출력타입과 다른 경우에는 Job 클래스의 다음 두 메소드 호출필요
setMapOutputKeyClass
setMapOutputValueClass

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Mapper 입력지정

 
다음 두 메소드에 의해 결정
Job클래스의 setInputFormatClass (입력포맷)
FileInputFormat클래스의 addInputPath 혹은 addInputPaths (입력파일위치)
setInputFormatClass로 지정된 클래스가 addInputPath로 지정된 입력파일들을 어떻게 읽어들일지 결정한다.
addInputPath나 addInputPaths 모두 여러번 호출가능하며 디렉토리를 지정할 경우 디렉토리 아래 모든 파일들이 입력파일이 된다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.

Identity Mapper​

 
모든 mapper의 선조가 되는 Mapper 클래스가 바로 Identity Mapper.
입력으로 들어온 키,밸류를 그대로 출력으로 내보냄
protected void map(KEYIN key, VALUEIN value, Context context) throws IOException, InterruptedException {
    context.write((KEYOUT) key, (VALUEOUT) value);
 }
예) 이미 키가 존재하는 입력파일들을 같은 키를 갖는 레코드들끼리 모아서 처리해야할 경우 사용가능. 즉 reducer만 필요.
job.setMapperClass(Mapper.class);

실무개발자를위한 실무교육 전문교육센터학원
www.oraclejava.co.kr에 오시면 보다 다양한 강좌를 보실 수 있습니다.