hadoop (하둡) 이클립스에서 생성한 jar 파일 실행하기

이클립스로 (maven) 생성한 jar 파일을 hadoop 으로 실행해보자

hadoop 설치 및 프로젝트 jar 생성은 이전 포스팅을 참고하시길

 

Hadoop(하둡) 설치 및 시작 따라하기

메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명

Hadoop (하둡) wordcount 예제 소스

 

 

그럼 바로 시작 고고~

 

 

jar파일 실행 준비

 

 

 

 

'ExWordCount.jar' 파일을 하둡으로 실행해 보도록 하겠다.

먼저 실행을 위한 준비작업을 해야한다.

 

알FTP 를 이용하여(등 다른방법 알아서^^;) ExWordCount.jar 파일을 하둡이 설치된 리눅스 단으로 복사한다.

이동 방법은 굳이 설명하지 않겠다.

 

필요하신분은 받으시라고 올려둔다.

직접 만들어서 실행해 보는데 의미가 있긴하지만..

ExWordCount.jar

패키지명 : kr.bigmark.wordcount

프로젝트명 : WordCount

 

 

 

PuTTY 를 이용하여 하둡폴더가 설치된 곳으로 이동하여 ExWordCount.jar 파일이 잘있는지 확인한다.(안녕?)

위 그림에 'ExWordCount.jar 파일이 직접 생성한 jar 파일이다.

 

ExWordCount 를 실행하기 전에

wordcount 에 필요한 파일들을 먼저 만들어 보겠다.

 

# vi test01 test hadoop hadoop mywork goodjob # vi test02 hadoop easy hadoop puhaha test

 

이렇게 두개의 파일을 만들고

input 폴더를 생성하여 안에 test01, test02 를 넣어준다.

 

# mkdir input/ # mv test01 input/ # mv test02 input/

 

 

# ls input/

입력하여 'input' 폴더안에 test01, test02 파일이 정상적으로 들어있는지 확인하자

 

 

 

 

 

 

jar 파일 실행 및 결과확인

 

 

준비가 모두 완료되었으면 실행을 해보자

 

# hadoop jar ExWordCount.jar kr.bigmark.wordcount.WordCount input/ output/

 

(hadoop jar jar파일명 패키지명.프로젝트명 입력폴더 출력폴더) 순으로 입력한다.

 

 

실행이 완료되면 출력폴더인 'output' 폴더에 _SUCCESS, part-00000 파일이 생성되어 있을 것이다.

그럼 결과를 확인해보자.

 

# cat output/*

 

 

 

결과를 보면 input 폴더에 있는 파일들의 wordcount (단어갯수) 를 파악하여 출력하는 것을 확인할 수 있다.

 

 

하이브에 대해 궁금하다면 다음 포스팅 참고하세요~

Hive (하이브) 설치 및 환경구축하기

이클립스에서 (java) hive thrift 연동하여 실행하기

Hive 사용법 및 쿼리 샘플코드