본문 바로가기

hadoop8

이클립스를 이용한 하둡 hadoop hdfs 파일전송 (샘플 소스) 이클립스를 이용하여 하둡 hdfs 파일전송을 하는 방법을 알아보자 먼저 하둡 hdfs 파일전송 프로젝트를 작성해야한다. 1. 이클립스 프로젝트 생성 2. Dependency jar 파일 추가 (하단 이미지 참조) 3. 소스 작성 샘플소스 >> import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSCli.. 2013. 2. 25.
하둡 hadoop datanode 동작 오류 해결 하둡을 실행하였는데 DataNode 가 실행되지 않았다. #jps 4825 NameNode 5391 TaskTracker 5242 JobTracker 5477 Jps 5140 SecondaryNameNode 이렇게 DataNode 없이 실행될 경우 일단 log 파일을 확인하자. 하둡폴더에서 # cat /log/hadoop-root-datanode-XXX.log 2013-02-11 12:27:29,615 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data: namenode namespaceID = 301052954; datan.. 2013. 2. 21.
이클립스에서 (java) hive thrift 연동하여 실행하기 이클립스에서 Hive Thrift 연동하기 이클립스에서 하이브 Thrift 연동하는 방법에 대해 알아보자. 관련 내용에대해 포스팅된 곳을 찾아보았으나 찾기가 쉽지 않아 직접 찾아낸 방법을 포스팅한다. 아침부터 적으려니 배고픔.. 하이브 설치가 안되어있다면 설치 먼저~ Hive (하이브) 설치 및 환경구축하기 이클립스에서 하이브 연동하기 이클립스에서 자바 프로젝트를 생성한 후 라이브러리를 추가한다. 생성된 프로젝트를 우클릭하여 'properties' 클릭 'Java Build Path - Libraries' 에서 'Add External JARs...' 클릭하여 다음 라이브러리를 추가한다. 추가해야할 라이브러리 목록 hive-jdbc-버전.jar hive-exec-버전.jar hive-metastore-버.. 2013. 1. 28.
Hive (하이브) 설치 및 환경구축하기 Hive 설치 및 환경구축하기 하이브는 Hive QL이라는 SQL 베이스의 쿼리를 제공해서 사용자가 쿼리를 좀더 쉽게 날리게 하고 데이터 분석과 요약을 좀더 쉽게 한다. hive 다운로드 및 설치 우선 하이브를 사용하려면 하둡이 반드시 설치되어 있어야한다. 설치되어있지 않다면.. Hadoop(하둡) 설치 및 시작 따라하기 아파치 하이브 다운로드 사이트에 접속하여 다운로드 받는다. http://www.apache.org/dyn/closer.cgi/hive/ hive-0.10.0 버전이 불완전하다는 말을 주변에서 듣고 (확실치는 않음) hive-0.9.0 버전 다운로드 함. 리눅스 (우분투) 하둡 설치폴더로 이동 후 압축해제 한다. # tar -xzvf hive-0.9.0-bin.tar.gz 압축 푼 것으로.. 2013. 1. 24.
hadoop (하둡) 이클립스에서 생성한 jar 파일 실행하기 이클립스로 (maven) 생성한 jar 파일을 hadoop 으로 실행해보자 hadoop 설치 및 프로젝트 jar 생성은 이전 포스팅을 참고하시길 Hadoop(하둡) 설치 및 시작 따라하기 메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명 Hadoop (하둡) wordcount 예제 소스 그럼 바로 시작 고고~ jar파일 실행 준비 'ExWordCount.jar' 파일을 하둡으로 실행해 보도록 하겠다. 먼저 실행을 위한 준비작업을 해야한다. 알FTP 를 이용하여(등 다른방법 알아서^^;) ExWordCount.jar 파일을 하둡이 설치된 리눅스 단으로 복사한다. 이동 방법은 굳이 설명하지 않겠다. 필요하신분은 받으시라고 올려둔다. 직접 만들어서 실행해 보는데 의미가 있긴하지만.. 패키지명 : kr... 2013. 1. 22.
Hadoop (하둡) wordcount 예제 소스 Hadoop wordcount 소스 작성 Hadoop (하둡) wordcount 예제 소스를 작성해보자. 본 포스팅에서는 이클립스에서 maven 프로젝트를 생성하여 작성하는 것으로 maven 설치가 안되어있다면 이전포스팅을 참고하기 바람. 메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명 하둡설치도 안되있다면.. Hadoop(하둡) 설치 및 시작 따라하기 메이븐으로 하둡 프로젝트 생성하기 이클립스 상단메뉴에서 'File - New - Other' 를 클릭하여 프로젝트 생성창을 띄운 뒤 'Maven - Maven Project'를 선택한다. Next 클릭~ 'Create a simple project' 에 체크를 하고 Next 버튼을 누른다. Group Id 와 Artifact Id 을 입력한다. .. 2013. 1. 22.