My/works41 이클립스를 이용한 하둡 hadoop hdfs 파일전송 (샘플 소스) 이클립스를 이용하여 하둡 hdfs 파일전송을 하는 방법을 알아보자 먼저 하둡 hdfs 파일전송 프로젝트를 작성해야한다. 1. 이클립스 프로젝트 생성 2. Dependency jar 파일 추가 (하단 이미지 참조) 3. 소스 작성 샘플소스 >> import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSCli.. 2013. 2. 25. 하둡 hadoop datanode 동작 오류 해결 하둡을 실행하였는데 DataNode 가 실행되지 않았다. #jps 4825 NameNode 5391 TaskTracker 5242 JobTracker 5477 Jps 5140 SecondaryNameNode 이렇게 DataNode 없이 실행될 경우 일단 log 파일을 확인하자. 하둡폴더에서 # cat /log/hadoop-root-datanode-XXX.log 2013-02-11 12:27:29,615 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data: namenode namespaceID = 301052954; datan.. 2013. 2. 21. 자바 (JAVA) 설치 및 환경변수 설정하기 (쉬운설명) 자바 (JAVA) 설치 및 환경변수 설정해보자 자바 설치하기 오라클 사이트에 접속하여 자바를 다운로드 받는다. http://www.oracle.com/technetwork/java/javase/downloads/index.html 최신버전의 자바를 다운로드 받기위해 위 그림의 'Java Platform (JDK) DOWNLOAD' 버튼을 클릭한다. 이동 된 페이지에서 'Accept License Agreement' 를 클릭하고, 하단의 다운로드 리스트 중 자기PC의 운영체제(OS)에 맞는 링크를 클릭한다. 윈도우즈를 가장 많이 사용하는데 32비트 운영체제이면 'Windows x86' 을 64비트 운영체제이면 'Windows x64' 를 다운받으면 된다. 자신의 PC가 몇 비트 운영체제인지 모른다면 '내컴.. 2013. 2. 6. Hive 사용법 및 쿼리 샘플코드 Hive 사용법 및 쿼리 샘플코드 hive 에서 사용하는 query 정리 지금까지 주로사용하는 것 위주로 정리했으며 지속적으로 업데이트 될 수 있음. hive 환경구축 안되있는 경우는~ Hive (하이브) 설치 및 환경구축하기 Hive 실행 $ $HIVE_HOME/bin/hive Hive 종료 hive> exit; 테이블 확인 show tables; bigmark.csv 파일의 데이터를 저장하는 테이블 "bigmark"을 정의하기 테이블 생성 hive> CREATE TABLE bigmark (id int, mark STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; 테이블에 파일삽입 hive> LOAD DA.. 2013. 1. 28. 이클립스에서 (java) hive thrift 연동하여 실행하기 이클립스에서 Hive Thrift 연동하기 이클립스에서 하이브 Thrift 연동하는 방법에 대해 알아보자. 관련 내용에대해 포스팅된 곳을 찾아보았으나 찾기가 쉽지 않아 직접 찾아낸 방법을 포스팅한다. 아침부터 적으려니 배고픔.. 하이브 설치가 안되어있다면 설치 먼저~ Hive (하이브) 설치 및 환경구축하기 이클립스에서 하이브 연동하기 이클립스에서 자바 프로젝트를 생성한 후 라이브러리를 추가한다. 생성된 프로젝트를 우클릭하여 'properties' 클릭 'Java Build Path - Libraries' 에서 'Add External JARs...' 클릭하여 다음 라이브러리를 추가한다. 추가해야할 라이브러리 목록 hive-jdbc-버전.jar hive-exec-버전.jar hive-metastore-버.. 2013. 1. 28. Hive (하이브) 설치 및 환경구축하기 Hive 설치 및 환경구축하기 하이브는 Hive QL이라는 SQL 베이스의 쿼리를 제공해서 사용자가 쿼리를 좀더 쉽게 날리게 하고 데이터 분석과 요약을 좀더 쉽게 한다. hive 다운로드 및 설치 우선 하이브를 사용하려면 하둡이 반드시 설치되어 있어야한다. 설치되어있지 않다면.. Hadoop(하둡) 설치 및 시작 따라하기 아파치 하이브 다운로드 사이트에 접속하여 다운로드 받는다. http://www.apache.org/dyn/closer.cgi/hive/ hive-0.10.0 버전이 불완전하다는 말을 주변에서 듣고 (확실치는 않음) hive-0.9.0 버전 다운로드 함. 리눅스 (우분투) 하둡 설치폴더로 이동 후 압축해제 한다. # tar -xzvf hive-0.9.0-bin.tar.gz 압축 푼 것으로.. 2013. 1. 24. 이전 1 2 3 4 5 6 7 다음
