본문 바로가기

works43

이클립스에서 (java) hive thrift 연동하여 실행하기 이클립스에서 Hive Thrift 연동하기 이클립스에서 하이브 Thrift 연동하는 방법에 대해 알아보자. 관련 내용에대해 포스팅된 곳을 찾아보았으나 찾기가 쉽지 않아 직접 찾아낸 방법을 포스팅한다. 아침부터 적으려니 배고픔.. 하이브 설치가 안되어있다면 설치 먼저~ Hive (하이브) 설치 및 환경구축하기 이클립스에서 하이브 연동하기 이클립스에서 자바 프로젝트를 생성한 후 라이브러리를 추가한다. 생성된 프로젝트를 우클릭하여 'properties' 클릭 'Java Build Path - Libraries' 에서 'Add External JARs...' 클릭하여 다음 라이브러리를 추가한다. 추가해야할 라이브러리 목록 hive-jdbc-버전.jar hive-exec-버전.jar hive-metastore-버.. 2013. 1. 28.
Hive (하이브) 설치 및 환경구축하기 Hive 설치 및 환경구축하기 하이브는 Hive QL이라는 SQL 베이스의 쿼리를 제공해서 사용자가 쿼리를 좀더 쉽게 날리게 하고 데이터 분석과 요약을 좀더 쉽게 한다. hive 다운로드 및 설치 우선 하이브를 사용하려면 하둡이 반드시 설치되어 있어야한다. 설치되어있지 않다면.. Hadoop(하둡) 설치 및 시작 따라하기 아파치 하이브 다운로드 사이트에 접속하여 다운로드 받는다. http://www.apache.org/dyn/closer.cgi/hive/ hive-0.10.0 버전이 불완전하다는 말을 주변에서 듣고 (확실치는 않음) hive-0.9.0 버전 다운로드 함. 리눅스 (우분투) 하둡 설치폴더로 이동 후 압축해제 한다. # tar -xzvf hive-0.9.0-bin.tar.gz 압축 푼 것으로.. 2013. 1. 24.
hadoop (하둡) 이클립스에서 생성한 jar 파일 실행하기 이클립스로 (maven) 생성한 jar 파일을 hadoop 으로 실행해보자 hadoop 설치 및 프로젝트 jar 생성은 이전 포스팅을 참고하시길 Hadoop(하둡) 설치 및 시작 따라하기 메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명 Hadoop (하둡) wordcount 예제 소스 그럼 바로 시작 고고~ jar파일 실행 준비 'ExWordCount.jar' 파일을 하둡으로 실행해 보도록 하겠다. 먼저 실행을 위한 준비작업을 해야한다. 알FTP 를 이용하여(등 다른방법 알아서^^;) ExWordCount.jar 파일을 하둡이 설치된 리눅스 단으로 복사한다. 이동 방법은 굳이 설명하지 않겠다. 필요하신분은 받으시라고 올려둔다. 직접 만들어서 실행해 보는데 의미가 있긴하지만.. 패키지명 : kr... 2013. 1. 22.
Hadoop (하둡) wordcount 예제 소스 Hadoop wordcount 소스 작성 Hadoop (하둡) wordcount 예제 소스를 작성해보자. 본 포스팅에서는 이클립스에서 maven 프로젝트를 생성하여 작성하는 것으로 maven 설치가 안되어있다면 이전포스팅을 참고하기 바람. 메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명 하둡설치도 안되있다면.. Hadoop(하둡) 설치 및 시작 따라하기 메이븐으로 하둡 프로젝트 생성하기 이클립스 상단메뉴에서 'File - New - Other' 를 클릭하여 프로젝트 생성창을 띄운 뒤 'Maven - Maven Project'를 선택한다. Next 클릭~ 'Create a simple project' 에 체크를 하고 Next 버튼을 누른다. Group Id 와 Artifact Id 을 입력한다. .. 2013. 1. 22.
메이븐 (maven) 설치 및 이클립스 연동하기 쉬운설명 메이븐 (maven) 설치 및 이클립스 연동하기 이번에 하둡 프로젝트를 하게 되면서 이클립스 메이븐 (maven) 을 사용하게 되었다. 메이븐 설치 방법은 어렵지 않으나 한 사이트에 깔끔하게 정리된곳을 찾기 힘들어 포스팅 해본다. 그전에 하둡 설치가 안되어있다면.. Hadoop(하둡) 설치 및 시작 따라하기 메이븐 다운로드 및 설치하기 메이븐은 다음 사이트에서 다운로드 받을 수 있다. http://maven.apache.org/download.html 다운로드 페이지에서 Maven 3.0.4 (Binary zip) - apache-maven-3.0.4-bin.zip 을 다운 받는다. (현재 최신버전) 다운받은 zip 파일을 원하는 경로로 이동하여 압축해제 한다. 환경변수 등록 및 확인 다음으로 maven.. 2013. 1. 21.
Hadoop(하둡) 설치 및 시작 따라하기 Hadoop 설치 및 시작하기 이번에 회사에서 하둡 설치를 하게 되었다. 서버나 DB관련 지식은 거의 없지만, 모르면 배우면서 해야지뭐... 정리한다는 개념으로 포스팅하는 것이니 주관적인 해석을 100% 믿지는 마시길 Hadoop이란 '여러 컴퓨터로 구성된 클러스터를 이용하여 빅데이터를 처리하기 위한 분산처리 프레임웍' 이라고 한다. Hadoop이 빅데이터 처리에 적합한 이유는 대용량 파일을 저장할 수 있는 분산 파일 시스템을 제공하고, 클러스터 구성을 통해 멀티 노드로 부하를 분산시켜 처리하며, 장비를 증가시킬수록 성능이 Linear에 가깝게 향상시킬 수 있기 때문이라고 한다. 자, 이론은 머리아프니 실습으로 바로 들어가보자. Hadoop 의 구축 방법으로는 단독 작업 모드 (Stand-Alone Op.. 2013. 1. 18.

티스토리툴바