Hive (하이브) 설치 및 환경구축하기

Hive 설치 및 환경구축하기

 

하이브는 Hive QL이라는 SQL 베이스의 쿼리를 제공해서  사용자가 쿼리를 좀더 쉽게 날리게 하고 데이터 분석과 요약을 좀더 쉽게 한다.

 

 

 

hive 다운로드 및 설치

 

우선 하이브를 사용하려면 하둡이 반드시 설치되어 있어야한다.

설치되어있지 않다면..

Hadoop(하둡) 설치 및 시작 따라하기

 

 

아파치 하이브 다운로드 사이트에 접속하여 다운로드 받는다.

http://www.apache.org/dyn/closer.cgi/hive/

 

 

hive-0.10.0 버전이 불완전하다는 말을 주변에서 듣고 (확실치는 않음)

hive-0.9.0 버전 다운로드 함.

 

 

리눅스 (우분투) 하둡 설치폴더로 이동 후 압축해제 한다.

 

# tar -xzvf hive-0.9.0-bin.tar.gz

 

 

압축 푼 것으로 설치는 완료되었으며,

설정을 해주어야 한다.

 

hive 환경설정

 

먼저 환경변수 등록을 해준다.

하둡 path 를 설정했던 .profile 로 이동

 

 

HIVE_HOME 경로 및 PATH 를 등록한다.

등록 저장 후 source .profile 로 적용

 

Hive에서 사용할 HDFS 에 디렉토리 구성하기

 

hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse hadoop fs -chmod g+w /tmp hadoop fs -chmod g+w /user/hive/warehouse

 

 

 

hive 실행하기

 

 

hive 실행하려면 하둡이 실행되어 있어야 한다.

 

$ $HADOOP_HOME/bin/start-all.sh

 

 

hadoop 이 정상적으로 실행되면 다음 명령어로 hive를 실행한다.

 

$ $HIVE_HOME/bin/hive hive>

 

hive가 정상 작동 하는지 확인

 

hive> show tables;

 

 

OK 가 떨어지면 제대로 설치 된것이다.

 

 

 

mysql metastore 설정

 

 

mysql 을 metastore 로 설정하려면 당연히 mysql 이 설치되어 있어야한다.

 

 

mysql 서비스를 시작한다.

 

# service mysql start

 

루트 사용자의 암호를 설정한다.

 

mysql> grant all privileges on *.* to hiveid@localhost identified by 'hivepass' with grant option

 

위 명령어의 hiveid 는 사용자 아이디이며, hivepass 는 사용자 패스워드이다.

다음으로 metastore로 사용할 db를 생성한다.

기존 db를 사용하려면 안해도 무방하다.

 

mysql> create database hive;

 

HIVE_HOME/conf 에 hive-site.xml 을 생성 및 작성한다.

 

<property>   <name>hive.metastore.local</name>   <value>true</value> </property> <property>   <name>javax.jdo.option.ConnectionURL</name>   <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>   <description>JDBC connect string for a JDBC metastore</description> </property> <property>   <name>javax.jdo.option.ConnectionDriverName</name>   <value>com.mysql.jdbc.Driver</value>   <description>Driver class name for a JDBC metastore</description> </property> <property>   <name>javax.jdo.option.ConnectionUserName</name>   <value>hiveid</value>   <description>username to use against metastore database</description> </property> <property>   <name>javax.jdo.option.ConnectionPassword</name>   <value>hivepass</value>   <description>password to use against metastore database</description> </property>

 

 

mysql connector 다운로드 http://www.mysql.com/downloads/connector/j/

다운로드한 mysql-connector-java-5.1.22.tar.gz 를 HIVE_HOME/lib/ 에 복사한다. (버전은 다를 수 있음)

mysql-connector-java-5.1.22.tar.gz 압축해제 하여 bin 폴더안에 있는  mysql-connector-java-5.1.22-bin.jar 파일만 넣으면 된다.

 

제대로 연동되었는지 다시한번 하이브 실행 확인한다.

위의 'hive 실행하기' 다시한번~

정상적으로 작동하면 mysql metastore 설정이 완료된것이다.

 

하이브 쿼리 샘플 테스트는 링크 포스팅 참조~

Hive 사용법 및 쿼리 샘플코드