Hbase + Hive 연동

HDP(Hortonworks data Platform)을 이용할때는 external Table을 선언하면 바로 동작하던것 같은데, 일반 Apache Hadoop에서는 약간 다르기 보다는 귀찮은게 많은것 같습니다.

Hadoop 2.7.1, Hbase 1.1.1 , Hive 1.4.0을 기준으로 정리하면

(각 컴포넌트들이 이미 설치되어 있다고 전제)

1. Hive로 필요한 Hbase 라이브러리 복사

cp /HBASE_HOME/lib/hbase-client-x.x.x.jar /HIVE_HOME/lib/

cp /HBASE_HOME/lib/hive-common-x.x.x.jar /HIVE_HOME/lib

2.Hive Shell

create external table mytable(key string,c1 string,c2 string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping" = ":key,cf1:c1,cf1:c2") tblproperties("hbase.table.name"="mytable");

연결 끝 !