본문 바로가기

hive

(19)
아파치 피닉스(Apache Phoenix) 설치 1. 하둡 , Hbase는 기본적으로 설치되어 있다고 가정, https://phoenix.apache.org/ 에서 파일 다운로드 2. 압축해제3. Hbase 정지4. phoenix-버전-HBase-1.1-server.jar 을 HBASE lib 폴더에 저장5. phoenix-core-버전-HBase-1.1.jar 을 HBASE lib 폴더에 저장6. Hbase 재시작 확인절차 1. ./sqlline.py 172.168.0.47:2181:/hbase - System Table은 피닉스가 처음 실행할때 자동으로 생성 2. Hbase shell - Hbase Shell에도 똑같이 시스템 폴더들이 생긴것을 알수 있음
Hbase + Hive 연동 HDP(Hortonworks data Platform)을 이용할때는 external Table을 선언하면 바로 동작하던것 같은데, 일반 Apache Hadoop에서는 약간 다르기 보다는 귀찮은게 많은것 같습니다. Hadoop 2.7.1, Hbase 1.1.1 , Hive 1.4.0을 기준으로 정리하면(각 컴포넌트들이 이미 설치되어 있다고 전제) 1. Hive로 필요한 Hbase 라이브러리 복사cp /HBASE_HOME/lib/hbase-client-x.x.x.jar /HIVE_HOME/lib/cp /HBASE_HOME/lib/hive-common-x.x.x.jar /HIVE_HOME/lib 2.Hive Shellcreate external table mytable(key string,c1 string,c..
hive web interface(hwi) 설치하기 생각해보면, hadoop이나, hbase는 web interface를 제공해서 중간 중간 제가 원하는 정보를 얻을수 있습니다. 물론 콘솔로도 얻을수 있으나, 예를들어 어떤 노드가 죽었나, 또는 region들이 제대로 분할되었나(hbase를 처음사용하다보니, 실제 분할되고 하는것들을 보고 싶었거든요) 그런데 hive는 웹인터페이스를 보고 싶었는데, 없다는것이 문제였습니다. 관련해서 검색해보니, 별도로 설정해서 hwi를 실행해야 하는것이였습니다. 일단 저의 환경은 다음과 같습니다.Hadoop 2.6.0Hbase 0.98.9zookeeper 3.4.6hive 0.14.0 출처 : https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface hive.hw..