본문 바로가기

전체 글

 (866)
HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: 서버간 시간차이때문에 발생하는 오류입니다. 서버간 시간이 제대로 동기화 되었는지 확인해보셔야 됩니다. 또는 NTP 데몬을 계속 켜놔서 시간을 맞추는 방법도 있습니다.
아파치(Apache) 암바리(Ambari)2.2.1 Rest API(Service Stop and Start) Apache Ambari를 사용하다보면, 암바리 자체를 이용해서 하둡 클러스터를 관리할수도 있지만. 떄로는 필요한 부분에 대하여 커스터마이징하거나, 또는 관리의 편의성을 위해 별도의 앱을 만들어 쓸 수도 있습니다. 다음은 암바리의 컴포넌트를 API를 이용해서 시작 및 중지하는 방법입니다. curl -u USER:PASS -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Stop '"$1"' via REST"}, "Body": {"ServiceInfo": {"state": "INSTALLED"}}}' http://HOST/api/v1/clusters/CLUSTER/services/COMPONENT curl -u USER:PASS ..
HIVE : Error applying authorization policy on hive configuration: java.net.ConnectException: Call From ems2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.a.. java.lang.RuntimeException: Error applying authorization policy on hive configuration: java.net.ConnectException: Call From HOST2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at org.apache.hive.service.cli.CLIService.init(CLIService.java:114) at org.apache.hive.ser..
HUE make install ERROR [FFI_DEFAULT_ABI] In file included from c/cffi1_module.c:3, from c/_cffi_backend.c:6366:c/realize_c_type.c: In function ‘realize_c_type_or_func’:c/realize_c_type.c:577: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)c/_cffi_backend.c: In function ‘init_cffi_backend’:c/_cffi_backend.c:6458: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)error: command 'gcc' failed with exit status..
Ambari를 이용한 HDP(Hortonworks Data Platform ) 설치 사용하는 입장에 따라 다르지만, 직접 Hadoop을 받아서 설정하는 방법도 있지만, HDP(물론 무료!)를 이용해서 필요한 환경을 구축하는 방법도 있습니다. 제 사례를 들어보면 HDFS 부터 YARN,HBase, zookeeper,Hive까지 설치하는데 몇시간이 걸린다면,(물론 스크립트로 만들수도 있찌만) Ambari를 이용해서 HDP를 이용하면 원하는 환경은 바로 구성이 됩니다. 좀더 자세한 설명은 hortonworks.com/hdp/ 와 호튼웍스 공식 문서를 통해서 확인하실수 있습니다. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0-Win/bk_installing_hdp_for_windows/bk_installing_hdp_for_windows..
hbase cannot find an existing table / hbase table already exists (zookeeper) 2016/03/08 - [Study/--Hadoop Eco(Apache/HDP)] - hbase table already exists 어제 관련된 몇가지 조치를 하다가 HDFS 내의 HBASE를 날렸는데오 존재하는 테이블이라 나와서 여러가지를 해보았는데, 결론은 Zookeeper에 Table남아있어서 생긴 결과였습니다. 외국 해외포럼에서 찾아보니 좀비 테이블이라고 지칭하는데, 이걸 제거하는 방법은 Zookeeper Server 접속하며서 Hbase 노드에 있는 Table a목록중에 해당 테이블을 제거 하면 됩니다. 이번에 HBASE 쓰면서 느낀건.. 엄청 잘깨진다..
hbase table already exists 지금 상황은 Hbase가 잘못되어서 다시 설치하려는 케이스입니다. HDFS 안에 잇는 Hbase를 지웠는데 테이블을 생성하려고 할때 테이블이 존재한다면, zookeeper 내부에 있는 Table 정보도 지워주셔야 됩니다. 올바른건지 모르겠는데, 아마 다른 방법이 있을것 같은데,, 시간이 없다보니 zookeeper 내부에서 rmr /hbase 하고 hbase 들어가면 주키퍼에 /hbase 가 없다고 나올겁니다.. 저는 이상태에서 콘솔상에서 hbase hbck -fix를 하고 hbase shell로 다시 들어가니 다시 잘되네요
Hbase 백업 및 복구 (Backup & Restore) 현재 상황이 외부인터넷이 연결된 클러스터에서 개발을 하고 Hbase에 들어있는 내용을 클라이언트의 폐쇠된 인터넷으로 클러스터 데이터를 옮기는 작업을 하고 있습니다. 다행은, 브릿지가 있어서 한대의 컴퓨터를 통해서 작업중이던 클러스터에 접근이 가능한 상황입니다 MySQL와 같이 RDMBS에서는 DUMP 방법이 편하게 되어있는데, 참HBASE는 뭐같네요 하지만 Backup Resotre방법은 쉽습니다.. 단 현 이방법은 테이블 단위로 진행이 됩니다. bin/hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]]> 다음과 같은 명령어를 이용해서 테이블을 백업합니다. 그러면 백업된 내용은 HDFS로 나오게 됩니다. 이걸 옮기려고 하는 환경으로 옮깁니다.저같은경우는 폐..

티스토리툴바