본문 바로가기
반응형

Study/Bigdata66

[Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21.. HDP 가 정말로 좋지만, 요구 환경때문에, Apache Hbase를 사용하고 있습니다. (사실 몇몇 요구사항때문에 Hbase를 직접 컴파일하고 빌드한 상황이라, 바이너리를 받았으면 이런오류가 안생기실수도 있습니다) 참고로 제 환경은 Centos 6.6 64bit, Hbase 1.0.1.1 입니다. 방금전에 문제 겪은것에 대해 해결방법을 포스팅합니다 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu.. 2015. 8. 5.
Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions 일단 환경은 HortonWorks HDP 플랫폼 위입니다. Storm을 Kafaka의 Consumer로 Spout를 만드는데, 이게 오픈소스라 그런지는 몰라도 잔 버그가 많습니다. Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions 이런 당황스러운 오류가 Spout 쪽에서 날수가 있는데, 스택오버플로우에서는 버전을 맞추라느니, 뭐라느니, 그러는데 결론은 Kafka, Storm, Zookeeper Restart 한다음에 다시.. 2015. 6. 3.
Hbase Thrift Java Client Demo reference : https://svn.apache.org/repos/asf/hbase/branches/0.20_on_hadoop-0.18.3/src/examples/thrift/DemoClient.java package org.apache.hadoop.hbase.thrift; import java.io.UnsupportedEncodingException; import java.nio.ByteBuffer; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.security.PrivilegedExceptionActi.. 2015. 3. 9.
hive web interface(hwi) 설치하기 생각해보면, hadoop이나, hbase는 web interface를 제공해서 중간 중간 제가 원하는 정보를 얻을수 있습니다. 물론 콘솔로도 얻을수 있으나, 예를들어 어떤 노드가 죽었나, 또는 region들이 제대로 분할되었나(hbase를 처음사용하다보니, 실제 분할되고 하는것들을 보고 싶었거든요) 그런데 hive는 웹인터페이스를 보고 싶었는데, 없다는것이 문제였습니다. 관련해서 검색해보니, 별도로 설정해서 hwi를 실행해야 하는것이였습니다. 일단 저의 환경은 다음과 같습니다.Hadoop 2.6.0Hbase 0.98.9zookeeper 3.4.6hive 0.14.0 출처 : https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface hive.hw.. 2015. 2. 11.
Hbase, org.apache.hadoop.hbase.TableExistsException: hbase:namespace Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.TableExistsException: hbase:namespaceat org.apache.hadoop.hbase.master.handler.CreateTableHandler.prepare(CreateTableHandler.java:120)at org.apache.hadoop.hbase.master.TableNamespaceManager.createNamespaceTable(TableNamespaceManager.java:230)at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:85)a.. 2015. 2. 3.
Type mismatch in key from map: expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text 역시 구글, 타입을 지정안해서 나는 오류 였습니다.스택오버플로 짱 Add these 2 lines in your code :job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); You are using TextOutputFormat which emits LongWritable key and Text value by default, but you are emitting Text as key and IntWritabl.. 2014. 4. 10.
반응형