Study (328) 썸네일형 리스트형 Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions 일단 환경은 HortonWorks HDP 플랫폼 위입니다. Storm을 Kafaka의 Consumer로 Spout를 만드는데, 이게 오픈소스라 그런지는 몰라도 잔 버그가 많습니다. Strom-kafka : ava.lang.RuntimeException:java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/topic_sdka/partitions 이런 당황스러운 오류가 Spout 쪽에서 날수가 있는데, 스택오버플로우에서는 버전을 맞추라느니, 뭐라느니, 그러는데 결론은 Kafka, Storm, Zookeeper Restart 한다음에 다시.. 우분투(Ubuntu ) mp4box 이용방법 오랜만에 설치해서 그런지 헷갈렸네요. 설치 apt-get install gpac 사용법 MP4Box (소문자인줄 알다가 뻘짓함.) Hbase Thrift Java Client Demo reference : https://svn.apache.org/repos/asf/hbase/branches/0.20_on_hadoop-0.18.3/src/examples/thrift/DemoClient.java package org.apache.hadoop.hbase.thrift; import java.io.UnsupportedEncodingException; import java.nio.ByteBuffer; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.security.PrivilegedExceptionActi.. Vim 색깔 설정(Debian vim color scheme) 개인적인 용도로 클라우드 서비스를 이용해서 리눅스 서버 한대를 이용하고 있습니다.아마존이나, 유클라우드 같은 서비스도 있지만 너무 가격이 비싸서 저 같은경우는 Ramnode(http://www.ramnode.com/)를 이용하고 있는데 최고 작은 사이즈의 인스턴스의 경우 1년에 15달러 정도 합니다.(사실 서버가 여러군데 있는데, 아시아에는 없습니다. 시애틀에 있는 서버를 이용중인데 속도가 좀 느리긴 합니다. 하지만 VPN과 개인적인 Proxy용으로 만든거라 나름 쓸만합니다. ) 여러 리눅스 배포판을 제공하는데, 지금은 데비안7을 사용하고 있습니다. 분명히도 우분투도 데비안 계열이였는데,Vim을 사용하니 흑백 화면만 나오는것입니다. 해결방법은 간단합니다. 데미안 위키에 간단하게 나와있네요. vimrc를 .. enableSharding may only be run against the admin database. db.runCommand({ "enablesharding" : "database" }){"ok" : 0,"errmsg" : "enableSharding may only be run against the admin database.","code" : 13} 만약 MongoDB를 사용하다 샤딩을 설정하려다 저런 오류를 발생하면, 지금 Admin 인지 확인해보세요 use admin 또는 Mongos host:port/admin Mongodb에서 도큐먼트(document) 생성시간 찾기 잠깐 일때문에 Mongodb를 보고 있었는데, 몽고디비 안에 document 생성시간을 알아야될 필요가 생겼습니다. 생각해보니 따로 date필드를 만들어 시간값을 넣은것도 아니고.... 찾아보니 document생성할때 기본적으로 생성되는 _id로 시간을 구할수 있다고 하네요 https://steveridout.github.io/mongo-object-time/ 사이트에가서 생성된 _id를 집어넣으면 자동적으로 시간으로 변환해줍니다. hive web interface(hwi) 설치하기 생각해보면, hadoop이나, hbase는 web interface를 제공해서 중간 중간 제가 원하는 정보를 얻을수 있습니다. 물론 콘솔로도 얻을수 있으나, 예를들어 어떤 노드가 죽었나, 또는 region들이 제대로 분할되었나(hbase를 처음사용하다보니, 실제 분할되고 하는것들을 보고 싶었거든요) 그런데 hive는 웹인터페이스를 보고 싶었는데, 없다는것이 문제였습니다. 관련해서 검색해보니, 별도로 설정해서 hwi를 실행해야 하는것이였습니다. 일단 저의 환경은 다음과 같습니다.Hadoop 2.6.0Hbase 0.98.9zookeeper 3.4.6hive 0.14.0 출처 : https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface hive.hw.. JSON 정렬, 유효성 검사 http://jsonlint.com/ JSON 정렬, 유효성 검사 이전 1 ··· 7 8 9 10 11 12 13 ··· 41 다음
