반응형 Java30 apache phoenix org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user jdbc SpringBoot 로 Phoenix를 이용해서 HBASE로 Query를 날렸는데 다음과 같은 Exception을 발견하였습니다. org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user jdbc 이 문제는 JDBC 연결상의 문제라기 보다는, Spark로 Phoenix 사용하는 코드에도 동일하게 적용될수 있는 사항입니다 만약 HDP 계열을 사용하시다면, CDH, MapR도 비슷할것 같은데, 현재 제 환경은 HDP 이기 떄문에 Ranger에서 HBASE에 테이블 접근권한을 주시면 됩니다. 2018. 12. 12. 파이썬으로 병렬처리 하기 3 마지막장 (Parallel Python) 오늘 심각한 고민을 했습니다 ... 자바는 그냥 갔다 버려야되나.. Parallel Python 이거 써보고 할말을 잃었습니다. 생각보다 너무 쉽고. Parallel Python을 사용하기 위해서는 대략 다음 절차를 수행하시면 됩니다. 연산을 하려는 노드, Master노드에 Parallel Python 설치(http://www.parallelpython.com/) [현재 저같은경우 Python 2.7을 사용하고 있습니다.] 그다음 연산하려는 모든 노드에서 네트웍 대역이 같다면, ppserver.py -a (이 의미는 실제 코드 설명할때 설명0 그리고 마스터 노드에서 병렬처리할 코드를 작업하시면 됩니다. 큰틀은 다음과 같습니다. 가장 중요한 부분은 ppserver= ppservers=("*",) 입니다. .. 2016. 1. 2. 파이썬으로 병렬처리 하기 1 (Parallel Python) 몇가지 처리해야할 작업이 있습니다. 몇 가지 케이스에 대해 계속 테스트를 해보고 있지만. 이걸 Hadoop MapReduce로 처리하는것은 정말 성능이 안나오더군요. 흔히 말한는 반복적인 작업... 이걸 Storm, 또는 Spark를 통해 해결해 보고 싶지만. 현재 사정상 신규아키텍처를 도입하는데 문제가 있어서... 물론,,, 현재 환경은 HDP(Hortonworks Data Platform)2.3 이기 때문에, 설치하거나 실행하는데, 문제는 아닙니다. Storm 같은경우 Topology를 만들면 되겠지만.. 약간 제가 생각하는 작업에는 불리할것 같고.. Spark쪽은 아직 제가 지식이 부족해서 시간대비 성과가 부족할것 같은 생각 때문입니다. 물론, 전 아직까지는 언어중에 Java가 좋지만, 요즘 왠만한.. 2016. 1. 2. JAVA 기반 형태소 분석기 http://kkma.snu.ac.kr/ 꼬꼬마 형태소 분석기 http://www.shineware.co.kr/, http://shineware.tistory.com/entry/KOMORAN-ver-24 KoMoRan 형태소 분석기 2015. 3. 13. Hbase Thrift Java Client Demo reference : https://svn.apache.org/repos/asf/hbase/branches/0.20_on_hadoop-0.18.3/src/examples/thrift/DemoClient.java package org.apache.hadoop.hbase.thrift; import java.io.UnsupportedEncodingException; import java.nio.ByteBuffer; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.security.PrivilegedExceptionActi.. 2015. 3. 9. 아파치 커먼스(Apache Commons) DButils 예제1 최근에 학교에서 이런저런것을 진행하면서 자바로 무엇인가 만들때는, 쌩으로 짜지 않고 최대한 라이브러리를 이용하려고 하고 있습니다.(일딴 검증되었으니까,.?,, 제가 짜면 괜히 느려질것 같은 그런 문제점도..) 물론 JVM위에서 돌아가기때문에 C언어 같은 네이티브에 가까운 속도의 문제를 기대하는건 아니지만. (사실은 어떻게 하다보니.. 자바를 쓰다보니까.. 익숙해져서요..) 보통의 자바책의 맨 뒷장(예를 들어 학교 학부과정에서 쓸만한 책들,, 정말 래퍼런스 책말고..)에 보면 보통 가장 많이 나오는것중 하나가 MySQL을 이용한 프로그램 예제들입니다. Colored By Color Scripter™123456789101112131415161718192021222324252627282930313233impo.. 2014. 5. 24. 이전 1 2 3 4 5 다음 반응형