본문 바로가기
반응형

Study327

Spark, SBT, libthrift 0.5.0-1 not found twitter scrooge 를 spark scala 코드를 만지고 있는데, 다음과 같은 오류가 발생한다면 build.sbt에 아래를 추가하시면 될것 같습니다. resolvers ++= Seq( "Twitter Maven Repo" at "http://maven.twttr.com" ) 잘은 모르겟지만 libthrift 저게 maven centeral repo에는 업다고 하네요 2017. 4. 22.
[HIVE]create table metastore move trash error HDP 만 사용하다가, HIVE를 직접 설치하려니..헷갈리네요 hive를 세팅하고 create table 하려고 하는데 metastore에 생성하려는 테이블이 trash 가 계속 된다면.. 메타스토어 DB가 제대로 세팅안된것입니다.. ... 분명히 예전에 mysql을 쓴다면,, 그 안에 들어가서 source 로 쿼리문으로 안에 테이블 구성했던것 같은데.. 지금은 shematool 이라고 제공하네요.. 혹시 create table 하는데 metasotre에서 만들려는 테이블을 trash로 지우는 현상이 일어나면서 테이블이 만들어지지 않는다면 metastore db 다시 한번 세팅해보세요 ~ 2017. 4. 19.
Tomcat8 catalina MessageDispatch15Interceptor class not found Tomcat8 catalina MessageDispatch15Interceptor class not found Tomcat 으로 클러스터링을 하는데, 왜인지 모르게 클러스터를 찾지 못하는 문제가 발생합니다 제가 사용하는 버전은 8.5.12 버전입니다. 그런데 8.5.12 에서 8.0.42 버전으로 다운그레이드 하니 저런 문제는 없어졌네요 . 아마 버전업 하면서 클래스명이 바뀐것 같은데, 이것때문에 시간 엄청 썻네요 2017. 3. 22.
Python FLASK 로 HTTPS 기반 API 만들기 사실, 언제부터인가 Python을 쓰다보니,,그래도 가장 편했던 언어는 JAVA 언어였는데, 요즘 너무 어렵네요 여러여러 관점에서 다른 원격지에서 생성되는(로그든 어떤거든) 데이터를 수집하기 위해서 API를 서버가 필요한 상황이였습니다(저 같은경우는 사용자 브라우저에서 생성된 로그 데이터의 경우 입니다.) 일단 제가 사용하는 조합은 Python 2.7에서(Pyenv 로 3으로 올려서 사용했는데, 중간에 소스가 꼬여버리는 바람에) + Flask + Guicorn + Supervisor.d를 이렇게 사용하고 있습니다. 주변 케이스를 찾아보면 현 해당 케이스에서는 Node.js 를 기반으로 긍정적으로 평가하는것 같지만, 굳이 이걸 사용하는건 Python 이 편하기 때문에 먼저 SSL 키를 확보합니다.(확보되어.. 2017. 3. 18.
What is Microsoft Azure? EN-CNTNT-Infographic-VisualguidetoAzure.pdf Microsoft Azure is a flexible,open, and secure public cloud built for business. Access abroad collection of integrated services that accommodate many languages and operating systems. Use world-class tools to accelerate a wide variety of app development and delivery capabilities. 가끔씩, Azure를 이용해서 자원을 생성해서 사용하고 있습니다. 오늘 메일박스를 보니, 예쁜그림을 하나 보내왔네요. 아마도 마소 홈.. 2016. 12. 7.
MongoDB Hive 연동[FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 해결법] 혹시나 저 같은 이슈를 겪고 있는 분들을 Hbase와 Hive를 연동할수 있는것처럼 MongoDB 를 Hive에 연동하여 사용할수 있습니다 https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage 이곳에서 라이브러리를 받아서 사용하시면, 되십니다. mongo-hadoop-core.2.0.1.jar mongo-hadoop-hive-2.0.1.jar mongo-java-driver-3.2.1.jar FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 추가적으로 다음 에러는 mongo-java-driver-3.2.1.jar .. 2016. 11. 4.
반응형

티스토리툴바