Study/Bigdata (66) 썸네일형 리스트형 아파치 재플린 코드 자동완성(apache zeppelin code assistant) 몰랐는데, 재플린에서도 Code Assistant 기능이 있었네요.. 사용법 sc를 치고 CTRL 키를 누른상태에서 . 을 누르면 어시스턴스 기능이 나옵니다. 하 이렇게 좋은걸 모르고 있었다니... saveAsTable is not a member of org.apache.spark.sql.DataFrame 최근 클러스터 환경을 HDP(Hortonworks Data Platform) 2.5.3.0 -> HDP 2.6.1.0으로 올리면서 Spark 환경을 1.6 -> 2.1 로 바꾸었습니다. 사실 스칼라도 해보겠다고 두꺼운 Programming in Scala 3판도 샀지만..... 이미 초심은.. 그러던 도중 ... 분명히 Zepplien 에서 1.6에서 Parquet 파일을 Table로 저장할때, sqlContext.parquetFile("/tmp/extracted").sveAsTable("step01"); 로 했던것 같은데.. Spark를 2버전으로 바꾸니 saveAsTable is not a member of org.apache.spark.sql.DataFrame 다음과 같은 오류가 나네요 .. 아마 .. Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법 Spark에서 paruqet 압축 알고리즘을 찾다가. 분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데 sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 저는 이것이 동작하네요 sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 사용하는 화경은 HDP 2.5 Spark 1.6 입니다 스파크 & 스칼라 Parquet + Spark 조합을 사용하고 있습니다 SparkSQL로 처리하기가 애매한 상황이라. 직접 코딩좀 할일이 있어서 Scala를 만지는데 ... 1. sbt에 잘몰라서 설정하는데 고생2. sbt와 스칼라버전과 build.sbt 의 %,%% 차이를 몰라서 고생3. 책을 보고 있는데, 자바하고 문법이 비슷한것 같은데 이제는 파이썬에 너무 익숙해져서 스칼라가 눈에 잘 안들어오는... zeppelin 1.7.1 with hive interpreter 맨날 HDP 에 설치가 잘된 제플린을 사용하다보니,, 수동으로 제플린을 사용하려고 하니 HIVE를 사용하려고 하니 다음과 같은 오류가 발생합니다. Prefix not found. paragraph_1493986135331_752263516's Interpreter hive not foundorg.apache.zeppelin.interpreter.InterpreterException: paragraph_1493986135331_752263516's Interpreter hive not found at org.apache.zeppelin.notebook.Note.run(Note.java:605) at org.apache.zeppelin.socket.NotebookServer.persistAndExecuteS.. Spark, SBT, libthrift 0.5.0-1 not found twitter scrooge 를 spark scala 코드를 만지고 있는데, 다음과 같은 오류가 발생한다면 build.sbt에 아래를 추가하시면 될것 같습니다. resolvers ++= Seq( "Twitter Maven Repo" at "http://maven.twttr.com" ) 잘은 모르겟지만 libthrift 저게 maven centeral repo에는 업다고 하네요 [HIVE]create table metastore move trash error HDP 만 사용하다가, HIVE를 직접 설치하려니..헷갈리네요 hive를 세팅하고 create table 하려고 하는데 metastore에 생성하려는 테이블이 trash 가 계속 된다면.. 메타스토어 DB가 제대로 세팅안된것입니다.. ... 분명히 예전에 mysql을 쓴다면,, 그 안에 들어가서 source 로 쿼리문으로 안에 테이블 구성했던것 같은데.. 지금은 shematool 이라고 제공하네요.. 혹시 create table 하는데 metasotre에서 만들려는 테이블을 trash로 지우는 현상이 일어나면서 테이블이 만들어지지 않는다면 metastore db 다시 한번 세팅해보세요 ~ MongoDB Hive 연동[FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 해결법] 혹시나 저 같은 이슈를 겪고 있는 분들을 Hbase와 Hive를 연동할수 있는것처럼 MongoDB 를 Hive에 연동하여 사용할수 있습니다 https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage 이곳에서 라이브러리를 받아서 사용하시면, 되십니다. mongo-hadoop-core.2.0.1.jar mongo-hadoop-hive-2.0.1.jar mongo-java-driver-3.2.1.jar FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 추가적으로 다음 에러는 mongo-java-driver-3.2.1.jar .. 이전 1 2 3 4 5 6 ··· 9 다음
