반응형 hdp15 아파치 재플린 코드 자동완성(apache zeppelin code assistant) 몰랐는데, 재플린에서도 Code Assistant 기능이 있었네요.. 사용법 sc를 치고 CTRL 키를 누른상태에서 . 을 누르면 어시스턴스 기능이 나옵니다. 하 이렇게 좋은걸 모르고 있었다니... 2017. 6. 6. saveAsTable is not a member of org.apache.spark.sql.DataFrame 최근 클러스터 환경을 HDP(Hortonworks Data Platform) 2.5.3.0 -> HDP 2.6.1.0으로 올리면서 Spark 환경을 1.6 -> 2.1 로 바꾸었습니다. 사실 스칼라도 해보겠다고 두꺼운 Programming in Scala 3판도 샀지만..... 이미 초심은.. 그러던 도중 ... 분명히 Zepplien 에서 1.6에서 Parquet 파일을 Table로 저장할때, sqlContext.parquetFile("/tmp/extracted").sveAsTable("step01"); 로 했던것 같은데.. Spark를 2버전으로 바꾸니 saveAsTable is not a member of org.apache.spark.sql.DataFrame 다음과 같은 오류가 나네요 .. 아마 .. 2017. 6. 4. Python FLASK 로 HTTPS 기반 API 만들기 사실, 언제부터인가 Python을 쓰다보니,,그래도 가장 편했던 언어는 JAVA 언어였는데, 요즘 너무 어렵네요 여러여러 관점에서 다른 원격지에서 생성되는(로그든 어떤거든) 데이터를 수집하기 위해서 API를 서버가 필요한 상황이였습니다(저 같은경우는 사용자 브라우저에서 생성된 로그 데이터의 경우 입니다.) 일단 제가 사용하는 조합은 Python 2.7에서(Pyenv 로 3으로 올려서 사용했는데, 중간에 소스가 꼬여버리는 바람에) + Flask + Guicorn + Supervisor.d를 이렇게 사용하고 있습니다. 주변 케이스를 찾아보면 현 해당 케이스에서는 Node.js 를 기반으로 긍정적으로 평가하는것 같지만, 굳이 이걸 사용하는건 Python 이 편하기 때문에 먼저 SSL 키를 확보합니다.(확보되어.. 2017. 3. 18. MongoDB Hive 연동[FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 해결법] 혹시나 저 같은 이슈를 겪고 있는 분들을 Hbase와 Hive를 연동할수 있는것처럼 MongoDB 를 Hive에 연동하여 사용할수 있습니다 https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage 이곳에서 라이브러리를 받아서 사용하시면, 되십니다. mongo-hadoop-core.2.0.1.jar mongo-hadoop-hive-2.0.1.jar mongo-java-driver-3.2.1.jar FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 추가적으로 다음 에러는 mongo-java-driver-3.2.1.jar .. 2016. 11. 4. HDPCA(HDP Certification Administrator) Practive Exam : 호튼웍스 자격증 미리 보기 (1/2) 자격증 미리보기라는 말이.. 좀 애매하긴 한데..예전부터 느끼는건 공부하는것과, 시험보는것은 많이 다른것 같습니다. 공부는 말그대로 공부고 시험은, 시험준비를 위해 기출을 풀거나 해서 유형을 파악하는건데, HDPCA라는 녀석은 전혀 파악이 안되더군요. 사실 HDP를 쓰면 쓰겠지만 그런데 호튼웍스(Hortonworks) 쪽에서 AWS에서 미리 테스팅 해볼수 있는 환경을 제공합니다 PRACTICE EXAMHortonworks University recommends that candidates attempt the practice exam to familiarize themselves with the exam environment and also with the types of tasks that appear.. 2016. 10. 1. ambari password reset 1.ambari-server 에 SSH 로 접속2. ambari-admin-password-reset ambari 암호 변경 https://community.hortonworks.com/questions/15063/default-usernamepassword-for-ambari.html 2016. 5. 23. 이전 1 2 3 다음 반응형
