Parquet + Spark 조합을 사용하고 있습니다
SparkSQL로 처리하기가 애매한 상황이라.
직접 코딩좀 할일이 있어서 Scala를 만지는데 ...
1. sbt에 잘몰라서 설정하는데 고생
2. sbt와 스칼라버전과 build.sbt 의 %,%% 차이를 몰라서 고생
3. 책을 보고 있는데, 자바하고 문법이 비슷한것 같은데
이제는 파이썬에 너무 익숙해져서 스칼라가 눈에 잘 안들어오는...
'Study > Bigdata' 카테고리의 다른 글
| 아파치 재플린 코드 자동완성(apache zeppelin code assistant) (0) | 2017.06.06 |
|---|---|
| saveAsTable is not a member of org.apache.spark.sql.DataFrame (0) | 2017.06.04 |
| Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법 (0) | 2017.05.21 |
| zeppelin 1.7.1 with hive interpreter (0) | 2017.05.05 |
| Spark, SBT, libthrift 0.5.0-1 not found (0) | 2017.04.22 |
| [HIVE]create table metastore move trash error (0) | 2017.04.19 |