반응형
최근 클러스터 환경을 HDP(Hortonworks Data Platform) 2.5.3.0 -> HDP 2.6.1.0으로 올리면서
Spark 환경을 1.6 -> 2.1 로 바꾸었습니다.
사실 스칼라도 해보겠다고 두꺼운 Programming in Scala 3판도 샀지만..... 이미 초심은..
그러던 도중 ...
분명히 Zepplien 에서 1.6에서 Parquet 파일을 Table로 저장할때,
sqlContext.parquetFile("/tmp/extracted").sveAsTable("step01");
로 했던것 같은데.. Spark를 2버전으로 바꾸니 saveAsTable is not a member of org.apache.spark.sql.DataFrame
다음과 같은 오류가 나네요 .. 아마 내부 API나 어떤 변경이 있겠지만.. 역시 구글신
sqlContext.parquetFile("/tmp/extracted").write.format("parquet").saveAsTable("step01")
다음으로 변경하니 , 제대로 저장이 되네요.
반응형
'Study > Bigdata' 카테고리의 다른 글
NodeManager 추가 및 삭제 (0) | 2017.07.11 |
---|---|
HDFS 노드 추가 및 삭제 (0) | 2017.07.11 |
아파치 재플린 코드 자동완성(apache zeppelin code assistant) (0) | 2017.06.06 |
Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법 (0) | 2017.05.21 |
스파크 & 스칼라 (0) | 2017.05.07 |
zeppelin 1.7.1 with hive interpreter (0) | 2017.05.05 |