Spark에서 paruqet 압축 알고리즘을 찾다가.
분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데
sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")
저는 이것이 동작하네요
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")
사용하는 화경은 HDP 2.5 Spark 1.6 입니다
'Study > Bigdata' 카테고리의 다른 글
HDFS 노드 추가 및 삭제 (0) | 2017.07.11 |
---|---|
아파치 재플린 코드 자동완성(apache zeppelin code assistant) (0) | 2017.06.06 |
saveAsTable is not a member of org.apache.spark.sql.DataFrame (0) | 2017.06.04 |
스파크 & 스칼라 (0) | 2017.05.07 |
zeppelin 1.7.1 with hive interpreter (0) | 2017.05.05 |
Spark, SBT, libthrift 0.5.0-1 not found (0) | 2017.04.22 |