관리 메뉴

Five Type Story

Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법 본문

Hadoop & Bigdata/HDP(Hortonworks Data Platform)

Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법

Yuika eizt 2017.05.21 18:49

Spark에서 paruqet 압축 알고리즘을 찾다가. 

분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데


sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")


저는 이것이 동작하네요 
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")

사용하는 화경은 HDP 2.5 Spark 1.6 입니다


저작자 표시 비영리 변경 금지
신고
0 Comments
댓글쓰기 폼