Five Type Story

HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가....예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가.메뉴얼로 정리해보면1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포데이터 노드에서./hadoop-daemon.sh start datanode2. 네임 노드(HA했다면 둘다 설정 복사)에서hdfs-site.xml에서 설정한 파일을 참고해서    &l..

Spark에서 paruqet 압축 알고리즘을 찾다가. 분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")저는 이것이 동작하네요 sqlCon..

몇가지 처리해야할 작업이 있습니다. 몇 가지 케이스에 대해 계속 테스트를 해보고 있지만. 이걸 Hadoop MapReduce로 처리하는것은 정말 성능이 안나오더군요. 흔히 말한는 반복적인 작업... 이걸 Storm, 또는 Spark를 통해 해결해 보고 싶지만. 현재 사정상 신규아키텍처를 도입하는데 문제가 있어서... 물론,,, 현재 환경은 HDP(Hortonworks Data Platform)2.3 이기 때문에, ..

FileSystem fs = FileSystem.get(conf); Path pt = new Path("/path"); ContentSummary cs = fs.getContentSummary(pt); long fileCount = cs.getFileCount();https://stackoverflow.com/questions/20381422/file-count-in-an-hdfs-directoryMapReduce 프로그래밍 중간에, 생성되는 파일의..

in hdfs-site.xml <property> <name>dfs.permissions</name> <value>false</value> </property>