HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가....예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가.메뉴얼로 정리해보면1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포데이터 노드에서./hadoop-daemon.sh start datanode2. 네임 노드(HA했다면 둘다 설정 복사)에서hdfs-site.xml에서 설정한 파일을 참고해서 &l..
Spark에서 paruqet 압축 알고리즘을 찾다가. 분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")저는 이것이 동작하네요 sqlCon..
FileSystem fs = FileSystem.get(conf); Path pt = new Path("/path"); ContentSummary cs = fs.getContentSummary(pt); long fileCount = cs.getFileCount();https://stackoverflow.com/questions/20381422/file-count-in-an-hdfs-directoryMapReduce 프로그래밍 중간에, 생성되는 파일의..
- SCI / SCIE 등재 여부 확인
- 도쿄 하늘 보기 - 롯본기 힐스..
- 애드블록을 꺼주세요[막는 방법]
- 도쿄 하늘 보기 - 도쿄타워,..
- 아키하바라 메이드카페 방문후..
- Pyenv offline (오프라인, 폐..
- [리뷰]터보백신(Turbo Vaccine..
- 넷플릭스 미드 나르코스(Narcos)
- 카카오 인공지능 스피커 '카카..
- 네이버 인공지능 스피커 웨이..
- 넷플릭스 미드 타임리스
- Cassandra 와 Spark
- NodeManager 추가 및 삭제
- HDFS 노드 추가 및 삭제
- 아파치 재플린 코드 자동완성(..
- saveAsTable is not a member..
- Spark 에서 Parquet 저장할때..
- 비트코인을 요구하는 랜섬웨어..
- 발표자료, 제안서 등 문서에서..
- 스파크 & 스칼라
- 진짜 댓글 안써지네요 ... 왜..
- 안녕하세요~ 댓글을 써서..
- 좋은 정보 대단히 감사합니다.
- 도움이되셨다니 다행입니다 !
- 도움이되셨다니 다행입니다 !
- 감사합니다 웹은 되는데 모바..
- test
- HUE 공식홈에 가면 Docker를..
- 이미 존재하는 메일이라고 뜨..
- 이미 존재하는 메일이라네요..
- 이미 존재하는 메일이라네요
- 이메일을 비밀글로 남겨주세요..
- 아웃룩 2010 사용중입니다...
- 도움이 되셨다니 다행입니다..
- ++ 추가 지금 생각해보면 Hue..
- 감사해요. 얼마전 홀딱 자료..
- 반가와요
- 글 쓸 땐 참 편리한 것 같은데..
- 새해 복 많이 받으세요 :)..
- 오늘은 드디어 아는 뭔가가 나..
- 아이폰
- Debian
- 구글
- 블로그
- 추천
- Java
- 네이버
- gcc
- 확장
- 안드로이드
- 파이어폭스
- 티스토리
- 크롬
- 유튜브
- CentOS
- 무료
- 브라우저
- hadoop
- C
- 초대장
- Firefox
- 우분투
- Linux
- PHP
- 리눅스
- MySQL
- 클라우드
- IT
- 윈도우
- Total
- 1,675,409
- Today
- 9
- Yesterday
- 558