티스토리 뷰
HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가....
예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가.
메뉴얼로 정리해보면
1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포
데이터 노드에서
./hadoop-daemon.sh start datanode
2.
네임 노드(HA했다면 둘다 설정 복사)에서
hdfs-site.xml에서 설정한 파일을 참고해서
<property>
<name>dfs.hosts</name>
<value>/etc/hadoop/dfs.hosts</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/etchadoop/dfs.exclude</value>
</property>
dfs.hosts에 호스트 파일에 새로 추가한 데이터 노드 추가
3.
Acitve NameNode에서
./refresh-namenodes.sh
노드 추가 끝
*
반대로 노드를 삭제할때는. 2번절차에서 수행한 dfs.hosts 데이터노드를 지우고 dfs.exclude
하고 Active NameNode에서 ./refresh-namenodes.sh 하면 제외하려는 데이터노드에 대해 decommision 절차가 수행된다음 제거
'Hadoop & Bigdata > HDP(Hortonworks Data Platform)' 카테고리의 다른 글
Cassandra 와 Spark (0) | 2017.07.11 |
---|---|
NodeManager 추가 및 삭제 (0) | 2017.07.11 |
HDFS 노드 추가 및 삭제 (0) | 2017.07.11 |
아파치 재플린 코드 자동완성(apache zeppelin code assistant) (0) | 2017.06.06 |
saveAsTable is not a member of org.apache.spark.sql.DataFrame (0) | 2017.06.04 |
Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법 (0) | 2017.05.21 |
스파크 & 스칼라 (0) | 2017.05.07 |
댓글
최근에 올라온 글
- SCI / SCIE 등재 여부 확인
- 도쿄 하늘 보기 - 롯본기 힐스..
- 애드블록을 꺼주세요[막는 방법]
- 도쿄 하늘 보기 - 도쿄타워,..
- 아키하바라 메이드카페 방문후..
- Pyenv offline (오프라인, 폐..
- [리뷰]터보백신(Turbo Vaccine..
- 넷플릭스 미드 나르코스(Narcos)
- 카카오 인공지능 스피커 '카카..
- 네이버 인공지능 스피커 웨이..
- 넷플릭스 미드 타임리스
- Cassandra 와 Spark
- NodeManager 추가 및 삭제
- HDFS 노드 추가 및 삭제
- 아파치 재플린 코드 자동완성(..
- saveAsTable is not a member..
- Spark 에서 Parquet 저장할때..
- 비트코인을 요구하는 랜섬웨어..
- 발표자료, 제안서 등 문서에서..
- 스파크 & 스칼라
최근에 달린 댓글
- 진짜 댓글 안써지네요 ... 왜..
- 안녕하세요~ 댓글을 써서..
- 좋은 정보 대단히 감사합니다.
- 도움이되셨다니 다행입니다 !
- 도움이되셨다니 다행입니다 !
- 감사합니다 웹은 되는데 모바..
- test
- HUE 공식홈에 가면 Docker를..
- 이미 존재하는 메일이라고 뜨..
- 이미 존재하는 메일이라네요..
- 이미 존재하는 메일이라네요
- 이메일을 비밀글로 남겨주세요..
- 아웃룩 2010 사용중입니다...
- 도움이 되셨다니 다행입니다..
- ++ 추가 지금 생각해보면 Hue..
- 감사해요. 얼마전 홀딱 자료..
- 반가와요
- 글 쓸 땐 참 편리한 것 같은데..
- 새해 복 많이 받으세요 :)..
- 오늘은 드디어 아는 뭔가가 나..
TAG
- 티스토리
- 구글
- 초대장
- Linux
- 클라우드
- 안드로이드
- 추천
- 블로그
- 아이폰
- Firefox
- 확장
- 우분투
- 파이어폭스
- gcc
- 리눅스
- 크롬
- hadoop
- IT
- 윈도우
- 유튜브
- CentOS
- 브라우저
- Debian
- C
- MySQL
- Java
- 무료
- 네이버
- PHP
- Total
- 1,676,140
- Today
- 272
- Yesterday
- 171