HDFS 노드 추가 및 삭제

HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가....

예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가.

메뉴얼로 정리해보면

1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포

데이터 노드에서

./hadoop-daemon.sh start datanode

2. 

네임 노드(HA했다면 둘다 설정 복사)에서

hdfs-site.xml에서 설정한 파일을 참고해서

    <property>

      <name>dfs.hosts</name>

      <value>/etc/hadoop/dfs.hosts</value>

    </property>

    <property>

      <name>dfs.hosts.exclude</name>

      <value>/etchadoop/dfs.exclude</value>

    </property>

dfs.hosts에 호스트 파일에 새로 추가한 데이터 노드 추가 

3. 

Acitve NameNode에서 

./refresh-namenodes.sh

노드 추가 끝

*

반대로 노드를 삭제할때는. 2번절차에서 수행한 dfs.hosts 데이터노드를 지우고 dfs.exclude

하고 Active NameNode에서 ./refresh-namenodes.sh 하면 제외하려는 데이터노드에 대해 decommision 절차가 수행된다음 제거