본문 바로가기
Study/Bigdata

Aapche hive select count(*) 과 같은 작업을 할때 MapReduce 작업이 무한이 진행될때

by redyuika 2015. 8. 5.



2015/08/05 - [Study/------Hadoop] - [Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21..



연장선의 글입니다. 컴파일을 해서 사용중이라 그런지 포트가 엉망인지 모르겠습니다.

Hive에서 Hbase 사용을 위해 External Table 을 만들고 select count(*)와 같이 , MapReude작업을 하려고 했지만, Yarn 에서 MapReudce작업이 시작되었다고 나오지만,


아무런 진행이 없는것입니다 


org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [0.0.0.0:8040] java.net.BindException: Address already in use; For more details see:  http://wiki.apach     e.org/hadoop/BindException


yarn 로그를 보니 이런게 보이네요.. 무슨일인지 몰라도 제가 잘못하건지 포트 번호가 엉망이 되었네요 (제가 사용하는 곳의 데몬들이 엉망일수도 잇고..)


https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml


참고해서 포트를 변경해주니 제대로 작동하네요...

결국에는 binding 포트 중복..문제였네요