반응형 Chainmapper1 Hadoop MapReduce 여러개 Map, Reduce 실행하기 [JobControl 이용시 Stop이 안될때] 현재 MapReduce관련 작업을 하고 있습니다. 기본적으로 MapReudce는 Map작업과 Reduce작업으로 이루어져있습니다. 만약 Map 이 1개 , Reduce가 1개 일때는 문제가 안되지만, Map 작업이 2개 이상이 되거나 Reduce작업이 2개 이상되어야 할경우가 문제가 됩니다. 지금 책을 보면서, 여러가지를 공부하고 있는데, 인터넷검색결과 이럴경우, 3가지 해결방법이 제시가 됩니다. 첫번째는 jobconf를 여러개 생성해서, jobclient를 실행해서 하는 방법입니다.두번째는 책에 가장 많이 나와있는 케이스인데, ChainMapper를 사용해서 여러개의 Map과 Reduce 작업을 하는 방법입니다. 지금 현재 MapRedue를 이용해서 만들고 있는데 저한테는 아직 적합한것 같지 않네요. .. 2014. 4. 2. 이전 1 다음 반응형