본문 바로가기

Study/Bigdata

[ERROR]Pig over Tez : org.apache.pig.tools.grunt.Grunt - ERROR 1003: Unable to find an operator for alias



PIG를 MapReduce 모드로 돌리면 발생하지 않는데 이상하게 PIG를 Tez 모드로 돌리면 Dump 뜰때마다 저런 오류가 있더군요..


웹상에서 보면 버전 문제라는 이야기도 있고..


아마 아직 남아있는 버그인것 같은데(현재 테스트중인 tez 버전은 0.84에 Pig는 0.16입니다.)



그때는


d = limit Alias 10

dump 와 같이 limit 을 걸어주면... 작동은 하는것 같습니다.



추가로 Hbase 1.1.1 이상에서 Pig를 연결해서 사용하시려면, Pig를 컴파일해서 사용하시면 됩니다.(일단 Apache에서 Pig를 설치한다고 할때)

(만약 파싱관련 오류가 난다면)