주말에 갑자기 텍스트 데이터를 분석할 일이 있어서,, 분석이라기 보다는.


문제는 이 파일이 파일한개가 40~50GB 정도 되는것 같습니다. 보통은 Toad로 MySQL로 밀어 넣어서,, 확인 해보려고 했더니, Toad가 OutofMemory 오류가 나더군요.. 저 오류는 자바에서 본걸로 기억하는데 Toad가 자바로 만들어졌나..


결국에는 포기하고 HDFS에서 MapReduce로 프로그램을 만들었습니다. 


Type mismatch in value from map


Map작업을 돌리다보니, 이런 오류가 나더군요.  이오류는 Map,Reduce의 형태가 드라이버 클래스와 안맞을때 나는 오류 입니다.


오랜만에,, 맵리듀스 프로그램을 만들어봣더니,, 머리가 아프네요 


http://stackoverflow.com/questions/16926783/type-mismatch-in-value-from-map-expected-org-apache-hadoop-io-nullwritable-rec


job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);


저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License
1···515253545556575859···763

+ Recent posts

티스토리 툴바