주말에 갑자기 텍스트 데이터를 분석할 일이 있어서,, 분석이라기 보다는.
문제는 이 파일이 파일한개가 40~50GB 정도 되는것 같습니다. 보통은 Toad로 MySQL로 밀어 넣어서,, 확인 해보려고 했더니, Toad가 OutofMemory 오류가 나더군요.. 저 오류는 자바에서 본걸로 기억하는데 Toad가 자바로 만들어졌나..
결국에는 포기하고 HDFS에서 MapReduce로 프로그램을 만들었습니다.
Type mismatch in value from map
Map작업을 돌리다보니, 이런 오류가 나더군요. 이오류는 Map,Reduce의 형태가 드라이버 클래스와 안맞을때 나는 오류 입니다.
오랜만에,, 맵리듀스 프로그램을 만들어봣더니,, 머리가 아프네요
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
'Study > Bigdata' 카테고리의 다른 글
MySQl Memory DB Table is Full (0) | 2015.12.27 |
---|---|
Sqoop-export : from hive to mysql (0) | 2015.12.23 |
Hive를 이용해서 Rank 구하기 (0) | 2015.11.16 |
Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase) (0) | 2015.10.29 |
아파치 피닉스(Apache Phoenix) 설치 (0) | 2015.10.20 |
Hbase + Hive 연동 (0) | 2015.10.02 |