hadoop (41) 썸네일형 리스트형 org.apache.flume.EventDeliveryException: Failed to send events Flume에서 agnet -> agent로 연결할때 ,org.apache.flume.EventDeliveryException: Failed to send events 이러한 오류가 난다면.받는 agent 쪽에서 bind-ip를 잘못 설정 하셨습니다. 저같은경우는 bind ip = localhost, 127.0.0.1 하였는데 bind.ip 0.0.0.0으로 하시면 되실것 같습니다. 제가 사용하는 Flume 버전은 Flume-NG 1.4.0 입니다 org.apache.hadoop.security.AccessControlException: Permission denied: in hdfs-site.xml dfs.permissions false 맵리듀스 프로그래밍을 할때 log4j로 로그 찍어보기 http://www.jaso.co.kr/265 일딴 김형준님의 블로그 요걸 보시면 편하게 이해하실수 있습니다. 일종의 사전지식이랄까. 일단 이글을 보시는 분들은 아마 저보다는 잘하시는 분들이실겁니다. 전 요즘 이것때문에 죽겠거든요전,, 도저히 저걸 봐도, 하둡 돌아가는게 안보인느것입니다. 일단 제가 필요한 로그은 getsplit 하고 recodereader 이거 맞나요 직접 구현하는 부분이.일단 메인클레스 내부에서는 sysout 찍어버리면 보이는데, 재내들은 그 안에 있으니 보이지도 않고그래서 제가 선택한 방법은 log4j 입니다. http://blog.naver.com/PostView.nhn?blogId=airguy76&logNo=150087115029&categoryNo=3&viewDate=&curr.. 하둡 hadoop && ext3, ext4 , XFS Underlying File System Options If mount the disks as noatime, then the file access times aren't written back; this speeds up reads. There is also relatime, which stores some access time information, but is not as slow as the classic atime attribute. Remember that any access time information kept by Hadoop is independent of the atime attribute of individual blocks, so Hadoop does not care what yo.. hadoop port master node $ vi /etc/sysconfig/iptables -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50010 -j ACCEPT -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT -A RH-Firewall-1-INPUT -m state.. [hadoop] ERROR namenode.NameNode: java.io.IOException: Cannot create directory /data/name/current 11/11/23 22:45:05 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = server01/블라블라 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.203.0 STARTUP_MSG: build = http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203 -r 1099333; compiled by 'oom' on Wed May 4 07:57:50.. [hadoop]SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: hosts: hosts: 이름 혹은 서비스를 알 수 없습니다 [hadoop@hosts bin]$ /etc/init.d/iptables stop [hadoop@hosts bin]$ hadoop namenode -format 11/11/23 20:33:37 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = java.net.UnknownHostException: hosts: hosts: 이름 혹은 서비스를 알 수 없습니다 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.203.0 STARTUP_MSG.. RSA 인증으로 ssh 접속 안될때. young life by lorenzo cuppini verducci RSA 인증으로 로그인하려는 경우는 여러 경우가 있지만 저의 경우에는 hadoop 에서 ./slave 사용하기 위해서 인데 RSA 인증으로 접속 알될때(설정 파일가지 설정했는데.) 그럴경우는 접속받을 컴퓨터의 .ssh 퍼미션을 700으로 변겨해주시면 됩니다 chmod 700 -R .ssh 이전 1 2 3 4 5 6 다음
