본문 바로가기

Study

 (328)
Hbase, org.apache.hadoop.hbase.TableExistsException: hbase:namespace Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.TableExistsException: hbase:namespaceat org.apache.hadoop.hbase.master.handler.CreateTableHandler.prepare(CreateTableHandler.java:120)at org.apache.hadoop.hbase.master.TableNamespaceManager.createNamespaceTable(TableNamespaceManager.java:230)at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:85)a..
우분투(Ubuntu) 프록시 환경(Squid3)에서 apt-get 사용하기 2012/06/22 - [Study/Linux] - 인트라넷 또는 클러스터 구성시 우분투 apt-get 사용방법 사실 제가 과거에 apt-cache를 이용해서 내부 인터넷 클러스터 환경에서 Ubuntu apt-get 을 사용할수 있는 방법을 포스팅 한적이 있습니다. 사실 클러스터 환경을 운용하다보니 제 개인적인 생각으로는 효율적이지는 않았습니다.왜냐하면, 가끔씩 컴파일 할 일이 생길때 ant를 실행할때 외부 인터넷 연결을 필요로 하거나, 또는 외부 wget같은걸로 외부에서 받아올려고 할때는 안됩니다. 그래서 결정한것은 마스터 , 1번 외부노드로 연결되는 서버에 Proxy를 구축하는 방법입니다. 사실 정확하게는 기억이 안나는데,브릿지를 구성하는 방법이 잇긴한데, 제가 설정을 작못해서 그런지, 느리더군요. ..
SSH RSA 접속 안될때 Hadoop을 1.0 버전때에서 사용해봐서 2.0 버전을 공부해보려고 StandAlone 모드로 설치하던 중에 발생한 문제입니다. 물론 이러한 경우가 아니라도 적용이 가능할것 같습니다. ssh-keyges -t rsa -P ""이렇게 해서 id_rsa 와 id_rsa.pub 가 생성된후 authorized_keys를 생성한다음ssh localhost로 한다음에 접속하려고 하니 권한이 없다고 뜨는것입니다. ssh-server를 다시 실행해봐도 안되고, 지금 제가 사용하는 버전이 Ubuntu 14.04 LTS 데스크톱 버전입니다.(주로 Hadoop MapReduce 관련 작업을 할때 윈도우에서 이클립스에서 Maven에 올려서 작업했는데, 리눅스에서 하면 MR작업을 바로 걸수 있다고해서, 데스크탑 모드로 약간..
ubuntu 14.04에서 guest session 제거 우분투 서버용 버전만 계속 사용하다가, 노트북에 Ubuntu 14.04 데스크톱 버전을 설정하였는데, 그 사이에 변경이 있던건지는 잘모르겠지만, 설정 위치가 살짝 바뀐것 같습니다. 우분투 guest session 을 없애는 방법을 검색했더니 역시 구글신.. 2012/02/09 - [Study/Linux] - 우분투 11.10 손님(Guest) 막기 http://askubuntu.com/questions/451526/removing-guest-session-at-login-in-ubuntu-14-04 Just press Ctrl+Alt+T on your keyboard to open Terminal. When it opens, run the command(s) below:sudo nano /usr/shar..
R 프로그래밍 몇일간 R에 대해서 수업 들으면서 느낀것.. 빅데이터 분석으로 R은 만능은 아님(R자체가 데이터를 메모리에 로드해서 사용하기 때문에 만약 컴퓨터가 가진 메모리보다 데이터가 크다면..?) --> 이래서 데이터를 읽어올때 한줄씩 읽어오는 방법도 사용 --> 때에 따라서는 전처리 단계 필요, 또 R이 오픈소스 이다보니까, R에서 전처리 단계에서 속도가 느려서 이를 개선한 Revolution R(현재 7버전) 이라는게 있음,,(유료인가..?..) 또는 하둡을 이용해서 해결, Rhive, Rhadoop, 등등 ++ Java에서 R호출가능, R에서 자바호출가능(?) 그런데 어느정도 전처리된 단계가 있고 R로 처리를 하면 자동적으로 환상적인 Visualization 대박인듯..(할게 많구나..) R관련 재미있는 사이..
R 프로그래밍 사실, 졸업전에 어떻게 기회가 되어서 R프로그래밍을 배우고 있습니다. 전,, 여태까지 R 프로그래밍이 Hadoop MapReduce를 쉽게 하기 위한 방법론? 또는 그런 제품, 관련된거라고 생각했는데, 정말로 잘못알고 있었던거네요. 물론 외국쪽에 자료가 많겠지만. 국내쪽 커뮤티니 주소 첨부합니다. http://r-project.kr/ R 한국 사용자모임https://www.facebook.com/groups/krstudy/ 페이스북 R 사용자 그룹
아파치 커먼스(Apache Commons) DButils 예제1 최근에 학교에서 이런저런것을 진행하면서 자바로 무엇인가 만들때는, 쌩으로 짜지 않고 최대한 라이브러리를 이용하려고 하고 있습니다.(일딴 검증되었으니까,.?,, 제가 짜면 괜히 느려질것 같은 그런 문제점도..) 물론 JVM위에서 돌아가기때문에 C언어 같은 네이티브에 가까운 속도의 문제를 기대하는건 아니지만. (사실은 어떻게 하다보니.. 자바를 쓰다보니까.. 익숙해져서요..) 보통의 자바책의 맨 뒷장(예를 들어 학교 학부과정에서 쓸만한 책들,, 정말 래퍼런스 책말고..)에 보면 보통 가장 많이 나오는것중 하나가 MySQL을 이용한 프로그램 예제들입니다. Colored By Color Scripter™123456789101112131415161718192021222324252627282930313233impo..
자바 운영체제에 상관없이 폴더 구문자 쓰기 흔히 자바책에서 말하길, 자바는 JVM에서 동작하기 때문에 한번 컴파일 하면 모든 OS에서 돌아간다는 것입니다. 지금 어떤걸 간단히 만들다가 약간의 고민에 빠졌습니다. 예를들어 윈도우에서 파일을 다루면 C:\\data\\file.jpg 이런식으로 File f = new File("C:\\data\\file.jpg");이런식으로 해야되는데 리눅스에서는 윈도우하는 달리 / 이렇게 간다는 차이점이 있습니다. 그래서 처음에는 System.getProperty("os.name"); 해서 OS 이름을 뽑아내서, 각 OS별로 맞추어야 했는데.제가 바보였습니다.File.separator를 사용하면 되는거였습니다. 쉽게 File f = new File("C:\\data\\file.jpg"); 이런상황에서는 File f ..

티스토리툴바