본문 바로가기

전체 글

 (866)
오픈소스에 관련 포럼에 물어보기 요즘 이런 저런 작업을 하느라 특정 아파치 오픈소스 포럼에 메일 구독을 하고서 물어보고 있습니다.웹상에 정리된것은 많은데,, 많은 부분에 경험이 부족해서 그런지 몇개 알게된것만 적어 봅니다. 만약 ,어떤 오픈소스를 사용하는데 있어 물어보고 싶을떄(코드 수정일수도 있고, 등등) 예를들어 https://hadoop.apache.org/mailing_lists.html 이라고 할경우, 자신의 메일을 이용해서 메일을 보내면 자동적으로 구독이 됩니다. 제가 이용하고 있는 오픈소스는 메일링 리스트가 유저,개발,커밋으로 나누어져 있는데, 어라 여긴 하나밖에 안보이네요.(다른 종류를 찾지 못한것일수도 있지만.) 메일링 리스트를 이용하는 방법은 자신의 메일(gmail 이면) 로그인 한다음 user-subscribe@ha..
JAVA 또는 Srping으로 Hbase를 사용할때 팁 HBase 데이터를 만지다가, 생각지도 못한것으로 고생을 해서 리마인드 차원에서 포스팅 합니다. Java또는 Spring 에서 Hbase를 사용하는 방법은1. Native Library 2. Trift3. Rest API 이때 속도는 1 > 2,3 정도 Native 방식이 빠름,만약에 Native 방식을 할때는,Hbase와 같은 네트워크 망을 사용해야하고 Client에서 반드시 hosts를 지정해서 사용해야됨(만약 다른 네트워크라면 Trift와 Rest로 사용가능) ..(관련해서 스택오버플로우에도 물어보긴 했지만.. 재미는 못봤음) Hbase같은경우 , 일반적인 RDBMS 처럼 select의 개념으로 생각면 피곤. HBASE의 경우 Select에 해당하는것이 scan인데 이때 전체를 fullScan 해서..
Vagrant port forwarding The forwarded port configuration expects two parameters, the port on the guest and the port on the host. Example:Vagrant.configure("2") do |config| config.vm.network "forwarded_port", guest: 80, host: 8080 end This will allow accessing port 80 on the guest via port 8080 on the host.For most providers, forwarded ports by default bind to all interfaces. This means that other devices on your networ..
Combination 구하기 (Number of Cases) 지금도 진행중이지만, 발생할수 있는 경우의 수를 계산할일이 생겼는데, 이제는 산수도 헷갈리는 문제가 발생하였습니다. 경우의 수를 쉽게 구하는 방법이 있습니다.(예를들면 M이라는 갯수가 있을때 N개씩 뽑을대 발생할수 있는 McN) 경우의 수,, 표현식이 맞는지 잘모르겠지만.. 예전에 울프럼알파? 수학용 검색엔진이 있다고 언듯들은적 있는데, 바로 계산해주네요 그리고 만약 자바에서 할경우에는, 하마타면 로직을 만들뻔 했지만 combinatoricslib 라이브러리가 존재,https://code.google.com/p/combinatoricslib com.googlecode.combinatoricslibcombinatoricslib2.0 홈페이지에는 참고할만한 내용이 없을 정도로 라이브러리 자체가 심플하게 구성..
HDFS NFS gateway 사용법 하둡 2버전은 잘모르겠지만. 1버전을 이용할때는 리눅스에서 HDFS에 직접 마운트를 해서 사용하고 싶을때가 있었습니다. 그떄 fuse-dfs를 이용해서 마운트 했는데, 2버전때 없어졌나 했는데.. 제가 HDP(Hortonworks Data Platform)을 이용해서 그런지 잘 안보였던것 같더군요.. cloudera에는 fuse-dfs가 그대로 있던것 같았습니다. 홈페이지에서 보기에는 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_hdfs_nfs_gateway/content/hdfs-nfs-gateway-user-guide.html 다른 배포판은 모르겠지만.. 아파치 하둡1을 이용할때는,, fuse-dfs를 사용하기 위해 관련 라이브러리 설치하고..
sqoop export : For input string: "\N" (From Hive to MySQL) sqoop export 를 할때 For input string: "\N" 해결 할수 있는 방법Sqoop export 옵션에 --input-null-string '\\N' --input-null-non-string '\\N' 추가 2015/10/29 - [Study/--Hadoop Eco(Apache/HDP)] - Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase)2015/11/16 - [Study/--Hadoop Eco(Apache/HDP)] - Hive를 이용해서 Rank 구하기2015/12/23 - [Study/--Hadoop Eco(Apache/HDP)] - Sqoop-export : from hive to mysql
파이썬으로 병렬처리 하기 3 마지막장 (Parallel Python) 오늘 심각한 고민을 했습니다 ... 자바는 그냥 갔다 버려야되나.. Parallel Python 이거 써보고 할말을 잃었습니다. 생각보다 너무 쉽고. Parallel Python을 사용하기 위해서는 대략 다음 절차를 수행하시면 됩니다. 연산을 하려는 노드, Master노드에 Parallel Python 설치(http://www.parallelpython.com/) [현재 저같은경우 Python 2.7을 사용하고 있습니다.] 그다음 연산하려는 모든 노드에서 네트웍 대역이 같다면, ppserver.py -a (이 의미는 실제 코드 설명할때 설명0 그리고 마스터 노드에서 병렬처리할 코드를 작업하시면 됩니다. 큰틀은 다음과 같습니다. 가장 중요한 부분은 ppserver= ppservers=("*",) 입니다. ..
파이썬으로 병렬처리 하기 2 (Parallel Python) 잠깐동안 예제를 따라해보면서 해본 느낌은.. 잘 모르겠지만 엄청 간단합니다. 먼저 Parallel Python에서 http://www.parallelpython.com/content/view/18/32/ 에서 다운 받아서, pp를 다운받아서, 돌아갈 머신과 마스터 노드에 python setup.py install 하면 끝.. 그리고 사용방법은 계산노드(slave)에서 ppserver.py -a(auto discovery) 하면 끝.. 물론 포트를 지정해 준다면 -p 옵션을 사용하면됩니다. 그런다음 마스터 노드에서 다음과 같은 방법으로 하면됩니다. (지금 같은경우는 1master node, 1slave node로 구성된 케이스) import sys,thread import pp class myTest: d..

티스토리툴바