본문 바로가기

Study

 (328)
Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase) Sqoop2 가 있지만, 1이 익숙한 관계로 다음은 MySQL 에서 Hbase로 Migration 하는 예제 입니다. wget http://mirror.apache-kr.org/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gztar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha /usr/local/sqoop vim /etc/profile export HBASE_HOME=/usr/local/hbase export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOOP_HOME/bin:$HBASE_HOME/bin:$..
아파치 피닉스(Apache Phoenix) 설치 1. 하둡 , Hbase는 기본적으로 설치되어 있다고 가정, https://phoenix.apache.org/ 에서 파일 다운로드 2. 압축해제3. Hbase 정지4. phoenix-버전-HBase-1.1-server.jar 을 HBASE lib 폴더에 저장5. phoenix-core-버전-HBase-1.1.jar 을 HBASE lib 폴더에 저장6. Hbase 재시작 확인절차 1. ./sqlline.py 172.168.0.47:2181:/hbase - System Table은 피닉스가 처음 실행할때 자동으로 생성 2. Hbase shell - Hbase Shell에도 똑같이 시스템 폴더들이 생긴것을 알수 있음
맥(osx,mac,macbook pro,mini,air)에서 bashrc 안될때 맥에서 작업을 하다가 설정을 bashrc에 반영시키려고 했는데, 작동을 안하더군요. 구글에서 찾아보니 , 맥에서는 bashrc 대신 bash_profile을 사용한다고 하네요 http://superuser.com/questions/244964/mac-os-x-bashrc-not-working In OSX, .bash_profile is used instead of .bashrc.And yes, the .bash_profile file should be located in /Users/YourName/ (In other words, ~/.bash_profile)For example, /Users/Aaron/.bash_profile
Hbase + Hive 연동 HDP(Hortonworks data Platform)을 이용할때는 external Table을 선언하면 바로 동작하던것 같은데, 일반 Apache Hadoop에서는 약간 다르기 보다는 귀찮은게 많은것 같습니다. Hadoop 2.7.1, Hbase 1.1.1 , Hive 1.4.0을 기준으로 정리하면(각 컴포넌트들이 이미 설치되어 있다고 전제) 1. Hive로 필요한 Hbase 라이브러리 복사cp /HBASE_HOME/lib/hbase-client-x.x.x.jar /HIVE_HOME/lib/cp /HBASE_HOME/lib/hive-common-x.x.x.jar /HIVE_HOME/lib 2.Hive Shellcreate external table mytable(key string,c1 string,c..
SSH root(또는 특정 아이디를) 특정 아이피 대역에서만 접근하게 하는 방법 리눅스로 작업을 하다가, ubuntu를 자주 사용했을 경우는 sudo를 썻지만, 레드헷계열을 사용하다 보니 root을 많이 사용하게 되네요 이때, 몇가지 고민이 되는데, 사내에 있는 서버들을 사내의 ip대역에서만 root 계정을 접근하게 하고 싶고 나머지 대역에서는 접근하지 못하게 할 수 있을까 하고 생각이 들었는데, 정말로 쉽네요. /etc/ssh/sshd_config에서 PermitRootLogin yes 바꾸고 AllowUsers root@192.168.200.* 이런식으로 바꿔버리면 root에 대해서 192.168.200.* 대역에서만 들어올수 있습니다 만약 저기에 대역을 추가하고 싶다면 AllowUsers root@192.168.200.* root@203.203.203.333 이렇게 추가하면 된..
Aapche hive select count(*) 과 같은 작업을 할때 MapReduce 작업이 무한이 진행될때 2015/08/05 - [Study/------Hadoop] - [Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21.. 연장선의 글입니다. 컴파일을 해서 사용중이라 그런지 포트가 엉망인지 모르겠습니다.Hive에서 Hbase 사용을 위해 External Table 을 만들고 select count(*)와 같이 , MapReude작업을 하려고 ..
[Apache:Hbase] 에러 해결하는 방법 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu m of 21.. HDP 가 정말로 좋지만, 요구 환경때문에, Apache Hbase를 사용하고 있습니다. (사실 몇몇 요구사항때문에 Hbase를 직접 컴파일하고 빌드한 상황이라, 바이너리를 받았으면 이런오류가 안생기실수도 있습니다) 참고로 제 환경은 Centos 6.6 64bit, Hbase 1.0.1.1 입니다. 방금전에 문제 겪은것에 대해 해결방법을 포스팅합니다 2015-08-05 13:49:25,287 INFO [root:16020.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 9017 ms, expecting minimum of 1, maximu..
스프링(Spring) 4.0 튜토리얼(tutorial) http://jeromejaglale.com/doc/spring4_tutorialSpring MVC Fast TutorialBuild a web application quickly using Spring 4.Installation on Mac OS | Installation on UbuntuHello, World!Building a Spring MVC web applicationDisplaying and process a formValidating a formReferenceSpring official documentation: HTML | PDFMy book about Spring 4 at amazon.comThe previous version of this tutorial (for Spring 2.5..

티스토리툴바