Apache Ambari를 사용하다보면, 암바리 자체를 이용해서 하둡 클러스터를 관리할수도 있지만.

떄로는 필요한 부분에 대하여 커스터마이징하거나, 또는 관리의 편의성을 위해 별도의 앱을 만들어 쓸 수도 있습니다. 



다음은 암바리의 컴포넌트를 API를 이용해서 시작 및 중지하는 방법입니다.


curl -u USER:PASS -i -H 'X-Requested-By: ambari' -X PUT -d  '{"RequestInfo": {"context" :"Stop '"$1"' via REST"}, "Body": {"ServiceInfo": {"state": "INSTALLED"}}}' http://HOST/api/v1/clusters/CLUSTER/services/COMPONENT


curl -u USER:PASS -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Start '"$1"' via REST"}, "Body": {"ServiceInfo": {"state": "STARTED"}}}'  http://HOST/api/v1/clusters/CLUSTER/services/COMPONENT



https://ambari.apache.org

https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.2.1




`


저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

2012/06/22 - [Study/Linux] - 인트라넷 또는 클러스터 구성시 우분투 apt-get 사용방법


사실 제가 과거에 apt-cache를 이용해서 내부 인터넷 클러스터 환경에서 Ubuntu apt-get 을 사용할수 있는 방법을 포스팅 한적이 있습니다. 사실 클러스터 환경을 운용하다보니 제 개인적인 생각으로는 효율적이지는 않았습니다.

왜냐하면, 가끔씩 컴파일 할 일이 생길때 ant를 실행할때 외부 인터넷 연결을 필요로 하거나, 또는 외부 wget같은걸로 외부에서 받아올려고 할때는 안됩니다.


그래서 결정한것은 마스터 , 1번 외부노드로 연결되는 서버에 Proxy를 구축하는 방법입니다. 사실 정확하게는 기억이 안나는데,브릿지를 구성하는 방법이 잇긴한데, 제가 설정을 작못해서 그런지, 느리더군요.


squid3는 설치 방법이 간단해서(약간 차이나긴 하지만 ubuntu 10.04, 12.04의 경우 데몬 스크립트가 생성되는데 14.04에서는 생성이 안되는것 같더군요) 이건 다음 포스팅에서 해보는걸로 하고 하고 만약 squid3가 설치되어 있다는 가정하에 apt-get으로 적용시키는 방법에 대해 설명 드리겠습니다


/etc/apt/apt.conf 에 이런식으로 적용하시면 되십니다. (apt.conf라는 파일이 아마 없을것 같습니다. 이건 생성해주시면 되십니다.)



http://askubuntu.com/questions/23666/apt-get-does-not-work-with-proxy



Acquire::http::proxy "http://User:Password@host:port/";
Acquire::ftp::proxy "ftp://User:Password@host:port/";
Acquire::https::proxy "https://User:Password@host:port/";

일딴 저 같은경우는 인증정보가 없기때문에, 실제 이런식으로 작성하였습니다.


Acquire::http::proxy "http://192.168.0.1:3128/"; Acquire::https::proxy "http://192.168.0.1:3128/"; Acquire::ftp::proxy "http://192.168.0.1:3128/";

저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

내부망을 이용해서 클러스터를 구축하여서 사용중인데, 각 서버의 시간이 달라서 로그 파일을 보거나, 다른 여러 작업을 하는데 있어서 불편함이 있어서, 시간을 동기화 할 필요가 생겼습니다.


외부에 연결된 서버라면, 간단히 동기화를 해야겠지만. 이런경우는 아니더군요. 일단 제 상황은 서버 한대는 외부와 내부망이 동시에 물려있습니다. 



2011/09/26 - [Study/Linux] - 리눅스 시간 동기화

2011/09/26 - [Information] - 국내 타임 서버


급하게 인터넷을 찾아봤는데, 무슨말인지도 모르겠고... ㅋㅋ 다행이도 찾아보니 쉬운것 같네요.


일단 저의 설정 방법은 내부와 외부와 연결된 컴퓨터에 NTP 시간 서버를 설치합니다. 여기서 이 컴퓨터를 A_TIME 서버라고 표현하겠습니다. 나머지 컴퓨터들은 쉘로 만들던지 해서, A_TIME 서버를 통해서 시간을 동기화 하는 방법 입니다.



먼저 내부와 외부망이 연결된 서버에 NTP 를 설치합니다.

sudo apt-get install ntp

sudo vim /etc/ntp.conf




저는 기본설절에서 TIME 주소를 time1.daum.net으로 변경하였습니다.(시간 서버 관련된 글을 읽어 보았더니 개인서버는 스펙트럼3을 이용하라는둥 블라블라 등등)


그리고 맨아래에

restric 192.168.0.0 mask 255.255.255.0 nomodify notrap 이부분을 추가하였습니다. 이부분은 원래 다르게 주석처리 되어있습니다.(웹을 찾아보니 . 이게 시간을 받아갈 애들의 주소에 대해서 권한 설정하는거라고 하네요)

급하게 찾아서 세팅한거라 나머지 설정은 저도잘


그리고 sudo /etc/init.d/ntp restart  재시작 하셔서, 설정을 반영시면됩니다.


그리고 시간을 동기화 하려는 서버에가서 sudo ntpdate A_TIME 명령을 내리시면 시간이 동기화 됩니다.

18 Jul 22:22:40 ntpdate[8268]: step time server 192.168.X.X offset -102.416580 sec


18 Jul 22:23:42 ntpdate[8257]: no server suitable for synchronization found

만약 이런 오류가 나면, 5분정도 기다리신다음에 다시 해보세요. 그리고 서버쪽에서 123 포트를 개방해주세요


시간서버에 관련된 내용은 http://time.ewha.or.kr/ 을 참고해주세요!! 







저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License


Borispol Sunrise (HDR, Opensource)
Borispol Sunrise (HDR, Opensource) by Lyncis 저작자 표시비영리변경 금지



클러스터를 사용중인데 내부 노드의 클러스터에 설치를 해야겠는데, 이걸 컴파일 할수도 없고, 인트라넷도 비슷할꺼라고 생각됩니다. 만약 외부로 연결된 마스터 노드만 있다면


http://snowall.tistory.com/2225 << 솔루션입니다. 우분투에서도 되니까. 데비안도 될껄요?




제 작업기록

sudo apt-get install apache2

sudo apt-get apt-cacher


그리고 추가적인 작업기록은 http://snowall.tistory.com/2225 님의 블로그를 보면되겠지만

저같은경우 저렇게 하면 /etc/init.d/apt-cacher restart 하면서 실행이 안되더군요 defualt 모라모라 하면서


저 같은경우는 /etc/default/apt-cacher 부분에서

autostart 부분을 1로 바꾸고 재실행하니까 작동합니다. 


물론 저는 아직도 centos도 좋지만 ubuntu 도 정말 좋네요 ㅋㅋ






저작자 표시 비영리 변경 금지
신고
크리에이티브 커먼즈 라이선스
Creative Commons License
1

+ Recent posts

티스토리 툴바