하둡 (17) 썸네일형 리스트형 인트라넷(폐쇄망) 환경에서 Ambari, HDP 배포하기 최근, 폐쇄망 환경에서 Ambari,HDP를 배포할 일이 있었습니다. 조만간 또할것 같지만, 사실 예전에 몇번 해보긴 했는데 오랜만에 하느라 기억이 버벅였네요 환경은 다음과 같습니다 centos 7 64bit Server들 기본적으로 인터넷환경에서는 Ambari Server 설치후 Ambari Agent가 설치되면서 외부 HDP 레포에서 YUM으로 다운로드 하기 때문에 인터넷이 필요합니다. 그럼 폐쇄망 환경은 어떻게 하느냐, 아마 당연하겠지만 , 내부 레포를 만드시면 됩니다 필요한 내부레포 1. Centos Base Repo 2. Ambari Repo 3. HDP Repo 예전에는 Base레포 없이 했던것 같긴한데, Base레포가 필요한 이유는 Ambari Backend DB를 postgres나 별도의 .. Pyspark로 Spark on Yarn Code --1(개발환경구성) Spark로 개발하는 방법에는 여러가지가 있지만, 일단은 PySpark를 사용하고 있습니다 다른 이유보다 너무 쉽게 됩니다. 현재 개발환경은, 개발서버에 Pycham 이 Direct로 붙는다는 환경이고 방화벽등의 환경에서는 달라질수 있습니다 먼저 제 환경은 다음과 같습니다 개발툴 : Pycham Professional - 서버의 파이썬 리모트 인터프리터 사용 - 시스템 기본 파이썬 인터프리터 사용 플랫폼 : HDP(Hortonworks Data Platform) 3.0.1 import os import sys os.environ['SPARK_HOME'] = "/usr/hdp/3.0.1.0-187/spark2" os.environ['HIVE_HOME'] = "/usr/hdp/3.0.1.0-187/hive".. 발표자료, 제안서 등 문서에서 시스템, 네트워크 아키텍처 그릴때 사용하기 좋은 온라인 사이트 발표자료, 제안서 등 관련된 문서를 작성할때 시스템 / 네트워크 등 아키텍처를 그려야 할때가 있습니다. 웹상에서 보면 VISIO가 그렇게 좋다고 하지만, 확보된 환경이 아니네요.. 물론 PPT로도 그릴수가 있지만.. 생각보다 손이 많이 가고 가장 큰 문제는 예쁘게 안나온다는게 문제 입니다. 웹을 검색해보면 거의 3사이트로 압축이 됩니다.(유료는 제외합니다)프로그램 형태로는 제 블로그에 예전에 소개한 DIa도 있습니다 2009/05/20 - [Utility program] - 순서도 그리는 프로그램 - DIA그리고 리브레오피스(https://ko.libreoffice.org/discover/draw/) 드로우도 좋다고 하네요 1. CloudCraft https://cloudcraft.co/ 2.drawio.. zeppelin 1.7.1 with hive interpreter 맨날 HDP 에 설치가 잘된 제플린을 사용하다보니,, 수동으로 제플린을 사용하려고 하니 HIVE를 사용하려고 하니 다음과 같은 오류가 발생합니다. Prefix not found. paragraph_1493986135331_752263516's Interpreter hive not foundorg.apache.zeppelin.interpreter.InterpreterException: paragraph_1493986135331_752263516's Interpreter hive not found at org.apache.zeppelin.notebook.Note.run(Note.java:605) at org.apache.zeppelin.socket.NotebookServer.persistAndExecuteS.. HDPCA(HDP Certification Administrator) Practive Exam : 호튼웍스 자격증 미리 보기 (1/2) 자격증 미리보기라는 말이.. 좀 애매하긴 한데..예전부터 느끼는건 공부하는것과, 시험보는것은 많이 다른것 같습니다. 공부는 말그대로 공부고 시험은, 시험준비를 위해 기출을 풀거나 해서 유형을 파악하는건데, HDPCA라는 녀석은 전혀 파악이 안되더군요. 사실 HDP를 쓰면 쓰겠지만 그런데 호튼웍스(Hortonworks) 쪽에서 AWS에서 미리 테스팅 해볼수 있는 환경을 제공합니다 PRACTICE EXAMHortonworks University recommends that candidates attempt the practice exam to familiarize themselves with the exam environment and also with the types of tasks that appear.. Vagrant port forwarding The forwarded port configuration expects two parameters, the port on the guest and the port on the host. Example:Vagrant.configure("2") do |config| config.vm.network "forwarded_port", guest: 80, host: 8080 end This will allow accessing port 80 on the guest via port 8080 on the host.For most providers, forwarded ports by default bind to all interfaces. This means that other devices on your networ.. 우분투(Ubuntu) 프록시 환경(Squid3)에서 apt-get 사용하기 2012/06/22 - [Study/Linux] - 인트라넷 또는 클러스터 구성시 우분투 apt-get 사용방법 사실 제가 과거에 apt-cache를 이용해서 내부 인터넷 클러스터 환경에서 Ubuntu apt-get 을 사용할수 있는 방법을 포스팅 한적이 있습니다. 사실 클러스터 환경을 운용하다보니 제 개인적인 생각으로는 효율적이지는 않았습니다.왜냐하면, 가끔씩 컴파일 할 일이 생길때 ant를 실행할때 외부 인터넷 연결을 필요로 하거나, 또는 외부 wget같은걸로 외부에서 받아올려고 할때는 안됩니다. 그래서 결정한것은 마스터 , 1번 외부노드로 연결되는 서버에 Proxy를 구축하는 방법입니다. 사실 정확하게는 기억이 안나는데,브릿지를 구성하는 방법이 잇긴한데, 제가 설정을 작못해서 그런지, 느리더군요. .. R 프로그래밍 사실, 졸업전에 어떻게 기회가 되어서 R프로그래밍을 배우고 있습니다. 전,, 여태까지 R 프로그래밍이 Hadoop MapReduce를 쉽게 하기 위한 방법론? 또는 그런 제품, 관련된거라고 생각했는데, 정말로 잘못알고 있었던거네요. 물론 외국쪽에 자료가 많겠지만. 국내쪽 커뮤티니 주소 첨부합니다. http://r-project.kr/ R 한국 사용자모임https://www.facebook.com/groups/krstudy/ 페이스북 R 사용자 그룹 이전 1 2 3 다음
