본문 바로가기

AWS

(6)
Filezilla pro NBP ObjectStorage(custom S3) 연결방법 FileZilla 가 기본적으로 무료이지만Pro 버전의 경우 클라우드 스토리지 연결을 제공합니다 File Zilla에서 NBP 와 같은 Custom Object 스토리지를 연결할려면 파일질라 설정에서 다음 사항을 추가해줘야합니다 파일질라 - 편집- 환경설정에서 다음과 같이 하시면 S3를 커스텀으로 사용하실수 있습니다
NBP Ncloud Cloud Hadoop에서 pySpark로 Object Storage 읽오는 방법 맨날 문서만 만지다가 오랜만에 코드 만지니 재밌네요. 문서질 하면 벌써 뻗었겠지만 코드질 하니 잠이 안오네요. 이번에 프로젝트를 하면서 네이버 클라우드를 처음 사용하는데 생각보다 재미있게 만들었네요 일단 클라우드 하둡을 세팅을 하면 HDP를 포팅해논것 같은데, 일단 Ambari가서 안쓸것 같은 Zepplin, Ozzie 는 다 꺼버리고 일단 NBP가 아쉬운건, 정말 잘만들어놨는데, 설명서가 부족하네요 ..;;(네이버에서 예제코드를 AWS S3 기준으로 설명해놨네여) 다음의 예제는 Pyspark로 Object Storage의 Parquet를 가져오는 예제입니다 2018/11/29 - [Study/Bigdata] - Pyspark로 Spark on Yarn Code --1(개발환경구성) 일단 기본코드는 다움..
What is Microsoft Azure? EN-CNTNT-Infographic-VisualguidetoAzure.pdf Microsoft Azure is a flexible,open, and secure public cloud built for business. Access abroad collection of integrated services that accommodate many languages and operating systems. Use world-class tools to accelerate a wide variety of app development and delivery capabilities. 가끔씩, Azure를 이용해서 자원을 생성해서 사용하고 있습니다. 오늘 메일박스를 보니, 예쁜그림을 하나 보내왔네요. 아마도 마소 홈..
[aws/아마존/ssh/putty] couldn't load private key unexpected end of file AWS 에 Putty로 PEM 키를 읽어들일려고 할때 , couldn't load private key unexpected end of file 오류가 난다면 현재 사용하고 있는 Putty 버전에 버그가 잇는것입니다. http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 에서 최신버전을 받아서 다시 시도하시면 해결 되십니다.
HDPCA(HDP Certification Administrator) Practive Exam : 호튼웍스 자격증 미리 보기 (1/2) 자격증 미리보기라는 말이.. 좀 애매하긴 한데..예전부터 느끼는건 공부하는것과, 시험보는것은 많이 다른것 같습니다. 공부는 말그대로 공부고 시험은, 시험준비를 위해 기출을 풀거나 해서 유형을 파악하는건데, HDPCA라는 녀석은 전혀 파악이 안되더군요. 사실 HDP를 쓰면 쓰겠지만 그런데 호튼웍스(Hortonworks) 쪽에서 AWS에서 미리 테스팅 해볼수 있는 환경을 제공합니다 PRACTICE EXAMHortonworks University recommends that candidates attempt the practice exam to familiarize themselves with the exam environment and also with the types of tasks that appear..
Vim 색깔 설정(Debian vim color scheme) 개인적인 용도로 클라우드 서비스를 이용해서 리눅스 서버 한대를 이용하고 있습니다.아마존이나, 유클라우드 같은 서비스도 있지만 너무 가격이 비싸서 저 같은경우는 Ramnode(http://www.ramnode.com/)를 이용하고 있는데 최고 작은 사이즈의 인스턴스의 경우 1년에 15달러 정도 합니다.(사실 서버가 여러군데 있는데, 아시아에는 없습니다. 시애틀에 있는 서버를 이용중인데 속도가 좀 느리긴 합니다. 하지만 VPN과 개인적인 Proxy용으로 만든거라 나름 쓸만합니다. ) 여러 리눅스 배포판을 제공하는데, 지금은 데비안7을 사용하고 있습니다. 분명히도 우분투도 데비안 계열이였는데,Vim을 사용하니 흑백 화면만 나오는것입니다. 해결방법은 간단합니다. 데미안 위키에 간단하게 나와있네요. vimrc를 ..