본문 바로가기
반응형

분류 전체보기761

Filezilla pro NBP ObjectStorage(custom S3) 연결방법 FileZilla 가 기본적으로 무료이지만Pro 버전의 경우 클라우드 스토리지 연결을 제공합니다 File Zilla에서 NBP 와 같은 Custom Object 스토리지를 연결할려면 파일질라 설정에서 다음 사항을 추가해줘야합니다 파일질라 - 편집- 환경설정에서 다음과 같이 하시면 S3를 커스텀으로 사용하실수 있습니다 2019. 12. 27.
NBP Ncloud Cloud Hadoop에서 pySpark로 Object Storage 읽오는 방법 맨날 문서만 만지다가 오랜만에 코드 만지니 재밌네요. 문서질 하면 벌써 뻗었겠지만 코드질 하니 잠이 안오네요. 이번에 프로젝트를 하면서 네이버 클라우드를 처음 사용하는데 생각보다 재미있게 만들었네요 일단 클라우드 하둡을 세팅을 하면 HDP를 포팅해논것 같은데, 일단 Ambari가서 안쓸것 같은 Zepplin, Ozzie 는 다 꺼버리고 일단 NBP가 아쉬운건, 정말 잘만들어놨는데, 설명서가 부족하네요 ..;;(네이버에서 예제코드를 AWS S3 기준으로 설명해놨네여) 다음의 예제는 Pyspark로 Object Storage의 Parquet를 가져오는 예제입니다 2018/11/29 - [Study/Bigdata] - Pyspark로 Spark on Yarn Code --1(개발환경구성) 일단 기본코드는 다움.. 2019. 12. 18.
python 3.7.5 오픈소스 워크플로우 엔진 apache airflow(celery,rabbitmq,postgresql) 구축하기 기본적으로, rabbitmq, postgres는 이미 설정하셨다는 가정하에 설명되는 글입니다. pip install --upgrade pip pip install apache-airflow[postgres,celery,rabbitmq,ssh] psycopg2-binary pip install --upgrade apache-airflow[postgres,celery,rabbitmq,ssh] psycopg2-binary echo 'export AIRFLOW_HOME=~/airflow' >> ~/.bash_profile 다음과 같이 하면 airflow는 매우 쉽게 설치가 됩니다. 일단 저는 python 3.7.5 환경에서 하였습니다 저도 이번에 airflow 를 하면서 외부 다른 외국 블로거나 글을 봤는데, .. 2019. 11. 26.
스타트업 감성 - 종이 빨대 대신 스마일어스 생분해 옥수수 PLA 빨대 :) 2019/10/18 - [Information] - 친환경 일회용품 PLA 빨대 스마일 어스 요즘 스타트업을 하고 있습니다. 물론 작은 회사라 이제 시작이지만, 공돌공돌한 스타트업과 함께, 큰돈이 들지 않는다면, 그래도 먹고 살기 위해 하는건데 사무실을 꾸미기위한 아이템들을 허용되는 범위내에서 조금씩 구입하고 있습니다. 사무실에 이번에는 스타벅스에서 사용하는 종이빨대를 구매해 보았습니다. 회사 사람들이 뭐 또 이런걸 사냐라는 분위기 였지만, 역시나 종이 빨대는 스타벅스에서 먹어야 그 감성이 나오지 공돌공돌한 회사에서 먹으면, 감성이 안나오더군요. 결국에는 스타벅스에서 사고온 커피로 종이가 젖었을때 대용으로 사용하고 있습니다. 다행이도 몇개 안사서 다행이라고 생각합니다 스마일어스 : 생분해 옥수수 PLA .. 2019. 11. 10.
친환경 일회용품 PLA 빨대 스마일 어스 아무래도 공돌공돌한 직업을 가지다 보니, 일을 할때 모니터 한편에 커피나 차를 가져다 놓고 일하는게 일상이 되었습니다. 이번 내부 회의를 하다, 탕비실에 빨대를 놓자고 해서, 쿠팡에서 시키던 찰나에 옥수수 빨때를 알게되었습니다. 사실은, 저희 건물 카페에서 사용중이기는 했습니다. 저도 잘은 몰랐는데, 플라스틱에 대한 사용 규제가 시행되고 있던것 같습니다. 맨날 카페갈때마다 먹고 갈꺼냐, 가져갈거냐 귀찮기는 했는데, 스타벅스 같은경우 종이빨대를 주기도 하고 어떤대는 PLA라고 하는 썩는 플라스틱으로 된 컵이나 빨대를 사용한다고 하네요 썩는 플라스틱은 사탕수수나, 옥수수로 만드는것 같은데, 일단 저희회사에서 산건 옥수수 빨대입니다. 어짜피 가격도 얼마안하고 그냥 기분내기 위해서(결국에는 빨대 말고는 전부 일.. 2019. 10. 18.
Dropbox Transfer beta [드롭박스 신규서비스] 생각해보니 , 지금 드롭박스에 쓰는돈만 해도 시놀로지로 나스를 몇개를 샀겠네요.. 몇년을 썻으니,,, 뭐 그래도 잘쓰고 있습니다. 최근에, Dropbox transfer라는 새로운 서비스가 떳습니다 https://www.dropbox.com/features/share/send-large-files 대용량 파일 전송 대용량 파일을 간편하게 전송하세요. 공유 링크를 이메일로 전송하거나 Dropbox에서 바로 공유하세요. 파일을 받은 사람은 Dropbox 계정 없이도 파일을 확인할 수 있습니다. www.dropbox.com 정확히 비유하면, sendanywhere 하고 비슷한 서비스 입니다. 물론 기존에도 링크 공유방식으로 필요한 사람에게 클라우드의 파일 공유가 가능했습니다. 기존 방식은 드롭박스에 파일이 있.. 2019. 9. 17.
반응형

티스토리툴바