본문 바로가기

Study

(328)
폐쇄망에 docker,python 배포 할 때 pip 사용하기(feat.devpi-server) 제안서 문서보다는 역시 재미있는 코드 역시 피는 속일수 없는게, 이 블로그도 한지 오래되었지만 개발자로 시작해서, 입터는 프로젝트 관리자를 하고 있는데, 개발자 팀원이 없거나 아니면, 기술스택의 문제라던가 경험이라던가 할때는 직접 손대야 할때가 있습니다. 역시 피는 못속이는게 사업적인걸 손대는것보다 기술적인게 재밌네요, 결론은 비용이겠지만 (고객 선생님, 프로젝트 끝나가는 시점에 요구사항 추가하시면, 비용이 추가될수밖에 없는데 말입니다 .. 저는 해드릴수도 있는데 개발자 팀원들 월급이 필요합니다 ㅠㅠ) 과거에 이런글을 쓴적이 잇습니다. 물론 하둡같은경우는 조금 다른케이스이지만. 요즘에는 그냥 컨테이너 하나면 다됩니다. Docker , Docker Compose 선생님 존경합니다. 폐쇄망에 배포할때 생기는..
Building a Blog with Python: A Step-by-Step Guide Creating a blog using Python can be a great way to share your thoughts, ideas, and work with others. Here is a simple guide to help you get started with building your own blog using Python. Choose a Python framework: There are several popular Python frameworks that can be used for web development, such as Flask and Django. Flask is a lightweight framework that is easy to get started with, while ..
jetbrains 파이참(pycham) invaild python sdk 해결하기 요즘 너무 개발에 손을 안댓나. 예전의 열정이 식어버린것 까지는 아닌것 같은데 몇몇 업무를 제외하고 실무를 안하다보니 오랜만에 pycham 을 켰는데, 파이썬 인터프리터가 인식안하는 오류가 발생했습니다. 신기한건 최신버전인 2022.2.3 버전에서는 오류가 나는데, 그 전버전에서는 오류가 안납니다. 그래서 해당 로그를 가지고 jetbrins쪽에 문의를 넣어보니 윈도우 자체의 인코딩 문제인것 같다고 알려주더군요. (대충 로그파일 보니 CP949 이야기 나오면서 인코딩 문제인것 같긴 합니다.) 아시겠지만 우리가 리눅스에서는 이제는 EUC-KR --> UTF-8로 완전히 넘어간것 같은데, 윈도우에서는 한글은 cp949를 사용하고 있습니다. (*이런 표준 관계는 잘모르겠지만), 결론은 CP949 --> UTF-..
flask-restplus nginx proxy_pass 했을때 swaggerui가 안보일때 보통 flask를 쓸떄, gunicon에 묶은다음 nginx에서 proxy_pass로 넘겨쓰는 케이스가 있습니다 이때 swaggerui를 못찾을때가 있는데, nginx.conf에 해당 내용을 넣어줘야 합니다 location /swaggerui { proxy_pass http://127.0.0.1:8080/swaggerui; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Host $server_name; } https://github.com/noirbizarre/flas..
flask ImportError: cannot import name 'cached_property' from 'werkzeug' error 해결 항상 시간이 쫓긴다는건 핑계지만, 이번에는 Django 로 하고 싶었지만, 결국 시간 문제로 손에 익은 Flask로 하게 되네요 이제 SpringBoot는 다 까먹은듯, 다시 해야될것 같긴한데. Spring에서 쓰던 Swaggle이 Flask에도 있었으면 좋겠다고 생각했는데, 그게 Flask-restplus 입니다 pip install flask-restplus 를 설치하면 바로 이용할수 있습니다. 이때 flask도 같이 설치가 됩니다. 그런데 문제가 flask-restplus를 시작하면 다음과 같은 오류가 발생합니다. ImportError: cannot import name 'cached_property' from 'werkzeug' git쪽에 관련된 오류가 리포트 되는것 같은데 좀다 다른웹을 찾아보면..
NIFI could not load known_hosts 해결방법 NIFI에서 ListSFTP 또는 getSFTP를 사용할때 분명히 계정 주소, 포트 까지 잘썻는데 could not load known_hosts 다음과 같은 오류를 내뿜을수 있습니다 저는 제가 잘못쓴건줄 알았는데-, 결론은 리눅스에서 nifi가 동작하는 계정으로 ssh로 한번 접속해주신다음 해주시면 되십니다 다음내용은 관련 포럼에 있는 내용입니다 https://community.cloudera.com/t5/Support-Questions/Using-ListSFTP-results-in-an-exception-Failed-to-obtain/td-p/219081 Re: Using ListSFTP results in an exception: Failed to obtain connection to remote ..
NBP Ncloud Cloud Hadoop에서 pySpark로 Object Storage 읽오는 방법 맨날 문서만 만지다가 오랜만에 코드 만지니 재밌네요. 문서질 하면 벌써 뻗었겠지만 코드질 하니 잠이 안오네요. 이번에 프로젝트를 하면서 네이버 클라우드를 처음 사용하는데 생각보다 재미있게 만들었네요 일단 클라우드 하둡을 세팅을 하면 HDP를 포팅해논것 같은데, 일단 Ambari가서 안쓸것 같은 Zepplin, Ozzie 는 다 꺼버리고 일단 NBP가 아쉬운건, 정말 잘만들어놨는데, 설명서가 부족하네요 ..;;(네이버에서 예제코드를 AWS S3 기준으로 설명해놨네여) 다음의 예제는 Pyspark로 Object Storage의 Parquet를 가져오는 예제입니다 2018/11/29 - [Study/Bigdata] - Pyspark로 Spark on Yarn Code --1(개발환경구성) 일단 기본코드는 다움..
python 3.7.5 오픈소스 워크플로우 엔진 apache airflow(celery,rabbitmq,postgresql) 구축하기 기본적으로, rabbitmq, postgres는 이미 설정하셨다는 가정하에 설명되는 글입니다. pip install --upgrade pip pip install apache-airflow[postgres,celery,rabbitmq,ssh] psycopg2-binary pip install --upgrade apache-airflow[postgres,celery,rabbitmq,ssh] psycopg2-binary echo 'export AIRFLOW_HOME=~/airflow' >> ~/.bash_profile 다음과 같이 하면 airflow는 매우 쉽게 설치가 됩니다. 일단 저는 python 3.7.5 환경에서 하였습니다 저도 이번에 airflow 를 하면서 외부 다른 외국 블로거나 글을 봤는데, ..