pycham (2) 썸네일형 리스트형 jetbrains 파이참(pycham) invaild python sdk 해결하기 요즘 너무 개발에 손을 안댓나. 예전의 열정이 식어버린것 까지는 아닌것 같은데 몇몇 업무를 제외하고 실무를 안하다보니 오랜만에 pycham 을 켰는데, 파이썬 인터프리터가 인식안하는 오류가 발생했습니다. 신기한건 최신버전인 2022.2.3 버전에서는 오류가 나는데, 그 전버전에서는 오류가 안납니다. 그래서 해당 로그를 가지고 jetbrins쪽에 문의를 넣어보니 윈도우 자체의 인코딩 문제인것 같다고 알려주더군요. (대충 로그파일 보니 CP949 이야기 나오면서 인코딩 문제인것 같긴 합니다.) 아시겠지만 우리가 리눅스에서는 이제는 EUC-KR --> UTF-8로 완전히 넘어간것 같은데, 윈도우에서는 한글은 cp949를 사용하고 있습니다. (*이런 표준 관계는 잘모르겠지만), 결론은 CP949 --> UTF-.. Pyspark로 Spark on Yarn Code --1(개발환경구성) Spark로 개발하는 방법에는 여러가지가 있지만, 일단은 PySpark를 사용하고 있습니다 다른 이유보다 너무 쉽게 됩니다. 현재 개발환경은, 개발서버에 Pycham 이 Direct로 붙는다는 환경이고 방화벽등의 환경에서는 달라질수 있습니다 먼저 제 환경은 다음과 같습니다 개발툴 : Pycham Professional - 서버의 파이썬 리모트 인터프리터 사용 - 시스템 기본 파이썬 인터프리터 사용 플랫폼 : HDP(Hortonworks Data Platform) 3.0.1 import os import sys os.environ['SPARK_HOME'] = "/usr/hdp/3.0.1.0-187/spark2" os.environ['HIVE_HOME'] = "/usr/hdp/3.0.1.0-187/hive".. 이전 1 다음
