본문 바로가기

Client

(3)
Spark(Yarn) + Intellj 원격 디버깅 하기 Zepplin 만 쓰다가, Intellj + SBT + Scala 조합으로 Spark 프로그램을 만들다 보니, 열받는게, Zepplin 의 경우 중간중간 쉽게 중간 값을 볼수 있었는데, 일반적인 개발방법은 엄청 불편하다고 생각했는데, 아니나 다를까, Spark 원격 디버깅 하는 방법이 존재 1. sbt assembly 해서 Spark 패키지 만들고2. 파일을 서버에 업로드(Sbt에 Deploy 플러그인 있는데, 이런걸 이용하면 편할듯) -- 이런것이 없으면 디버깅 할때마다 이짓을 해야됨 3. Spark Client (실행노드)에서 다음을 입력 - 물론, 생각에 따라서는 Bashrc에 넣어도 상관없을듯 export SPARK_SUBMIT_OPTS= agentlib:jdwp=transport=dt_socke..
윈도우7 64비트 group policy client 서비스에 연결할 수 없습니다(Failed to Connect "Group Policy Client Service" Windows 7 x64) 어느 순간부터인가 윈도우를 시작하면 "group policy client 서비스에 연결할 수 없습니다" 오류 메세지를 출려합니다. 웹상에 검색해보니, 시스템 복원을 해보라고 추천해주더군요. 저는 추천해도 똑같은 증상이 나와서 확인해보니 Microsoft 에서 레지스트리를 직접 편집하여 해결하는 메뉴얼을 제공해 주고 있었습니다. 레지스트 편집이다보니, 약간 부담스러웠는데, 찾다보니 유튜브에 해결방법을 녹화시켜 놓은것이 있어 올립니다. 나오는 순서대로 차근차근 따라서 하면 문제가 해결됩니다
Hbase Thrift Java Client Demo reference : https://svn.apache.org/repos/asf/hbase/branches/0.20_on_hadoop-0.18.3/src/examples/thrift/DemoClient.java package org.apache.hadoop.hbase.thrift; import java.io.UnsupportedEncodingException; import java.nio.ByteBuffer; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.security.PrivilegedExceptionActi..