본문 바로가기

break

(2)
Spark(Yarn) + Intellj 원격 디버깅 하기 Zepplin 만 쓰다가, Intellj + SBT + Scala 조합으로 Spark 프로그램을 만들다 보니, 열받는게, Zepplin 의 경우 중간중간 쉽게 중간 값을 볼수 있었는데, 일반적인 개발방법은 엄청 불편하다고 생각했는데, 아니나 다를까, Spark 원격 디버깅 하는 방법이 존재 1. sbt assembly 해서 Spark 패키지 만들고2. 파일을 서버에 업로드(Sbt에 Deploy 플러그인 있는데, 이런걸 이용하면 편할듯) -- 이런것이 없으면 디버깅 할때마다 이짓을 해야됨 3. Spark Client (실행노드)에서 다음을 입력 - 물론, 생각에 따라서는 Bashrc에 넣어도 상관없을듯 export SPARK_SUBMIT_OPTS= agentlib:jdwp=transport=dt_socke..
youtube 또는 스트리밍 버퍼링이 너무 심하세요? bywifi 어떠세요? ~"Gee, that tasted good!" by ~Sage~ 과거에, Speed bit for youtube 엑셀레이터에 대해서 잠깐 정식 포스팅은 아니고 2009/09/03 - [Information] - 파이어폭스에서 유튜브 동영상을 쉽게 플레이해주는 GoogleTube 2009/07/29 - [Utility program] - [파이어폭스 확장]Youtube를 mp3로 받을수 있게 해주는 Youtube to Mp3 지라가는 방식으로 쓴적이 있습니다..정말로 우리나라가 광랜이기는 하지만, 웹에서 보기로 해외쪽 회선이 느리다고 하나, 등등 이유로 물론 지리적인 이유를 묻지 않을수는 없겠지만, 그러한 여러가지 이유로 인해서, 국내에서 예를 들어 다음팟 TV라던지, 판도라TV 등 UCC싸이트에서 안보이..