본문 바로가기

전체 글

 (866)
레알 핵 작은 출장용 꿀템 미니 공유기 아이피타임 미니2(IPTIME mini2) 보통은 워낙에나 어딜가나 인터넷이 우리나라는 잘되어 있어서 그런 걱정을 할 필요는 없는것 같습니다. 다른 경우에는 해외여행 중에 호텔이나, 아니면 와이파이는 되는데 너무 신호가 약하거나, 그런데 랜선은 있고 이런경우에 딱 적합한 초소형 공유기 입니다. 사실 그동안 가지고 다니던 Extender가 있긴 했는데, 전원부분이 망가져서 다시 구입해야만 했습니다. 몇가지 후보군을 가지고 잇었는데, 첫번째는 인터넷에 좀만 검색해도 귀여운 모양을 한 일본산 공유기였고, 두번째는 아이피타임이였습니다 성능이 어떻든 간에, 작다보니, 완전히 우와할만한 성능은 아닙니다. 그런면에서 일본에서 직구입하면 배송비에 더 내려고 하다보니 결국 너무 비싸지더군요 아이피타임이 미니형 공유기를 mini1,2,3 이런식으로 라인업해서 파는..
에어비앤비 개인정보 유출 점심먹고 뉴스를 보니 에어비앤비 개인정보가 싹다 유출되었다고 하네요 에어비앤비를 이용하시는 분들은 다음 기사를 참고 부탁드립니다 관련기사https://www.ytn.co.kr/_ln/0103_201810220706113832 [단독] 에어비앤비, 구글·이용자 탓..."책임 회피"http://www.seoulfn.com/news/articleView.html?idxno=322634 '에어비앤비' 고객 정보 무더기 노출..."구글·이용자 탓"http://news.heraldcorp.com/view.php?ud=20181022000023 ‘에어비앤비’ 고객정보 무더기 노출…여권사진 구글에 버젓이 최근 이번 추석전에도 일본에 갔다왔지만 호텔에서 머무는것도 좋지만, 직접 현지에서 머무는것도 재밋더라고요그런데 이렇..
HDP3 에서 Spark 로 Hive Table 를 조회했는데 빈값이 나온경우 일단, 하는중 일부는 Spark 로 처리한 데이터를 Hive에 테이블을 넣는게 있습니다. 사실 이때는 몰랐는데, Spark 로 Hive 테이블을 읽으려는데 빈값이 나오더군요 . 사실 Spark 2.3? 인가 바뀌면서 enableHivesupport 인가 이옵션만 활성화 시키면 되서 , 뭐 다른문제인가 했는데, 사실 약간 조건적 상황인것 같은데, 현재 방법에서는 읽을 방법이 없는것 같습니다 HDP 3가 되면서 Hive에 기본적으로 테이블을 생성하면(Spark 로 생성하는게 아닌 Hive에서 직접) ACID가 적용이 되는데, 현재는 Spark 에서 접근할 방법이 없는것 같습니다. 물론, 강제적으로 alter table 해서 해결하면될것 같은 글들이 보이긴 하는데, https://community.horton..
HDP3 spark, pyspark, zepplin에서 database가 안보일때, 분명히 HDP3 에서 ranger에 제대로 설정되어 있는데 zepplin 이나 spark 에서 하이브 테이블이 안보입니다. 분명히 2.6때는 보였는데, HDP 3 되면서 정말 불친절해진 모양이네요 cp /etc/hive/conf/hive-site.xml /etc/spark2/conf 답은 매우 간단합니다. 클라이언트 노드에서 spark2 에 hive-site를 옮기시면 됩니다... HDP3 되면서 자동으로 다 설정해주던건데 이제 다 수동으로 바뀐 모양인네요 https://community.hortonworks.com/questions/221974/zeppelin-not-showing-hive-databasetables-in-hdp30.html Zeppelin : Not able to connect Hiv..
KT, SKT (1만원 미만 , 1천원 정도) 알뜰폰 요금제 추천 블로그 유입을 보다보니, 생각보다 알뜰폰 검색어로 많이 들어오네요그래서, 제가 생각했을때 1만원이하 괜찮다고 생각되는 요금제를 추천드립니다. 먼저 아시는것처럼, 저렴한 요금제를 사용하시기 전에 자신의 핸드폰 사용패턴을 생각해보시는게 좋습니다. 왜냐하면 상황에 따라서는 더 비쌀수도 있기 때문입니다. 일단, 극단적으로 핸드폰 무선 통신을 안한다고 가정하겠습니다.(실제로 저같은 경우 메인회선은 KT ON 비디오 요금제를 사용하고 , 나머지 서브로 사용하는 폰들을 통화량이 적거나, 필요할경우 테더링해서 사용하기 때문에 단순히 번호 유지용으로 사용하고 있습니다.) 후보 1, A모바일 KT 3G 요금제(LTE 요금제 아님) , 6,600원저도, 여러번 검색해보았지만, 일단 통신은 안한다고 가정하고 통화, 문자를 이..
HDP3 제플린(Zepplin) 스케쥴(Cron) 활성화 몇일간 HDP3를 사용하면서 느낀건..꼭 HDP 2.1 때보던것 같은 엉성함이 느껴지네요 첫번째로HIVE LLAP의 경우도 HDP 2.6에서는 바로 활성화 되었는데, HDP3의 경우 엄청 귀찮게 되어있음(기억에 Yarn Queue 도 알아서 만들었던것 같은데) 다른것보다, Tez View도 없어지고 Hive View도 없어지고(호튼웍스 커뮤니티에서는 Superset을 쓰라고 하던ㄷ)Oozzie-View도 이상해지고 default View 말고, HDP에서 예쁘게 보여줬던 어떤게 있었던것 같은데(물론 쓰진 않았지만.) Flume 도 없어지고(물론 nifi가 대치된다고 하지만,,, Folder spooling이 Nifi에 있나..? 아직 익숙치가 않아서)사실, Workflow 엔진을 이미 쓰고 있다면(Azk..
HDP3 클러스터에 HDF(nifi)설치 HDP3 되면서, 많은것이 바뀌었습니다 일단 눈에 띄는 변화는 Hadoop3 이 들어갔다는것과 제눈에 볼때 딱 달라진건 Falcon 이 없어진것 그리고 Flume 이 없어졌다는 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.3/bk_release-notes/content/deprecated_items.htmlDeprecated Components and Product CapabilitiesThe following components are marked deprecated from HDP and will be removed in a future HDP release:Component or CapabilityStatusMarked Deprecated as ..
Spark(Yarn) + Intellj 원격 디버깅 하기 Zepplin 만 쓰다가, Intellj + SBT + Scala 조합으로 Spark 프로그램을 만들다 보니, 열받는게, Zepplin 의 경우 중간중간 쉽게 중간 값을 볼수 있었는데, 일반적인 개발방법은 엄청 불편하다고 생각했는데, 아니나 다를까, Spark 원격 디버깅 하는 방법이 존재 1. sbt assembly 해서 Spark 패키지 만들고2. 파일을 서버에 업로드(Sbt에 Deploy 플러그인 있는데, 이런걸 이용하면 편할듯) -- 이런것이 없으면 디버깅 할때마다 이짓을 해야됨 3. Spark Client (실행노드)에서 다음을 입력 - 물론, 생각에 따라서는 Bashrc에 넣어도 상관없을듯 export SPARK_SUBMIT_OPTS= agentlib:jdwp=transport=dt_socke..

티스토리툴바