넷플릭스를 한달만 써야지 하고서 계속 보는 이유가 이런 드라마 때문인것 같습니다. 얼마전 부터 넷플릭스에 추천동영상으로 나르코스가 계속 나왔는데 나르코스가 물론 재미있어서도 그렇겠지만 넷플릭스가 사용자들의 빅데이터를 모아서 추천한다고 하니, 정말로 놀랍습니다

나르코스는 실제 있었던 콜롬비아의 마약왕 파블로 에스코바르에 대한 이야기로, 이들을 잡기 위해 고분코투 하는 DEA 요원들의 이야기 입니다.(1~2 시즌까지..현재하는 3시즌은 파블로 에스코바르의 메데인 카프텔의 라이벌 조직인 칼리 카르텔에 대해 이야기중)

스토리가 막장이여도 이게 실화가 너무 막장이여서(중간중간 실제 뉴스, 관련 장면들이 계속나옴) 재미있지만 , 제가 대한민국에 여기에 살고 있다는것도 갑자기 감사한 마음이 들정도네요.

넷플릭스 미드 보시다가, 범죄 드라마를 재밌게 보셨다면 나르코스 추천드립니다.






저작자 표시 비영리 변경 금지
신고

'Netfilx' 카테고리의 다른 글

넷플릭스 미드 나르코스(Narcos)  (0) 2017.09.18
넷플릭스 미드 타임리스  (0) 2017.07.24

카카오 미니카카오 미니



카카오 TV 공식채널에 카카오 인공지능 스피커 카카오 미니 공개 동영상이 올라왔습니다


사실 요즘 인공지능 스피커가 관심이 많아서 네이버 웨이브도 구매했지만


2017/08/31 - [Information] - 네이버 인공지능 스피커 웨이브(WAVE) 사용기


통신사꺼도 써보고 싶지만, 가입하고 하기도 애매해서..


카카오 미니는 9월 중에 공개한다고 하더라고요


http://www.bloter.net/archives/289153


(이건 멜론 1년 결제하면 주려나... )



공식예약 뜨면 바로 구매해봐야겠네요 













저작자 표시 비영리 변경 금지
신고



지난번에 네이버 뮤직 이벤트를 할때, 가차 없이 1년 음악 이용권을 구매하고 네이버 인공지능 스피커 Wave를 받았습니다.


한 2주정도 사용해봤는데, 결론부터 말하면 정말 편합니다.

(물론 개인차가 있을수는 있습니다.)


한가지 확실한건 인공지능 비서, 어시스턴트라는것을 써본거는 애플 시리 뿐이지만 비교해보면, 당연히 네이버에서 만들었으니 최적화된 서비스를 해줍니다


네이버 인공지능 스피커에 대한기사는 아니지만 KT기가지니의 경우를 보면 기가지니를 통해 가장 많이 하는 작업이 TV키는것과 음악을 듣는거라는 기사가 볼수 있습니다

http://www.ilovepc.co.kr/news/articleView.html?idxno=16694

패턴은 저와 비슷합니다. 주로 음악드는데, 사용을 많이 합니다. 컴퓨터에 스피커 바가 있지만 음질은 훨씬 좋더군요(제 기준에서는)


그다음 가장 유용하다고 생각되는 기능은, 알람 기능입니다


"샐리야 내일 아침 6시에 깨워줘 하면" 


쌜리가 알람소리와 함께 6시에 깨워줍니다. 이때 선택할수 옵션이 두가지 인데(핸드폰을 통해 페어링해서 설정할 수 있습니다.)


음악을 틀어주는것과 브리핑을 하는것입니다


지금 제가 올린 동영상은 샐리가 브리핑을 하는 동영상을 찍은것인데, 오늘의 날시, 네이버 캘린더에 등록된 일정 ,YTN 주요 뉴스를 들려줍니다. 저는 이게 매우 편리하더군요


카카오에서도 카카오미니라고 10월에 나온다는 기사가 있던데, 카카오는 어떤 기능이 있을지 궁금하네요.






저작자 표시 비영리 변경 금지
신고




이번 주말을 날려버린 타임리스라는 미드 입니다.

넷플리스에 추천으로 떠서 봤는데, 딱 제가 재미있을 많한 내용이 많이나오네요


시간여행이 배경인 드라마이다보니 

'닥터후'를 좋아하시면 좀 재미있게 보실수도 있습니다.

(대신 다른행성을 간다거나 그런거는 없습니다.!!)


시즌1원 끝나고 시즌2 나올것 같은데, 

마지막 반전보고 뒷통수 탁 쳤네요(개인적으로,)



저작자 표시 비영리 변경 금지
신고

'Netfilx' 카테고리의 다른 글

넷플릭스 미드 나르코스(Narcos)  (0) 2017.09.18
넷플릭스 미드 타임리스  (0) 2017.07.24

Cassandra 테이블을 스파크 데이터와 join 하고 싶을때 


https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md


datastax , 쉽게 생각하면 카산드라 벤더에서 만든 스파크 드라이버를 이용 


val createDDL = """CREATE TEMPORARY VIEW/TABLE words USING org.apache.spark.sql.cassandra OPTIONS ( table "words", keyspace "test", cluster "Test Cluster", pushdown "true")""" spark.sql(createDDL) // Creates Catalog Entry registering an existing Cassandra Table

View 또는 TABLE로 맵핑해서 SparkSQL로 사용




저작자 표시 비영리 변경 금지
신고

2017/07/11 - [Hadoop & Bigdata/HDP(Hortonworks Data Platform)] - HDFS 노드 추가 및 삭제


지난글에 이어서, 생각해보니까 노드 새로고침할때 active 노드에서 해야되나... 


nodemanager를 추가할때는, yarn.include 파일에 추가할 노드 추가


yarn rmadmin  -refreshNodes


반대로 제거할때는


yarn.exclude 에 넣고


yarn rmadmin  -refreshNodes



저작자 표시 비영리 변경 금지
신고

HDP에 익숙해져있다가 self-deployed Hadoop을 사용하다 보면, 답답할때가....


예를들면, HDFS를 확장하는것조차 마우스 클릭 딸각한번으로 해결될 문제가.


메뉴얼로 정리해보면


1.Hadoop.tar.gz 파일을 확장하려는 노드로 배포


데이터 노드에서


./hadoop-daemon.sh start datanode


2. 


네임 노드(HA했다면 둘다 설정 복사)에서


hdfs-site.xml에서 설정한 파일을 참고해서


    <property>

      <name>dfs.hosts</name>

      <value>/etc/hadoop/dfs.hosts</value>

    </property>


    <property>

      <name>dfs.hosts.exclude</name>

      <value>/etchadoop/dfs.exclude</value>

    </property>


dfs.hosts에 호스트 파일에 새로 추가한 데이터 노드 추가 



3. 


Acitve NameNode에서 


./refresh-namenodes.sh


노드 추가 끝


*

반대로 노드를 삭제할때는. 2번절차에서 수행한 dfs.hosts 데이터노드를 지우고 dfs.exclude


하고 Active NameNode에서 ./refresh-namenodes.sh 하면 제외하려는 데이터노드에 대해 decommision 절차가 수행된다음 제거

저작자 표시 비영리 변경 금지
신고


아파츠 재플린 , apache Zepplin아파츠 재플린 , apache Zepplin




몰랐는데, 재플린에서도 Code Assistant 기능이 있었네요..


사용법


sc를 치고  CTRL 키를 누른상태에서 . 을 누르면 어시스턴스 기능이 나옵니다. 


아파츠 재플린 , apache Zepplin아파츠 재플린 , apache Zepplin



하 이렇게 좋은걸 모르고 있었다니... 



저작자 표시 비영리 변경 금지
신고

최근 클러스터 환경을  HDP(Hortonworks Data Platform) 2.5.3.0 -> HDP 2.6.1.0으로 올리면서


Spark 환경을 1.6 -> 2.1 로 바꾸었습니다.



사실 스칼라도 해보겠다고 두꺼운 Programming in Scala 3판도 샀지만..... 이미 초심은..


그러던 도중 ... 


분명히 Zepplien 에서 1.6에서 Parquet 파일을 Table로 저장할때, 


sqlContext.parquetFile("/tmp/extracted").sveAsTable("step01");


로 했던것 같은데.. Spark를 2버전으로 바꾸니 saveAsTable is not a member of org.apache.spark.sql.DataFrame


다음과 같은 오류가 나네요 .. 아마 내부 API나 어떤 변경이 있겠지만.. 역시 구글신 


sqlContext.parquetFile("/tmp/extracted").write.format("parquet").saveAsTable("step01")


다음으로 변경하니 , 제대로 저장이 되네요.







저작자 표시 비영리 변경 금지
신고

Spark에서 paruqet 압축 알고리즘을 찾다가. 

분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데


sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")


저는 이것이 동작하네요 
sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy")

사용하는 화경은 HDP 2.5 Spark 1.6 입니다


저작자 표시 비영리 변경 금지
신고



알약을 만든 이스트시큐리티에서 알약 블로그를 통해서 랜섬웨어 예방도구를 공개하였습니다..


오늘 회사에 오자마자, 혹시나 모를 랜섬웨어때문에 아침부터 랜선 뽑고 고생했는데, 쉽게 해결하는 방법을 알약을 만든 이스트시큐리티에서 알약 블로그를 통해서 공개했네요


필요하신 분들은 다음 블로그로 가서 받으시면 됩니다. 



사이트 연결 링크 (공식) : http://blog.alyac.co.kr/1096





알약 블로그 http://blog.alyac.co.kr/1096


저작자 표시 비영리 변경 금지
신고

발표자료, 제안서 등 관련된 문서를 작성할때 시스템 / 네트워크 등 아키텍처를 그려야 할때가 있습니다.

웹상에서 보면 VISIO가 그렇게 좋다고 하지만, 확보된 환경이 아니네요.. 물론 PPT로도 그릴수가 있지만.. 생각보다 손이 많이 가고 가장 큰 문제는 예쁘게 안나온다는게 문제 입니다.


웹을 검색해보면 거의 3사이트로 압축이 됩니다.(유료는 제외합니다)

프로그램 형태로는 제 블로그에 예전에 소개한 DIa도 있습니다 

2009/05/20 - [Utility program] - 순서도 그리는 프로그램 - DIA

그리고 리브레오피스(https://ko.libreoffice.org/discover/draw/) 드로우도 좋다고 하네요



1. CloudCraft  https://cloudcraft.co/

https://cloudcraft.co/https://cloudcraft.co/


2.drawio https://www.draw.io/

https://www.draw.io/https://www.draw.io/


3.Gliffy https://www.gliffy.com/

https://www.gliffy.com/https://www.gliffy.com/




저작자 표시 비영리 변경 금지
신고



Parquet + Spark 조합을 사용하고 있습니다


SparkSQL로 처리하기가 애매한 상황이라.  

직접 코딩좀 할일이 있어서 Scala를 만지는데 ...


1. sbt에 잘몰라서 설정하는데 고생

2. sbt와 스칼라버전과 build.sbt 의 %,%% 차이를 몰라서 고생

3. 책을 보고 있는데, 자바하고 문법이 비슷한것 같은데

   이제는 파이썬에 너무 익숙해져서 스칼라가 눈에 잘 안들어오는...



저작자 표시 비영리 변경 금지
신고
맨날 HDP 에 설치가 잘된 제플린을 사용하다보니,,

수동으로 제플린을 사용하려고 하니 HIVE를 사용하려고 하니 다음과 같은 오류가 발생합니다.

Prefix not found.

paragraph_1493986135331_752263516's Interpreter hive not found
org.apache.zeppelin.interpreter.InterpreterException: paragraph_1493986135331_752263516's Interpreter hive not found at org.apache.zeppelin.notebook.Note.run(Note.java:605) at org.apache.zeppelin.socket.NotebookServer.persistAndExecuteSingleParagraph(NotebookServer.java:1641) at org.apache.zeppelin.socket.NotebookServer.runAllParagraphs(NotebookServer.java:1588) at org.apache.zeppelin.socket.NotebookServer.onMessage(NotebookServer.java:268) at org.apache.zeppelin.socket.NotebookSocket.onWebSocketText(NotebookSocket.java:59) at org.eclipse.jetty.websocket.common.events.JettyListenerEventDriver.onTextMessage(JettyListenerEventDriver.java:128) at org.eclipse.jetty.websocket.common.message.SimpleTextMessage.messageComplete(SimpleTextMessage.java:69) at org.eclipse.jetty.websocket.common.events.AbstractEventDriver.appendMessage(AbstractEventDriver.java:65) at org.eclipse.jetty.websocket.common.events.JettyListenerEventDriver.onTextFrame(JettyListenerEventDriver.java:122) at org.eclipse.jetty.websocket.common.events.AbstractEventDriver.incomingFrame(AbstractEventDriver.java:161) at org.eclipse.jetty.websocket.common.WebSocketSession.incomingFrame(WebSocketSession.java:309) at org.eclipse.jetty.websocket.common.extensions.ExtensionStack.incomingFrame(ExtensionStack.java:214) at org.eclipse.jetty.websocket.common.Parser.notifyFrame(Parser.java:220) at org.eclipse.jetty.websocket.common.Parser.parse(Parser.java:258) at org.eclipse.jetty.websocket.common.io.AbstractWebSocketConnection.readParse(AbstractWebSocketConnection.java:632) at org.eclipse.jetty.websocket.common.io.AbstractWebSocketConnection.onFillable(AbstractWebSocketConnection.java:480) at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:544) at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) at java.lang.Thread.run(Thread.java:745)


제가 사용한 제플린 버전은 1.7.1 버전이고 이유는 간단합니다.

HIVE 인터프리터가 없기 때문입니다.


설정방법은 여기 친절하게 나와있습니다.


https://zeppelin.apache.org/docs/0.7.1/interpreter/hive.html



설명은 간단하지만,, 분명히 HDP에서 제플린으로 HIVE사용할때는 %hive 사용했던것 같은데..


제플린을 오래 사용하지 않아서 jdbc로 통합된것 같더군요


먼저 Hadoop 홈폴더에 보면 share 폴더 아래 hadoop 아래 common이라는 폴더가 있을겁니다.

여기서 hadoop-common을 제플린 폴더의 interpreter 폴더 jdbc 폴더 안에 복사합니다


그다음 hive 홈폴더에서 lib 폴더에 보면 hive-jdbc-standalone이라는 jar 파일이 있습니다 

마찬가지로 제플린 interpreter 폴더 jdbc 에 복사합니다


그다음 제플린 UI에서 인터프리터를 여신다음 여기서 jdbc를 검색합니다

그다음 jdbc에 다음을 추가합니다

hive.driver   = org.apache.hive.jdbc.HiveDriver

hive.password = 자신의 설정

hive.url =자신의 설정

hive.user =자신의 설정


그다음 제플린 데몬을 제시작하면


%hive(jdbc) 하신다음 바로 사용이 가능합니다.





....추가적으로 지금 제플린에 yarn-client 모드로 spark 엮고 있는데, 이거 제대로 되면 방법도 올려보겠습니다.


맨날 벤더 하둡 쓰려다가 ㅠㅠㅠ self-deployed 하둡 쓰려니까 어렵네요 ㅠㅠ 























저작자 표시 비영리 변경 금지
신고


twitter scrooge 를 


spark scala 코드를 만지고 있는데, 다음과 같은 오류가 발생한다면


build.sbt에 아래를 추가하시면 될것 같습니다.


resolvers ++= Seq(
"Twitter Maven Repo" at "http://maven.twttr.com"
)


잘은 모르겟지만 libthrift 저게 maven centeral repo에는 업다고 하네요 



저작자 표시 비영리 변경 금지
신고


HDP 만 사용하다가, 


HIVE를 직접 설치하려니..헷갈리네요


hive를 세팅하고 create table 하려고 하는데 metastore에 생성하려는 테이블이 trash 가 계속 된다면..


메타스토어 DB가 제대로 세팅안된것입니다..


... 분명히 예전에 mysql을 쓴다면,, 그 안에 들어가서 source 로 쿼리문으로 안에 테이블 구성했던것 같은데..


지금은 shematool 이라고 제공하네요..


혹시 create table 하는데 metasotre에서 만들려는 테이블을 trash로 지우는 현상이 일어나면서 테이블이 만들어지지 않는다면 metastore db 다시 한번 세팅해보세요 ~ 

저작자 표시 비영리 변경 금지
신고



토렌트 글을 적기전에 앞서...


티스토리를 한지도 9년이상이 되어버렸네요... 사실 여러가지 목적이긴 했지만.. 요즘에는 뜸하지만, 사실 이제는 수익도 얼마 안되고, 광고비를 받는 목적도 있었습니다..


그러다보니, 이런저런 도구(구글 애널리틱스라던지, 네이버 애널리틱스라던지.)를 이용해서 이 블로그에 많이 들어오는 키워드인가도 분석해봤고,


사실 분석을 해보면 몇개 나오지만, 가장 많은 키워드가 토렌트 입니다.

 

(이번 포스트에는 이 블로그와는 관련없지만 제가 요즘 관심가지고 있는 일본 아이돌을 그림의 태그로 토렌트(torrent)와 함께 집어넣었는데 어떻게 반영될까 입니다. )


사실 요즘에는 넷플릭스를 쓰게된 이후로 미드 받는 용도로는 들쓰게 되었지만.. 아쉽게도 넷플릭스에서 제공안하는 미드가 생각보다 많아 이용하게 될때도 있습니다. 


요즘에는 좋은 토렌트 검색엔진들도, 많이 없어져서 그게 문제지만,,

궁금한건 요즘따라 방문자가 많이 떨어지고 잇지만, 과연 검색엔진에서 이 포스트를 어떻게 반영할지 입니다. 


아 물론 토렌트를 사용하실때는 백신은 꼭 설치하시고 하시기 바랍니다.


2015/10/28 - [Information] - 기업용 무료 백신 AVAST for business (1/2) - 웹 인터페이스

2015/08/08 - [Information] - EST NOD32 Antivirus 8 사용 후기

2014/09/15 - [Information] - 카스퍼스키 안티바이러스(Kaspersky Antivirus 2013)

2014/09/11 - [Information] - 카스퍼스키(kaspersky), 노턴(Norton)를 저렴하게 구입해보세요

2014/04/02 - [Information] - 어베스트(Avast) 인터넷 시큐리티 백신 , 저렴하게 구매해보세요. !

2011/08/01 - [Information] - 무료 백신 V3 lite

2013/06/15 - [Information] - 노턴 안티바이러스(Norton Antivirus)

2013/07/02 - [Information] - 노턴 로그인(노턴 바이러스 라이센스 관리)

2013/08/31 - [Information] - 노턴 인터넷 시큐리티(norton internet security)

2008/05/17 - [Utility program] - [리뷰]V3 365 클릭닉 사용기





추천하는 사이트 1: https://torrentproject.se/



추천하는 사이트 2: http://www.btmeet.org/

btmeet.org nogizaka46 노기자가46btmeet.org nogiza46 노기자카46


저작자 표시 비영리 변경 금지
신고


그래도 지금까지 작업하기에는 Intellj가 좋지만.. 서브라임텍스트 말고 다른걸 찾던중 vscode를 찾았습니다.



서브라임에서 가장 많이 사용했던 멀티커서 사용법...


Multi cursor improvements
Ctrl+D selects next occurrence of word under cursor or of the current selection
Ctrl+K Ctrl+D moves last added cursor to next occurrence of word under cursor or of the current selection
The commands use matchCase by default. If the find widget is open, then the find widget settings (matchCase / matchWholeWord) will be used for determining the next occurrence
Ctrl+U undoes the last cursor action, so if you added a cursor too many or made a mistake, you can press Ctrl+U to go back to the previous cursor state. Adding cursor up or down (Ctrl+Alt+Up / Ctrl+Alt+Down) now reveals the last added cursor to make it easier to work with multiple cursors on more than 1 viewport height at a time (i.e. select 300 lines and only 80 fit in the viewport).

저작자 표시 비영리 변경 금지
신고

Tomcat8 catalina MessageDispatch15Interceptor class not found


Tomcat 으로 클러스터링을 하는데, 왜인지 모르게 클러스터를 찾지 못하는 문제가 발생합니다 


제가 사용하는 버전은 8.5.12 버전입니다.


그런데 8.5.12 에서 8.0.42 버전으로 다운그레이드 하니 저런 문제는 없어졌네요 .


아마 버전업 하면서 클래스명이 바뀐것 같은데, 이것때문에 시간 엄청 썻네요 

저작자 표시 비영리 변경 금지
신고

사실, 언제부터인가 Python을 쓰다보니,,

그래도 가장 편했던 언어는 JAVA 언어였는데, 요즘 너무 어렵네요 


여러여러 관점에서 다른 원격지에서 생성되는(로그든 어떤거든) 데이터를 수집하기 위해서 API를 서버가 필요한 상황이였습니다(저 같은경우는 사용자 브라우저에서 생성된 로그 데이터의 경우 입니다.)


일단 제가 사용하는 조합은 


Python 2.7에서(Pyenv 로 3으로 올려서 사용했는데, 중간에 소스가 꼬여버리는 바람에) + Flask + Guicorn + Supervisor.d를 이렇게 사용하고 있습니다.


주변 케이스를 찾아보면 현 해당 케이스에서는  Node.js 를 기반으로 긍정적으로 평가하는것 같지만, 굳이 이걸 사용하는건 Python 이 편하기 때문에


먼저 SSL 키를 확보합니다.(확보되어 있다고 가정하고, 구입 또는 letsencrypt를 통해 무료로 발급받았다고 가정) 



먼저 필요한 패키지(?) 모듈들은 이거고 설치는 pip를 통해서 했습니다.

from flask import Flask, request, Response
from flask_cors import CORS, cross_origin
from OpenSSL import SSL


Flask 는 다음과 같이 사용합니다.

app = Flask(__name__)
CORS(app, resources={r"/*": {"origins": "*"}})


여기서  CORS를 한이유는 , 저 같은경우 데이터가 브라우저들을 통해서 넘어오는 상황이여서 크로싱 브라우징 이슈를 해결하기 위해 사용하였습니다 


context = SSL.Context(SSL.SSLv3_METHOD)
cert = 'cert.pem'
pkey = 'privkey.pem'
context.use_privatekey_file(pkey)
context.use_certificate_file(cert)


그다음 HTTPS 사용하기 위해서 다음과 같이 하였습니다. 만약 이옵션을 제거하면 HTTP REST API 가 됩니다 


if __name__ == "__main__":
app.run(host='0.0.0.0', port='58080', ssl_context=(cert, pkey))

 

app.run 을 할때 ssl_context를 넣어주면 https로 작동하게 됩니다. 



@app.route("/", methods=['POST'])
@cross_origin()
def api(): data = str(request.get_data())

resp = Response(data)
resp.headers['Access-Control-Allow-Credentials'] = 'true'
return resp

request.get_data()와 같은 형태로 해당 api 주소의 /을 post로 넘겨온 데이터를 받습니다 이제 여기서 저 같은경우에 데이터를 좀더 수정하고 시간을 붙여서 다른 장소로 다시 넘깁니다


그리고 resp부분은 받은 내용에 대해서 그대로 다시 리턴합니다... 데이터를 보내오는 쪽에서 그렇게 해달라고 하더군요. 

사실 웹쪽을 잘모르는데, 제가 다시 보낸다고 해도, header를 저런식으로 안붙여주면 다른쪽에서 받지를 못하더군요.. 


사실 잡설이긴하지만,,, 저 같은 경우는 HDP 플랫폼으로 하둡 데이터를 처리하였는데, Cloudera CDH 쪽 하는 친구의 말을 들어보면 supervisor.d 가 데몬을 키고 끄고 이런 소리를 하길래 superviosr.d 가 클라우데라쪽의 어떤 프로젝트 인줄 알았습니다. 


제대로 이해한거면 supervisor.d는 파이썬의 프로젝트인것 같더군요 (http://supervisord.org/Supervisor is a client/server system that allows its users to monitor and control a number of processes on UNIX-like operating systems.)


보통의 경우 Flask 를 단독으로 띄워서 사용하지는 않는다고 하는것 같습니다. 사실 이번엔 제가 이건 처음이여서 다른것을 참고 하다보니요 아직 wsgi 의 개념은 잘이해는 안가는데 flask+guicorn 조합으로 사용하는것 같습니다.( http://flask.pocoo.org/docs/0.12/deploying/wsgi-standalone/)


그다음 supervisor.d 에는 다음과 같이 적용을 시켰습니다 


[program:api]

command = gunicorn -w5 --certfile=cert.pem --keyfile=privkey.pem api:app -b 0.0.0.0:58080 --pythonpath /root/api

;directory = /root/api

user = root

numprocs=1

autostart=true

autorestart=true



일단 이걸로 사용하다가 ,  다음에는 이걸 사용하다가 Node.js 로 해봐야겠네요.. 


Node.js가 그렇게 좋다는데....(멍)

저작자 표시 비영리 변경 금지
신고



 EN-CNTNT-Infographic-VisualguidetoAzure.pdf


Microsoft Azure is a flexible,open, and secure public cloud built for business. Access abroad collection of integrated services that accommodate many languages and operating systems. Use world-class tools to accelerate a wide variety of app development and delivery capabilities.


가끔씩, Azure를 이용해서 자원을 생성해서 사용하고 있습니다. 오늘 메일박스를 보니, 예쁜그림을 하나 보내왔네요. 아마도 마소 홈페이지에 있겠지만.. 








저작자 표시 비영리 변경 금지
신고

'Cloud Computing > Microsoft Azure' 카테고리의 다른 글

What is Microsoft Azure?  (0) 2016.12.07


드디어 네이버 웨일 브라우저 초대코드를 받아서 설치할수 있었습니다. 


물론, 국내에서 나온 브라우저는 유일한건 아니지만(스윙 브라우저도) 있습니다. 그럼에도 반가운건 사용자는 더 편리한걸 사용할수 있으니까 

매우 반가운건 사실입니다 


아기자기 하게 생각지도 못한 편한 기능들이 많이 있습니다. (물론 스윙 브라우저도 , 타이머라던지 기발한 아이디어로 만들어진 확장들이 있으니까요)


아직 네이버 웨일브라우저를 위한 마켓플레이스는 오픈이 안된것 같습니다. 앞으로의 미래가 궁금하기도 하네요 


다른것보다 배경화면이랄가. 저 고래가. 딱 눈에 들어오네요 





네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저

네이버 웨일 브라우저


저작자 표시 비영리 변경 금지
신고

혹시나 저 같은 이슈를 겪고 있는 분들을 


Hbase와 Hive를 연동할수 있는것처럼 MongoDB 를 Hive에 연동하여 사용할수 있습니다


https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage


이곳에서 라이브러리를 받아서 사용하시면, 되십니다.


mongo-hadoop-core.2.0.1.jar 

mongo-hadoop-hive-2.0.1.jar 

mongo-java-driver-3.2.1.jar




FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/bson/conversions/Bson 


추가적으로 다음 에러는 mongo-java-driver-3.2.1.jar 없어서 나오는 에러 입니다. 저 같은경우 제실수로 mongo-drvier를 사용해서 계속 오류가 났네요


http://rmoff.net/2016/06/15/classnotfoundexception-with-mongodb-hadoop-in-hive/




reference : 써티웨어(Certiware), http://certiware.co.kr

저작자 표시 비영리 변경 금지
신고
  1. test 2016.11.17 09:32 신고

    test

저작자 표시 비영리 변경 금지
신고
이 장소를 Daum지도에서 확인해보세요.
서울특별시 강남구 역삼1동
도움말 Daum 지도



Ambari는 Hortonworks에서 개발한 하둡 클러스터를 프로비저닝(노드 / 하둡 컴포넌트 자동 설치), 매니지먼트(HDFS, HIVE 등등을 껏다 켯다, HA 등), 모니터링(HDFS , Hive 등등등)을 위한 아파치에 공개한 오픈소스 관리 도구입니다. 


최근, 암파리 아파치 커뮤니티에서 약간의 변경이 생겨서인재 Ambari 2.2일때는  RPM, apt-get등으로 바로 받을수 있는 주소를 공개 했었는데, 지금은 Ambari를 직접 컴파일하는 방법으로 설치 방법을 공개했습니다


그렇다고, RPM, Apt-get으로 설치를 못하는것은 아닙니다. Hortonworks 공식 홈페이지 다큐멘트를 찾아보면, 바로 패키지 형태로 제공할수 잇는 링크를 제공합니다 



\2016년 10월 19일 기준 암바리 2.4.1.0이 최신버전이고(HDP 2.5) 다음주소에서 암바리 repo주소를 확인할 수 있습니다


Apache Ambari https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.4.1


Ambari Hortonworks Document http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/download_the_ambari_repo.html


Hortonworks http://hortonworks.com/downloads/#data-platform

저작자 표시 비영리 변경 금지
신고



AWS 에 Putty로 PEM 키를 읽어들일려고 할때 , couldn't load private key unexpected end of file 오류가 난다면


현재 사용하고 있는 Putty 버전에 버그가 잇는것입니다.


http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 에서 최신버전을 받아서 다시 시도하시면 해결 되십니다. 

저작자 표시 비영리 변경 금지
신고



자격증 미리보기라는 말이.. 좀 애매하긴 한데..

예전부터 느끼는건 공부하는것과, 시험보는것은 많이 다른것 같습니다. 공부는 말그대로 공부고 시험은, 시험준비를 위해 기출을 풀거나 해서 유형을 파악하는건데, HDPCA라는 녀석은 전혀 파악이 안되더군요. 사실 HDP를 쓰면 쓰겠지만


그런데 호튼웍스(Hortonworks) 쪽에서 AWS에서 미리 테스팅 해볼수 있는 환경을 제공합니다 


PRACTICE EXAM

Hortonworks University recommends that candidates attempt the practice exam to familiarize themselves with the exam environment and also with the types of tasks that appear on the certification exam.

.icon6.png

The practice exam is available in the cloud on Amazon Web Services (AWS)

icon6.png

You will need an AWS account to follow the instructions

icon6.png

We do not charge for the practice exam, but you do have to pay for an AWS instance, which is typically less than $1 an hour

http://ko.hortonworks.com/wp-content/uploads/2015/04/HDPCA-PracticeExamGuide.pdf   [관련 안내 파일]

기본적으로 AWS(https://aws.amazon.com/) 계정이 필요합니다.


1.EC2 선택


HDP on AWS



2. Launch Instance 선택

HDP on AWS


3. Community AMIs 선택

HDP on AWS


4. Hortonworks 검색 ,  Hortonworks HDPCAdministrator_2.3 PracticeExam_v3 - ami-11829421 선택.


HDP on AWS


5. 인스턴스 타입 선택, Next: Configure Instance Details

HDP on AWS

6. 기본설정 사용 , Next: Add Storage

HDP on AWS


7. 기본설정 사용, Next: Tag Instance

HDP on AWS


8. 인스턴스 이름 지정, Next:Configure Security Group

HDP on AWS


9. 보안 설정 (5901 포트 추가 ) review and launch

HDP on AWS



10.private 키 설정,  및 인스턴스 실행  

HDP on AWS






저작자 표시 비영리 변경 금지
신고

i n v i t a t i o n

티스토리 초대장

 조건 없습니다. 비밀글로 이메일 주소 남겨드리면 초대장 보내드려요 

2016년 8월 23일 19시 기준으로 총 19장이 있습니다.


만약 19장이 떨어지면 나중에 생기면 보내드리겠습니다.


잘은 모르겠는데, 요즘 초대장 없이도 가입할수 있는 방법이 있는것 같더라고요 ..


번거로우신 분들은 비밀글로 댓글 남겨주세요


조건 없습니다 


2014/07/27 - [Think , Dream / Fly] - 티스토리 초대장 드립니다,(종료)

2014/02/23 - [Think , Dream / Fly] - [종료]초대장 19장 나누어 드립니다. (조건무 , 선착순)[종료][종료][종료][종료][종료][종료][종료][종료]

2013/05/31 - [Think , Dream / Fly] - 제한적 선착순으로 티스토리 10장 드려요(완료)

2013/03/15 - [Think , Dream / Fly] - 구글리더의 종료를 바라보면서

2013/02/18 - [Information] - 초대장 8장 드립니다. 무조건 선착순[종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료]

2012/12/26 - [Think , Dream / Fly] - 초대장 10장 드려요(완료되었습니다.)

2012/04/11 - [Information] - 초대장 드려요 10장[종료][종료][종료][종료][종료][종료][종료][종료][종료][종료]

2011/12/09 - [Think , Dream / Fly] - [종료][종료][종료][종료][종료][종료]초대장 받아가세요 ^^ 10장 [선착순 / 약간 조건]

2011/09/01 - [Think , Dream / Fly] - 초대장 나누어 드립니다 (5장) 종료

2011/06/25 - [Information] - 티스토리 초대장(종료)

2011/04/24 - [Information] - 초대장 받아가세요 (10장)(종료)

2011/02/18 - [Information] - 티스토리 초대장 5명 이유불문 무저껀 선착순[종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료][종료]

2011/01/21 - [Information] - [종료[[종료[[종료[[종료[[종료[[종료[[종료[티스토리 초대장 받아가세요 ,이유 불문!! 무조건 선착순!!! 5장 [완전 선착순임]

2010/12/17 - [Think , Dream / Fly] - 티스토리 초대장 드립니다. (선착순 11명) 종료

2010/06/23 - [Think , Dream / Fly] - [16강 기원]나이지리아전에 앞서서 티스토리 초대장 10장 배포 이벤트[종료]

2010/05/04 - [Think , Dream / Fly] - 티스토리 초대장 10장 드립니다.(종료)(

2010/02/25 - [Information] - 티스토리 초대장 배부 합니다(11장, 선착순, 종료)

2009/10/01 - [Think , Dream / Fly] - 티스토리 초대장 배포합니다(종료)

2009/06/21 - [Think , Dream / Fly] - 티스토리 블로그 초대장을 드립니다![종료]

2009/01/24 - [Sufing The Web] - 티스토리 초대장 배포[종료]

2008/03/05 - [Think , Dream / Fly] - [3차]티스토리 3분께 초대장을 나누어 드립니다.[종료되었습니다.]

2008/03/05 - [Think , Dream / Fly] - [2차]티스토리 초대장을 나누어 드립니다.[종료되었습니다.]

2008/03/04 - [Sufing The Web] - 티스토리 가지고 놀기 Part . 1

2008/03/01 - [Think , Dream / Fly] - 티스토리 초대장을 나누어 드립니다.



저작자 표시 비영리 변경 금지
신고
  1. 2016.08.23 20:23

    비밀댓글입니다

  2. 2016.08.23 20:25

    비밀댓글입니다

  3. Favicon of http://redeyesofangel.tistory.com BlogIcon Yuika eizt 2016.08.24 14:28 신고

    이메일을 비밀글로 남겨주세요

    초대장 보내드려요 , 만약 없으면 다음에 생기면 제가 보내드릴게요

  4. 2016.08.24 17:38

    비밀댓글입니다

    • 2016.08.24 17:45

      비밀댓글입니다

  5. 2016.08.24 17:49

    비밀댓글입니다

  6. 2016.08.24 18:53

    비밀댓글입니다

  7. 2016.08.24 18:53

    비밀댓글입니다

  8. 2016.08.25 00:11

    비밀댓글입니다

  9. 2016.08.25 00:13

    비밀댓글입니다

  10. 2016.08.25 00:13

    비밀댓글입니다

  11. Favicon of http://redeyesofangel.tistory.com BlogIcon Yuika eizt 2016.08.25 17:37 신고

    이미 존재하는 메일이라고 뜨는분들은 제가 못보내드렸습니다

    필요하시면 남겨놓셔요.. 보내드릴게요

    만약 초대장이 떨어지면 나중에 생기면 보내드릴게요

PIG, tez



PIG를 MapReduce 모드로 돌리면 발생하지 않는데 이상하게 PIG를 Tez 모드로 돌리면 Dump 뜰때마다 저런 오류가 있더군요..


웹상에서 보면 버전 문제라는 이야기도 있고..


아마 아직 남아있는 버그인것 같은데(현재 테스트중인 tez 버전은 0.84에 Pig는 0.16입니다.)



그때는


d = limit Alias 10

dump 와 같이 limit 을 걸어주면... 작동은 하는것 같습니다.



추가로 Hbase 1.1.1 이상에서 Pig를 연결해서 사용하시려면, Pig를 컴파일해서 사용하시면 됩니다.(일단 Apache에서 Pig를 설치한다고 할때)

(만약 파싱관련 오류가 난다면)



 

저작자 표시 비영리 변경 금지
신고
  1. 2016.08.23 13:39

    비밀댓글입니다

어떤 작업을 하는중이였는데, 40만 row가 들어있는 테이블을 MySQL로 지지고 볶고 있었습니다.

필요에 따라서는 테이블간 Join을 하였는데


주변 친한 형님이 왜 그렇게 하냐고 Merge를 하라고 하더군요..

찾아보니..MySQL에서는 동일한 기능이 ON DUPLICATE KEY UPDATE 이거였는데,,


결국에는 제가 하는 어떤 작업을 위해서는 Insert + Select + ON DUPLICATE KEY UPDATE 를 같이 써야 되는구조여서 한참 구글링을 하다가 옆나라 블로그에서 찾았네요 ..




INSERT INTO total (id,count) SELECT id, count 

     FROM (SELECT id, count FROM daily GROUPBYdate) t

ON DUPLICATE KEY UPDATE count = t.count


http://d.hatena.ne.jp/pullphone/20121203/1354502080



저작자 표시 비영리 변경 금지
신고
1234···26

+ Recent posts