본문 바로가기

Study

(328)
[MYSQL] Insert INTO + SELECT + ON DUPLICATE KEY UPDATE 어떤 작업을 하는중이였는데, 40만 row가 들어있는 테이블을 MySQL로 지지고 볶고 있었습니다.필요에 따라서는 테이블간 Join을 하였는데 주변 친한 형님이 왜 그렇게 하냐고 Merge를 하라고 하더군요..찾아보니..MySQL에서는 동일한 기능이 ON DUPLICATE KEY UPDATE 이거였는데,, 결국에는 제가 하는 어떤 작업을 위해서는 Insert + Select + ON DUPLICATE KEY UPDATE 를 같이 써야 되는구조여서 한참 구글링을 하다가 옆나라 블로그에서 찾았네요 .. INSERT INTO total (id,count) SELECT id, count FROM (SELECT id, count FROM daily GROUPBYdate) t ON DUPLICATE KEY UPDA..
ambari password reset 1.ambari-server 에 SSH 로 접속2. ambari-admin-password-reset ambari 암호 변경 https://community.hortonworks.com/questions/15063/default-usernamepassword-for-ambari.html
phpVirtualBox Invalid username or password , Virtualbox Error MessagesInvalid username or passwordThe default username / password to use when logging in to phpVirtualBox is admin / admin. See: https://sourceforge.net/p/phpvirtualbox/wiki/Authentication%20in%20phpVirtualBox/Some users have reported issues logging in if the PHP engine can't write to its session folder. It is impossible to cover all the possible PHP configurations here, so difficult to ..
HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: HBASE regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: 서버간 시간차이때문에 발생하는 오류입니다. 서버간 시간이 제대로 동기화 되었는지 확인해보셔야 됩니다. 또는 NTP 데몬을 계속 켜놔서 시간을 맞추는 방법도 있습니다.
아파치(Apache) 암바리(Ambari)2.2.1 Rest API(Service Stop and Start) Apache Ambari를 사용하다보면, 암바리 자체를 이용해서 하둡 클러스터를 관리할수도 있지만. 떄로는 필요한 부분에 대하여 커스터마이징하거나, 또는 관리의 편의성을 위해 별도의 앱을 만들어 쓸 수도 있습니다. 다음은 암바리의 컴포넌트를 API를 이용해서 시작 및 중지하는 방법입니다. curl -u USER:PASS -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Stop '"$1"' via REST"}, "Body": {"ServiceInfo": {"state": "INSTALLED"}}}' http://HOST/api/v1/clusters/CLUSTER/services/COMPONENT curl -u USER:PASS ..
HIVE : Error applying authorization policy on hive configuration: java.net.ConnectException: Call From ems2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.a.. java.lang.RuntimeException: Error applying authorization policy on hive configuration: java.net.ConnectException: Call From HOST2/192.168.1.12 to 0.0.0.0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at org.apache.hive.service.cli.CLIService.init(CLIService.java:114) at org.apache.hive.ser..
HUE make install ERROR [FFI_DEFAULT_ABI] In file included from c/cffi1_module.c:3, from c/_cffi_backend.c:6366:c/realize_c_type.c: In function ‘realize_c_type_or_func’:c/realize_c_type.c:577: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)c/_cffi_backend.c: In function ‘init_cffi_backend’:c/_cffi_backend.c:6458: error: ‘FFI_DEFAULT_ABI’ undeclared (first use in this function)error: command 'gcc' failed with exit status..
Ambari를 이용한 HDP(Hortonworks Data Platform ) 설치 사용하는 입장에 따라 다르지만, 직접 Hadoop을 받아서 설정하는 방법도 있지만, HDP(물론 무료!)를 이용해서 필요한 환경을 구축하는 방법도 있습니다. 제 사례를 들어보면 HDFS 부터 YARN,HBase, zookeeper,Hive까지 설치하는데 몇시간이 걸린다면,(물론 스크립트로 만들수도 있찌만) Ambari를 이용해서 HDP를 이용하면 원하는 환경은 바로 구성이 됩니다. 좀더 자세한 설명은 hortonworks.com/hdp/ 와 호튼웍스 공식 문서를 통해서 확인하실수 있습니다. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0-Win/bk_installing_hdp_for_windows/bk_installing_hdp_for_windows..