티스토리 뷰
일단 현재 상황은 MySQL 안에 366996 로우가 들어있는 상황이고, 여기안에 데이터가 있는 상황입니다
여기에 데이터가 있는데, 랭킹을 매겨야 하는 상황입니다.
select B,T,(select count(*)+1 from 9_Spending_blk where T>t.T) as rank from a_blk as t order by rank asc;
SELECT a.B,
a.T,
count(b.T)+1 as rank
FROM 9 a left join 9 b on a.T>b.T and a.B=b.B
group by a.B,
a.T
통해서 RANK를 구하려고 했는데, 생각보다 느리게 되더군요....
MySQL로 구하는거 포기하고HIVE로 옮긴다음 해봤더니 금방 구할수 있었습니다.
절차는 다음과 같습니다.
sqoop import --connect jdbc:mysql://127.0.0.1:3306/my --username root --password xer --table ttt --hive-import –m 1
그다음 Hive에서
select s.d, s.t, rank() over(ORDER by t asc) as rank from ttt as s
했더니, 14초만에 답을 얻을수 있었습니다.
자동으로 맵리듀스 작업이 걸리는게, 직접만들지 않아도 되서, Hive는 역시 좋네요..
이제 이걸 mysql로 돌려보내야하는데..
어떻게 했더라.. sqoop으로 될텐데..
'Hadoop & Bigdata > HDP(Hortonworks Data Platform)' 카테고리의 다른 글
sqoop export : For input string: "\N" (From Hive to MySQL) (0) | 2016.01.05 |
---|---|
MySQl Memory DB Table is Full (0) | 2015.12.27 |
Sqoop-export : from hive to mysql (0) | 2015.12.23 |
Hive를 이용해서 Rank 구하기 (0) | 2015.11.16 |
MapReduce :: Type mismatch in value from map (0) | 2015.11.01 |
Sqoop 1.4.6 설치, 사용 예제(Migrating data using sqoop from Mysql to HBase) (0) | 2015.10.29 |
아파치 피닉스(Apache Phoenix) 설치 (0) | 2015.10.20 |
댓글
최근에 올라온 글
- SCI / SCIE 등재 여부 확인
- 도쿄 하늘 보기 - 롯본기 힐스..
- 애드블록을 꺼주세요[막는 방법]
- 도쿄 하늘 보기 - 도쿄타워,..
- 아키하바라 메이드카페 방문후..
- Pyenv offline (오프라인, 폐..
- [리뷰]터보백신(Turbo Vaccine..
- 넷플릭스 미드 나르코스(Narcos)
- 카카오 인공지능 스피커 '카카..
- 네이버 인공지능 스피커 웨이..
- 넷플릭스 미드 타임리스
- Cassandra 와 Spark
- NodeManager 추가 및 삭제
- HDFS 노드 추가 및 삭제
- 아파치 재플린 코드 자동완성(..
- saveAsTable is not a member..
- Spark 에서 Parquet 저장할때..
- 비트코인을 요구하는 랜섬웨어..
- 발표자료, 제안서 등 문서에서..
- 스파크 & 스칼라
최근에 달린 댓글
- 진짜 댓글 안써지네요 ... 왜..
- 안녕하세요~ 댓글을 써서..
- 좋은 정보 대단히 감사합니다.
- 도움이되셨다니 다행입니다 !
- 도움이되셨다니 다행입니다 !
- 감사합니다 웹은 되는데 모바..
- test
- HUE 공식홈에 가면 Docker를..
- 이미 존재하는 메일이라고 뜨..
- 이미 존재하는 메일이라네요..
- 이미 존재하는 메일이라네요
- 이메일을 비밀글로 남겨주세요..
- 아웃룩 2010 사용중입니다...
- 도움이 되셨다니 다행입니다..
- ++ 추가 지금 생각해보면 Hue..
- 감사해요. 얼마전 홀딱 자료..
- 반가와요
- 글 쓸 땐 참 편리한 것 같은데..
- 새해 복 많이 받으세요 :)..
- 오늘은 드디어 아는 뭔가가 나..
TAG
- 티스토리
- 구글
- 초대장
- Linux
- 클라우드
- 안드로이드
- 추천
- 블로그
- 아이폰
- Firefox
- 확장
- 우분투
- 파이어폭스
- gcc
- 리눅스
- 크롬
- hadoop
- IT
- 윈도우
- 유튜브
- CentOS
- 브라우저
- Debian
- C
- MySQL
- Java
- 무료
- 네이버
- PHP
- Total
- 1,676,139
- Today
- 271
- Yesterday
- 171