Parquet + Spark 조합을 사용하고 있습니다

SparkSQL로 처리하기가 애매한 상황이라.  

직접 코딩좀 할일이 있어서 Scala를 만지는데 ...

1. sbt에 잘몰라서 설정하는데 고생

2. sbt와 스칼라버전과 build.sbt 의 %,%% 차이를 몰라서 고생

3. 책을 보고 있는데, 자바하고 문법이 비슷한것 같은데

   이제는 파이썬에 너무 익숙해져서 스칼라가 눈에 잘 안들어오는...

twitter scrooge 를 

spark scala 코드를 만지고 있는데, 다음과 같은 오류가 발생한다면

build.sbt에 아래를 추가하시면 될것 같습니다.

resolvers ++= Seq(
"Twitter Maven Repo" at ""

잘은 모르겟지만 libthrift 저게 maven centeral repo에는 업다고 하네요


Erlang is a programming language created in the Computer Science lab at Ericsson in Sweden in the late 1980s. The above prompt represents an Erlang shell, where you can try the full power of Erlang (well, sort of). To start this tutorial please type ok..

Please note that in Erlang every instruction must be terminated by a DOT (.), and to have it evaluated type Enter.!

What if I get stuck during a tutorial?

You can use the special commands prev. and next. to navigate through the tutorial steps.

Learn More about Erlang

To learn more about Erlang, have a look to the Erlang Programming book, written by Francesco Cesarini and Simon Thompson, and published by O'Reilly.