I get the same error on Spark 1.2.1. I suspect that it because of duplicate jars on the classpath (and that Zeppelin takes the wrong one) but I didn't prove it yet. Will glad to get ideas... BTW I'm using z.hiveContext and not creating one of mine and still gets that error.
On Mon, Apr 6, 2015 at 6:20 AM, moon soo Lee <[email protected]> wrote: > Hi Prakash, > > I'm using parquet files with Spark 1.3.0 + Zeppelin and have not > experienced such a problem. > Which spark version do you use? > > One more thing is, Zeppelin creates and injects 'sqlContext' for you. > So you might want to not doing 'val sqlContext = new SQLContext(sc)'. > > Thanks, > moon > > > On Mon, Apr 6, 2015 at 11:37 AM Alex B. <[email protected]> wrote: > >> Hi Prakash, >> >> no, AFAIK it is not a known issue and we use Parquet files. Is it still >> an issue for you? >> >> If so, could you please post a gist with zeppelin and interpreter logs >> which are under >> logs/zeppelin-interpreter-<interpreterName>-<username>-<hostname>.log and >> logs/zeppelin-<username>-<hostname>.log >> >> -- >> Alex >> >> On Sat, Apr 4, 2015 at 6:53 AM, Prakash Chockalingam < >> [email protected]> wrote: >> >>> Hi Zeppelin users, >>> >>> I'm trying to load a parquet file from zeppelin. I've given the code and >>> the error I got. I'm able to run it from the spark-shell though. I see the >>> json4s* libraries in the zepplin/lib directory. Is this a known issue? And >>> is there any workaround? >>> >>> --- >>> >>> import org.apache.spark.sql._ >>> import org.json4s._ >>> import org.json4s.native.JsonMethods._ >>> >>> val sqlContext = new SQLContext(sc) >>> val foo = sqlContext.parquetFile("some file") >>> >>> java.lang.NoClassDefFoundError: Could not initialize class >>> org.json4s.jackson.JsonMethods$ at >>> org.apache.spark.sql.catalyst.types.DataType$.fromJson(dataTypes.scala:40) >>> at >>> org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$5.apply(ParquetTypes.scala:368) >>> at >>> org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$5.apply(ParquetTypes.scala:368) >>> at scala.util.Try$.apply(Try.scala:161) at >>> org.apache.spark.sql.parquet.ParquetTypesConverter$.convertFromString(ParquetTypes.scala:368) >>> at >>> org.apache.spark.sql.parquet.ParquetTypesConverter$.readSchemaFromFile(ParquetTypes.scala:481) >>> at >>> org.apache.spark.sql.parquet.ParquetRelation.<init>(ParquetRelation.scala:65) >>> at org.apache.spark.sql.SQLContext.parquetFile(SQLContext.scala:165) at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:69) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:71) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:73) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:75) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:77) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:79) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:81) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:83) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:85) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:87) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:89) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:91) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:93) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:95) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:97) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:99) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:101) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:103) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:105) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:107) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:109) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:111) >>> at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:113) >>> at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:115) >>> at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:117) at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:119) at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121) at >>> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:123) at >>> $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:125) at >>> $iwC$$iwC$$iwC$$iwC.<init>(<console>:127) at >>> $iwC$$iwC$$iwC.<init>(<console>:129) at $iwC$$iwC.<init>(<console>:131) at >>> $iwC.<init>(<console>:133) at <init>(<console>:135) at >>> .<init>(<console>:139) at .<clinit>(<console>) at .<init>(<console>:7) at >>> .<clinit>(<console>) at $print(<console>) at >>> sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at >>> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) >>> at >>> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) >>> at java.lang.reflect.Method.invoke(Method.java:606) at >>> org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:789) >>> at >>> org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1062) >>> at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:615) >>> at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:646) at >>> org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:610) at >>> com.nflabs.zeppelin.spark.SparkInterpreter.interpretInput(SparkInterpreter.java:487) >>> at >>> com.nflabs.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:463) >>> at >>> com.nflabs.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:457) >>> at >>> com.nflabs.zeppelin.interpreter.ClassloaderInterpreter.interpret(ClassloaderInterpreter.java:54) >>> at >>> com.nflabs.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:77) >>> at com.nflabs.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:184) at >>> com.nflabs.zeppelin.scheduler.Job.run(Job.java:147) at >>> com.nflabs.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:85) at >>> java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at >>> java.util.concurrent.FutureTask.run(FutureTask.java:262) at >>> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) >>> at >>> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) >>> at >>> java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) >>> at >>> java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) >>> at java.lang.Thread.run(Thread.java:745) >>> -- >>> - Prakash. >>> >> >> >> >> -- >> -- >> Kind regards, >> Alexander. >> >>
