Hi Prakash, I'm using parquet files with Spark 1.3.0 + Zeppelin and have not experienced such a problem. Which spark version do you use?
One more thing is, Zeppelin creates and injects 'sqlContext' for you. So you might want to not doing 'val sqlContext = new SQLContext(sc)'. Thanks, moon On Mon, Apr 6, 2015 at 11:37 AM Alex B. <[email protected]> wrote: > Hi Prakash, > > no, AFAIK it is not a known issue and we use Parquet files. Is it still an > issue for you? > > If so, could you please post a gist with zeppelin and interpreter logs > which are under > logs/zeppelin-interpreter-<interpreterName>-<username>-<hostname>.log and > logs/zeppelin-<username>-<hostname>.log > > -- > Alex > > On Sat, Apr 4, 2015 at 6:53 AM, Prakash Chockalingam < > [email protected]> wrote: > >> Hi Zeppelin users, >> >> I'm trying to load a parquet file from zeppelin. I've given the code and >> the error I got. I'm able to run it from the spark-shell though. I see the >> json4s* libraries in the zepplin/lib directory. Is this a known issue? And >> is there any workaround? >> >> --- >> >> import org.apache.spark.sql._ >> import org.json4s._ >> import org.json4s.native.JsonMethods._ >> >> val sqlContext = new SQLContext(sc) >> val foo = sqlContext.parquetFile("some file") >> >> java.lang.NoClassDefFoundError: Could not initialize class >> org.json4s.jackson.JsonMethods$ at >> org.apache.spark.sql.catalyst.types.DataType$.fromJson(dataTypes.scala:40) >> at >> org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$5.apply(ParquetTypes.scala:368) >> at >> org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$5.apply(ParquetTypes.scala:368) >> at scala.util.Try$.apply(Try.scala:161) at >> org.apache.spark.sql.parquet.ParquetTypesConverter$.convertFromString(ParquetTypes.scala:368) >> at >> org.apache.spark.sql.parquet.ParquetTypesConverter$.readSchemaFromFile(ParquetTypes.scala:481) >> at >> org.apache.spark.sql.parquet.ParquetRelation.<init>(ParquetRelation.scala:65) >> at org.apache.spark.sql.SQLContext.parquetFile(SQLContext.scala:165) at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:69) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:71) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:73) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:75) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:77) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:79) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:81) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:83) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:85) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:87) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:89) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:91) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:93) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:95) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:97) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:99) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:101) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:103) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:105) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:107) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:109) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:111) >> at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:113) >> at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:115) >> at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:117) at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:119) at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121) at >> $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:123) at >> $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:125) at >> $iwC$$iwC$$iwC$$iwC.<init>(<console>:127) at >> $iwC$$iwC$$iwC.<init>(<console>:129) at $iwC$$iwC.<init>(<console>:131) at >> $iwC.<init>(<console>:133) at <init>(<console>:135) at >> .<init>(<console>:139) at .<clinit>(<console>) at .<init>(<console>:7) at >> .<clinit>(<console>) at $print(<console>) at >> sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at >> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) >> at >> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) >> at java.lang.reflect.Method.invoke(Method.java:606) at >> org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:789) >> at >> org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1062) >> at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:615) >> at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:646) at >> org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:610) at >> com.nflabs.zeppelin.spark.SparkInterpreter.interpretInput(SparkInterpreter.java:487) >> at >> com.nflabs.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:463) >> at >> com.nflabs.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:457) >> at >> com.nflabs.zeppelin.interpreter.ClassloaderInterpreter.interpret(ClassloaderInterpreter.java:54) >> at >> com.nflabs.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:77) >> at com.nflabs.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:184) at >> com.nflabs.zeppelin.scheduler.Job.run(Job.java:147) at >> com.nflabs.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:85) at >> java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at >> java.util.concurrent.FutureTask.run(FutureTask.java:262) at >> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) >> at >> java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) >> at >> java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) >> at >> java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) >> at java.lang.Thread.run(Thread.java:745) >> -- >> - Prakash. >> > > > > -- > -- > Kind regards, > Alexander. > >
