THANK YOU ! Look at your suggestion and find the root cause of the problem, which is to add a single quotation mark. (TO DO: dt= "# YYYY-MM-dd#" to dt=#YYYY-MM-dd#)
> 在 2019年3月13日，19:06，Lionel, Liu <[email protected]> 写道： > > Hi, > > Seems like the job configuration should be submitted as raw json string, but > maybe the format is not correct, it was recognized as a file path. > https://github.com/apache/griffin/blob/master/measure/src/main/scala/org/apache/griffin/measure/configuration/dqdefinition/reader/ParamReaderFactory.scala > > <https://github.com/apache/griffin/blob/master/measure/src/main/scala/org/apache/griffin/measure/configuration/dqdefinition/reader/ParamReaderFactory.scala> > > I think the encoded json string is the root cause. > > Thanks > Lionel, Liu > > From: LAP0335180314 <mailto:[email protected]> > Sent: 2019年3月13日 18:02 > To: [email protected] <mailto:[email protected]> > Subject: Griffin for spark submit Error > > > Hi everyone, > Asking a question, I created a job on the griffin front page, and then I saw > an error in the livy log. > what is the cause of this error? How to solve it? > > > <47D026B34C834FD6973920C90A577AA8.png> > > > > > > > TEXT FILE > java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative > path in absolute URI: { "measure.type" > :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D > at org.apache.hadoop.fs.Path.initialize(Path.java:206) at > org.apache.hadoop.fs.Path.<init>(Path.java:172) at > org.apache.griffin.measure.utils.HdfsUtil$.openFile(HdfsUtil.scala:59) at > org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:40) > at > org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader$$anonfun$readConfig$1.apply(ParamFileReader.scala:39) > at scala.util.Try$.apply(Try.scala:192) at > org.apache.griffin.measure.configuration.dqdefinition.reader.ParamFileReader.readConfig(ParamFileReader.scala:39) > at > org.apache.griffin.measure.Application$.readParamFile(Application.scala:123) > at org.apache.griffin.measure.Application$.main(Application.scala:57) at > org.apache.griffin.measure.Application.main(Application.scala) at > sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at > sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) > at > sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) > at java.lang.reflect.Method.invoke(Method.java:498) at > org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755) > at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) > at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at > org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at > org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: > java.net.URISyntaxException: Relative path in absolute URI: { "measure.type" > :%20%22griffin%22,%0A%20%20%22id%22%20:%20249,%0A%20%20%22name%22%20:%20%22job3%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22test_desc%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201552384680000,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22mobile%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Distinct%20Count,Null%20Count,Empty%20Count,Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20254,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20255,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1552455921063%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22GMT%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22stg%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22yrd_users%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22dt=%5C%222019-03-12%5C%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20250,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20251,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_nullcount%5C%60%20WHERE%20source.mobile%20IS%20NULL%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_nullcount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20252,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.mobile)%20AS%20%5C%60mobile_emptycount%5C%60%20WHERE%20source.mobile%20=%20''%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%20%20%20%20%22out.dataframe.name%22%20:%20%22mobile_emptycount%22%0A%20%20%20%20%7D,%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20253,%0A%20%20%20%20%20%20%22rule%22%20:%20%22approx_count_distinct(source.mobile)%20AS%20%5C%60mobile_distcount%5C%60,count(source.mobile)%20AS%20%5C%60mobile_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D > at java.net.URI.checkPath(URI.java:1823) at > java.net.URI.<init>(URI.java:745) at > org.apache.hadoop.fs.Path.initialize(Path.java:203) ... 18 more > > <47D026B34C834FD6973920C90A577AA8.png>
