I was able to resolve the path error and now it complains about not finding
“connector”, whereas the UI accepts “connectors”
Is there something that I am setting up incorrectly ? Here is my dq json:
{
"name":"fms_count_score_measure",
"measure.type":"griffin",
"process.type":"BATCH",
"owner":"test",
"description":"fms count measure description",
"data.sources":[
{
"name":"fms_ip",
"connectors":[
{
"name":"fms_ip_connector",
"type":"HIVE",
"version":"2.3.2-amzn-0",
"data.unit":"1hour",
"data.time.zone":"UTC(WET,GMT)",
"config":{
"database":"default",
"table.name":"fms",
"where":"system = 'fms' and clientprocessingeventtype =
'BE' and me_type='ITEM_PUBLISHED'"
},
"pre.proc": [
{
"rule": "from_json",
"dsl.type": "df-ops",
"in.dataframe.name": "this",
"out.dataframe.name": "s1"
}
]
}
]
}
],
"evaluate.rule":{
"rules":[
{
"dsl.type":"spark-sql",
"rule":"select count(clienteventid) as ip_count from fms_ip",
"out.dataframe.name": "fms_ip_cnt",
"out": [
{
"type": "metric",
"name": "fms_ip_cnt"
}
]
}
]
},
"sinks": [
"CONSOLE",
"ELASTICSEARCH",
"HDFS"
]
}
From: Preetam Shingavi <[email protected]>
Reply-To: "[email protected]" <[email protected]>
Date: Wednesday, March 18, 2020 at 10:16 AM
To: "[email protected]" <[email protected]>,
"[email protected]" <[email protected]>
Subject: Re: Griffin issue running spark job via livy
Providing more trace: Same works when running locally on docker. I am seeing
this happen while executing on AWS EMR.
20/03/18 17:10:55 INFO Application$: Error reading dqParamFile
20/03/18 17:10:55 ERROR Application$: java.net.URISyntaxException: Relative
path in absolute URI: {
"measure.type"
:%20%22griffin%22,%0A%20%20%22id%22%20:%20298,%0A%20%20%22name%22%20:%20%22FMS_Count_Job%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22FMS%20test%20count%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201584465050822,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22name%22%20:%20%22clienteventid%22,%0A%20%20%20%20%20%20%22infos%22%20:%20%22Total%20Count%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22data.sources%22%20:%20%5B%20%7B%0A%20%20%20%20%22id%22%20:%20301,%0A%20%20%20%20%22name%22%20:%20%22source%22,%0A%20%20%20%20%22connectors%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20302,%0A%20%20%20%20%20%20%22name%22%20:%20%22source1584551384311%22,%0A%20%20%20%20%20%20%22type%22%20:%20%22HIVE%22,%0A%20%20%20%20%20%20%22version%22%20:%20%221.2%22,%0A%20%20%20%20%20%20%22predicates%22%20:%20%5B%20%5D,%0A%20%20%20%20%20%20%22data.unit%22%20:%20%221day%22,%0A%20%20%20%20%20%20%22data.time.zone%22%20:%20%22%22,%0A%20%20%20%20%20%20%22config%22%20:%20%7B%0A%20%20%20%20%20%20%20%20%22database%22%20:%20%22default%22,%0A%20%20%20%20%20%20%20%20%22table.name%22%20:%20%22fms%22,%0A%20%20%20%20%20%20%20%20%22where%22%20:%20%22%22%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%20%5D,%0A%20%20%20%20%22baseline%22%20:%20false%0A%20%20%7D%20%5D,%0A%20%20%22evaluate.rule%22%20:%20%7B%0A%20%20%20%20%22id%22%20:%20299,%0A%20%20%20%20%22rules%22%20:%20%5B%20%7B%0A%20%20%20%20%20%20%22id%22%20:%20300,%0A%20%20%20%20%20%20%22rule%22%20:%20%22count(source.clienteventid)%20AS%20%5C%60clienteventid_count%5C%60%22,%0A%20%20%20%20%20%20%22dsl.type%22%20:%20%22griffin-dsl%22,%0A%20%20%20%20%20%20%22dq.type%22%20:%20%22PROFILING%22%0A%20%20%20%20%7D%20%5D%0A%20%20%7D,%0A%20%20%22measure.type%22%20:%20%22griffin%22%0A%7D
On 3/17/20, 1:50 PM, "Preetam Shingavi" <[email protected]>
wrote:
FYI - Similar setting on local works as expected without any exception.
From: Preetam Shingavi <[email protected]>
Reply-To: "[email protected]" <[email protected]>
Date: Tuesday, March 17, 2020 at 1:36 PM
To: "[email protected]" <[email protected]>,
"[email protected]" <[email protected]>
Subject: Griffin issue running spark job via livy
Hi,
I am seeing this error while submitting the spark job AWS EMR hosted livy.
Has anyone faced this before? My application.properties point’s to the EMR’s
master node livy host.
livy.uri=http://<EMR_MASTER_NODE_DNS>:8998/batches
2020-03-17 20:17:36.238 INFO 1 --- [nio-8080-exec-5]
o.a.g.c.j.JobServiceImpl [541] :
{"id":20,"state":"dead","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null},"log":["Caused
by: java.net.URISyntaxException: Relative path in absolute URI: {","
\"measure.type\"
:%20%22griffin%22,%0A%20%20%22id%22%20:%20111,%0A%20%20%22name%22%20:%20%22FMS_Count_Job%22,%0A%20%20%22owner%22%20:%20%22test%22,%0A%20%20%22description%22%20:%20%22This%20is%20my%20new%20measure%22,%0A%20%20%22deleted%22%20:%20false,%0A%20%20%22timestamp%22%20:%201584389848974,%0A%20%20%22dq.type%22%20:%20%22PROFILING%22,%0A%20%20%22sinks%22%20:%20%5B%20%22ELASTICSEARCH%22,%20%22HDFS%22%20%5D,%0A%20%20%22process.type%22%20:%20%22BATCH%22,%0A%20%20%22rule.description%22%20:%20%7B%0A%20%20%20%20%22details%22%20
Thanks,
Preetam
