hi Jark,
就是因为我的数据里 event_name 字段的value 没有 "没有这个值" , 所以才比较奇怪
Jark Wu 于2020年2月18日周二 下午12:15写道:
> Hi jun,
>
> 这个是符合预期的行为哈。这说明你的 source 中有4条 event_name 的值是 '没有这个值'
>
> Best,
> Jark
>
> On Mon, 17 Feb 2020 at 23:26, jun su wrote:
>
>> hi Jark Wu,
>>
>> 感谢你的帮助 , 我在之前的问询中还发现了一些别的问题:
>>
>>
Hi jun,
这个是符合预期的行为哈。这说明你的 source 中有4条 event_name 的值是 '没有这个值'
Best,
Jark
On Mon, 17 Feb 2020 at 23:26, jun su wrote:
> hi Jark Wu,
>
> 感谢你的帮助 , 我在之前的问询中还发现了一些别的问题:
>
> 发现ParquetTableSource在flink table planner下, stream/batch 两个模式下都有这个情况:
> 当select一个字段, 并且where条件有 = 判断的话, 输出结果是将where条件
>
hi, Weihua
如你所说,我想要通过flink on yarn的run方式提交任务到集群上,但是当我运行./bin/flink run -m yarn-cluster
../examples/batch/WordCount.jar ,还是一样的错误,
日志信息只有这么一些;如果按您所说,是因为没有成功加载FlinkYarnSessionCli导致的,那导致没有成功加载的原因有哪些方面呢?谢谢!
祝好,amenhub
在 2020-02-18 11:29:13,"Weihua Hu" 写道:
>Hi, amenhub
>
>你应该是要把作业提交到 yarn
Hi, amenhub
你应该是要把作业提交到 yarn 上吧。这个错误应该没有正确的加载 FlinkYarnSessionCli
导致的,这些日志不是失败的根因。可以多提供一些日志看看。
Best
Weihua Hu
> 2020年2月18日 10:56,amenhub 写道:
>
> parseHostPortAddress
我用的是之前flink tpc-ds性能优化比赛的代码来执行tpc-ds,
flink版本是1.10。简单的修改了一下flink源码中ParquetTableSource的构造函数,支持传递TableSchema。但是在运行query1的时候报了如下的错,在校验数据源的时候decimal精度和范围不一致导致,而数据本生的格式就是Decimal(7,2)。请问这个校验是必须的么?我是应该在哪里转换么?
各位好,
The program finished with the following exception:
java.lang.IllegalArgumentException: The given host:port ('yarn-cluster')
doesn't contain a valid port
at org.apache.flink.util.NetUtils.validateHostPortString(NetUtils.java:108)
at
排查了下,确实是个 bug,我开了个 issue 来跟进解决:
https://issues.apache.org/jira/browse/FLINK-16113
当前的 workaround 可以将常量放到 selelct 中,比如 select a,b,'windows进程创建' from MyTable
where c = 'windows进程创建'
Best,
Jark
On Mon, 17 Feb 2020 at 15:15, jun su wrote:
> 上一个问题补充, 在blink table planner下:
>
> select event_name