pyflink1.12 报错：org.apache.beam.vendor.guava.v26_0_jre.com.google.common.util.concurrent.UncheckedExecutionException: java.lang.IllegalStateException: Process died with exit code 0

在执行 pyflink UDAF 脚本时报错：org.apache.beam.vendor.guava.v26_0_jre.com.google.common.util.concurrent.UncheckedExecutionException: java.lang.IllegalStateException: Process died with exit code 0。 目前udaf计算的结果，无法sink, 不知路过的大佬，是否也遇到过这个问题？ 异常信息如下： Traceback (most recent call last): File

Re: 相同的作业配置 ，Flink1.12 版本的作业checkpoint耗时增加以及制作失败，Flink1.9的作业运行正常

这个应该不是FLINK-16404 的影响，那个对checkpoint时间的影响比较小，是已经有一个benchmark测试的，1s的checkpoint interval也没什么大问题，我建议可以看一下失败的task的stack，看一下在干什么，可能排查问题更快一些。 Haihang Jing 于2021年3月24日周三 下午12:06写道： > 【现象】相同配置的作业（checkpoint interval ：3分钟，作业逻辑：regular >

Flink 写ORC失败

使用Flink API消费kafka消息，写orc文件，报错如下 Caused by: org.apache.flink.util.SerializedThrowable at java.lang.System.arraycopy(Native Method) ~[?:1.8.0_191-ojdkbuild] at org.apache.hadoop.io.Text.set(Text.java:225) ~[test456.jar:?] at

Re: flink 从mysql读取数据异常

报错 信息明确说了只支持insert air23 于2021年3月30日周二 上午10:32写道： > 你好 参考官网 > https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html > 这边读取mysql jdbc数据报错Exception in thread "main" > org.apache.flink.table.api.TableException: Only insert statement is > supported now. > >

(无主题)

退订 | | 高耀军 | | 邮箱：18221112...@163.com | 签名由 网易邮箱大师 定制

退订

退订

Re: flink sql count distonct 优化

Hi，Jark 我理解疑问中的sql是一个普通的agg操作，只不过分组的键是时间字段，不知道您说的 `我看你的作业里面是window agg` ,这个怎么理解 Best， Robin Jark wrote >> 如果不是window agg，开启参数后flink会自动打散是吧 > 是的 > >> 那关于window agg， 不能自动打散，这部分的介绍，在文档中可以找到吗？ > 文档中没有说明。 这个文档[1] 里说地都是针对 unbounded agg 的优化。 > > Best, > Jark > > [1]: >

Re: flink sql count distonct 优化

Hi，guomuhua `The number of inputs accumulated by local aggregation every time is based on mini-batch interval. It means local-global aggregation depends on mini-batch optimization is enabled ` ,关于本地聚合，官网有这么一段话，也就是说，需要先开启批次聚合，然后才能使用本地聚合，加起来有三个参数.

flinkSQL + pythonUDF问题

任务运行一段时间出现Apache beam问题 有哪位大佬能帮忙看看： Caused by: java.lang.RuntimeException: Error received from SDK harness for instruction 3134: Traceback (most recent call last): File "/home/yarn/software/python/lib/python3.6/site-packages/apache_beam/runners/worker/data_plane.py", line 421, in input_elements

Container is running beyond physical memory limits. Current usage: 5.0 GB of 5 GB physical memory used; 7.0 GB of 25 GB virtual memory used. Killing container.

java.lang.Exception: Container [pid=17248,containerID=container_1597847003686_12235_01_001336] is running beyond physical memory limits. Current usage: 5.0 GB of 5 GB physical memory used; 7.0 GB of 25 GB virtual memory used. Killing container. Dump of the process-tree for

退订

退订

Re: Re:回复：flink 从mysql读取数据异常

Hi,air23 JDBCTableSource就是batch模式的，不走实时。Flink解析执行计划时内部会去判断。 Best air23 wrote > 这边是想离线读取。不是走实时的 > 看到异常是 Only insert statement is supported now > > > > > > > > > > > > > > > > > > 在 2021-03-30 10:31:51，"guoyb" < > 861277329@ >> 写道： >>可以读取的，还有内置flink cdc

Re: flink-提交jar 隔断时间自己重启问题

没看懂问题。任务自动重启？失败了自然就重启了，restart策略设置的吧。 valve <903689...@qq.com> 于2021年3月31日周三 上午11:31写道： > 我也遇到这个问题 不知道为啥 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Checkpoint Aligned问题

退订

退订

Re: flink-提交jar 隔断时间自己重启问题

我也遇到这个问题 不知道为啥 -- Sent from: http://apache-flink.147419.n8.nabble.com/