Re: FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

Hi on 2019/9/2 11:49, 陈赋赟 wrote: 2019-09-02 10:24:28,599 INFO org.apache.flink.runtime.taskmanager.Task - Interval Join -> Sink: Unnamed (1/4) (e8b85b6f144879efbb0b4209f226c69b) switched from RUNNING to FAILED. org.apache.kafka.common.errors.TimeoutException: Timeout

Re:FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

2019-09-02 10:24:28,599 INFO org.apache.flink.runtime.taskmanager.Task - Interval Join -> Sink: Unnamed (1/4) (e8b85b6f144879efbb0b4209f226c69b) switched from RUNNING to FAILED. org.apache.kafka.common.errors.TimeoutException: Timeout expired while initializing

FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

我在flink中使用了kafkaProducer 并开启了ExcatlyOnce语义，第一次部署在测试环境启动的时候一切正常，然后我再上新版本的时候kill掉了之前的任务，并重现发布了一下，就出现了如下的问题日志里显示在做checkpoint的时候出现了初始化事务状态 超时过期的异常。 具体异常如下： checkpoint interval设置了30s执行一次 producer事务超时（transaction.timeout.ms）时间设置了5分钟

FLINK WEEKLY 2019/35

FLINK WEEKLY 2019/35 FLINK 社区正在如火如荼的开发 1.10 的新特性中，许多对 FLINK 现有局限的讨论，包括功能上的、配置上的和文档上的问题都在热烈的讨论中。上周，user-zh 列表活跃度大大增加，社区的开发者和使用者对用户的问题的回复也非常迅速，FLINK 中文社区的壮大有目共睹。本周仍然分为用户列表的问答，FLINK 开发的进展和社区事件三个部分为大家推送上周的 FLINK 社区新闻。 USER flink 1.9 消费kafka报错

查看调度到 Task Manager 的 Job

Dear community Flink 是否提供了从 TaskManager 的角度查看有哪些任务运行在该 TaskManger 的方法？？？ 背景： Flink 1.7.0 版本，Flink on YARN 集群中某一个节点突然负载变高，需要定位哪一个 Job 占用了大量的资源，当前的办法是在 UI 的 Running Jobs 菜单，一个一个任务去找，然而我们有几十个 Job。快疯了……

Re: How to handle Flink Job with 400MB+ Uberjar with 800+ containers ?

Hi Elkhan, >>Regarding "One optimization that we take is letting yarn to reuse the flink-dist jar which was localized when running previous jobs." >>We are intending to use Flink Real-time pipeline for Replay from Hive/HDFS (from offline source), to have 1 single pipeline for both batch and

Re: [ANNOUNCE] Kinesis connector becomes part of Flink releases

Great to know, thanks for the efforts Bowen! And I believe it worth a release note in the original JIRA, wdyt? Thanks. Best Regards, Yu On Sat, 31 Aug 2019 at 11:01, Bowen Li wrote: > Hi all, > > I'm glad to announce that, as #9494 > was merged

Re: [SURVEY] Is the default restart delay of 0s causing problems?

-1 on increasing the default delay to none zero, with below reasons: a) I could see some concerns about setting the delay to zero in the very original JIRA (FLINK-2993 ) but later on in FLINK-9158

Re: Re:使用flink 1.8.1 部署yarn集群 ， 始终有报错

Hi 向0.0.0.0:8030 尝试提交作业是因为提交作业时找不到正确的YARN配置，就会向默认的本地8030端口提交，检查一下HADOOP_CONF_DIR 或者 HADOOP_HOME 这些环境变量有没有设置正确。可以设置一下这些配置文件的目录地址就可以提交作业了。 BTW，这个不是一个Flink的问题，是所有使用YARN管理作业的大数据计算引擎都有可能遇到的问题。 祝好 唐云 From: 周��岗 Sent: Sunday, September 1, 2019 15:31 To:

Re: Non incremental window function accumulates unbounded state with RocksDb

Hi William I think there might be another possible cause. Since RocksDB would perform 10X less than heap state backend. Have you ever checked current watermark of the job (from web UI) to see whether window triggered as expected, and whether the rocksDB job behaves back pressured? If state

Re:使用flink 1.8.1 部署yarn集群 ， 始终有报错

比较肯定yarn的配置基本是正确的，不知道为何flink始终在通过0.0.0.0 连接yarn scheduler 在 2019-09-01 13:55:50，"周虓岗" 写道： >Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s); >retry policy is RetryUpToMaximumCountWithFixedSleep > > > > >同样的一台电脑使用1.7.2部署就没有问题，有没有大神帮忙看看哪里有问题