Hi,
你需要发送邮件到 user-zh-unsubscr...@flink.apache.org
而不是 user-zh@flink.apache.org.
Best regards,
Weijie
wujunxi <462329...@qq.com.invalid> 于2023年2月7日周二 16:52写道：
> 退订
Maybe you will also be interested in joining Flink Slack, here is my invite
link for joining Flink Slack:
https://join.slack.com/t/apache-flink/shared_invite/zt-1obpql04h-R3o5XM8d~Siyl3KGldkl2Q
Best regards,
Yuxia
- 原始邮件 -
发件人: "guanyuan chen"
收件人: "User" , "user-zh"
发送时间: 星期五, 2023年
Hi, guanyuan,
This document(
https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list)
will be helpful.
welcome~
Best,
Hang
guanyuan chen 于2023年2月7日周二 21:37写道：
> Hi,
> My name is Guanyuan Chen.I am a big data development engineer, tencent
> wechat department, china. I
Hi,
My name is Guanyuan Chen.I am a big data development engineer, tencent
wechat department, china. I have 4 years experience in flink developing,
and want to subscribe flink's development news and help someone developing
flink job willingly.
Thanks a lot.
Hi ,应该是Kafka 可能存在空闲分区，如果只是partition
数量少于并发数的话，并不会影响水位推进，只是会浪费资源。默认程序不指定并行度，使用电脑cpu 核数。
如果是table api 的话，可以添加如下参数解决，table.exec.source.idle-timeout
| |
飞雨
|
|
bigdata
drewfrank...@126.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年02月7日 18:48 |
| 收件人 | |
| 主题 | Re: Kafka
Hi,
问题应该是 kafka source 配置了多并发运行，但数据量比较少（或者 topic 的 partition 数量小于 task
的并发数量），不是所有的 source task 都消费到了数据并产生 watermark，导致下游聚合算子无法对齐 watermark 触发计算。
可以尝试通过以下办法解决：
1. 将 source 并发控制为 1
2. 为 watermark 策略开始 idleness 处理，参考 [#1]
fromElement 数据源会强制指定并发为 1
[#1]
jdk8 & scala2.12的组合是支持的，你这个问题一般就是jdk和idea设置问题。可以通过以下方法尝试下：
1.注意查看 maven profile，查看勾选的profile（可以使用scala-2.12）。
2.ProjectStrccture -> modules 设置各个module 匹配 jdk8
3.IDEA-Settings-Builder-Compiler 设置 jdk8，以及使用jdk11的话注意开启交叉编译
4.scala-compiler的server也要设置jdk8
tiger <2372554...@qq.com.invalid>
