Re: flink1.17.1使用kafka source异常

2023-07-05 文章 yh z
Hi, aiden. 看起来是类冲突,按照官方的文档,使用 kafka 时,你应该是不需要引入 flink-core 和 flink-connector-base 的( https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/table/kafka/)。如果是因为其他原因需要使用这两个 jar, 你可以使用 mvn dependency::tree 查看一下 "org/apache/kafka/clients/consumer/ConsumerRecord"

Re: Flink 1.16 流表 join 的 FilterPushDown 及并行

2023-07-05 文章 yh z
Hi, Chai Kelun, 你的 filter condition 里面包含了你自定义的 UDF,是不满足 filter push down 的条件的,因为对于优化器来说 UDF 是不确定的,优化器不能从里面提取到可以下推的条件, 如果你想实现下推,可以尝试抽取下确定性的 condition,如 product.id > 10 etc.。另外,Flink 是支持 broadcast hash join 的,如果你想控制某两个表的 join type,你可以通过 join hint 来指定 join 类型为 broadcast。() Chai Kelun 于2023年7月3日周一

Re: flink on native k8s里如何使用flink sql gateway

2023-07-05 文章 Shammon FY
Hi, 我们的做法是启动Flink集群后,在其他节点(pod或者独立启动)启动Sql-Gateway,通过Flink的地址远程连接Flink集群,这样Sql-Gateway的部署和Flink集群完全分开 Best, Shammon FY On Tue, Jul 4, 2023 at 10:52 AM chaojianok wrote: > 大家好,请教个问题。 > > 用native kubernetes方式在k8s集群上部署好了flink,现在需要在这个flink集群里使用flink sql > gateway,大家有什么好的方案吗? > 目前的做法是,进入pod里启动sql

Re: Re: PartitionNotFoundException循环重启

2023-07-05 文章 Shammon FY
Hi, 如果要增加request partition的重试时间,可以调整配置项`taskmanager.network.request-backoff.max`,默认是10秒,具体配置可以参阅[1] [1] https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#full-taskmanageroptions Best, Shammon FY On Tue, Jul 4, 2023 at 11:38 AM zhan...@eastcom-sw.com <