Re: 如何使用flink sql优雅的处理大量嵌套if-else逻辑

我会选择 UDF + 配置文件，把配置文件放 HDFS上，UDF读这个配置文件。每次更新HDFS的配置文件，重启下任务 casel.chen 于2022年11月24日周四 12:01写道： > 我有一个flink > sql作业需要根据不同字段值满足不同条件来设置另一个字段值，还有一些嵌套if-else逻辑，这块逻辑不是固定的，业务方会过一段时间调整一次。 > 想请问如何使用flink sql优雅的处理嵌套if-else逻辑呢？我有想到使用drools规则引擎，通过udf来调用，不知道还有没有更好的办法？ > >

Re: 怎样从flink执行计划json生成StreamGraph?

并不需要从执行计划json生成streamGraph呀~ streamGraph提交之前直接转jobGraph。 casel.chen 于2022年11月28日周一 08:53写道： > > 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教

flink sql有办法获取到rowkind元数据字段吗？

flink sql有办法获取到rowkind元数据字段吗？比如按rowkind进行case when处理或者过滤

flink sql作业无缝升级问题

线上有一个流量较大的flink sql作业需要升级添加业务字段，当前主要是kafka (canal) 多表关联写入 mongodb 数据同步场景，除了source offset外无其他状态，如何让用户对升级无感呢？ 常规的停止作业再启动作业至少要几十秒，会造成消息积压告警，有没有可能先启新作业待运行平稳后再停止老作业？kafka group使用同一个，作业启动从group-offsets开始可以吗？另外，如果是有大状态作业又要如何无缝升级？

flink sql接cdc数据源按最新数据统计问题

业务需求是mysql订单表按天按供应商实时统计交易金额，订单表会发生修改和删除，用flink sql要如何实现呢？开窗取最新一条记录再聚合吗？如果遇到delete记录会不会减去相应的price呢？试着写了如下flink sql不知道对不对 select s.biddate, s.supplier, sum(s.price) from ( select * from ( select biddate, supplier, price,

Flink Kubernetes Operator何时会保留JobManager

环境: Flink：1.15 Operator: 1.2.0 问题： 注意到Operator源码里execution.shutdown-on-application-finish参数被设置为False。 想请问Flink operator部署的Flink作业在何时会保留JobManager的pod？因为我想在作业失败或者停止后还能获取到作业的日志。 除了正常Running状态会保留外，我尝试了其他情况。

回复：请问flink metrics如何获取任务状态？

hi 你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了 回复的原邮件 | 发件人 | 陈佳豪 | | 发送日期 | 2022年11月28日 00:54 | | 收件人 | user-zh | | 主题 | 请问flink metrics如何获取任务状态？ | 自定义了一个kafka Metric Reporters #请问如何使用上述指标呢？ 我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以，当前flink 版本是15.2 还望大神指教一番。

Flink Kubernetes Operator何时会保留JobManager Pod

环境: Flink：1.15 Operator: 1.2.0 问题： 注意到Operator源码里execution.shutdown-on-application-finish参数被设置为False。 想请问Flink operator部署的Flink作业在何时会保留JobManager的pod？因为我想在作业失败或者停止后还能获取到作业的日志。 除了正常Running状态会保留外，我尝试了其他情况。

请问flink sql可以被捕获异常吗？

hi 请问能在java代码里面try catch到基于flink sql写的任务异常信息吗？

Re:Re: Flink Kubernetes Operator何时会保留JobManager Pod

hi.如果是流作业呢？其实我是想在作业失败的时候能保留日志方便查看排查。 -- Best， Hjw 在 2022-11-28 15:33:37，"Biao Geng" 写道： >hi，主要就是针对作业FINISHED或者FAILED时也能保留作业。你可以跑一个批作业试试。 >Best， >Biao Geng > >获取 Outlook for iOS > >发件人: hjw >发送时间: Monday, November 28, 2022

Re:Re: 回复: FlinkCDC可以读到MySQL变更数据，但是插不到新的MySQL表里

CDC是自己编译的2.3，对应flink1.14的版本，还有一个问题是，可以读到变更数据。比如11点30写入mysql，flinkcdc读出来要慢几分钟，5~7分钟之后才能读到新写入或者变更的数据，第二个问题就行，变更数据插不到另外一张mysql表里 在 2022-11-07 10:11:56，"Shengkai Fang" 写道： >你用的是哪个版本的 cdc，增量部分的数据需要全量的部分读完才能进行。 > >Best, >Shengkai > >左岩 <13520871...@163.com> 于2022年11月4日周五 17:58写道： > >>

如果一个hive 数据库同时有hudi表和parquet，需要注册两个catalog？

如果一个hive 数据库同时有hudi和parquet表，好像只能分别注册hive catalog，和hudi catalog，两不同表需要分别使用通过catalog。不是很优雅，也对用户造成困惑。 select * from hudi_catalog.dbName.table1 left jon hive_catalog.dbBane.table2 spark 如果把hudi catalog注册名为spark_catalog，spark_catalog 是spark 默认cataog 名。sql 同时方式hudi 和parquet表，不需要添加catalog name。 select