回复：Flink sql从ck恢复，统计数据波动问题

Hi 我理解应该是任务恢复的时候从上一次成功的 checkpoint 或者你指定的 checkpoint 里记录的 offset 开始消费，所以此时的统计值应该是有短暂的下跌，因为数据相当于回复到之前重复计算了一部分。这个应该是符合预期的，可能需要在业务上做一些处理。 Best JasonLee 回复的原邮件 | 发件人 | 天下五帝东 | | 发送日期 | 2022年10月10日 13:34 | | 收件人 | user-zh@flink.apache.org | | 主题 | Flink sql从ck恢复，统计数据波动问题 | Hi:

flink cdc什么时候支持flink 1.15.x?

当前flinlk cdc master分支的snapshot版本最高支持到flink 1.14.4，尝试使用flink 1.15.2编译会出错，请问flink cdc什么时候支持flink 1.15.x?

Re:Re: flink cdc能否同步DDL语句?

可以给一些hints吗？看哪些类? 在 2022-10-11 10:22:07，"yuxia" 写道： >用 datastream api，自己解析一下 DDL。 > >Best regards, >Yuxia > >- 原始邮件 - >发件人: "yh z" >收件人: "user-zh" >发送时间: 星期二, 2022年 10 月 11日 上午 10:23:43 >主题: Re: flink cdc能否同步DDL语句? > >目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL

Re: flink cdc能否同步DDL语句?

用 datastream api，自己解析一下 DDL。 Best regards, Yuxia - 原始邮件 - 发件人: "yh z" 收件人: "user-zh" 发送时间: 星期二, 2022年 10 月 11日 上午 10:23:43 主题: Re: flink cdc能否同步DDL语句? 目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > Hi， 目前应该是不行的 > 在

Re: flink cdc能否同步DDL语句?

目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > Hi， 目前应该是不行的 > 在 2022-09-26 23:27:05，"casel.chen" 写道： > >flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate > table等 >

Re:Re: OutOfMemoryError: Direct buffer memory

Hi， 调大 taskmanager.memory.task.off-heap.size 应该能解决部分问题， 我这里还有些疑问，部署的session集群，每次集群只跑这一个任务，执行结束才开始下一个任务，如果是前面的任务read/write申请的堆外内存，执行结束的时候，会立即释放吗？ 执行几次任务之后，才出现这种异常，前面任务都是成功的，后面任务就异常了，感觉有内存泄漏的现象。Flink taskmanager的off-heap内存管理有更多的介绍吗？（官网的看过了） Thanks 在 2022-10-10 12:34:55，"yanfei lei" 写道：

退订

退订 -- 发自我的网易邮箱手机智能版

Re:Re: Re: table store 和connector-kafka包冲突吗？

Hi, 去除掉后运行是没有问题的，所以这种lib的冲突问题，能在官网上加个说明吗，避免后续其他人也遇到这种问题。 Thanks 在 2022-10-10 12:50:33，"yanfei lei" 写道： >Hi, 从table store的pom中看，table store的dist包shade了一份connector-kafka。 >https://repo1.maven.org/maven2/org/apache/flink/flink-table-store-dist/0.2.0/flink-table-store-dist-0.2.0.pom

Fwd: Flink sql从ck恢复，统计数据波动问题

数据库的统计值 > 下面是被转发的邮件： > > 发件人: Hangxiang Yu > 主题: 回复：Flink sql从ck恢复，统计数据波动问题 > 日期: 2022年10月10日 GMT+8 下午2:03:50 > 收件人: user-zh@flink.apache.org > 回复－收件人: user-zh@flink.apache.org > > 是什么值下跌呢？哪个metric吗？ > > On Mon, Oct 10, 2022 at 1:34 PM 天下五帝东 wrote: > >> Hi: >>

Re:控制流方式能否改变作业ExecutionGraph?

Hi，不重启作业的情况下，修改配置，实时改变ExecutionGraph目前是不支持的。 -- Best！ Xuyang 在 2022-09-27 08:36:53，"casel.chen" 写道： >我有一个数据同步场景是希望通过修改配置来实时动态修改数据同步的目标，例如使用flink >cdc将mysql中的变更数据实时同步进kafka，如果后来业务又要求同一份数据再同步进mongodb的话，我是否可以通过修改同步配置来达到不停止原来作业来动态修改数据同步的目标（由一个变多个）？又或者是flink >

Re:flink cdc能否同步DDL语句?

Hi， 目前应该是不行的 在 2022-09-26 23:27:05，"casel.chen" 写道： >flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate table等

Re: Flink sql从ck恢复，统计数据波动问题

ck“打”完是啥意思。 Congxian Qiu 于2022年10月10日周一 15:11写道： > > Hi > 可以的话也同步下相关的计算逻辑，从 checkpoint 恢复后的统计结果可能会和计算逻辑有关 > Best, > Congxian > > > Hangxiang Yu 于2022年10月10日周一 14:04写道： > > > 是什么值下跌呢？哪个metric吗？ > > > > On Mon, Oct 10, 2022 at 1:34 PM 天下五帝东 wrote: > > > > > Hi: > > >

Re: Flink sql从ck恢复，统计数据波动问题

Hi 可以的话也同步下相关的计算逻辑，从 checkpoint 恢复后的统计结果可能会和计算逻辑有关 Best, Congxian Hangxiang Yu 于2022年10月10日周一 14:04写道： > 是什么值下跌呢？哪个metric吗？ > > On Mon, Oct 10, 2022 at 1:34 PM 天下五帝东 wrote: > > > Hi: > > 各位大佬们，flink任务从状态恢复时，统计值有一个明显的下跌，等ck打完后，统计值才会上升，这种情况有什么好的解决方案吗？ > > > > -- > Best, > Hangxiang.

Re: Flink sql从ck恢复，统计数据波动问题

是什么值下跌呢？哪个metric吗？ On Mon, Oct 10, 2022 at 1:34 PM 天下五帝东 wrote: > Hi: > 各位大佬们，flink任务从状态恢复时，统计值有一个明显的下跌，等ck打完后，统计值才会上升，这种情况有什么好的解决方案吗？ -- Best, Hangxiang.