Re:Re:Re: Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-05 文章
3这个时候就不对了,在flink里面有修改两次的缓存数据,所以删除的同时将原来的旧数据插入进了mysql中(操作错误). 上述是我基于flink1.16.1版本进行测试的结果,目前不知道是不是要配置flink还是下游算子具体配置什么也不是清楚。这个问题困扰有3周了,各种测试调整都没有起作用。 在 2023-03-06 10:54:23,"陈佳豪" 写道: >hi 早上好 >我将flink升级到了1.16.1的版本去执行kafka同步到mysql的任务,发现还是存在一样的问题,我本机执行了explain的执行过程给的输出如下 > >=

Re:Re: Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-05 文章
1.15.2 上使用 EXPLAIN CHANGELOG_MODE INSERT INTO...[1] 将 plan >打印出来看看. > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sql/explain/ > >祝好! >Jane > >On Sun, Mar 5, 2023 at 2:36 PM 陈佳豪 wrote: > >> hi 你好 >> 目前没有1.16.2版本的吧? 我看flink官网都是1.16.

Re:Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-04 文章
release-1.15/docs/dev/table/sql/explain/ > >Best, >Jane > >On Wed, Mar 1, 2023 at 6:22 PM 陈佳豪 wrote: > >> flink ,kafka连接 jdbc连接版本都是1.15.2的 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >

Re:使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-01 文章
flink ,kafka连接 jdbc连接版本都是1.15.2的 在 2023-03-01 18:14:35,"陈佳豪" 写道: >问题如标题所示,就是删除操作的时候mysql的表数据不对,每次都会新增当前主键的旧数据。 >String kafka = "CREATE TABLE `电话` (`rowid` >VARCHAR(2147483647),`63fd65fb36521f81a2cfab90` >VARCHAR(2147483647),`63fd660536521f

使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-01 文章
问题如标题所示,就是删除操作的时候mysql的表数据不对,每次都会新增当前主键的旧数据。 String kafka = "CREATE TABLE `电话` (`rowid` VARCHAR(2147483647),`63fd65fb36521f81a2cfab90` VARCHAR(2147483647),`63fd660536521f81a2cfabad` VARCHAR(65535),`63fd660536521f81a2cfabae` VARCHAR(65535) ) WITH ( 'connector' = 'kafka', 'topic' =

使用flink sql 将kafka的数据同步到mysql无法删除。

2023-02-23 文章
-建表语法如下 String kafka = "CREATE TABLE `电话` " + "(`rowID` VARCHAR(255),`名称` STRING,`手机` VARCHAR(255),`座机` VARCHAR(255), " + " PRIMARY KEY (`rowID`) NOT ENFORCED ) " + " WITH " + "('connector' = 'jdbc', " + " 'driver' = 'com.mysql.cj.jdbc.Driver', " + " 'url' =

请问cancel的任务能够恢复running状态吗?

2022-12-30 文章
hi 我目前测试flink restapi 指定savepointpath来恢复任务发现会重新触发创建一个新的任务原有的任务还是cancel状态,请问有办法恢复原有cancel状态的任务为running吗?

请问flink sql可以被捕获异常吗?

2022-11-28 文章
hi 请问能在java代码里面try catch到基于flink sql写的任务异常信息吗?

Re:回复:请问flink metrics如何获取任务状态?

2022-11-27 文章
hi 不好意思刚刚图好像又挂了 不知道这个能否查看。 在 2022-11-28 13:50:37,"m17610775726_1" 写道: hi 你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了 回复的原邮件 ---- | 发件人 | 陈佳豪 | | 发送日期 | 2022年11月28日 00:54 | | 收件人 | user-zh | | 主题 | 请问flink metrics如何获取任务状态? | 自定义了一个kafka Metric Rep

Re:回复:请问flink metrics如何获取任务状态?

2022-11-27 文章
这个metrics 我获取不到。 不知道要怎么配置才可以获取到。 在 2022-11-28 13:50:37,"m17610775726_1" 写道: hi 你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了 回复的原邮件 ---- | 发件人 | 陈佳豪 | | 发送日期 | 2022年11月28日 00:54 | | 收件人 | user-zh | | 主题 | 请问flink metrics如何获取任务状态? | 自定义了一个kafka Metric

回复:请问flink metrics如何获取任务状态?

2022-11-27 文章
有大佬告诉下吗? 这个指标的值获取不到。 | | 陈佳豪 邮箱:jagec...@yeah.net | 回复的原邮件 | 发件人 | 陈佳豪 | | 发送日期 | 2022年11月28日 00:54 | | 收件人 | user-zh | | 主题 | 请问flink metrics如何获取任务状态? | 自定义了一个kafka Metric Reporters #请问如何使用上述指标呢? 我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以,当前flink 版本是15.2 还望大神指教一番。

请问flink metrics如何获取任务状态?

2022-11-27 文章
自定义了一个kafka Metric Reporters #请问如何使用上述指标呢? 我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以,当前flink 版本是15.2 还望大神指教一番。