退订

2022-04-15 文章 Jie Han
退订

Re: 状态初始化

2022-02-23 文章 Jie Han
可以参考 CheckpointedFunction::initializeState > 2022年2月23日 下午8:21,huangzhi...@iwgame.com 写道: > > > flink是否能够做到程序第一次启动还没有checkpoint的情况下,对状态进行初始化? > > > huangzhi...@iwgame.com

Re: FlinkSQL vs DataStream API 对硬件的需求

2022-02-17 文章 Jie Han
我理解只是不同api而已 > 2022年2月18日 上午11:18,Pinjie Huang 写道: > > Hi all, > > 同样一个task 用flinksql 写和DataStreamAPI写比较,是否会占用更多的CPU和memory?是否有performance > 比较的benchmark? > > Thanks, > Pinjie Huang

flink 1.12.1 写入hdfs 存在inProgress文件

2021-11-09 文章 jie han
Hi! 我们现在使用flink1.12.1版本的flink, 使用StreamingFileSink写入hdfs, 发现存在以下两个问题点。 1: 官方文档明确提示出: 任务关闭未采用savepoint/ checkpoint 重启 会导致 最后一批的文件无法复原的状态,保持在 inProgress 状态 例如: 路径 /data/user/test 中存在三个文件 part-0-0 part-0-1

Re: 基于flink 1.12 如何通过Flink SQL 实现 多sink端 在同一个事务中

2021-08-26 文章 jie han
HI: 可以尝试下使用flink cdc 的方式写入到第二个kafka里面呀 悟空 于2021年8月26日周四 下午1:54写道: > 我目前用的是flink-connector-kafka_2.11和flink-connector-jdbc_2.11, > 测试时,我把任务启动好之后,把mysql 中的目标表删除 或 删除必要字段, > 之后发送一条kafka数据,会报java.sql.BatchUpdateException 异常,然后重试3次。 > 但是接着sink Kafka 是成功的,Kafka端 我开启了'sink.semantic' = 'exactly-once',