Re: 集群重启如何保证带状态的任务自动从最近一个checkpoint恢复？

2021-05-26 文章 LakeShen 
Hi，
 集群重启，具体是指什么重启呢，这个能在描述详细一点吗？

Best,
LakeShen

datayangl  于2021年5月26日周三 上午9:43写道：

> FixedDelaStrategy 默认是从最近一个ck
> 恢复，其他的策略可以看官网。如果你是想问怎么实现的，不建议在邮件列表里问实现原理的问题。可以google找相关文章、相关flip 或者
> 直接debug源码。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于savepoint恢复问题咨询

2021-05-26 文章 LakeShen 
看下你的 flink 命令对不对，然后去 Flink Web UI  Checkpoint 界面，看下是否从 Savepoint 恢复（下面有个
restore path）.
之后再看下你的窗口时间类型用的是什么。

Best,
LakeShen

王春浩  于2021年5月27日周四 上午9:26写道：

> hi, 社区
> ​
> 版本flink 1.7
> ​
>
> 我正在尝试从保存点（或检查点）还原flink作业，该作业的工作是从kafka读取->执行30分钟的窗口聚合（只是AggregationFunction，就像一个计数器）->下沉到kafka。
> ​
> 我使用rocksdb和启用检查点。
> ​
> 现在我尝试手动触发一个保存点。 每个汇总的期望值是30（1个数据/每分钟）。 但是，当我从保存点还原时（flink运行-d -s
> {savepoint的url}），聚合值不是30（小于30，取决于我取消flink作业并还原的时间）。 但是当作业正常运行时，它将达到30。
> ​
> 我不知道为什么有些数据似乎会丢失？
> ​
> 日志显示``No restore state for FlinkKafkaConsumer''
> ​
> ​​
> ​
> 四川省成都市高新区天府三街199号 太平洋保险金融大厦A区11楼
> 11th Floor,Tower A,Pacific insurance finance Building, No.199 TianFu 3rd
> Street, GaoXin District, Chengdu, Sichuan Province
> Mobile +86 15817382279
> Email  wangchun...@navercorp.com
>
> NCloud
>
> -Original Message-
> From: "王春浩"
> To: ;
> Cc:
> Sent: 2021/5/26周三 17:03 (GMT+08:00)
> Subject: inquire about restore from savepoint
>
> Hi Community,
> ​
> version flink 1.7
> im trying to make a flink job restore from a savepoint(or checkpoint),
> what the job do is reading from kafka -> do a 30-minutes-window
> aggregation(just AggregationFunction, acts like a counter) -> sink to kafka.
> i use rocksdb and enabled checkpoint.
> now i try to trigger a savepoint manually. the expected value of each
> aggregated one is 30(1 data/per minute). but when i restore from a
> savepoint(flink run -d -s {savepoint's url}), the aggregated value is not
> 30(less than 30, depends on the time i cancel flink job and restore). but
> when the job run normally, it gets 30.
> i don't know why could some data seems to be lost?
> and a log shows "No restore state for FlinkKafkaConsumer"​
> ​
> ​
> ​
> 四川省成都市高新区天府三街199号 太平洋保险金融大厦A区11楼
> 11th Floor,Tower A,Pacific insurance finance Building, No.199 TianFu 3rd
> Street, GaoXin District, Chengdu, Sichuan Province
> Mobile +86 15817382279
> Email  wangchun...@navercorp.com
>
> NCloud
>

关于兰州哪里有开机械设备发票-兰州本地宝

2021-05-26 文章 luoshaoj 
关于兰州哪里有开机械设备发票〖⒈⒌⒍一徴一⒎⒎⒍⒈一電一⒍⒍⒊⒈〗罗生-100%-项目齐全【餐饮】〖住宿〗「建筑」｛手撕｝《定额》〈运输〉〔材料〕＜钢材＞〔机械〕『咨询』【广告】｛服务｝【租赁】《设计》【培训】『劳务本书是为教师写的“教育常识”。本书所讲的教育常识，首先是我自己眼中的教育常识，它绝非教育常识的全部。我期待通过对教育常识的追问，唤醒对常识的尊重和敬畏。



--
Sent from: http://apache-flink.147419.n8.nabble.com/

关于北京哪里有开化工原料发票-北京产品吧

2021-05-26 文章 luoshaoj 
关于北京哪里有开化工原料发票〖⒈⒌⒍一徴一⒎⒎⒍⒈一電一⒍⒍⒊⒈〗罗生-100%-项目齐全【餐饮】〖住宿〗「建筑」｛手撕｝《定额》〈运输〉〔材料〕＜钢材＞〔机械〕『咨询』【广告】｛服务｝【租赁】《设计》【培训】『劳务本书是为教师写的“教育常识”。本书所讲的教育常识，首先是我自己眼中的教育常识，它绝非教育常识的全部。我期待通过对教育常识的追问，唤醒对常识的尊重和敬畏。



--
Sent from: http://apache-flink.147419.n8.nabble.com/

关于savepoint恢复问题咨询

2021-05-26 文章 王春浩 
hi, 社区
​
版本flink 1.7
​
我正在尝试从保存点（或检查点）还原flink作业，该作业的工作是从kafka读取->执行30分钟的窗口聚合（只是AggregationFunction，就像一个计数器）->下沉到kafka。
​
我使用rocksdb和启用检查点。
​
现在我尝试手动触发一个保存点。 每个汇总的期望值是30（1个数据/每分钟）。 但是，当我从保存点还原时（flink运行-d -s 
{savepoint的url}），聚合值不是30（小于30，取决于我取消flink作业并还原的时间）。 但是当作业正常运行时，它将达到30。
​
我不知道为什么有些数据似乎会丢失？
​
日志显示``No restore state for FlinkKafkaConsumer''
​
​​
​
四川省成都市高新区天府三街199号 太平洋保险金融大厦A区11楼
11th Floor,Tower A,Pacific insurance finance Building, No.199 TianFu 3rd 
Street, GaoXin District, Chengdu, Sichuan Province
Mobile +86 15817382279
Email  wangchun...@navercorp.com  

NCloud

-Original Message-
From: "王春浩"
To: ;
Cc:
Sent: 2021/5/26周三 17:03 (GMT+08:00)
Subject: inquire about restore from savepoint
 
Hi Community,
​
version flink 1.7
im trying to make a flink job restore from a savepoint(or checkpoint), what the 
job do is reading from kafka -> do a 30-minutes-window aggregation(just 
AggregationFunction, acts like a counter) -> sink to kafka.
i use rocksdb and enabled checkpoint.
now i try to trigger a savepoint manually. the expected value of each 
aggregated one is 30(1 data/per minute). but when i restore from a 
savepoint(flink run -d -s {savepoint's url}), the aggregated value is not 
30(less than 30, depends on the time i cancel flink job and restore). but when 
the job run normally, it gets 30.
i don't know why could some data seems to be lost?
and a log shows "No restore state for FlinkKafkaConsumer"​
​
​
​
四川省成都市高新区天府三街199号 太平洋保险金融大厦A区11楼
11th Floor,Tower A,Pacific insurance finance Building, No.199 TianFu 3rd 
Street, GaoXin District, Chengdu, Sichuan Province
Mobile +86 15817382279
Email  wangchun...@navercorp.com  

NCloud

退订

2021-05-26 文章 swsgoog

Re:退订

2021-05-26 文章 Roc Marshal 
张斌，你好：如需退订，请回复信息到 user-zh-unsubscr...@flink.apache.org 
后，根据提示完成后续流程，即可退订。祝好。Best, flinker.
在 2021-05-26 17:05:59，"张斌"  写道：
>
>
>退订
>| |
>张斌
>|
>|
>herobin1...@163.com
>|
>签名由网易邮箱大师定制
>

退订

2021-05-26 文章 张斌 


退订
| |
张斌
|
|
herobin1...@163.com
|
签名由网易邮箱大师定制

退订

2021-05-26 文章 402991848 
退订

退订

2021-05-26 文章 wujing...@shantaijk.cn 
退订

退订

2021-05-26 文章 chongwei.zhou 

退订

createTemporaryView接口注册table时，fieldname支持中横线（-）

2021-05-26 文章 Jun Zou 
Hi，all：
我使用flink1.11.2进行作业开发，由于要兼容内部历史代码，需要把source手动注册成一张表，调用为：

> tableEnv.createTemporaryView(tableSource.getName, source, fields.toArray:
> _*)
>
其中，tableEnv为 StreamTableEnvironment类型，source是 DataStream[Row] 类型，代表source
connector生成的算子，fields是 由处理过的source table的 filed name 转换成的 Expression，将filed
name转换成expression 使用 *ExpressionParser.parseExpression* 这个方法

正常情况下，都能注册成功。
但是，当field name带中横线，如 source中一个字段名称为
“X-Oem”时，经过 ExpressionParser.parseExpression 会被解析为 “minus(X, Model)”
而非预期的“X-Oem”，导致注册成的表与DML语句中操作的字段名不一致报错。

有什么方法能够处理这种情况么？

Re: avro.ComplexPayloadAvro

2021-05-26 文章 r pp 
谢谢，好奇为什么要这么做，动态编译么？

Qishang  于2021年5月26日周三 下午1:57写道：

> Hi.
>
> 会生成 `${project.basedir}/target/generated-sources/`
>
> https://github.com/apache/flink/blob/master/flink-end-to-end-tests/flink-datastream-allround-test/pom.xml#L97
>
> r pp  于2021年5月25日周二 上午9:58写道：
>
> > 各位好，请问下，
> >
> >
> https://github.com/apache/flink/blob/master/flink-end-to-end-tests/flink-datastream-allround-test/src/main/java/org/apache/flink/streaming/tests/DataStreamAllroundTestProgram.java
> >
> > 在该类下的
> >
> >
> >
> /flink-end-to-end-tests/flink-datastream-allround-test/src/main/java/org/apache/flink/streaming/tests/DataStreamAllroundTestProgram.java
> > 下面两个类，在代码哪里？
> > import org.apache.flink.streaming.tests.avro.ComplexPayloadAvro;
> > import org.apache.flink.streaming.tests.avro.InnerPayLoadAvro;
> > --
> > Best，
> >   pp
> >
>


-- 
Best，
  pp

Re: flink状态查看工具

2021-05-26 文章 Paul Lam 
可以使用 State Processor [1]。

[1] 
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/libs/state_processor_api/

Best,
Paul Lam

> 2021年5月26日 09:14，casel.chen  写道：
> 
> 我有一个flink sql写的数据实时同步作业，从mysql binlog cdc消费发到mongodb，仅此而已，没有lookup，也没有join。
> 查看checkpoint页显示状态有17MB，checkpoint耗时要2s。
> 想知道为什么状态会如此之大，有没有状态查看工具看看里面到底存了什么信息?

退订邮件

2021-05-26 文章 wujing...@shantaijk.cn 
退订



wujing...@shantaijk.cn

Re: flink sql cdc并行度问题

2021-05-26 文章 Zorro 
mysql-cdc connector只能设置一个并行度，主要可能有这些原因：
1. mysql binlog本质上是一个文件，多个并行度消费需要避免重复
2. 多个并行度消费难以保证顺序

sink可以设为多个并行度，但是顺序不一定，如果需要主键相同的记录发到同一个sink线程可以先做一个keyby，并且保证keyby并行度与sink并行度相同，这样基本上能够保证数据forward传输，不过也不能100%保证有序。

如果需要保证有序还是建议sink并行度为1



--
Sent from: http://apache-flink.147419.n8.nabble.com/