下面这些情况下哪些可以让flink sql作业从上一个检查点恢复?
1. 升级了flink引擎版本
a) 小版本 1.13.1 -> 1.13.2
b) 大版本 1.13.x -> 1.14.x
2. 修改了sql，分为2种
a) 表schema发生了变化
b) 表schema没变，只是某些字段取值内容发生变化，例如 从 count(*) 变成 count(*) + 1
3. 修改了with options参数，例如 cache大小和时长
4. 修改了作业配置，例如并行度，资源大小，换了statebackend等
我发现作业启动时消耗的资源量是最大的，但当作业运行起来后资源消耗量会下降。
这点从cpu消耗看更为明显，申请了2 vCore (Request == Limit)，作业启动会用到 1.2
vCore，但当作业运行起来后实际只用到了0.8 vCore不到，造成了CPU资源浪费。
请问有没有办法做到资源弹性伸缩，即以我申请vCore数为上限，留有20% buffer应付流量高峰，除此之外在作业运行过程中多余的资源能释放给其他作业使用？
如果能做到的话要如何配置？是不是要升级到flink 1.14? 谢谢！
同一个作业，在请求资源相同的情况下，使用flink on native k8s session mode和application mode启动时间相差十几倍。
在session mode下提交作业，最多需要2分钟。而在application mode下提交作业，少则10分钟，多则半个小时至一个小时。
1. 想问一下作业启动速度跟什么有关？
2. 要怎么提高作业启动速度呢？
Hi
checkpoint 以及 savepoint是否可以生效取决于相关source的实现，Kafka这种是支持replay非常好的source，至于file
reader，目前 split file reader [1] 相关的实现是支持 容错的
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/sources/#the-split-reader-api
祝好
唐云
From: lei-tian
??flink on yarn flink run -m yarn-cluster
./examples/batch/WordCount.jar ??
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main
:
mongosql ??sql:
CREATE TABLE label (
distinct_id BIGINT,
xwho String,
sync5 decimal,
sync4 decimal,
sync6 string,
syncea1 string,
aa string,
ceshi string,
ttt string,
tongji decimal,
qweqwe array
您好：
flink的如果读hbase或者读文件，可以设置检查点和保存点么，我设置的手动保存点停止显示成功，但是去hdfs上看的savepoint的文件大小为0.从保存点启动的话文件也会从头开始执行而不是接着上次的处理进度进行，只有kafka才能设置保存点和检查点么。
| |
lei-tian
|
|
totorobabyf...@163.com
|
签名由网易邮箱大师定制
