对于 keyed state，需要保证同一个 key 在 同一个 keygroup 中，如果是某个 key 有热点，可以在 keyby 之前进行一次
map（在 key 后面拼接一些 后缀），然后 keyby，最后处理完成之后，将这些进行聚合
Best,
Congxian
guomuhua <663021...@qq.com> 于2021年3月4日周四 下午12:49写道：
> 我也遇到类似情况，为了打散数据，keyby加了随机数。请问怎么正确打散数据呢？
> nobleyd wrote
> > 是不是使用了随机key。
>
> > guaishushu1103@
>
> >
>
我也遇到类似情况，为了打散数据，keyby加了随机数。请问怎么正确打散数据呢？
nobleyd wrote
> 是不是使用了随机key。
> guaishushu1103@
>
> guaishushu1103@
> 于2021年3月3日周三 下午6:53写道：> checkpoint 可以成功保存，但是savepoint出现错误：>
> java.lang.Exception: Could not materialize checkpoint 2404 for operator>
> KeyedProcess (21/48).> at>
>
我也遇到同样问题，为了打散数据，在keyby时加了随机数作为后缀，去掉随机数，可以正常savepoint，加上随机数就savepoint失败。所以如果确有要打散数据的需求，应该怎么处理呢？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
是不是使用了随机key。
guaishushu1...@163.com 于2021年3月3日周三 下午6:53写道：
> checkpoint 可以成功保存，但是savepoint出现错误：
> java.lang.Exception: Could not materialize checkpoint 2404 for operator
> KeyedProcess (21/48).
> at
>
checkpoint 可以成功保存，但是savepoint出现错误：
java.lang.Exception: Could not materialize checkpoint 2404 for operator
KeyedProcess (21/48).
at
org.apache.flink.streaming.runtime.tasks.StreamTask$AsyncCheckpointRunnable.handleExecutionException(StreamTask.java:1100)
at
ects/flink/flink-docs-stable/ops/config.html#taskmanager-memory-task-off-heap-size
Best
唐云
From: xyq
Sent: Monday, March 30, 2020 10:41
To: user-zh@flink.apache.org
Subject: Re:Re: flink savepoint问题
Hi，您好：
我这边有个小流 left join大流的需求，小流的数据夜间基本没有
可能会4-5个小时没数据，目前的情况是一到晚上c
Hi，您好：
我这边有个小流 left join大流的需求，小流的数据夜间基本没有
可能会4-5个小时没数据，目前的情况是一到晚上container老是被kill掉，报的是内存溢出。我想问下，我想把托管内存这设置成false，会有什么弊端吗？或者该问题怎么解决？困扰了好久了，请您指点一谢谢。
state.backend.rocksdb.memory.managed : false
在 2020-03-28 11:04:09，"Congxian Qiu" 写道：
>Hi
>
>对于问题 1 在反压的情况下，可能导致 Savepoint
非常感谢
在 2020-03-28 11:04:09，"Congxian Qiu" 写道：
>Hi
>
>对于问题 1 在反压的情况下，可能导致 Savepoint 做不成功从而超时，这个暂时没法解决，现在有一个 issue[1] 在做 Unalign
>Checkpoint 可以解决反压情况下的 checkpoint
>对于问题 3，checkpoint 超时了，超时的定义：在设置的时间内（比如你这里 5 分钟），有 task 没有完成
>snapshot。调长超时时间能够一定的缓解这个问题，不过你最好找到超时的原因，然后针对性的优化。
>[1]
Hi
对于问题 1 在反压的情况下，可能导致 Savepoint 做不成功从而超时，这个暂时没法解决，现在有一个 issue[1] 在做 Unalign
Checkpoint 可以解决反压情况下的 checkpoint
对于问题 3，checkpoint 超时了，超时的定义：在设置的时间内（比如你这里 5 分钟），有 task 没有完成
snapshot。调长超时时间能够一定的缓解这个问题，不过你最好找到超时的原因，然后针对性的优化。
[1] https://issues.apache.org/jira/browse/FLINK-14551
Best,
Congxian
Hi，您好，在使用flink的过程中遇到如下问题，个人未能解决，所以请求您指导一下，谢谢！
1. flink cancel -s $SAVEPOINT_DIR $job_id -yid $application_id 在程序有背压的时候停不掉
The program finished with the following exception:
org.apache.flink.util.FlinkException: Could not cancel job
1f768e4ca9ad5792a4844a5d12163b73.
at
10 matches
Mail list logo
