图挂了看不到，不然你把文字信息简单复制下来看看？
另外你的ProcessWindowFunction里是否会访问state，如果访问了，是否实现了clear方法？
On Thu, Jan 18, 2024 at 3:01 PM fufu wrote:
> 看hdfs上shard文件比chk-xxx要大很多。
>
>
>
> 在 2024-01-18 14:49:14，"fufu" 写道：
>
> 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink
>
看hdfs上shard文件比chk-xxx要大很多。
在 2024-01-18 14:49:14，"fufu" 写道：
是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink
UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~
在 2024-01-18 10:56:51，"Zakelly Lan" 写道：
是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink
UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~
在 2024-01-18 10:56:51，"Zakelly Lan" 写道：
>你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State
你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State
TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大
On Wed, Jan 17, 2024 at 4:09 PM fufu wrote:
>
>
你好，
CDC Source 目前不支持窗口函数。
不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为：
1.
使用DATE_FORMAT函数，将时间字段转换成分钟粒度的字符串，作为窗口值。
2.
根据窗口值进行GROUP BY聚合。
Best,
Hang
Xuyang 于2024年1月17日周三 19:34写道：
> Hi,
> Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。
> 可以具体描述一下“一直不生效”的现象和SQL么？
>
>
>
> [1]
>
Hi,
Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。
可以具体描述一下“一直不生效”的现象和SQL么？
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1
--
Best！
Xuyang
在 2024-01-17
我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章：https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数，
请社区指导下，或者有没有别的解决方案？感谢社区！
