请问，hive表不支持watermark，是不是和window tvf不支持batch也有关系？
当前hive表如果要分窗口统计是不是不可以用window tvf，是否也是因为hive表不支持time
attribute（eventtime+watermark）的原因。
Leonard Xu 于2021年2月1日周一 下午2:24写道：
> 还没有，你可以关注下这个issue[1]
>
> 祝好,
> Leonard
> [1] https://issues.apache.org/jira/browse/FLINK-21183
>
> > 在 2021年2月1日，13:29，macdo
你好，
上传的图片无法加载。 这种情况是 yarn 无法提供拉起taskmanager，检查下yarn资源是否充足？
王健 <13166339...@163.com> 于2021年10月26日周二 下午7:50写道：
> 您好：
> 我部署flink yarn的pre-job模式运行报错，麻烦看看是啥原因，非常感谢。
>
> 1.运行命令：/usr/local/flink-1.13.2/bin/flink run -t yarn-per-job -c
> com.worktrans.flink.wj.ods.FlinkCDC01 /usr/local/flink-
您好：
我部署flink yarn的pre-job模式运行报错，麻烦看看是啥原因，非常感谢。
1.运行命令：/usr/local/flink-1.13.2/bin/flink run -t yarn-per-job -c
com.worktrans.flink.wj.ods.FlinkCDC01 /usr/local/flink-1.13.2/flink_x.jar
提交正常，如图：
2.yarn 截图
3.flink截图：
现象：taskslot和taskmanager数量都为0
非常感谢大佬的答复：
目前从任务来看的话总共存在三个任务，其中两个异常任务分别使用了1到2个MapState，过期时间均为1天或3天。
正常运行的任务使用了MapState及ListState各4个，过期时间为60min-120min。
异常任务在产生异常后从checkpoint重启又会恢复正常。
> -- 原始邮件 --
> 发 件 人："Caizhi Weng"
> 发送时间：2021-10-26 18:45:44
> 收 件 人："flink中文邮件组"
> 抄 送：
> 主 题：Re
filter??filter??
-- --
??:
"user-zh"
Hi！
Flink 1.11 对 jdbc 在流作业中的支持确实不完善，在流作业做 checkpoint 时没有处理。如果需要在流作业中使用 jdbc
sink，建议升级到比较新的 1.13 或 1.14。
zya 于2021年10月26日周二 下午4:56写道：
> 你好，感谢回复
> 在任务做检查点的时候，内存中缓存的一批数据如何 flush 到 mysql 中的呢？
>
>
> 我用的是1.11.2版本的flink
> sql，我发现数据写到外部直接使用的是BufferReduceStatementExecutor中的方法，同时在做检查点的时候不会触发到数据库的flush，好像
Hi！
听起来和 state 过期时间非常有关。你配置了哪些和 state 过期相关的参数？是否有 20 天过期的 state？
mayifan 于2021年10月26日周二 下午4:43写道：
> Hi！
>
> 麻烦请教大家一个问题。
>
>
> 有三个Flink任务以yarn-per-job模式运行在Flink-1.11.2版本的集群上，均使用RocksDB作为状态后端，数据以增量的方式写入RocksDB，且均配置了状态过期时间。
>
>
> 任务逻辑大致都是通过状态与历史数据进行自关联或双流join，每输入一条数据都会产出等量、1/2或多倍的数据到下游，当数据无法通过
Hi！
Flink SQL 里已经内置了很多解倾斜的方式，例如 local global 聚合。详见 [1]，如果一定要使用 streaming api
可以参考该思路进行优化。
[1]
https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/dev/table/tuning/#local-global-%e8%81%9a%e5%90%88
xiazhl 于2021年10月26日周二 下午2:31写道：
> hello everyone！
> 向大家求助一个使用keyby
hello everyone??
??keyby??
??flink
streamAPI?? 10
??flinkidkeyby
id
web-ui??metrics
-- --
??:
"user-zh"
??
?? flush ?? mysql
1.11.2??flink
sqlBufferReduceStatementExecutorflush??GenericJdbcSinkFunction
?
Hi！
麻烦请教大家一个问题。
有三个Flink任务以yarn-per-job模式运行在Flink-1.11.2版本的集群上，均使用RocksDB作为状态后端，数据以增量的方式写入RocksDB，且均配置了状态过期时间。
任务逻辑大致都是通过状态与历史数据进行自关联或双流join，每输入一条数据都会产出等量、1/2或多倍的数据到下游，当数据无法通过状态关联，任务则无法向下游产出数据。
奇怪的是三个任务中有两个任务存在异常，异常现象是每次当任务启动运行至第20个工作日，都会非常准时的产生下游数据输出骤降的现象，输出与输入的数据量级差数十倍，并且此时
Web-UI中的就是Flink原生正常的Metrics，都是Task级别
xiazhl 于2021年10月26日周二 下午2:31写道：
>
> web-ui里面有metrics
>
>
>
>
> -- 原始邮件 --
> 发件人:
> "user-zh"
13 matches
Mail list logo
