回复：flink 已完成job等一段时间会消失
有一个过期时间的配置 https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time | | spoon_lz | | spoon...@126.com | 回复的原邮件 | 发件人 | ha.fen...@aisino.com | | 发送日期 | 2024年04月9日 10:38 | | 收件人 | user-zh | | 主题 | flink 已完成job等一段时间会消失 | 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？
Re:Flink Native Kubernetes Resources Requests and Limits
看了下关于资源比例的参数是1.15版本才有的，1.13是没有的 内存的配置参数是 kubernetes.taskmanager.memory.limit-factor https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-memory-limit-factor On 08/28/2022 11:55，casel.chen wrote： 内存有相应的requests和limits参数吗？找了一圈没有发现，都设的是requests=limits，是为了作业高可靠保障么？如果要能够调整内存使用大小的话应该要如何实现呢？实际业务朝夕现象很鲜明，希望作业在低峰期能空出一些内存资源来 在 2022-08-05 10:42:48，"spoon_lz" 写道： 可以尝试使用个参数： kubernetes.taskmanager.cpu.limit-factor https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-cpu-limit-factor On 08/5/2022 09:24，casel.chen wrote： 我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！
Re:Flink Native Kubernetes Resources Requests and Limits
可以尝试使用个参数： kubernetes.taskmanager.cpu.limit-factor https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/config/#kubernetes-taskmanager-cpu-limit-factor On 08/5/2022 09:24，casel.chen wrote： 我通过flink native kubernetes部署flink 1.13.2作业到k8s上发现资源实际使用量远小于请求量，特别是CPU，启动的时候CPU消耗多一些，运行一段时间后CPU消耗显著降低，如果设置CPU值较小的话又会造成作业启动慢的问题，查了一下当前实现中将资源requests恒等于limits，请问该如何分别设置cpu和内存的requests和limits以提高资源使用效率呢？谢谢！
回复： flink sql是否支持动态创建sink table?
“在 datastream api 任务是可以的” 这样是可行的吗，我的理解flink是要先构建好graph之后才能运行，graph构建好之后可能没办法再动态调整了，除非写一个自定义的sink，自己实现逻辑 在2021年09月22日 19:25，JasonLee<17610775...@163.com> 写道： hi 这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的 Best JasonLee 在2021年9月22日 11:35，酷酷的浑蛋 写道： 我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成 | | apache22 | | apach...@163.com | 签名由网易邮箱大师定制 在2021年09月22日 11:23，Caizhi Weng 写道： Hi！ 不太明白这个需求，但如果希望发送给不同的 topic，需要给每个 topic 都定义 DDL。 如果是因为各 topic 之间的 schema 重复度比较高，只有些许字段以及 topic 名称等不同，可以看一下 DDL LIKE 语法： https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/create/#like casel.chen 于2021年9月18日周六 上午8:27写道： 上游kafka topic消息带有一个用户类型字段，现在想根据不同用户类型将数据发到不同topic（为了扩展不想写死有哪些类型) ，请问flink sql支持动态创建sink table吗？
flink on k8s 的flink-web-ui 访问问题
最近测试了一下flink on k8s native ，使用session 模式，启动session集群， 启动命令： ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=lz-test01 \ -Dkubernetes.rest-service.exposed.type=NodePort 返回url: | 2021-04-30 14:50:27,525 INFO org.apache.flink.kubernetes.KubernetesClusterDescriptor [] - Create flink session cluster lz-test01 successfully, JobManager Web Interface: http://10.83.79.13:32081 | 使用 curl http://10.83.79.13:32081 可以返回html内容。 但是使用application模式启动任务 ，启动命令： ./bin/flink run-application \ --target kubernetes-application \ -Dkubernetes.cluster-id=lz-application-test-01\ -Dkubernetes.rest-service.exposed.type=NodePort \ -Dkubernetes.container.image=flink-lz-application \ local:///tmp/usrlib/my-flink-job.jar 返回url： | 2021-04-30 14:52:02,946 INFO org.apache.flink.kubernetes.KubernetesClusterDescriptor [] - Create flink application cluster lz-application-test-01 successfully, JobManager Web Interface: http://10.83.79.13:32106 | 使用 curl http://10.83.79.13:32106 无法访问。 不知道大家使用application模式是怎样的姿势~ service显示为： NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/kubernetes ClusterIP 10.96.0.1 443/TCP 2d20h service/lz-application-test-01 ClusterIP None 6123/TCP,6124/TCP75s service/lz-application-test-01-rest NodePort 10.109.124.131 8081:32106/TCP 75s service/lz-test01 ClusterIP None 6123/TCP,6124/TCP 2m50s service/lz-test01-rest NodePort10.105.222.201 8081:32081/TCP 2m50s service/nginx NodePort 10.104.13.23 80:32667/TCP 2d3h | | spoon_lz | | spoon...@126.com | 签名由网易邮箱大师定制
