回复：求助：Flink有没有类似Storm的ack机制呢？

好的，感谢回复，了解了，只能我们这边再去通知 了。 发自我的iPhone -- 原始邮件 -- 发件人: Congxian Qiu

Re: 求助：Flink有没有类似Storm的ack机制呢？

Hi 张洋 如果我理解没错的话，现在 Flink 无法严格保证消费了一条数据，等待上一条数据处理完成，然后再消费下一条数据的。如果想做到这个需求，需要用户做一些事情。 你说的第 2 点中是否处理完成，这个能否依赖第三方服务，在 sink（或者最后一个 operator） 处理完成之后做通知呢？ checkpoint 如果正常完成的话，那就是没有异常的，不过 checkpoint 没法完全保证一条数据一条数据的处理 Best, Congxian Bruce 于2020年8月5日周三 上午9:33写道： >

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

原来如此！我重新加了-d 运行了任务，果然从 YarnSessionClusterEntrypoint 变成了 YarnJobClusterEntrypoint ，学习到了~这个问题困扰了我好久，真的万分感谢您的解答！谢谢！ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

原来如此！果然用了-d后由 YarnSessionClusterEntrypoint 变成了 YarnJobClusterEntrypoint ；真的是万分感谢！这个问题困扰了我好久，感谢解答疑惑~ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? slot????????

flink??1.9streamgraph??780,??slot964,780 ??flinkuigraph https://i.loli.net/2020/08/05/xsekI7cWOYRj58l.png https://sm.ms/image/xsekI7cWOYRj58l;

??????Flink??????????Storm??ack????????

1.??Flink??rabbitmq 2.??rabbitmqqos??1Flink??

Re: 退订

Hi 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件 Flink 邮件列表的订阅管理，可以参考[1] 祝好， Leonard Xu [1]

Re: slot计算问题

Hi, 图挂了，你可以用个图床工具上传图片链接看看 Best Leonard > 在 2020年8月4日，19:53，★猛★ 写道： > > hi 你好， > > > > 我的flink是1.9，在streamgraph上设置最大并行度是780,并且所有算子在同一个分组下，但是实际使用的slot却是964,按理说应该是780，为什么会出现这种情况。 > 下图是flinkui里的graph > > > > 实际使用的slot > >

退订

退订

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

Hi Yang & Till, Thanks for your prompt reply! Yang, regarding your question, I am actually not using k8s job, as I put my app.jar and its dependencies under flink's lib directory. I have 1 k8s deployment for job manager, and 1 k8s deployment for task manager, and 1 k8s service for job manager.

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

您好： 请问这是flink这个版本自身的bug么？那就意味着没有办法解决了吧，只能手动kill掉？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

您好： 您说的完整的log是这个吧？还麻烦帮我看一下 jobmanager_log.txt - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

slot????????

hi ?? flink??1.9streamgraph??780,??slot964,780 ??flinkuigraph ??slot

Re: Re: FLINK SQL view的数据复用问题

调用 StatementSet#explain() 把结果打出来看看是否因 Deduplicate的digest不一样导致的没法复用 kandy.wang 于2020年8月4日周二 下午6:21写道： > > > > > > > > > > > > > > > > @ godfrey > thanks。刚试了一下，source -> Deduplicate -> > GlobalGroupAggregate,在souce端确实是复用了。但是Deduplicate 端是没有复用呢？理论上source + > Deduplicate

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

hi 我记得我用1.6.0版本的时候就有这个问题 好像是没有对应的jira 不过我用新版本已经没有遇到这个问题了 应该是偶尔会出现 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: [DISCUSS] FLIP-133: Rework PyFlink Documentation

Hi Seth and David, I'm very happy to have your reply and suggestions. I would like to share my thoughts here: The main motivation we want to refactor the PyFlink doc is that we want to make sure that the Python users could find all they want starting from the PyFlink documentation mainpage.

Re:Re: FLINK SQL view的数据复用问题

@ godfrey thanks。刚试了一下，source -> Deduplicate -> GlobalGroupAggregate,在souce端确实是复用了。但是Deduplicate 端是没有复用呢？理论上source + Deduplicate 都是view里的逻辑，都应该复用才对。就是感觉复用的还不够多呢。 在 2020-08-04 17:26:02，"godfrey he" 写道： >blink planner支持将多sink的query优化成尽量复用重复计算部分。

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

@bradyMk，你可以把完整的JM log发一下吗，这样我们能看一下Flink的YarnResourceManager为什么没有执行deregister的逻辑 @JasonLee，你说的bug是什么呢，已经有对应的JIRA了吗 Best, Yang JasonLee <17610775...@163.com> 于2020年8月4日周二 下午4:33写道： > hi > 这本身就是一个bug 应该是还没有修复 > > > | | > JasonLee > | > | > 邮箱：17610775...@163.com > | > > Signature is customized

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

@Till Rohrmann In native mode, when a Flink application terminates with FAILED state, all the resources will be cleaned up. However, in standalone mode, I agree with you that we need to rethink the exit code of Flink. When a job exhausts the restart strategy, we should terminate the pod and do

Re: FLINK SQL view的数据复用问题

blink planner支持将多sink的query优化成尽量复用重复计算部分。 1.11里用StatementSet来提交job，1.11之前用sqlUpdate/insertInto + execute提交任务 kandy.wang 于2020年8月4日周二 下午5:20写道： > FLINK SQL view相关问题： > create view order_source > > as > > select order_id, order_goods_id, user_id,... > > from ( > > ..

Re: Re: 有界数据中batch和stream的区别

你的运行环境是啥？能提供一下相关配置吗？ chenxuying 于2020年8月4日周二 下午2:46写道： > 你好,请问下我修改后的语句是 > insert into print_sink select game_id,count(id) from mysql_source group by > game_id > 然后在执行的时候如果选择的是streamMode他会打印出Changelog,如下 > 2> +I(12,1) > 5> +I(12555,1) 1> +I(122,1) 3> +I(13,1) 6> +I(1,1) 6> -U(1,1) 6> +U(1,2) >

FLINK SQL view的数据复用问题

FLINK SQL view相关问题： create view order_source as select order_id, order_goods_id, user_id,... from ( .. proctime,row_number() over(partition by order_id, order_goods_id order by proctime desc) as rownum from hive.temp_dw.dm_trd_order_goods/*+

Re: 维表实现无法加载配置文件

可以用一个静态类加载资源，然后返回一个属性对象properties。 > 在 2020年8月4日，下午4:55，"guaishushu1...@163.com" 写道： > > 维表的Function是集成TableFunction，这样就没办法加载配置文件，大佬们有没有什么好的方式呀？？？ > > > > guaishushu1...@163.com

维表实现无法加载配置文件

维表的Function是集成TableFunction，这样就没办法加载配置文件，大佬们有没有什么好的方式呀？？？ guaishushu1...@163.com

回复：Flink 通过sql client 启动的任务，kill掉之后，是否可以指定checkpoint恢复？

HI 目前sql-client的方式应该还不支持从指定的checkpoint恢复任务 不过Flink on zeppelin目前已经支持了 有兴趣可以用下 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年08月04日 16:28，mispower 写道： 通过sql_client 启动的streaming的任务，在维护或者异常之后，如何像flink straming 一样通过指定checkpoint 恢复到上一次的消费节点。

回复：flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

hi 这本身就是一个bug 应该是还没有修复 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年08月04日 15:41，bradyMk 写道： 您好 我这边是用perJob的方式提交的，而且这种现象还是偶发性的，这次错误日志是这样的： 2020-08-04 10:30:14,475 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph- Job

Flink 通过sql client 启动的任务，kill掉之后，是否可以指定checkpoint恢复？

通过sql_client 启动的streaming的任务，在维护或者异常之后，如何像flink straming 一样通过指定checkpoint 恢复到上一次的消费节点。 在邮件列表里搜索了相关的问题，好像都没有明确回答。

Kerberos 动态参数认证问题

大家好， 目前测试的版本是flink1.11 看jira https://issues.apache.org/jira/browse/FLINK-12130 所示的问题好像并没 有得到解决 flink run -m yarn-cluster -yD security.kerberos.login.keytab = / path / to / keytab -yD security.kerberos.login.principal = xxx /path/to/test.jar 看源码发现安全认证所用的配置还是只使用了配置文件中的配置，并没有把动态参数里 的配置进行合并，求助~

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

@Yang Wang I believe that we should rethink the exit codes of Flink. In general you want K8s to restart a failed Flink process. Hence, an application which terminates in state FAILED should not return a non-zero exit code because it is a valid termination state. Cheers, Till On Tue, Aug 4, 2020

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

您好 我这边是用perJob的方式提交的，而且这种现象还是偶发性的，这次错误日志是这样的： 2020-08-04 10:30:14,475 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph- Job flink2Ots (e11a22af324049217fdff28aca9f73a5) switched from state FAILING to FAILED. java.lang.Exception: Container released on a *lost* node at

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

我怀疑你起的是一个session cluster，如果是perjob的任务，job失败以后application是一定会退出的 你可以把jobmanager的log发一下，这样方便排查问题 Best, Yang bradyMk 于2020年8月4日周二 下午2:35写道： > 您好 > JM应该还在运行，因为Web Ui还可以看，但是我想知道我这个任务明明已经挂掉了，为什么JM还在运行着？这个需要配置什么参数去解决么？ > > > > - > Best Wishes > -- > Sent from:

flink table api 中数据库字段大小写问题

Hi， postgres字段包含大小写。 postgres_sink = """ CREATE TABLE alarm_history_data ( `recordId` STRING, `rowtime` TIMESTAMP(3), `action` STRING, `originalState`STRING, `newState` STRING, `originalCause`

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

Hi Eleanore, I think you are using K8s resource "Job" to deploy the jobmanager. Please set .spec.template.spec.restartPolicy = "Never" and spec.backoffLimit = 0. Refer here[1] for more information. Then, when the jobmanager failed because of any reason, the K8s job will be marked failed. And K8s

Re:Re: 有界数据中batch和stream的区别

你好,请问下我修改后的语句是 insert into print_sink select game_id,count(id) from mysql_source group by game_id 然后在执行的时候如果选择的是streamMode他会打印出Changelog,如下 2> +I(12,1) 5> +I(12555,1) 1> +I(122,1) 3> +I(13,1) 6> +I(1,1) 6> -U(1,1) 6> +U(1,2) 6> -U(1,2) 6> +U(1,3) 6> -U(1,3) 6> +U(1,4) 6> -U(1,4)

Re: flink1.9.1任务已经fail掉了，但在yarn上这个application还是在running

您好 JM应该还在运行，因为Web Ui还可以看，但是我想知道我这个任务明明已经挂掉了，为什么JM还在运行着？这个需要配置什么参数去解决么？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink run-application 怎样设置配置文件的环境变量

Zhou Zach 你是正确的，应该使用-D来传递，但是参数不正确 使用-Dcontainerized.master.env.HBASE_CONF_PATH='/etc/hbase/conf'来设置JM的环境变量 使用-Dcontainerized.taskmanager.env.HBASE_CONF_PATH='/etc/hbase/conf'来设置TM的环境变量 Best, Yang shizk233 于2020年8月3日周一 下午10:54写道： > 在yarn上各节点起作用的环境变量应该是用-yD设置 > > Zhou Zach 于2020年8月3日周一