flink on yarn日志清理

大家好， 请问下如下问题： flink on yarn模式，日志清理机制有没有的？ 是不是也是按照log4j/logback/log4j2等的清理机制来的？还是yarn上配置的。 是实时流作业，非离线一次性作业，一直跑着的 zjfpla...@hotmail.com

flink on yarn更新文件后重启失败

flink任务停止后，将相关配置文件进行更新（keytab），然后报错： Resource hdfs://nameservice1/user/hbase/.flink/${appid}/hbase.keytab changed on src filesystem(excepted ,was ) zjfpla...@hotmail.com

flink on yarn kerberos认证问题

Proxiable Ticket false Proxy Ticket false Postdated Ticket false Renewable Ticket false Initial Ticket false Auth Time =Fri Apr 30 14:38:36 CST 2021 Start Time =Fri Apr 30 14:38:36 CST 2021 End Time =Sat May 01 14:38:36 CST 2021 Renew Till = null zjfpla...@hotmail.com

flink offset自定义存储

Hi, flink有没有方式自定义偏移量存储，例如存redis等，不使用checkpoint/savepoint等，类似spark streaming的功能： https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#your-own-data-store zjfpla...@hotmail.com

Re: Re: flink tm cpu cores设置

没少啊。。 zjfpla...@hotmail.com 发件人： Yangze Guo 发送时间： 2020-11-10 18:34 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 你这个少了一个"v", 应该是yarn.containers.vcores Best, Yangze Guo On Tue, Nov 10, 2020 at 3:43 PM zjfpla...@hotmail.com wrote: > > JM logs里面有 > Loading con

Re: Re: flink tm cpu cores设置

JM logs里面有 Loading configuration property: yarn.containers.cores,4 zjfpla...@hotmail.com 发件人： zjfpla...@hotmail.com 发送时间： 2020-11-10 15:33 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4 zjfpla...@hotmail.com 发件人： Yangze Guo 发送时间： 2020-11-09

Re: Re: flink tm cpu cores设置

当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4 zjfpla...@hotmail.com 发件人： Yangze Guo 发送时间： 2020-11-09 10:19 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 如何确认没有用的呢？能分享一下jm日志么？ 另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度 Best, Yangze Guo On Thu, Nov 5, 2020 at 1:50 PM zjfpla...@hotmail.com wrote

Re: Re: flink tm cpu cores设置

你说的是启动参数吗？ zjfpla...@hotmail.com 发件人： JasonLee 发送时间： 2020-11-05 13:59 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 hi 可以这么设置-yD yarn.containers.vcores=你设置的值 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: flink tm cpu cores设置

你说加启动参数 而不是flink-conf.yaml? zjfpla...@hotmail.com 发件人： JasonLee 发送时间： 2020-11-05 13:59 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 hi 可以这么设置-yD yarn.containers.vcores=你设置的值 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: flink tm cpu cores设置

1.8中在flink-conf.yaml中设置无效 zjfpla...@hotmail.com 发件人： JasonLee 发送时间： 2020-11-05 13:49 收件人： user-zh 主题： Re: flink tm cpu cores设置 hi 设置yarn.containers.vcores这个参数就可以了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: flink tm cpu cores设置

这个再flink-conf.yaml中设置过没用 zjfpla...@hotmail.com 发件人： JasonLee 发送时间： 2020-11-05 13:49 收件人： user-zh 主题： Re: flink tm cpu cores设置 hi 设置yarn.containers.vcores这个参数就可以了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink tm cpu cores设置

flink on yarn per模式，tm能设置cpu cores的数量吗？ zjfpla...@hotmail.com

回复: 回复: flink实时流中如何实时获取当前时间

谢谢 我试试 zjfpla...@hotmail.com 发件人： 史 正超 发送时间： 2020-10-30 14:48 收件人： user-zh@flink.apache.org 主题： 回复: flink实时流中如何实时获取当前时间 在source表上加上 proctime AS PROCTIME()的字段 ， 下游取的时候就用proctime转，注意时差的问题。比如用FROM_UNIXTIME(CAST(proctime AS BIGINT), '-MM-dd HH:mm:ss') 函数时，在table config里设置时区 ``` java

flink实时流中如何实时获取当前时间

RT，sql方式中怎么实时取当前消息处理的时间，来插入数据库当作当前更新时间？现在用current_timestamp发现不会变，只是第一次的时间 zjfpla...@hotmail.com

维表选择

Hi， 请问各位，维表选择问题：Temporal table和RichAsyncFunction各自适用领域，优缺点，以及任务停止后启动，sv，cv会不会有什么问题 最好有生产环境的实际使用情况来说下，非常感谢 zjfpla...@hotmail.com

flink并行度 slot taskmanager相关问题

复用技术）和心跳信息（heartbeat messages）。它们还可能共享数据集和数据结构，从而降低每个 task 的开销。 zjfpla...@hotmail.com

回复: Re: flink savepoint和checkpoint相关事项

请问savepoint也是一样吗？ zjfpla...@hotmail.com 发件人： Yun Tang 发送时间： 2020-10-10 01:35 收件人： user-zh 主题： Re: flink savepoint和checkpoint相关事项 Hi 在修改作业的情况下，从checkpoint恢复的主要措施是确保相关operator设置了uid[1]，恢复state的时候添加了允许non-restored state [2] 恢复 [1] https://ci.apache.org/projects/flink/flink-docs-release

flink savepoint和checkpoint相关事项

Hi， flink的savepoint，checkpoint在任务如何修改的情况下还能沿用，如何修改下就只能重新消费了 zjfpla...@hotmail.com

flink1.8.1处理utc时间方式

请问下各位，flink1.8.1，flink sql（非java代码转化）方式下，数据格式'2018-1-2T12:00Z'如何sink到oracle的date字段，to_timestamp函数在1.8中还没有

回复: flink中同时有多个大数据组件开启kerberos时keytab的选择

我这边想的是两种解决方式： 1.security.kerberos.login.principal能否为2个值，ka...@test.com,hb...@test.com 2.如何整合principal为ka...@test.com和hb...@test.com为一个principal，以及keytab为1个 zjfpla...@hotmail.com 发件人： zjfpla...@hotmail.com 发送时间： 2020-08-12 14:39 收件人： user-zh 主题： flink中同时有多个大数据组件开启kerberos时keytab的选择 各位好, flink

flink中同时有多个大数据组件开启kerberos时keytab的选择

： ktutil: rkt user1.keytab ktutil: rkt user2.keytab ktutil: wkt user.keytab 这样的话，虽然是整合了hbase和kafka的keytab为1个keytab，但是“security.kerberos.login.principal”还是只能填其中一个，一样会有权限的问题，这块有没有什么方式能解决？ zjfpla...@hotmail.com

回复: flink krb5.conf配置

Flink on yarn模式 zjfpla...@hotmail.com 发件人： zjfpla...@hotmail.com 发送时间： 2020-08-10 15:09 收件人： user-zh 主题： flink krb5.conf配置 Hi， flink针对kerberos开启的cdh集群，是如何配置krb5.conf的？ zjfpla...@hotmail.com

flink krb5.conf配置

Hi， flink针对kerberos开启的cdh集群，是如何配置krb5.conf的？ zjfpla...@hotmail.com

flink on yarn日志web前台动态展示问题

面的类初始化之前，将这个append配置代码先运行 还有是否这个方案本身就是有问题？或者flink有没有提供更加好的日志展示方式，类似spark的restful api中带有获取日志的api（静态展示或者定时刷新）？ zjfpla...@hotmail.com

????: ??????flink on yarn??????????????????????

yarn??java -cp?? zjfpla...@hotmail.com Yichao Yang ?? 2020-06-11 15:53 user-zh ?? ??flink on yarn?? Hi yarnyarnyarn?? Best, Yichao Yang

flink on yarn模式的代码运行位置问题

-cp jarA的方式来启动，首先能确定的一点是jarA运行在服务器本地端，jarB中mainClass是否已经运行在yarn上了？还是运行在服务器端？ 服务器端指的是java -cp执行的服务器 我这边本身从日志打印和远程debug（java -cp中加remote debug参数和flink-conf.yaml中加入remote debug配置）来看，jarB中的mainClass还未运行在yarn上，这个是什么原因？ zjfpla...@hotmail.com

Re: Re: flink如何传递全局变量

我看到这篇文章介绍的比较详细：https://www.cnblogs.com/029zz010buct/p/10362451.html zjfpla...@hotmail.com 发件人： Px New 发送时间： 2020-06-10 09:54 收件人： user-zh 主题： Re: flink如何传递全局变量 对 正如 -> 1048262223 所说的一样 , 目前我就是通过BroadCast 动态更细一些规则带到下游并在Process method 中 进行操作 |  zjfpla...@hotmail.com 于2020年6月9日周二 下午8:1

????: ??????flink????????????????

?? zjfpla...@hotmail.com 1048262223 ?? 2020-06-09 20:17 user-zh ?? ??flink Hi rich functionopenbroadcast?? Best, Yichao Yang

flink如何传递全局变量

hi， 请问flink如何传递全局变量，静态类好像服务器端运行不行。 场景是：一开始flink程序起来时，读取配置文件中的配置项，此类配置项可能会在sink，source等等其他地方用到，算是整个程序的全局配置 zjfpla...@hotmail.com

flink on yarn消费开启kerberos的kafka

-Dsun.security.krb5.debug=true 直接就报了cannot locate default realm的错误 flink版本为1.8.1 zjfpla...@hotmail.com

Re: Re: using thin jar to replace fat jar on yarn cluster mode

itself higher than the jar on yarn? zjfpla...@hotmail.com From: tangjunli...@huitongjy.com<mailto:tangjunli...@huitongjy.com> Date: 2019-12-23 10:34 To: user-zh<mailto:user-zh@flink.apache.org> Subject: Re: using thin jar to replace fat jar on yarn

using thin jar to replace fat jar on yarn cluster mode

. zjfpla...@hotmail.com