Re: 回复：Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

你的考虑是对的；可能需要2个KDC互信<https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system-level_authentication_guide/using_trusts>，来使得一个keytab访问2个kerberos集群。这个其实就是我在刚才说的第一步操作中要考虑的事情。本质上是打通2个kerberos集群。 From: yihan Date: Sunday, April 9, 2023 at 12:13 AM To: Geng Biao Cc: u

Re: Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

Hi yihan, 这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群)，所以技术上是可能的。 我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程，整体操作感觉比较复杂，通常而言，你需要如下步骤： 1.

Re: 提交新的flink-sql的最佳方案是什么？

Hi， 能麻烦问下你之前使用过哪个支持动态修改SQL的框架或系统吗？ Best， Biao Geng 获取 Outlook for iOS 发件人: Zeguang ZHANG 发送时间: Friday, September 30, 2022 3:26:22 PM 收件人: user-zh@flink.apache.org 主题: 提交新的flink-sql的最佳方案是什么？ 您好，

Re: sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat

看起来你是在集群里运行的Flink；是通过Flink on YARN启动的session cluster吗？在启动session cluster时使用的flink/lib是不是没有添加flink-sql-parquet jar包？如果是的话，重启一下你的session cluster再试试。之所以这样怀疑，是因为你的DDL里用了parquet但没报错，这一般表示你client端的依赖是没问题的。但select语句报错了，而select是会被翻译成flink作业在集群上执行的，如果是用session cluster的话，session cluster里的依赖有可能不全，进而导致报错。

答复: Re:Re:yarn api 提交报错

Hi 周涛, Mang的建议很好，封装拼接参数是比较常见的实现。如果你没有什么特殊需求的话，推荐考虑他的建议，之后Flink版本升级之类的也一般会方便一些。 如果你因为某些原因，要继续走你目前的方式的话，我看到你的代码和YARNApplicationITCase中的代码比较接近了，你可以注意下，ITCase中的代码是在本地运行的，并且通过类似YARNApplicationITCase#startYARNWithConfig这样的方法设置好了HADOOP和Flink相关的环境变量。 在实际作业中，最终在Server侧，YARN在AM运行Flink作业的命令类似这样： /bin/bash -c

Re: flink on k8s是否有替代yarn.ship-files的参数

Hi shimin, 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。 Best， Biao 获取 Outlook for iOS 发件人: shimin huang 发送时间: Monday, March 28, 2022 8:14:28 PM 收件人: user-zh@flink.apache.org 主题: flink on k8s是否有替代yarn.ship-files的参数 flink version 1.12.0

Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

放图的话，建议传到图床上，邮件里放链接。一般运行yarn top即可显示集群状态。 Best, Biao 获取 Outlook for iOS 发件人: Kaiqiang XIE谢开强 发送时间: Saturday, March 26, 2022 10:33:40 AM 收件人: user-zh@flink.apache.org 主题: Re:Re: The number of requested virtual cores for application master