Re: 回复:Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

2023-04-08 文章 Geng Biao
你的考虑是对的;可能需要2个KDC互信,来使得一个keytab访问2个kerberos集群。这个其实就是我在刚才说的第一步操作中要考虑的事情。本质上是打通2个kerberos集群。 From: yihan Date: Sunday, April 9, 2023 at 12:13 AM To: Geng Biao Cc:

回复:Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

2023-04-08 文章 yihan
Biao Geng: 十分感谢您的回复。 这个问题是我的同事之前向我提出的。我当时直觉感觉是不行的。现在周末放空的时候再想想这个问题。 我考虑的是,提交任务使用到本集群的principal和keytab和要他写入的另一集群用到的principal和keytab在hadoop的UserGroupInformation类login时会冲突,导致要么任务无法在本集群顺利做如checkpoint之类的操作,要么就是无法写入另一集群的HDFS。 我想任务提交到非加密yarn上时确实是可行的,但是对于加密yarn来说就不行了。 不知道上面考虑是否合理。 回复的原邮件

Re: Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

2023-04-08 文章 Geng Biao
Hi yihan, 这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群),所以技术上是可能的。 我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程,整体操作感觉比较复杂,通常而言,你需要如下步骤: 1.

Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

2023-04-08 文章 yihan
请教如标题问题,谢谢。