运行时的Kerberos模拟Spark上下文

mat*_*ieu 5 impersonation hadoop kerberos hadoop-yarn apache-spark

我有一个Spark应用程序,它通过多个线程上的几个Spark会话同时为不同的用户执行各种作业。

我的客户想对他的Hadoop集群进行kerberize。我想知道是否有一种方法可以配置模拟,例如将这些作业中的每一个与不同的代理用户一起运行。根据我在spark conf和代码中看到的内容,无法在运行时针对特定上下文执行此操作,但是我不熟悉Kerberos或Spark的这一部分。

任何人都可以确认/确认吗?