Mah*_*van 3 hadoop kerberos kerberos-delegation spark-streaming
我正在 hadoop 中运行一个火花流作业。这台机器被 Kerberized 并且它运行了 42 小时并且由于 HDFS 令牌授权到期而失败。
我什至为 kinit 命令设置了 crontab，该命令每 8 小时运行一次，并且我拥有 10 小时的 Max-renew 生命周期令牌。
由于错误而失败：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token
在启动它时，我也在命令行中使用原则运行该作业。
问题解决了...！在启动作业时将以下配置添加到 spark 命令行并且它起作用了。
--conf spark.hadoop.fs.hdfs.impl.disable.cache=true
或者您可以在纱线配置级别更改此设置以影响全局。
我测试了它运行良好 3 天。
谢谢
| 归档时间： |
|
| 查看次数： |
5568 次 |
| 最近记录： |