我正在尝试使用 kubernetes 以 Spark 集群模式从服务器读取文件,因此我将文件放在所有工作人员上,并使用
val conf = new SparkConf().setAppName("sparksetuptest") .set("spark. kubernetes.driver.volumes.hostPath.host.mount.path”,“/文件目录”)
这里一切正常,但是当我执行时,它显示在特定位置找不到该文件。所以我用 .set("spark.kubernetes.executor.volumes.hostPath.host.mount.path", "/file-directory") 将目录安装到执行器,但现在我无法执行程序,它陷入了永无休止的状态获取数据时进行处理。
请提出建议,以便我可以使用执行器挂载我的目录并读取该文件。
我在 Spark 集群模式程序中读取存储在系统中的文件时遇到问题。它给我一个错误“找不到文件”,但文件存在于定义的位置。请给我一些建议,以便我可以读取本地使用 kubernetes 在 Spark 集群中创建文件。