如何在PySpark shell会话中更新pyfile?

Jim*_*Jim 8 python apache-spark pyspark

在交互式pyspark会话中,您可以通过导入python文件sc.addPyFile('file_location').如果您需要对该文件进行更改并保存它们,是否有任何方法可以"重新广播"更新的文件而无需关闭您的spark会话并启动新的文件?

只是再次添加文件不起作用.我不确定重命名文件是否有效,但我不想这样做.

据我从spark文档中可以看出,只有一种方法可以添加pyfile,而不是更新一个.我希望我错过了什么!

谢谢

小智 1

我认为在互动会议期间这是不可行的。您必须重新启动会话才能使用修改后的模块。