小编Han*_*ian的帖子

我在此路径下保存了这两个文件：

C:\code\sample1\main.py

def method():
    return "this is sample method 1"

C:\code\sample2\main.py

def method():
    return "this is sample method 2"

然后我运行这个：

from pyspark import SparkContext
from pyspark.sql import SparkSession

sc = SparkContext()
spark = SparkSession(sc)

sc.addPyFile("~/code/sample1/main.py")
main1 = __import__("main")
print(main1.method()) # this is sample method 1

sc.addPyFile("~/code/sample2/main.py") # Error

错误是

Py4JJavaError：调用 o21.addFile 时出错。: org.apache.spark.SparkException: 文件 C:\Users\hans.yulian\AppData\Local\Temp\spark-5da165cf-410f-4576-8124-0ab23aba6aa3\userFiles-25a7ca23-84fb-42b7-969d67fmain .py 存在并且与 /C:/Users/hans.yulian/Documents/spark-test/main2/main.py 的内容不匹配

这意味着它的临时文件夹中已经有“main.py”文件并且内容不同。我想知道这种情况是否有任何解决方法，但对我来说，我有以下限制：

1. 文件名仍然必须是“main.py”，只有文件夹可以不同
2. 可以以某种方式清除临时文件夹以添加 aga
3. 在另一个文件中我唯一的解决方案是在 main.py 前面附加随机字符串，例如abcdemain.py和 fghijmain.py，然后我将导入 main = __import__("abcdemain")，但这个不是真的可取