将 python 模块导入到 databricks 中的 python 脚本中

Question

我正在 Azure DataFactory 中处理一个项目，并且有一个运行 Databricks python 脚本的管道。这个特定的脚本位于 Databricks 文件系统中并由 ADF 管道运行，它从位于同一文件夹中的另一个 python 脚本导入模块（两个脚本都位于 中dbfs:/FileStore/code）。

下面的代码可以将 python 模块导入到 Databricks 笔记本中，但在导入到 python 脚本中时不起作用。

sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect

在集群日志中，我得到： Import Error: No module named conn_config

我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗？

Answer 1

我终于用火花完成了。创建 Spark 会话后（如果您的集群集成了 Spark 会话，则无需启动会话）：

spark.sparkContext.addPyFile("dbfs:/FileStore/code/conn_config.py")
import conn_config as C

此语法可以将 python 模块导入到从 Azure DataFactory 运行的 python 脚本中。