如何使用 dbfs 之外的 Python 文件创建 Databricks 作业?

Emi*_*tin 7 python git azure-databricks

我对 Databricks 还很陌生,所以请原谅我在这里缺乏知识。我正在 Azure 中使用 Databricks 资源。我现在主要使用 UI,但我知道某些功能只能使用 databricks-cli 来使用,我已经设置但尚未使用。

我已使用 UI 在 Databricks Repos 中克隆了我的 Git 存储库。在我的存储库中,有一个 Python 文件,我想将其作为作业运行。

我可以使用 Databricks Jobs 创建一个直接调用此 Python 文件的作业吗?我能够完成这项工作的唯一方法是创建另一个 Python 文件并将其上传到 dbfs,该文件将调用我的 Databricks Repo 中的文件。

也许无法完成,或者也许我使用的路径不正确。使用 Python 文件创建作业时,我尝试使用以下路径结构,但不幸的是,它不起作用。

file:/Workspace/Repos/<user_folder>/<repo_name>/my_python_file.py
Run Code Online (Sandbox Code Playgroud)

小智 6

一种解决方法是创建一个调用此文件的包装笔记本,即

from my_python_file import main
main()
Run Code Online (Sandbox Code Playgroud)

然后您可以在此笔记本上安排作业