我正在 Azure DataFactory 中处理一个项目,并且有一个运行 Databricks python 脚本的管道。这个特定的脚本位于 Databricks 文件系统中并由 ADF 管道运行,它从位于同一文件夹中的另一个 python 脚本导入模块(两个脚本都位于 中dbfs:/FileStore/code)。
下面的代码可以将 python 模块导入到 Databricks 笔记本中,但在导入到 python 脚本中时不起作用。
sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect
Run Code Online (Sandbox Code Playgroud)
在集群日志中,我得到: Import Error: No module named conn_config
我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗?
python azure-data-factory azure-pipelines databricks azure-databricks
我在 Azure DataFactory 上下文中有一个管道。该管道有一个数据集,它是一个元数据表,并且该元数据表需要定期更新。我可以在查找活动中使用查询来更新表。
我需要更新的列包含上次触发的日期。所以,我想问是否有任何方法可以获取当前日期作为管道中的参数。如果是这样,我可以在查询中插入参数并更新表。