小编Cri*_*pan的帖子

将 python 模块导入到 databricks 中的 python 脚本中

我正在 Azure DataFactory 中处理一个项目,并且有一个运行 Databricks python 脚本的管道。这个特定的脚本位于 Databricks 文件系统中并由 ADF 管道运行,它从位于同一文件夹中的另一个 python 脚本导入模块(两个脚本都位于 中dbfs:/FileStore/code)。

下面的代码可以将 python 模块导入到 Databricks 笔记本中,但在导入到 python 脚本中时不起作用。

sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect
Run Code Online (Sandbox Code Playgroud)

在集群日志中,我得到: Import Error: No module named conn_config

我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗?

python azure-data-factory azure-pipelines databricks azure-databricks

10
推荐指数
1
解决办法
2万
查看次数

Azure DataFactory 中的当前日期参数

我在 Azure DataFactory 上下文中有一个管道。该管道有一个数据集,它是一个元数据表,并且该元数据表需要定期更新。我可以在查找活动中使用查询来更新表。

我需要更新的列包含上次触发的日期。所以,我想问是否有任何方法可以获取当前日期作为管道中的参数。如果是这样,我可以在查询中插入参数并更新表。

parameters azure-data-factory

2
推荐指数
1
解决办法
3万
查看次数