标签: azure-data-factory
我们如何将azure数据工厂中的时区转换为指定的时区
我想在“设置变量”活动中编写表达式并将 utcnow() 转换为“IST”（印度标准时间）
我将表达式写为：@convertTimeZone(utcnow(),'UTC','印度标准时间')
在调试管道时出现以下错误：
在函数“convertTimeZone”中，为时区 ID“印度标准时间”提供的值无效。'。
我试过：
@convertTimeZone(utcnow(),'UTC','太平洋标准时间')
和
@convertTimeZone(utcnow(),'UTC','东部标准时间') 并且调试对于这两个时间都运行得很好
如何让它在不起作用的情况下起作用？
推荐指数
解决办法
查看次数
如何在 Azure Synapse 筛选器转换映射数据流中筛选列表
在 Azure Synapse 数据流中，我想过滤值列表。
我可以使用以下语法：-
column1 == 'A' || column1 =='B'
但想使用这样的东西：-
column1 IN ('A','B')
我怎样才能做到这一点？
推荐指数
解决办法
查看次数
如何使用 Azure 数据工厂 (ADF) 创建 Spot 实例 - 作业集群 - 链接服务
我有一个包含 Databricks 活动的 ADF 管道。
该活动每次都会创建一个新的作业集群，并且我已将所有必需的 Spark 配置添加到相应的链接服务中。
现在，随着 Databricks 提供 Spot 实例，我想在 Databricks 中使用 Spot 配置创建新集群。
我尝试从LinkedService文档中找到帮助，但没有成功！
如何使用 ADF 执行此操作？
干杯！！！
azure cost-management azure-data-factory azure-databricks databricks-workflows
推荐指数
解决办法
查看次数
Azure Powershell Get-AzDataFactory 返回错误：在命名空间“Microsoft.DataFactory”中找不到资源类型
我在 Azure 中使用 powershell 控制台来运行此 commandlet：
Get-AzDataFactory -ResourceGroupName "rg-name"
我收到以下错误消息：
Get-AzDataFactory: HTTP Status Code: NotFound
Error Code: InvalidResourceType
Error Message: The resource type could not be found in
the namespace 'Microsoft.DataFactory' for api version '2015-10-01'.
Request Id: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Timestamp (Utc):05/11/2021 17:22:11
此消息是什么意思以及如何解决该问题？
推荐指数
解决办法
查看次数
Azure DataFactory 中的当前日期参数
我在 Azure DataFactory 上下文中有一个管道。该管道有一个数据集，它是一个元数据表，并且该元数据表需要定期更新。我可以在查找活动中使用查询来更新表。
我需要更新的列包含上次触发的日期。所以，我想问是否有任何方法可以获取当前日期作为管道中的参数。如果是这样，我可以在查询中插入参数并更新表。
推荐指数
解决办法
查看次数
我可以使用 ADF 托管标识从 Azure Databricks 访问 ADLS 吗？
我有一个 ADF，它具有能够访问 ADLS 的托管身份。现在我需要这个 ADF 来调用 Databricks 笔记本，并且该笔记本也应该访问 ADLS。我可以使用 ADF 的托管身份来完成此操作吗？我怎样才能做到这一点？
azure azure-data-factory azure-databricks azure-data-lake-gen2
推荐指数
解决办法
查看次数
Azure 数据工厂 - REST API 调用分页
我正在数据工厂中调用数据，并努力调用“next_page”项中的 URL。
这是第一个 API 调用返回的示例：
{
"items": [
{
"title_one": "TTL-55924",
"id": "CPT-TTL-64577_TTL-55924",
"title_id": "TTL-64577"
},
{
"title_one": "TTL-69015",
"id": "CPT-TTL-79755_TTL-69015",
"title_id": "TTL-79755"
}
],
"next_page": "http://api.com/api/info?offset=5000&key=XXXxxxXXXxxx"
}
我不确定在复制活动的分页规则中使用哪些选项。
目前我正在尝试使用该值的选项“AbsoluteURL” $['next_page']，但这只会返回错误。
推荐指数
解决办法
查看次数
Azure数据工厂系统变量管道触发器时间日期转换错误“函数调用必须采用完成字符串”
在 ADF 中，我尝试获取管道触发时间的系统变量，并将其从 UTC 转换为 EST，仅使用日期格式而不是时间 (yyyy-MM-dd)。
应该很简单，但我不断收到这个非描述性错误：
函数调用必须采用完成字符串
convertFromUtc(@pipeline().TriggerTime, 'Eastern Standard Time', 'yyyy-MM-dd')
还尝试先将其转换为字符串并得到相同的错误：
convertFromUtc(string(@pipeline().TriggerTime), 'Eastern Standard Time', 'yyyy-MM-dd')
推荐指数
解决办法
查看次数
如何在ADF动态表达式中实现if else和else if
如何在ADF动态表达式中实现以下条件：
如果变量=a 则 A
如果变量=b 则 B
否则 C
我只能在 IF 中实现 true 或 false 条件，但在这里我想验证多个条件。adf 动态表达式中没有可用的 switch case 函数。
推荐指数
解决办法
查看次数
ADF管道中找不到Azure批量链接服务
我正在尝试使用ARM模板部署ADF管道.以下是azure批量链接服务的代码部分:
{
"type": "linkedservice",
"name": "AzureBatchLS",
"dependsOn": [
"[variables('dataFactoryName')]"
],
"apiVersion": "2015-10-01",
"properties": {
"type": "AzureBatch",
"typeProperties": {
"accountName": "<acct name>.eastus2",
"accessKey": <access key>,
"poolName": "<pool name>",
"linkedServiceName": "Dev-LinkedService"
}
}
}
但是,每次在部署期间,我都会收到以下错误消息:
New-AzureRmResourceGroupDeployment : 9:22:08 PM - Resource Microsoft.DataFactory/datafactories/linkedservice '<adf name>/AzureBatch' failed with message '{
"error": {
"code": "BadRequest",
"message": "<!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\" \"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">\r\n<html xmlns=\"http://www.w3.org/1999/xhtml\">\r\n<head>\r\n<meta http-equiv=\"Content-Type\"
content=\"text/html; charset=iso-8859-1\"/>\r\n<title>404 - File or directory not found.</title>\r\n<style type=\"text/css\">\r\n<!--\r\nbody{margin:0;font-size:.7em;font-family:Verdana, Arial, Helvetica,
sans-serif;background:#EEEEEE;}\r\nfieldset{padding:0 15px 10px 15px;} \r\nh1{font-size:2.4em;margin:0;color:#FFF;}\r\nh2{font-size:1.7em;margin:0;color:#CC0000;} \r\nh3{font-size:1.2em;margin:10px 0 0 …推荐指数
解决办法
查看次数