标签: azure-data-factory

我正在将数据从 REST API 复制到 Azure SQL 数据库。该副本工作正常，但有一列未在 api 中返回。

我想做的就是将此列添加到源中。我有一个名为符号的变量，我想将其用作源列。但是，这不起作用：

测绘

有任何想法吗？

我们能够通过将增量文件源指定为 ADF 中的 parquet 数据集来读取文件。尽管这会读取增量文件，但它最终会读取增量文件中数据的所有版本/快照，而不是专门获取增量数据的最新版本。

这里有一个类似的问题 - Is it possible to connect to databricks deltalake table from adf

但是，我希望从 ADLS Gen2 位置读取增量文件。感谢对此的任何指导。

我从 ADFv2 开始，在尝试找出字符串的长度时遇到问题。尽管门户网站说length('abc')应该可以工作，但实际上并没有工作。解决这个问题的方法是什么？

PFB 错误快照：

我正在使用 Azure 数据工厂并尝试将 JSON 文件（一组 JSON 对象）转换为单独的 JSON 文件，每个文件包含一个元素，例如输入：

[
{"Animal":"Cat","Colour":"Red","Age":12,"Visits":[{"Reason":"Injections","Date":"2020-03-15"},{"Reason":"Check-up","Date":"2020-01-02"}]},
{"Animal":"Dog","Colour":"Blue","Age":1,"Visits":[{"Reason":"Check-up","Date":"2020-02-08"}]},
{"Animal":"Guinea Pig","Colour":"Green","Age":5,"Visits":[{"Reason":"Injections","Date":"2019-12-01"},{"Reason":"Check-up","Date":"2020-02-26"}]}
]

但是，我尝试使用数据流将此数组拆分为包含 JSON 数组的每个元素的单个文件，但无法解决。理想情况下，我还想动态命名每个文件，例如 Cat.json、Dog.json 和“Guinea Pig.json”。

数据流是 Azure 数据工厂（版本 2）的正确工具吗？

我的 blob 容器中有很多文件。但是，我想仅当 blob 容器上存在某个文件（例如 SRManifest.csv）时才运行存储过程。我在数据工厂上使用了获取元数据和 IF 条件。你能帮我写一下动态脚本吗？我试过这个@bool(startswith( activity('Get Metadata1').output.childitems.ItemName, 'SRManifest.csv'))。这不起作用。

然后我想，如果我使用@greaterOREquals(activity('Get Metadata1').output.LastModified,adddays(utcnow(),-2))But this 检查 Blob 2 天内的最后修改而不是文件是否存在。谢谢。

请看下面我的图

我有一个要求，即在一个资源组中有一个数据工厂，在另一个存储组中有一个 Blob 存储。当在 blob 存储中创建 blob 时，我需要在数据工厂管道上创建触发器。我在调用管道时收到此错误。

The Microsoft.EventGrid resource provider is not registered in subscription ***** . Register the provider in the subscription and retry the operation. 
Activity id:6566a4c8-0a1c-4a9e-8940-ce62e43264e3, timestamp: 6/26/2020 8:02:56 AM (UTC)

据我从错误中了解到，它是权限问题，但我不确定如何启用此连接。任何人都可以帮忙。

我尝试将大表转换为天蓝色的 SQL Server。\n虽然小表已完成，但大表尚未完成，并且落在超时接收器一侧。\n附加了错误。\n而 sql 服务器未完成\xe2\x80 \x99t 指定了任何超时，但它仍然无法工作。

sql 数据库是 800 DTU。

如果这是问题的话，我如何增加接收器端的超时。

数据工厂不应该保存连接并在失败时重试吗？

errors:\n{\n    "dataRead": 1372864152,\n    "dataWritten": 1372864152,\n    "sourcePeakConnections": 1,\n    "sinkPeakConnections": 2,\n    "rowsRead": 2205634,\n    "rowsCopied": 2205634,\n    "copyDuration": 8010,\n    "throughput": 167.377,\n    "errors": [\n        {\n            "Code": 11000,\n            "Message": "Failure happened on \'Sink\' side. \'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Timeouts in SQL write operation.,Source=Microsoft.DataTransfer.ClientLibrary,\'\'Type=System.Data.SqlClient.SqlException,Message=Execution Timeout Expired.  The timeout period elapsed prior to completion of the operation or the server is not responding.,Source=.Net SqlClient Data Provider,SqlErrorNumber=-2,Class=11,ErrorCode=-2146232060,State=0,Errors=[{Class=11,Number=-2,State=0,Message=Execution Timeout Expired.  The timeout period elapsed prior to completion …

ADF 中SSIS 的替代方案是什么Execute SQL Task？

我创建了一个名为ExtractDate（我知道没有日期数据类型选项，所以我在这里使用字符串数据类型）的管道参数，我想用 SQL 查询的结果填充该参数，然后将其传递到其他管道。

我可能正在搜索错误的术语，但似乎没有很多关于如何编写 SQL 查询来dynamic content填充参数的教程。

任何例子将不胜感激

我想知道是否有一种方法可以使用 ADF 中的表达式生成器生成 GUID。就像是

Id UNIQUEIDENTIFIER PRIMARY KEY default NEWID()

希望有人能帮我解答这个问题。

提前致谢！

亲切的问候

D .

如何从“监视器”页面找到谁触发了 ADF 管道？

它确实说当用户触发它时手动触发，但没有具体说明用户是谁。

有没有办法获取登录用户的电子邮件或姓名？