Hac*_*k-R 6 azure azure-data-factory
我正在Azure"数据工厂"中设置管道,目的是从存储中获取平面文件并将它们加载到Azure SQL DB中的表中.
此管道的模板指定我需要一个开始和结束时间,教程称其设置为1天.
我试图理解这一点.如果它是Linux中的CRON作业或Windows Server中的计划任务,那么我只是告诉它何时开始(即每天早上6点)并且需要很长时间才能完成.
这引出了几个相关的问题:
我发现了一个先前的问题,它解释了如何进行频率而不是硬编码日期,但我的问题仍然没有得到答案.
小智 4
1 天计划只是一个示例，旨在强调这样一个概念：如果将频率设置为 1 天内每小时一次，您将期望有 24 个活动窗口（如示例中所示）。
为什么我需要指定结束时间？
您不必指定结束时间，如果您愿意，可以让管道无限期地运行。但是，您可能出于业务原因需要设置结束时间，例如与年度业务周期一致。整个管道的开始和结束时间适用于其中的活动集合。活动将根据您为活动和数据集的可用性设置的频率（每小时、每天等）运行。您还可以设置活动的开始时间，或者偏移或延迟它们（例如，如果您想今天处理昨天的数据），或者设置过去的开始日期来回填数据。
为什么它被硬编码为日期而不是频率？
管道开始和结束是日期而不是频率的原因是，它是管道处于活动状态的总体日期间隔，并且各个处理活动处理它们运行的频率和时间。
如果我不知道运行需要多长时间怎么办？
一旦活动开始，它们就会运行到底。如果超过了结束日期，管道将根本不会启动新的活动。
如果我将其设置得太远，是否会面临数据管道无法及时完成的风险？
不，及时完成只与集群大小、数据量和并发设置有关。
如果我设置得太早，管道会破裂吗？
往上看
我们提供这种复杂的计划，以便您可以更加灵活地编排多个服务，同时让 ADF 管理云资源，而不仅仅是启动 cron 作业。我们的文档中有更多有关调度的详细信息https://azure.microsoft.com/en-us/documentation/articles/data-factory-scheduling-and-execution/
| 归档时间： |
|
| 查看次数： |
4720 次 |
| 最近记录： |