小编Nez*_*ezo的帖子

完善如何避免重新运行任务

在 Prefect 中,假设我有一些管道,它为列表中的每个日期运行 f(date),并将其保存到文件中。这是一个非常常见的 ETL 操作。在气流中,如果我运行一次,它将回填所有历史日期。如果我再次运行它,它会知道任务已经运行,并且只运行任何已经出现的新任务(即最新日期)。

在 Prefect 中,据我所知,它每天都会运行整个管道,即使 99% 的任务在前一天完成。在不切换到 Prefect Cloud 的情况下,有哪些解决方案可以解决这个问题?在退出之前,您是否只是做一些诸如让每个任务缓存它在 redis 中完成的事情?

python workflow etl airflow prefect

6
推荐指数
1
解决办法
565
查看次数

完善如何等待外部依赖

我有一个完美的流程,我想在出现特定文件时运行该流程。使用像 Luigi 这样的东西,您可以创建一个输出该文件的外部任务,然后对其施加依赖。Prefect 中的标准模式是什么?

python etl pipeline prefect

5
推荐指数
1
解决办法
1575
查看次数

在O(1)时间内删除小于或等于x的集合的所有元素的数据结构

我正在自学一门算法课程,我正在尝试解决以下问题:

描述存储一组实数的数据结构,可以在O(1)摊销时间内执行以下每个操作:

Insert(x):删除不大于x的所有元素,并将x添加到集合中.
FindMin():找到set的最小值.

我知道,一旦你有了Insert,findmin会变得微不足道,看看如何使用链表实现,你可以同时删除多个元素(即O(1)),但找出要删除的链接(也就是x去的地方)似乎像O(n)或O(log n)操作,而不是O(1).问题给出了提示:考虑使用堆栈,但我不知道这有多大帮助.

任何帮助表示赞赏.

原始问题如下:

原始问题

stack amortized-analysis data-structures

3
推荐指数
1
解决办法
143
查看次数