小编use*_*404的帖子

Airflow(kubernetes 执行器)- 由于 DAG 记录被锁定而跳过调度

需要一些帮助来理解 DagRun 调度的锁定行为。

我们注意到,在几次 DagRun 后,后续运行不再被安排,并注意到日志中的以下内容。

{scheduler_job_runner.py:1426} 信息 - DAG dag-test 调度被跳过,可能是因为 DAG 记录被锁定。

我们目前正在运行一个调度程序 Pod。想要了解一般的锁定行为以及在什么情况下会删除锁定。

目前的解决方法是重新启动调度程序 Pod 并释放锁,但这对于生产来说并不理想。想了解 DagRun 一般何时释放锁?

感谢任何帮助/指示。

kubernetes airflow

6
推荐指数
1
解决办法
967
查看次数

kafka-streams 实例在启动时不断记录“未找到分区 traces-1 的已提交偏移量”

我有一个带有 2 个实例的 kafka-streams 应用程序。这是一个全新的 kafka 集群,所有主题都已创建,但尚未向其写入任何消息。

我启动第一个实例,看到它已从 REBALANCING 转换为 RUNNING 状态

现在我启动下一个实例并注意到它不断记录以下内容:

2020-01-14 18:03:57.896 [streaming-app-f2457059-c9ec-4c21-a177-be54f8d59cb2-StreamThread-2] INFO  o.a.k.c.c.i.ConsumerCoordinator - [Consumer clientId=streaming-app-f2457059-c9ec-4c21-a177-be54f8d59cb2-StreamThread-2-consumer, groupId=streaming-app] Found no committed offset for partition traces-1

Run Code Online (Sandbox Code Playgroud)

apache-kafka-streams

5
推荐指数
0
解决办法
456
查看次数

标签 统计

airflow ×1

apache-kafka-streams ×1

kubernetes ×1