kubernetes事件的时间表

Question

我希望能够在时间轴上看到发生在kube集群上的所有各种事情,包括发现节点何时死亡,添加新节点,pod崩溃以及何时重新启动时.

到目前为止,我们发现的最好的是,kubectl get event但似乎有一些限制:

• 到目前为止它还没有回到过去(我不确定它会回来多久.一天？)
• 它结合了类似的事件,并按照每个组中最新事件的时间对结果列表进行排序.这使得无法知道在某个时间范围内发生了什么,因为该范围内的事件可能已经与该范围之外的后续事件相结合.

我的一个想法是编写一个pod,它将使用API​​来观察事件流并将它们记录到文件中.这将让我们控制保留,似乎在我们观看时发生的事件将不会合并,解决第二个问题.

其他人在做什么呢？

Answer 1

• 我的理解是Kubernetes本身对事件进行了重复删除,记录在这里:https: //github.com/kubernetes/kubernetes/blob/master/docs/design/event_compression.md 一旦发生这种情况,就无法恢复个别事件.

• 保留多长时间？他们的"生存时间"显然由kube-apiserver --event-ttl选项控制,默认为1小时:https: //github.com/kubernetes/kubernetes/blob/da53a247633/cmd/kube-apiserver/app/options/options.去#L71-L72

  你可以提出这个.可能需要更多的资源etcd- 从我在2015年的一些github讨论中所看到的,事件TTL曾经是2天,事件是主要的压力etcd......

在紧要关头,有可能弄清楚各种日志中发生的事情,尤其是kubelet日志？

保存活动

• 运行kubectl get event -o yaml --watch到持久文件听起来像一个简单的事情.我认为当你看到事件到达时,你会看到它们是预重复数据删除.

• Heapster可以将事件发送到一些受支持的接收器:https: //github.com/kubernetes/heapster/blob/master/docs/sink-configuration.md

Answer 2

您是否检查过仪表板中的 Pod 特定事件选项卡？

我在 GKE 中运行的集群中的一些事件：