如何监控kubernetes持久卷的磁盘使用情况？

Question

我有container_fs_usage_bytesprometheus监视容器根fs,但似乎cAdvisor中没有其他卷的指标.

Answer 1

我确认Kubernetes 1.8公开了普罗米修斯的指标.

• kubelet_volume_stats_available_bytes
• kubelet_volume_stats_capacity_bytes
• kubelet_volume_stats_inodes
• kubelet_volume_stats_inodes_free
• kubelet_volume_stats_inodes_used
• kubelet_volume_stats_used_bytes

Answer 2

必须使用以下指标来监控 Kubernetes 中的持久卷统计信息（PVC 名称在persistentvolumeclaim标签中导出）：

• kubelet_volume_stats_capacity_bytes- 每个 PVC 的容量（以字节为单位）。
• kubelet_volume_stats_used_bytes- 每个 PVC 的空间使用量（以字节为单位）。
• kubelet_volume_stats_available_bytes- 每个 PVC 的可用空间（以字节为单位）。

以下PromQL查询可用于确定每个 Pod PVC 磁盘空间使用情况（以字节为单位）：

sum(kubelet_volume_stats_used_bytes) by (namespace,persistentvolumeclaim)
  * on(namespace,persistentvolumeclaim) group_left(pod)
kube_pod_spec_volumes_persistentvolumeclaims_info

以下查询可用于确定每个 pod 的可用 PVC 磁盘空间（以字节为单位）：

sum(kubelet_volume_stats_available_bytes) by (namespace,persistentvolumeclaim)
  * on(namespace,persistentvolumeclaim) group_left(pod)
kube_pod_spec_volumes_persistentvolumeclaims_info

Answer 3

卷的指标可通过 kubelet 摘要 API (/stats/summary) 获得。但是，每个卷插件都必须实现自己的指标。从 Kubernetes 1.7 开始，当前已实现指标的卷插件包括：emptydir、secrets、gce pd、aws ebs、azure file、flocker 和 portworx