Kubernetes 集群监控

服务发现简介

service discovery（服务发现）通常不属于 Prometheus 本身的层次结构，因为 Prometheus 主要是一个监控系统和时间序列数据库，而不是一个服务发现工具。然而，Prometheus 可以与各种服务发现机制集成，以便自动发现和监控需要监控的目标。

在 Prometheus 的架构中，服务发现通常发生在配置管理的过程中，这是 Prometheus 监控流程的一部分。具体来说，Prometheus 使用服务发

现来动态地获取和更新监控目标的列表。这些目标可以是 Kubernetes Pods、Docker 容器、云服务实例等。

Prometheus 支持多种服务发现机制，包括但不限于：

• 文件服务发现：通过读取文件中的目标列表。

• Kubernetes 服务发现：自动发现 Kubernetes 集群中的服务和 Pods。

• Consul 服务发现：与 Consul 集成，发现 Consul 中的服务。

• EC2 服务发现：在 AWS EC2 环境中自动发现实例。

• node：从集群中发现节点并将其添加为监控目标

• service：从集群中发现Service并将其添加为监控目标，主要用于监控Service的可用性

• pod：从集群中发现pod并将其添加为监控目标，主要用于监控的pod中应用程序

• endpoint和endponintslice：从service的Endpoints 对象中发现Pod并将其添加为监控目标

• ingress： 从集群发现Ingress 并将其添加为监控目标，主要用于监控Ingress 的可用性和Http处理性能

在 prometheus-cm.yaml 下 scrape_configs一次添加如下采集数据

Kubernetes 关注指标

监控Node

为了监控主机的资源利用率 ，通常会在目标主机上部署Node Exporter，通过静态配置方式添加监控目标

监控集群中的节点也是同样道理，而且使用Daemonset管理NodeExporter会更加方便

收集Node Exporter指标流程如下图

node-exporter部署

Node Exporter 是 Prometheus 官方提供的一个节点资源采集组件，可以用于收集服务器节点的数据，如 CPU频率信息、磁盘IO统计、剩余可用内存等等

• hostPID：指定是否允许Node Exporter进程绑定到主机的PID命名空间。若值为true，则可以访问宿主机中的PID信息

• hostIPC：指定是否允许Node Exporter进程绑定到主机的IPC命名空间。若值为true，则可以访问宿主机中的IPC信息

• hostNetwork：指定是否允许Node Exporter进程绑定到主机的网络命名空间。若值为true，则可以访问宿主机中的网络信息

配置服务发现

其中大部分Pod由于没有配置指标端口 状态为DOWN 而Node Exporter 的相关Pod已被监控

为了减少不必要的监控目标,可以利用标签重写功能，根据条件选择要保留的监控目标，配置如下

保留这个__meta_kubernetes_pod_annotation_prometheus_io_scrape 元标签 且值为true的pod才会被抓取监控

Grafana导入仪表盘

Grafana 导入 输入仪表盘ID 12633 并将名称设置为Kubernetes节点监控 导入完成后将仪表盘界面 如图所示

监控pod

为了监控Docker主机上容器的资源情况，通常会在目标主机上部署cAdvisor Exporter，并通过静态配置方式添加监控目标

cAdvisor已经被内置在kubelet组件中，并通过kubelet API暴露cAdvisor才采集数据

用户无须再而外部署cAdvisor，只需自动发现节点的kubelet并将其添加监控目标即可

收集cAdvisor指标流程如图所示

上面job 并使用Kubernetes服务发现

通过标签重写功能，默认的指标接口路径被替换成/metrics/cadvisor 这个cAdvisor通过kubelet API暴露指标接口

监控Kubernetes组件

etcd组件监控

在prometheus 配置文件中添加服务发现

上述添加 kubernetes-etcd job 然后使用endpoint类型自动发现Endpoint 对象关联pod并添加为监控目标

[!NOTE]

使用endpoint类型需要存在service 所以 要创建 一个 ectd svc

Web UI查看etcd pod 监控目标

kube-apiserver组件监控

kubernetes-controller-manager组件监控

kubernetes-scheduler组件监控

kubernetes-kube-proxy 组件监控

coredns组件监控

kubelet组件监控

ingress-controller组件监控

监控集群中应用程序

监控Service和Ingress对象

监控资源对象

KubeStateMetrics简介

kube-state-metrics(简称KSM) 是一个 Kubernetes 组件，它通过查询 Kubernetes 的 API 服务器，收集关于 Kubernetes 中各种资源（如节点、pod、服务等）的状态信息，并将这些信息转换成 Prometheus 可以使用的指标

项目地址

• 节点状态信息，如节点 CPU 和内存的使用情况、节点状态、节点标签等

• Pod 的状态信息，如 Pod 状态、容器状态、容器镜像信息、Pod 的标签和注释等

• Deployment、Daemonset、Statefulset 和 ReplicaSet 等控制器的状态信息，如副本数、副本状态、创建时间等

• Service 的状态信息，如服务类型、服务 IP 和端口等

• 存储卷的状态信息，如存储卷类型、存储卷容量等

• Kubernetes 的 API 服务器状态信息，如 API 服务器的状态、请求次数、响应时间等

通过 kube-state-metrics 可以方便的对 Kubernetes 集群进行监控，发现问题，以及提前预警

KubeStateMetrics部署

配置rabc

配置cm

配置deploy和svc

cAdvisor

• 对容器资源的使用情况和性能进行监控。它以守护进程方式运行，用于收集、聚合、处理和导出正在运行容器的有关信息

• cAdvisor 本身就对 Docker 容器支持，并且还对其它类型的容器尽可能的提供支持，力求兼容与适配所有类型的容器

• Kubernetes 已经默认将其与 Kubelet 融合，所以我们无需再单独部署 cAdvisor 组件来暴露节点中容器运行的信息

Prometheus 添加 cAdvisor 配置

由于 Kubelet 中已经默认集成 cAdvisor 组件，所以无需部署该组件。需要注意的是，他的指标采集地址为 /metrics/cadvisor，需要配置https访问，可以设置 insecure_skip_verify: true 跳过证书验证

k8s-node 监控

在 prometheus-config.yaml 中新增采集 job：k8s-nodes

node_exporter也是每个node节点都运行，因此role使用node即可，默认address端口为10250，替换为9100即可

总结

• kube-state-metrics：将 Kubernetes API 中的各种对象状态信息转化为 Prometheus 可以使用的监控指标数据。

• cAdvisor：用于监视容器资源使用和性能的工具，它可以收集 CPU、内存、磁盘、网络和文件系统等方面的指标数据。

• node-exporter：用于监控主机指标数据的收集器，它可以收集 CPU 负载、内存使用情况、磁盘空间、网络流量等各种指标数据

这三种工具可以协同工作，为用户提供一个全面的 Kubernetes 监控方案，帮助用户更好地了解其 Kubernetes 集群和容器化应用程序的运行情况