Kubernetes - CPU 单位

<think>好的，我现在需要帮助用户解决如何在Kubernetes中使用kubernetes-cni/bandwidth插件为单个Pod配置网络带宽限流的问题。首先，我要回顾用户之前的提问和我的回答，确保这次回答一致且补充了新的信息。 用户之前询问的是k8s限制容器网速的方法，我提供了多种方案，包括CNI插件、TC工具、TrafficControl API等。现在用户明确提到想使用kubernetes-cni/bandwidth插件，所以需要重点展开这部分内容。 首先，我需要确认kubernetes-cni/bandwidth插件的使用方法和前提条件。根据引用[1]和引用[5]，这个插件属于metaplugin，通过annotations来配置带宽限制。用户需要确保集群的CNI支持带宽插件，比如Calico或Cilium，并且正确安装了带宽插件。 接下来，步骤应该包括环境检查、安装插件、配置Pod的annotations，以及验证配置是否生效。引用[4]中提到在Pod的annotations中添加ingress和egress带宽限制，这需要详细说明YAML配置示例。同时，需要注意CNI配置文件中是否启用了带宽插件，可能需要修改CNI配置文件。 然后，验证部分需要使用工具如iperf3进行测试，确保带宽确实被限制。用户可能还需要查看容器的网络接口是否应用了tc规则，这可以通过检查容器的网络命名空间来实现。 此外，用户可能会遇到常见问题，比如插件未正确安装、权限问题、CNI配置错误等，需要给出排查建议。例如，引用[5]提到metaplugin可能需要主插件的支持，所以需要确认主CNI插件是否兼容带宽插件。 还要考虑用户的实际应用场景，比如是否需要同时限制入站和出站带宽，或者如何处理多个Pod的情况。引用[2]和引用[3]提到租户级别的隔离和AdmissionWebhook的使用，这可能对高级配置有帮助，但当前问题集中在单个Pod，所以暂时不需要深入这些方面。 最后，确保回答结构清晰，分步骤说明，并提供示例代码和命令，方便用户操作。同时，根据用户提供的引用，特别是引用[1]、[4]、[5]，强调annotations的使用和插件的安装步骤，确保信息准确可靠。</think>以下是如何使用 **`kubernetes-cni/bandwidth`** 插件为单个 Kubernetes Pod 配置网络带宽限流的完整指南： --- ### 一、环境准备 #### 1. 验证 CNI 兼容性 - **前提条件**：集群需使用兼容带宽插件的 CNI（如 Calico、Cilium 或 Flannel） - **检查带宽插件**： ```bash # 查看 CNI 插件目录 ls /opt/cni/bin/ | grep bandwidth ``` 若输出包含 `bandwidth` 可执行文件，则插件已安装[^5]。 --- ### 二、配置 Pod 带宽限制 #### 1. **通过 Pod Annotation 声明带宽** 在 Pod 的 `metadata.annotations` 字段中添加限流配置： ```yaml apiVersion: v1 kind: Pod metadata: name: limited-pod annotations: # 入方向带宽限制（接收流量） kubernetes.io/ingress-bandwidth: "20M" # 支持单位：M/G/K # 出方向带宽限制（发送流量） kubernetes.io/egress-bandwidth: "10M" spec: containers: - name: nginx image: nginx ``` #### 2. **CNI 配置文件调整** 确保 CNI 配置文件启用带宽插件（通常位于 `/etc/cni/net.d/`）： ```json { "name": "mynet", "type": "calico", "plugins": [ { "type": "calico", ... }, { "type": "bandwidth", "capabilities": {"bandwidth": true} } ] } ``` --- ### 三、验证带宽限制 #### 1. **查看 TC 规则** 进入 Pod 所在节点执行： ```bash # 获取容器网络命名空间 PID=$(docker inspect -f '{{.State.Pid}}' <container_id>) nsenter -t $PID -n tc qdisc show dev eth0 # 预期输出示例 qdisc tbf 1: root refcnt 2 rate 10Mbit burst 256Kb lat 25ms ``` #### 2. **iperf3 带宽测试** ```bash # 服务端 Pod kubectl run iperf-server --image=networkstatic/iperf3 -- iperf3 -s # 客户端 Pod（带带宽限制） kubectl exec -it limited-pod -- iperf3 -c <server-ip> -p 5201 ``` 测试结果应接近配置的 `egress-bandwidth` 限制值[^1]。 --- ### 四、高级配置 #### 1. **突发流量控制** 通过修改 TC 参数实现突发流量管理： ```yaml annotations: kubernetes.io/egress-bandwidth: "10M burst 2M" ``` #### 2. **命名空间级默认限制** 通过 MutatingWebhook 实现自动注入（需自行开发控制器）： ```go // 示例 webhook 代码片段 if pod.Annotations == nil { pod.Annotations = make(map[string]string) } pod.Annotations["kubernetes.io/egress-bandwidth"] = "10M" ``` --- ### 五、常见问题排查 | 问题现象 | 解决方案 | |---------|----------| | Annotation 未生效 | 1. 确认 CNI 配置启用了带宽插件<br>2. 检查 kubelet 日志 `journalctl -u kubelet` 是否有插件加载错误 | | TC 规则未创建 | 1. 验证 Pod 是否调度到正确节点<br>2. 检查容器是否拥有 `NET_ADMIN` 能力 | | 带宽波动较大 | 调整 burst 参数：`egress-bandwidth: "10M burst 1540"`[^4] | --- ### 六、性能影响说明 - **CPU 开销**：每 Pod 增加约 2-5% CPU 使用（取决于流量整形复杂度） - **延迟影响**：默认配置下额外增加 0.1-0.3ms 延迟 - **兼容性限制**：不支持 UDP 带宽的精确控制[^5] ---