用 Cilium 搭建 Kubernetes 网络与可观测性

适用场景

需要 eBPF 网络、替换 kube-proxy、细粒度网络策略、Hubble 流量观测或跨集群网络。Cilium 适合对性能、安全和可观测性有要求的 Kubernetes 集群。

前置条件

• Kubernetes 集群，内核版本满足 Cilium 要求。
• 确认现有 CNI 是否可以替换；生产集群要先评估停机窗口。
• 选择数据路径：隧道（VXLAN/Geneve）或原生路由。
• 规划 Pod CIDR、Service CIDR，避免与现有网络冲突。

步骤

1. 安装 Cilium CLI 并检查环境：

cilium install --dry-run
cilium status --wait

2. 使用 Helm 安装，开启 kube-proxy 替换和 Hubble：

helm repo add cilium https://helm.cilium.io
helm install cilium cilium/cilium \
  --namespace kube-system \
  --set kubeProxyReplacement=true \
  --set k8sServiceHost=<API_SERVER_HOST> \
  --set k8sServicePort=<API_SERVER_PORT> \
  --set hubble.relay.enabled=true \
  --set hubble.ui.enabled=true

3. 如果集群已有 kube-proxy，先不要直接替换；先用 Cilium 的 chaining 模式或在新集群验证。

4. 验证连通性：

cilium connectivity test
cilium status
kubectl -n kube-system get pods -l k8s-app=cilium

5. 配置网络策略。默认拒绝所有入站，再按标签放行：

kubectl apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: allow-frontend
  namespace: demo
spec:
  endpointSelector:
    matchLabels:
      app: backend
  ingress:
  - fromEndpoints:
    - matchLabels:
        app: frontend
    toPorts:
    - ports:
      - port: "8080"
        protocol: TCP
EOF

6. 开启 Hubble 观测：

cilium hubble enable --ui
cilium hubble port-forward &
hubble observe --namespace demo --follow

7. 需要跨集群通信时再部署 Cluster Mesh，先保证每个集群的 Pod CIDR 不重叠。

验证

• cilium status 所有组件为 OK。
• cilium connectivity test 全部通过。
• Hubble 能看到 Pod 之间的流量和丢弃原因。
• 网络策略生效后，未授权的流量被拒绝。
• 替换 kube-proxy 后，Service 访问和 NodePort 正常。
• 节点重启后 Cilium Pod 自动恢复。

回滚

• 保留原 CNI 配置和 kube-proxy，出现问题时切回。
• Helm 回滚 Cilium 版本，注意 CRD 和 BPF 状态。
• 关闭 kube-proxy 替换前先确认 Service 流量已经由 Cilium 接管。
• 删除 Cilium 可能导致 Pod 网络中断，必须在维护窗口操作。

常见坑

• Pod CIDR 与现有网络重叠，跨节点通信失败。
• k8sServiceHost 和 k8sServicePort 配错，Cilium 无法启动。
• 直接删除 kube-proxy 而没有开启替换，Service 完全不可用。
• 网络策略默认拒绝后忘记放行 DNS，Pod 解析全部失败。
• Hubble 开启后流量较大，relay 资源不足。
• 内核版本过低或缺少 BPF 特性，Cilium 功能受限。
• 多集群 Cluster Mesh 的 Pod CIDR 重叠，路由冲突。

相关命令

• cilium — 安装、状态、连通性测试和 Hubble
• hubble — 流量观测
• kubectl — 查看 Cilium Pod 和网络策略
• helm — 安装和升级