用 Rook 搭建 Ceph 存储

适用场景

需要 Kubernetes 原生的块、文件、对象存储，支持多副本、快照、扩容和自愈。Ceph + Rook 适合自建存储平台和有状态服务。

前置条件

• 至少 3 个存储节点，每节点多块独立磁盘。
• 节点间低延迟网络，建议 10GbE 以上。
• 明确副本数、故障域和容量规划。
• 接受 Ceph 的运维复杂度。

步骤

1. 安装 Rook Operator：

git clone --single-branch --branch v1.15.0 https://github.com/rook/rook.git
cd rook/deploy/examples
kubectl apply -f crds.yaml -f common.yaml -f operator.yaml
kubectl -n rook-ceph get pods

2. 创建 CephCluster：

kubectl apply -f - <<'EOF'
apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: rook-ceph
  namespace: rook-ceph
spec:
  cephVersion:
    image: quay.io/ceph/ceph:v18.2.4
  dataDirHostPath: /var/lib/rook
  mon:
    count: 3
    allowMultiplePerNode: false
  storage:
    useAllNodes: true
    useAllDevices: true
  dashboard:
    enabled: true
EOF
kubectl -n rook-ceph get pods

3. 创建块存储池和 StorageClass：

kubectl apply -f - <<'EOF'
apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
  name: replicapool
  namespace: rook-ceph
spec:
  replicated:
    size: 3
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: rook-ceph.rbd.csi.ceph.com
parameters:
  clusterID: rook-ceph
  pool: replicapool
  imageFormat: "2"
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
  csi.storage.k8s.io/provisioner-secret-namespace: rook-ceph
reclaimPolicy: Delete
allowVolumeExpansion: true
EOF

4. 查看健康状态：

kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph status
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd tree

验证

• ceph status 显示 HEALTH_OK。
• OSD 全部 up/in。
• PVC 能动态创建并挂载。
• 副本数符合配置。
• Dashboard 可访问。

回滚

• 升级前备份 Ceph 配置和 OSD 数据。
• 不要随意删除 OSD 或 mon，可能引发数据丢失。
• 回滚 Rook 版本时注意 CRD 兼容性。
• 缩容节点前先迁移数据并确认副本健康。

常见坑

• 磁盘未清空或被 LVM/文件系统占用，OSD 准备失败。
• 节点少于 3 个却设置 3 副本，PG 无法达到 active+clean。
• 网络带宽不足，恢复和重平衡很慢。
• useAllDevices: true 误用系统盘，导致数据损坏。
• mon 单点或分布在同一故障域。
• 没有监控 ceph health 和容量，接近满盘时写入阻塞。
• 直接删 PVC 和 pool，数据无法恢复。
• 升级顺序错误，Ceph 集群进入只读。

相关命令

• ceph — 集群状态、OSD、PG 和池管理
• kubectl — 查看 Rook 组件
• rbd — 块设备管理
• rados — 对象存储调试