搭建 Prometheus 高可用与长期存储

适用场景

单机 Prometheus 存在数据丢失、查询瓶颈和容量上限。需要多副本采集、长期存储、跨集群统一查询，或要求 Prometheus 重启后历史数据仍可查。

前置条件

• Kubernetes 集群和对象存储（S3/MinIO/OSS/COS）。
• 两块以上 Prometheus 副本或独立采集端。
• 明确的保留周期、采样规模和查询并发。
• 告警去重方案：Alertmanager 集群或统一告警网关。

步骤

1. 安装 kube-prometheus-stack，先确认副本数：

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install monitoring prometheus-community/kube-prometheus-stack \
  --namespace monitoring --create-namespace \
  --set prometheus.replicas=2 \
  --set alertmanager.replicas=3

2. 为 Prometheus 配置外部标签，保证 Thanos 能区分副本：

--set prometheus.prometheusSpec.externalLabels.cluster=prod
--set prometheus.prometheusSpec.replicaExternalLabelName=prometheus_replica

3. 部署 Thanos Sidecar 或 Prometheus Agent + Remote Write。Sidecar 模式适合保留本地查询能力：

--set prometheus.prometheusSpec.thanos.objectStorageConfig.secretName=thanos-objstore
--set prometheus.prometheusSpec.thanos.objectStorageConfig.key=objstore.yml

4. 配置对象存储：

cat > objstore.yml <<'EOF'
type: S3
config:
  bucket: thanos
  endpoint: minio.storage:9000
  access_key: minio
  secret_key: minio123
  insecure: true
EOF
kubectl -n monitoring create secret generic thanos-objstore --from-file=objstore.yml

5. 部署 Thanos Query、Store Gateway、Compactor 和 Query Frontend：

helm repo add bitnami https://charts.bitnami.com/bitnami
helm install thanos bitnami/thanos \
  --namespace monitoring \
  --set query.replicaCount=2 \
  --set storegateway.enabled=true \
  --set compactor.enabled=true \
  --set objstoreConfig="$(cat objstore.yml)"

6. 让 Grafana 数据源指向 Thanos Query，而不是单个 Prometheus。查询时按 cluster 和 prometheus_replica 去重。

7. Alertmanager 组成集群，配置相同的 --cluster.peer 和静默规则，避免重复告警。

验证

• 两个 Prometheus 副本都在采集，且外部标签正确。
• Thanos Query 能查到超过本地保留期的历史数据。
• 关闭一个 Prometheus 副本后，查询和告警仍然可用。
• Compactor 正常执行降采样和保留策略，对象存储容量可控。
• Alertmanager 集群只发送一份通知。

回滚

• 保留单机 Prometheus 的 PVC 和 values，出现问题时切回本地查询。
• Thanos 组件可以独立卸载，不影响 Prometheus 继续采集。
• 对象存储中的数据不要立即删除，确认新方案稳定后再清理。
• 告警路由变更前导出 Alertmanager 配置。

常见坑

• 两个副本使用相同的 external labels，Thanos 会把它们当成重复序列。
• 没有配置 replicaExternalLabelName，查询结果重复或互相覆盖。
• Compactor 单实例运行且没有 PVC，重启后降采样状态丢失。
• 对象存储权限只给了读写，没有 list 权限，Store Gateway 启动失败。
• 查询层没有限制并发和超时，大范围查询拖垮整个监控。
• 只做了采集高可用，没有做 Alertmanager 高可用，告警仍然单点。

相关命令

• promtool — 检查规则和配置
• amtool — 管理 Alertmanager 告警与静默
• thanos — 查询、存储网关和压缩
• kubectl — 查看 Prometheus/Thanos 状态
• mc — 检查对象存储中的块