搭建 Loki 高可用日志平台

适用场景

需要低成本、可水平扩展的日志聚合，和 Prometheus/Grafana 使用同一套标签体系。适合 Kubernetes 容器日志、多租户日志和长期归档。

前置条件

• 对象存储（S3/MinIO/OSS/COS）。
• Kubernetes 集群和 Helm。
• 日志采集方案：Promtail、Grafana Alloy 或 Fluent Bit。
• 明确租户模型、保留周期和 ingest 限流。

步骤

1. 安装分布式 Loki：

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update
helm install loki grafana/loki \
  --namespace logging --create-namespace \
  --set deploymentMode=Distributed \
  --set loki.storage.type=s3 \
  --set loki.storage.s3.endpoint=minio.storage:9000 \
  --set loki.storage.s3.bucketnames.chunks=loki-chunks \
  --set loki.storage.s3.bucketnames.ruler=loki-ruler \
  --set loki.storage.s3.accessKeyId=minio \
  --set loki.storage.s3.secretAccessKey=minio123 \
  --set loki.storage.s3.s3ForcePathStyle=true

2. 确认各组件就绪：

kubectl -n logging get pods
kubectl -n logging get svc

分布式模式包含 distributor、ingester、querier、query-frontend、compactor 和 index-gateway。

3. 部署采集端。Kubernetes 环境可用 Alloy 或 Promtail：

helm install alloy grafana/alloy --namespace logging \
  --set 'alloy.configMap.content=...'

采集端需要打上 cluster、namespace、pod、container 等标签。

4. 配置保留和压缩：

--set loki.limits_config.retention_period=720h
--set loki.compactor.retention_enabled=true

5. 配置多租户和限流：

--set loki.limits_config.ingestion_rate_mb=10
--set loki.limits_config.ingestion_burst_size_mb=20
--set loki.limits_config.max_query_length=721h

6. 在 Grafana 添加 Loki 数据源，使用 LogQL 查询：

{namespace="prod"} |= "error"
sum by (pod) (rate({namespace="prod"} |= "error" [5m]))

验证

• Grafana 能查询到最近日志，标签与采集配置一致。
• 关闭一个 ingester 后，查询和写入仍然可用。
• 超过保留期的日志被 compactor 清理，对象存储容量下降。
• 多租户场景下，租户 A 无法查询租户 B 的日志。
• 查询大时间范围时，query-frontend 能拆分并限制并发。

回滚

• 保留旧日志系统一段时间，切换查询入口而不是立即删除旧数据。
• Helm 回滚 Loki 版本，注意 schema 和对象存储格式的兼容性。
• 采集端配置可以灰度到部分节点，确认标签和解析正确后再全量。
• 对象存储中的数据保留至少一个保留周期。

常见坑

• 单机模式直接上生产，ingester 重启会丢日志。
• 标签基数过高（例如把 request_id 放进标签），导致索引爆炸。
• 采集端和 Loki 的租户头不一致，日志写入错误租户或 401。
• 对象存储的 endpoint、bucket、path-style 配置错误，chunks 写入失败。
• 没有配置 compactor，保留策略不生效，存储无限增长。
• 查询时用 |= 扫描全量日志，未先按标签缩小范围，查询超时。
• 升级跨过大版本，schema 配置不兼容。

相关命令

• logcli — 命令行查询 Loki
• promtail / alloy — 日志采集
• kubectl — 查看组件与日志
• mc — 检查对象存储
• grafana — 查询与看板