搭建 StarRocks 分析集群

适用场景

需要实时数仓、明细/聚合查询和高并发报表。StarRocks 兼容 MySQL 协议，支持多种表模型、物化视图和湖仓分析。

前置条件

• 至少 3 个 BE 节点和 1–3 个 FE 节点。
• 独立磁盘，建议 NVMe。
• 明确表模型、分区和分桶策略。
• 监控和备份方案。

步骤

1. 使用 Operator 安装：

kubectl apply -f https://raw.githubusercontent.com/StarRocks/starrocks-kubernetes-operator/main/deploy/starrocks.com_starrocksclusters.yaml
kubectl apply -f https://raw.githubusercontent.com/StarRocks/starrocks-kubernetes-operator/main/deploy/operator.yaml

2. 创建 StarRocksCluster：

kubectl apply -f - <<'EOF'
apiVersion: starrocks.com/v1
kind: StarRocksCluster
metadata:
  name: starrocks
  namespace: starrocks
spec:
  starRocksFeSpec:
    image: starrocks/fe-ubuntu:3.3.0
    replicas: 3
    requests: {cpu: "4", memory: 16Gi}
  starRocksBeSpec:
    image: starrocks/be-ubuntu:3.3.0
    replicas: 3
    requests: {cpu: "8", memory: 32Gi}
EOF
kubectl -n starrocks get pods

3. 连接并建表：

mysql -h starrocks-fe-service -P 9030 -u root

CREATE DATABASE demo;
USE demo;
CREATE TABLE events (
  dt DATE,
  user_id BIGINT,
  event_type VARCHAR(32),
  amount DECIMAL(10,2)
)
DUPLICATE KEY(dt, user_id)
PARTITION BY RANGE(dt) (
  START ("2026-10-01") END ("2026-11-01") EVERY (INTERVAL 1 DAY)
)
DISTRIBUTED BY HASH(user_id) BUCKETS 8
PROPERTIES ("replication_num" = "3");

4. Stream Load 导入：

curl --location-trusted -u root: \
  -H 'format: json' -H 'strip_outer_array: true' \
  -T events.json \
  http://starrocks-fe-service:8030/api/demo/events/_stream_load

5. 创建物化视图：

CREATE MATERIALIZED VIEW mv_daily AS
SELECT dt, event_type, COUNT(*) AS cnt, SUM(amount) AS amt
FROM events GROUP BY dt, event_type;

验证

• FE/BE 全部 Alive。
• 表副本健康。
• Stream Load 成功，查询可见。
• 物化视图命中查询。
• 监控显示 BE 磁盘和 compaction 正常。

回滚

• 升级前备份 FE 元数据和 BE 数据。
• 保留旧镜像和 CR 配置。
• 回滚版本时注意元数据格式兼容性。
• 删除表前先确认没有下游依赖。

常见坑

• 副本数大于 BE 数，建表失败。
• 分区范围没有覆盖新数据。
• 分桶键选择不当，数据倾斜。
• 小批量高频导入产生过多版本。
• BE 磁盘满，查询报错。
• 物化视图未命中，执行计划未改写。
• FE 单点，故障后无法管理集群。
• 没有监控 compaction 和副本状态。

相关命令

• mysql — 连接 StarRocks
• curl — Stream Load
• kubectl — 查看 Operator 和 Pod
• starrocks — 集群管理（如已安装）