druid

Apache Druid 实时分析数据库

补充说明

Apache Druid 面向事件数据的实时分析和时序聚合，擅长高并发切片、时间范围查询和预聚合。核心组件：Coordinator、Broker、Historical、MiddleManager/Indexer、Router 和 Deep Storage。

数据按时间分片（segment），支持 rollup 预聚合。适合点击流、监控指标和日志分析，不适合复杂 join 和强事务。

常用示例

提交批量摄入任务：

curl -X POST http://router:8888/druid/indexer/v1/task \
  -H 'Content-Type: application/json' \
  -d @ingestion.json

查看任务和数据源：

curl http://router:8888/druid/indexer/v1/tasks
curl http://router:8888/druid/v2/datasources

SQL 查询：

curl -X POST http://router:8888/druid/v2/sql \
  -H 'Content-Type: application/json' \
  -d '{"query":"SELECT __time, COUNT(*) FROM events GROUP BY 1 ORDER BY 1 DESC LIMIT 10"}'

查看 segment：

curl http://router:8888/druid/coordinator/v1/datasources/events/segments

易错点与排错

• rollup 开启后明细丢失，需要明细查询时关闭或调整粒度。
• 时间戳格式和 timestampSpec 不匹配，数据被丢弃。
• segment 过大导致 Historical 内存压力，调整 targetPartitionSize。
• Deep Storage 不可用，Historical 无法加载 segment。
• 任务资源不足，MiddleManager 排队或失败。
• SQL join 性能差，Druid 不适合复杂关联。
• 实时任务和批量任务重叠，数据重复。
• 没有监控 segment 数量和查询延迟，集群逐渐退化。