logstash

Logstash 日志管道

补充说明

logstash 读取、解析和转发日志，管道由 input、filter、output 三部分组成。它适合复杂解析和 enrichment，但资源开销比轻量采集器大。

常用示例

logstash -f pipeline.conf
logstash -f pipeline.conf --config.test_and_exit
logstash -f pipeline.conf --log.level=debug
logstash --path.settings /etc/logstash
logstash -e 'input { stdin {} } output { stdout {} }'

pipeline.conf：

input {
  beats {
    port => 5044
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:ts} %{LOGLEVEL:level} %{GREEDYDATA:msg}" }
  }
  date {
    match => [ "ts", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://es:9200"]
    index => "app-%{+YYYY.MM.dd}"
  }
}

易错点与排错

• 改配置后先 --config.test_and_exit，语法错误会导致进程起不来。
• grok 正则写不好会严重拖慢吞吐；先用少量样本测试。
• 管道阻塞时上游会反压；关注 jvm.memory、队列和 output 错误。
• 堆内存不要照搬 Elasticsearch 的“越大越好”；Logstash 需要给系统留内存。
• 持久化队列（PQ）能防丢数据，但会增加磁盘占用和恢复时间。
• 多管道用 pipelines.yml 隔离，避免不同日志互相拖累。
• 插件版本要和 Logstash 版本匹配；升级前看兼容矩阵。

相关命令

• filebeat / vector — 采集器
• elasticsearch — 输出端
• kibana — 查询与可视化

读完自测

合上页面，先回答，再展开对照。

1. 改完管道配置后进程起不来，先做什么？
2. 吞吐低且 CPU 高，先怀疑什么？
3. 启用持久化队列能防丢数据，代价是什么？