vector

Vector 日志与指标管道

补充说明

vector 用 sources、transforms、sinks 组成数据管道，支持日志和指标，性能高、资源占用低。它可作为采集器、聚合器或 Logstash 替代。

常用示例

vector --config /etc/vector/vector.toml
vector validate --config /etc/vector/vector.toml
vector test /etc/vector/vector.toml
vector --config-dir /etc/vector
vector top
vector generate stdin//console

vector.toml：

[sources.app_logs]
type = "file"
include = ["/var/log/app/*.log"]

[transforms.parse]
type = "remap"
inputs = ["app_logs"]
source = '''
  . = parse_json!(.message)
  .level = downcase!(.level)
'''

[sinks.es]
type = "elasticsearch"
inputs = ["parse"]
endpoints = ["http://es:9200"]

易错点与排错

• TOML/YAML 语法和字段名写错时启动即失败；先 vector validate。
• VRL 的 ! 表示失败即中止；不确定的解析用 ?? 或 parse_json 的可失败形式。
• 磁盘缓冲能防丢数据，但会增加磁盘占用和恢复时间。
• sink 阻塞会反压 source；关注 buffer、healthcheck 和错误指标。
• 多管道用多个 source/transform 隔离，避免互相影响。
• 版本升级可能改变 VRL 函数和配置字段；锁定版本并跑测试。
• vector top 适合实时观察，但不替代长期监控。

相关命令

• filebeat — 轻量采集
• logstash — 传统管道
• elasticsearch — 输出端