bcc-tools

BCC 工具集：基于 eBPF 的现成内核追踪与排障命令

补充说明

BCC（BPF Compiler Collection）把常用 eBPF 观测场景封装成一批独立命令，例如 execsnoop、opensnoop、biolatency、runqlat、tcplife。它们在内核态运行 eBPF 程序采集事件，在用户态汇总，通常比 strace 全量跟踪开销低。

• 内核：基础 eBPF 需要 3.18+，多数工具要求 4.9+；依赖 BTF/CO-RE 的新工具还需要 5.x 内核和 /sys/kernel/btf/vmlinux。
• 权限：几乎都需要 root；5.8+ 可用 CAP_BPF/CAP_PERFMON 细分权限，但部分工具仍需 CAP_SYS_ADMIN 或可写 tracefs。
• 依赖：BCC 在运行时用 clang/LLVM 编译 BPF 程序，需要与运行内核匹配的头文件和调试信息。
• 安装：RHEL/CentOS/Fedora 用 bcc-tools，Debian/Ubuntu 用 bpfcc-tools。

常用示例

# 跟踪新进程的 exec 参数，最常用的环境验证命令
sudo /usr/share/bcc/tools/execsnoop

# 块设备 I/O 延迟直方图，-m 以毫秒为单位
sudo /usr/share/bcc/tools/biolatency -m

# 只观察慢于 10ms 的 ext4 读取
sudo /usr/share/bcc/tools/ext4slower 10

# 统计 TCP 连接的建立、关闭与传输字节数
sudo /usr/share/bcc/tools/tcplife

# 统计各进程在 CPU 运行队列中的等待时间分布
sudo /usr/share/bcc/tools/runqlat

# 查看工具自带帮助和可用过滤选项
sudo /usr/share/bcc/tools/biolatency -h

Debian/Ubuntu 的可执行文件通常带 -bpfcc 后缀，例如 execsnoop-bpfcc；不确定路径时用 dpkg -L bpfcc-tools | grep bin 查找。

易错点与排错

• 报错找不到内核头文件：安装与 uname -r 完全一致的 kernel-devel/linux-headers，容器内通常没有。
• Debian/Ubuntu 上命令名带 -bpfcc 后缀，照 RHEL 文档直接敲 execsnoop 会 command not found。
• 容器默认缺少 CAP_BPF/CAP_SYS_ADMIN、tracefs 和内核头文件，多数工具无法运行；应在宿主机或特权 DaemonSet 中执行。
• 首次运行要编译 BPF 程序，启动慢是正常的；持续失败时检查 clang/LLVM 版本与内核头文件是否匹配。
• 高频事件全系统采集开销明显，先用 -p <PID>、过滤条件和有限时长缩小范围。
• 输出出现 Lost N events 说明 perf ring buffer 溢出，结果不完整；减少跟踪范围或在支持的工具上增大缓冲区。
• Secure Boot/lockdown 模式可能直接拒绝 kprobe 与 BPF，用 dmesg | grep -i lockdown 确认。
• 工具输出的是宿主机 PID；在 PID namespace 的容器里看到的编号不同，可用 /proc/<pid>/status 的 NSpid 换算。

读完自测

1. biolatency 与 iostat 看 I/O 延迟的角度有什么不同？
2. 为什么在容器里运行 BCC 工具经常失败？
3. 看到 Lost N events 时应该怎么处理？

相关条目

• bpftrace
• bpftool
• perf
• ftrace
• sysdig