network-stack

从网卡到 socket 排查 Linux 网络栈的丢包、重传与队列

补充说明

一个包大致经过：网卡/驱动 → 内核协议栈（GRO、netfilter/conntrack、路由）→ qdisc → socket 接收队列 → 应用。排查时要先确定丢在哪一层，再选工具，而不是一上来就抓包。

• 网卡/驱动：ethtool -S、ip -s link 看 ring 丢包、CRC 和队列错误。
• 协议栈：nstat//proc/net/netstat 看重传、listen 溢出、连接跟踪；ss -tinm 看 socket 队列、RTT 和拥塞窗口。
• 队列/整形：tc -s qdisc 看 qdisc 丢包和 backlog；net.core.netdev_max_backlog 控制入向 backlog。
• 权限：tcpdump/AF_PACKET 需要 root 或 CAP_NET_RAW；tc 和部分 ethtool 操作需要 CAP_NET_ADMIN；ss -p 看别人的进程需要 root。
• 容器：每个 net namespace 有自己的接口、路由、qdisc 和大部分 net.* sysctl；veth 对端和宿主机 qdisc 才是全局瓶颈所在。

常用示例

# 查看协议栈计数：重传、监听溢出、UDP 接收错误
nstat -az | grep -E 'TcpRetransSegs|TcpExtListenOverflows|TcpExtListenDrops|UdpRcvbufErrors'

# 查看 socket 队列、拥塞窗口和重传信息（-i 内部信息，-m 内存，-n 数字）
ss -tinm

# 查看网卡队列与驱动丢包计数
ethtool -S eth0 | grep -iE 'drop|miss|error|no_buffer'
ip -s link show eth0

# 查看 qdisc 排队、丢包和 backlog
tc -s qdisc show dev eth0

# 只抓 SYN/RST，减少抓包量和隐私数据
sudo tcpdump -ni eth0 -c 200 'tcp[tcpflags] & (tcp-syn|tcp-rst) != 0'

# 检查常见内核网络参数
sysctl net.core.somaxconn net.ipv4.tcp_max_syn_backlog net.ipv4.tcp_congestion_control

易错点与排错

• 抓包看到 checksum 错误不一定是真错误：校验和卸载（checksum offload）会让本机发出的包在抓包点尚未计算校验和。
• 抓包看到超大 TCP 段也不一定是 MTU 问题：TSO/GSO 把分段推迟到网卡，抓包点看到的是未分段的超大数据段，可临时用 ethtool -K <dev> tso off gso off 关闭后再判断。
• 丢包要分层看：NIC ring（ethtool -S 的 miss/no_buffer）、backlog（nstat）、socket 队列（ss 的 Recv-Q）、应用不读，处理方式完全不同。
• ss 中 LISTEN 状态的 Send-Q 是 listen backlog，Recv-Q 是当前已完成握手的队列，不是数据字节数。
• conntrack 表满会静默丢包，dmesg 出现 nf_conntrack: table full, dropping packet 时调 nf_conntrack_max 或缩短超时。
• 只调大 net.core.rmem_max 不够：tcp_rmem 的上限和应用 SO_RCVBUF 也要匹配，否则自动调优仍受限制。
• 容器内改 net.* 通常只影响自己的 net namespace；宿主机上的 veth、qdisc、conntrack 需要在宿主机排查。
• 单条 TCP 流受 RSS/单队列限制，可能只打满一个 CPU 核；多流或 SO_REUSEPORT 才能用满多队列。

读完自测

1. 抓包看到 checksum incorrect，为什么可能是假象？
2. 如何区分 NIC ring 丢包、backlog 丢包和 socket 队列溢出？
3. 容器内看到的网络队列和宿主机有什么不同？

相关条目

• ss
• tcpdump
• nstat
• tc
• ethtool