hung-task

内核 Hung Task

现象

系统卡顿、负载升高，dmesg 出现 INFO: task ... blocked for more than 120 seconds；进程处于 D 状态，无法 kill，重启后可能再次出现。

快速定位

dmesg -T | grep -A20 'blocked for more than'
ps -eo pid,stat,wchan:32,cmd | awk '$2 ~ /D/'
cat /proc/<PID>/stack

查看 IO 和存储：

iostat -xz 1
cat /proc/pressure/io
mount | grep -E 'nfs|cifs|iscsi'

常见根因

• NFS/iSCSI/云盘 IO 挂起，进程不可中断。
• 磁盘故障或存储链路中断。
• 内核 bug 或驱动问题。
• 内存压力导致回收阻塞。
• 锁竞争或文件系统损坏。

修复

• 先确认存储链路和云盘状态。
• 恢复 NFS/iSCSI 连接，必要时强制卸载。
• 更新内核/驱动，修复已知 hung task 问题。
• 调整 hung_task_timeout_secs 只用于争取排查时间，不解决根因。
• 无法恢复时重启节点，并保留 dmesg、/proc/<PID>/stack。
• 对关键存储增加超时和重试。

相关命令

• dmesg — hung task 日志
• ps — D 状态进程
• /proc/<PID>/stack — 内核栈
• iostat — IO 延迟
• mount — 网络文件系统