human-in-the-loop

人工介入：在高风险动作前暂停、审批、恢复并留痕

补充说明

Human-in-the-loop（HITL）让 Agent 在关键节点暂停，等待人工确认/补充信息后再继续。它适合不可逆、涉及资金/权限/隐私、或模型置信度低的动作。HITL 不是“所有步骤都让人点一下”，那会造成审批疲劳并拖慢流程；要按风险分级，只拦住真正需要负责人的决策。

实现方式：工具层审批（执行前检查）、工作流中断/恢复（LangGraph interrupt）、任务队列 + 人工处理、以及输出后的人工复核。关键是保存上下文、支持超时/拒绝、记录审批人和理由，并能在恢复后继续执行。

常用示例

# 工具层审批：高风险动作执行前暂停
HIGH_RISK = {"send_email", "delete_record", "run_shell", "transfer_funds"}

def execute_with_approval(tool, args, user, context):
    if tool.name in HIGH_RISK:
        ticket = create_approval(
            user=user, tool=tool.name, args=redact(args),
            context=context, expires_in="30m",
        )
        return {"status": "pending_approval", "ticket_id": ticket.id}
    return tool.run(**args)

# LangGraph：中断后由人工恢复
from langgraph.types import interrupt, Command

def review_node(state):
    decision = interrupt({"question": "是否发送这封邮件？",
                          "draft": state["draft"]})
    if decision["approved"]:
        return {"status": "approved"}
    return {"status": "rejected", "reason": decision.get("reason")}

# 恢复：graph.invoke(Command(resume={"approved": True}), config)

审批设计：
- 风险分级：只拦高风险，低风险自动执行
- 展示上下文：Agent 想做什么、参数、影响范围、可回滚性
- 超时默认拒绝（fail closed）
- 审批人、时间、理由、结果写审计日志
- 拒绝后给出可执行的下一步（修改/取消/转人工）

易错点与排错

• 所有步骤都审批：审批疲劳，用户会盲点“同意”；按风险分级。
• 审批信息不足：只显示“是否继续”，审批人无法判断；展示动作、参数、影响和回滚方案。
• 超时默认通过：高风险操作不能默认放行；超时应拒绝或转人工。
• 没有审计：谁批的、何时、理由是什么都缺；合规场景必须留痕。
• 恢复后上下文丢失：中断时没保存状态，恢复后重复执行或跳过步骤；持久化 checkpoint。
• 审批绕过：其他入口/工具未走审批；统一在工具执行层拦截。
• 审批后参数变化：审批的是 A，执行的是 B；执行前校验参数哈希。
• 阻塞整个流程：同步等待人工导致超时；用异步任务/队列和通知。

相关命令

• langgraph — 中断、恢复与 checkpoint。
• mcp-server — 工具层审批与权限。
• tool-calling — 工具调用与高风险动作。
• guardrails-ai — 输出校验与护栏。
• langfuse — 审批与执行追踪。

参考链接

• LangGraph Human-in-the-loop
• NIST AI 风险管理框架
• OWASP LLM08: Excessive Agency

读完自测

合上页面，先回答，再展开对照。

1. 哪些动作应该触发人工审批？
2. 审批超时应该默认通过还是拒绝？为什么？
3. 审批后执行前为什么还要校验参数？