AI 流式回答断在工具执行后,为什么不能直接重试整轮任务?

有一类故障特别难从聊天窗口判断:模型已经决定调用工具,工具也完成了操作,但客户端还没收到工具结果,流就断了。用户看到的是“正在重连”,于是点击重试。第二次请求又做了一遍同样的事,结果可能是重复创建工单、重复发送通知,或把同一份数据写入两次。

这和“模型回答到一半少了几个字”不是同一种失败。前者涉及外部动作,不能只靠重新发送提示词恢复。下面用一个测试环境中的“创建导出任务”说明怎样定位和处理。例子是设计演练,不是某个平台的生产事故。

先画出可能断开的那一段

一次带工具调用的任务至少经过这些步骤:

用户提交“导出本周报表”
  → 模型生成工具调用
  → 应用收到工具参数
  → 应用创建导出任务
  → 应用把工具结果返回给模型
  → 模型给用户最终答复

如果断线发生在“创建导出任务”之前,恢复时可以在核对状态后执行;如果发生在创建之后、回传结果之前,盲目重试就会产生第二个任务。仅凭聊天窗口最后显示的文字,分不清这两个时刻。

排查时把三件事分开记录:模型响应有没有正常结束、工具有没有执行、业务动作有没有提交。HTTP 200 只能说明连接已经开始返回;客户端收到部分文字也不能证明工具和业务都完成。流结束后,应按当前接口的协议状态判断模型请求;业务是否完成,则以自己的数据库和目标系统为准。

用稳定的动作 ID 识别“同一次操作”

在调用模型之前,应用先为用户这次提交生成一个 operation_id。它代表“用户本意上的一次导出”,而不是某次 HTTP 请求。网络重试可能有多个 request_id,但它们应指向同一个 operation_id。

动作记录可以从下面的最小结构开始:

字段 用途
operation_id 同一业务动作的稳定标识;由应用生成并持久保存
request_id 单次模型请求的排错标识;重试时可以变化
tool_name 本次实际执行的工具类型
arguments_hash 规范化参数后的摘要,用于发现同一 ID 下参数被改动
status pending、running、succeeded、failed 等状态
external_result_id 外部系统返回的任务或订单标识

不能只把整个模型工具调用的 JSON 当作幂等键:字段顺序、无关的描述文字,甚至模型再次生成的调用 ID 都可能改变。业务键应该来自用户提交和应用状态。如果同一个 operation_id 带着不同的关键参数再次到达,应拒绝并人工核对,而不是悄悄把旧任务当作新请求。

提交边界要清楚

最简单的保护是在业务表对 operation_id 加唯一约束。处理流程可以写成这样:

收到工具调用
  1. 根据 operation_id 查询已有动作
  2. 已成功:返回已保存的 external_result_id
  3. 正在执行:返回“处理中”或等待状态,不再启动第二次
  4. 未执行:尝试占有该动作,并提交 pending/running 状态
  5. 调用外部系统
  6. 保存外部结果和 succeeded 状态
  7. 将结果返回给模型

第 4 步需要原子地争取执行权。先查再插、没有唯一约束,在两个并发重试同时到达时仍会重复执行。把数据库状态和外部系统调用放在一个普通数据库事务里,也不能自动得到跨系统事务:外部系统成功而本地还没写入成功状态时,进程照样可能崩溃。

如果外部系统支持自己的幂等键,把同一个 operation_id 传过去,并在恢复时按该键查询结果。如果它不支持,就为这个失败窗口准备查询或对账步骤。例如导出任务可以按创建者、时间段和业务标识查已有任务;支付、发货等高风险动作不能用“没收到响应”推定“没执行”,应先查询权威状态,再决定是否补做。

把四种中断分别演练

不要一上来用生产任务试。准备一个不会发送真实通知、不会扣费的测试工具,逐次人为中断在以下位置:

  1. 工具执行前:检查恢复后只执行一次。
  2. 外部系统成功后、应用写成功状态前:检查是否能按业务标识找回旧结果;这是最容易漏掉的窗口。
  3. 应用已保存成功、模型还没收到工具结果前:检查重试是否直接复用结果。
  4. 模型已经回答、客户端没收到结束事件前:检查界面是否能把“响应未确认完整”和“业务已完成”同时展示,而不是再触发动作。

每次演练都记录 operation_id、请求次数、工具启动次数、外部系统对象数和最终状态。验收标准不是“模型最后说成功”,而是目标系统里确实只有一个业务对象,并且客户端恢复后能给用户一个可核查的结果。

中转入口能帮到哪一步

项目通过 NexoToken 这样的多模型 API 入口接入时,可以统一选择模型并核对请求、计费和连接状态;但“重试后是否重复创建报表”仍由应用的工具执行层决定。换模型或换中转地址前,先用同一套动作 ID 和断点演练,分别观察模型请求状态与业务结果。这样即使两条接入线路的表现不同,也不会把业务重复执行错归因于某个模型。

最值得先补的不是一张“成功率排行榜”,而是一次操作的状态查询入口和可复用的执行结果。它们让用户在断线后有明确答案:任务没开始、正在处理、已经完成,还是需要人工核对。只有分清这些状态,重试才有可能安全。

本文由 AI 辅助起草,示例为演练方法,无平台实测数据。

文章摘自:https://www.cnblogs.com/wnagjuxia/p/23616346