RelayVano

← 全部明信片

上海值班室的凌晨批次:把两千条工单拆给两个模型

模型地图 ZH

凌晨一点开始处理两千条客服工单,早上七点前交付分类、摘要和待办事项,这类任务最容易出现的浪费,是把每条工单都交给同一个模型。简单咨询占着处理预算,复杂投诉却藏在批次末尾,直到交班才被发现。

我们把这个场景写成一次可复现的调度演练,对照全量使用 DeepSeek V4 Pro、全量使用 DeepSeek V4 Flash,以及两者分流。本文的批次和时间窗口属于模拟设定,不代表真实客户记录或平台性能测量;重点是验证分流与验收方法。

两千条工单先建立同一套验收标准

每条输入包含对话、产品版本和已有标签;输出固定为工单编号、问题类别、摘要、下一步动作和证据片段。字段齐全只是第一关:摘要不能凭空补充退款承诺,动作必须能从原文找到依据,缺少信息就明确标记。

从批次中预留一百条人工核对样本,覆盖短咨询、长对话、重复反馈和多轮争议。三个方案使用相同输入与输出要求,分别记录首轮通过率、人工修改量、总费用和最后一条合格结果的完成时间。只比接口返回速度,会漏掉后续返工。

Flash 处理常规工单,Pro 接手判断难点

分流从可解释的规则开始。单一问题、上下文完整、没有责任争议的工单先交给 Flash;涉及多方说法冲突、跨多段记录归因,或需要合并多个诉求的工单直接交给 Pro。文本长度只作辅助条件,短短一句投诉也可能缺少关键背景。

  • Flash 输出后,检查字段、类别取值、证据片段和动作依据。
  • 格式错误先修复一次;修复仍失败,再进入升级队列。
  • 证据不足或内容矛盾的结果交给 Pro 复核,并附上原始工单与失败原因。
  • 涉及退款、权限变更等动作,只生成处理建议,保留人工审批。

这里不采用模型自报的置信度作为唯一开关。与其接受一句“把握较高”,不如检查摘要中的关键事实是否确实出现在原文里。

凌晨四点检查剩余队列,而非盲目加速

演练中把四点设为检查点:查看待处理数量、近半小时吞吐量以及升级队列的增长速度。如果每小时产生的升级任务超过处理能力,分流就只是把拥堵挪了位置,需要提前调整规则或为复核队列预留更多容量。

两个模型使用独立的并发上限,并为限流和网络错误设置退避重试。每条任务保留稳定编号、输入版本和处理状态,重跑时跳过已验收结果。否则一次连接中断就可能触发整批重算,费用增加,交付文件还会出现重复记录。

晨间验收把费用和返工放在同一张账上

最终比较按合格工单计算成本:模型调用费用,加上人工检查与修改耗时。全量 Pro 是否值得,要看它减少的返工能否抵消额外费用;全量 Flash 是否划算,则取决于漏检和修复是否吞掉节省。

混合方案也不能默认胜出。如果常规工单频繁升级,同一份内容会被处理两次。应按失败类型调整入口规则,把明显需要综合判断的任务直接送入 Pro。抽检还要覆盖 Flash 已通过的结果,避免只检查升级队列,错把漏检当成质量提升。

接入 RelayVano 时先验证小批次

需要统一接入这两个模型时,可以选择 RelayVano:它按量付费,兼容 OpenAI SDK,API 基础地址为 https://api.relayvano.com。先用少量工单确认模型标识、响应字段、超时和错误处理,再扩大批量;两个模型分别记账,才能看清分流是否真的省钱。注册 RelayVano 后,可先跑一轮脱敏样本验证自己的规则。

这类夜间工单优先采用规则分流

这次演练给出的推荐是:常规工单先走 Flash,复杂判断直接进入 Pro,校验失败再升级。上线依据应是本地样本的合格率和截止时间,而非模型名称。若升级比例持续偏高,就缩小 Flash 的任务范围;若两种方案都无法稳定达标,就增加人工复核,并重新约定交付范围。

同一条航线上的其他明信片