本期全文
点击标题跳到对应段落
小参数模型集体升级:端侧推理开始拼「待机时长」
2026-11-18 · 模型动态 · 实测与迁移笔记
这一轮升级的共同点,是把注意力放在了「持续可用」而不是「峰值分数」。三家团队都给出了量化后的内存占用表,其中最值得注意的是 4bit 权重配合 8bit 激活的组合在中低端设备上的稳定性明显改善。我们在两台手机上做了对照:同样的上下文长度下,首字延迟下降约两成,但连续对话十分钟后的发热与降频仍是瓶颈。
迁移时先改三处:一是把批大小固定为 1,避免端侧调度抖动;二是把 KV 缓存的上限显式写死,防止长对话把内存吃满;三是关闭自动重试,改为上层做超时控制。做到这三点,多数应用的体感会先稳下来,再去谈压缩率。
需要提醒的是,量化后的输出在数字与专有名词上更容易出错,涉及金额、日期和型号的场景,建议保留一次规则校验。端侧模型的优势是隐私与离线,不必强求它替代服务端大模型,分工才是更实际的策略。
开源语音克隆项目更新:流式合成延迟降到 300ms 以内
2026-11-18 · 开源项目 · 部署要点
新版本把编码器与声码器拆成两个独立进程,中间通过共享内存传递特征,单卡可以并发跑多路会话。作者给出的测试环境是消费级显卡,短句合成的端到端延迟稳定在 300ms 以内,长句则取决于分段策略。对客服和直播场景来说,这个量级已经能接受。
部署上要注意两件事:一是采样率必须与训练配置一致,混用会带来明显的金属音;二是并发数不要一次开满,先按显存占用的七成做上限。项目没有内置鉴权,对外暴露前需要自己加一层网关。
如果只是做归档转写,其实不必用流式版本,批处理模式的准确率更高、资源占用也更低。选型时先问清楚是「实时」还是「事后」,能省掉不少调参时间。
把「结构化输出」写进系统提示的四个反例
2026-11-17 · 提示词工坊 · 线上经验
第一个反例是字段说明太长。把每个字段写成一整段解释,模型容易在输出时夹带说明文字,解析器直接失败。更稳的做法是字段名加一句示例值,把解释放到外部文档。
第二个反例是允许多种格式并存。比如同时接受 JSON 和键值对,模型会随机选一种。要么在提示里锁死一种,要么在解析层做兜底,不要指望模型自觉。
第三个反例是缺少空值约定。字段没内容时,有的模型输出空字符串,有的输出 null,有的干脆省略。提前定义「无内容写 null」,能少掉大量判断分支。
第四个反例是把校验规则写在最后。模型对靠后的指令权重不一定更高,但人类读者会以为它最重要。把格式约束放在最前,把内容要求放在后面,实际效果更稳定。
一家中型电商的 AI 客服改造复盘:先砍掉三成知识库
2026-11-17 · 产品落地 · 复盘
这家团队原本有三万多条知识库条目,上线后发现回答经常「答非所问」。排查下来不是模型问题,而是检索阶段被大量重复与过期条目干扰。他们做的第一件事不是换模型,而是删掉三成条目:重复的活动规则、已下线的品类说明、互相矛盾的旧政策。
删减之后,检索命中率提升,回答长度也变短了,人工接管率随之下降。第二步才是调整提示词,把「不确定就转人工」写成明确规则,并给出转人工的话术模板。第三步是埋点,记录采纳率与改写率,按周复盘。
他们的结论很朴素:知识库的质量比数量重要,AI 客服的第一目标是别乱说,第二目标才是答得快。这个顺序反过来,用户投诉会明显上升。
算力租赁报价连续三周走平,长租比例上升
2026-11-16 · 行业观察 · 成本
从几家服务商的公开报价看,短租价格已经连续三周没有明显波动,而签年框的团队比例在上升。这通常意味着需求端从「试水」转向「长期规划」,也意味着供给端的闲置资源被逐步锁定。
对使用方来说,长租能压低单价,但会牺牲弹性。建议按「基线负载签长租、峰值负载走短租」的组合来做,基线部分控制在日常用量的六到七成,剩下的留给波动。合同里要写清楚扩容的响应时间与计费方式,避免临时加机器时被动接受高价。
另外值得关注的是推理优化带来的等效算力提升。同样的业务量,经过量化和批处理优化后,所需显卡数量可能下降三成,这比谈价格更直接。先优化再采购,顺序不要反。