AI Engineering Weekly
AI 工程周刊 · 每周十篇非显而易见的工程洞察
我给 AI 一整个文明：它造出了核弹，却还是输了
一项在《文明 VI》上对前沿模型做的 23 局长程基准，量化了自主 agent 最致命的两个短板——它看不见自己没主动去查的东西，也兑现不了自己写下的计划。
在 23 局《文明 VI》对局组成的 CivBench 基准里，前沿模型暴露出两个跨模型的系统性短板：一是「感知缺失」——agent 对任何它没有主动查询的状态完全失明；二是「知行差距」——它能写出最优策略，却兑现不了。最直白的一个数字是：在 10 回合内执行自己所写计划的比例，Claude Opus 4.6 只有 48.2%，GPT-5.4 为 63.2%，Gemini 3.1 Pro 为 65.8%。
这击中的正是 agent 落地的核心赌注——长程自主任务。20 场失败对局里有 7 场，对手的胜利早在 20 回合前就已可见，agent 却从未去查；查询胜负条件的调用只占其全部动作的 1–2%，哪怕指令白纸黑字写在 system prompt 里。受影响的不只是游戏：任何需要 agent 跨上百步维持目标的真实工作流，都会撞上同样的注意力盲区与执行漂移。
更值得警惕的是记忆：没有外部「日记式」脚手架时，仅 21% 的 330 回合对局能跑到结束——上下文一旦溢出，策略就被遗忘。给工程团队的启示很直接：把关键的胜负 / 止损检查做成每 N 步强制执行的调用，而非依赖模型「自觉」轮询；并为长程任务挂载结构化的外部记忆。本期其余 9 篇，正是这场「自主性还债」的不同侧面。
"2026 年年中，自主智能体的叙事开始还债：补贴退潮、长程执行力崩塌、被替换的人类专家被重新请回岗位。"
— 本周主题
AI 的可负担性危机：补贴退潮，账单登场
过去平台一直以 8–70 倍的价差补贴 token 消费来制造需求；随着按 token 计费铺开，企业开始大规模收缩用量。更关键的一个数字：agentic AI 的 token 消耗最高可达普通调用的 1,000 倍。
▸ 点击展开详情
$200/月 的 Anthropic 订阅对应约 $8,000 的真实 token 成本，OpenAI 等价物约 $14,000（SemiAnalysis）。OpenAI 2025 年收入 $13.07B、成本 $34B、净亏 $20.92B。当补贴退潮、而 agent 又把 token 用量放大千倍，「让 agent 多跑几轮」这种工程默认值会直接翻译成预算事故。微软已宣布 6 月 30 日起把 Copilot 转向按 token 计费。
把 token 预算当成一等的架构约束，而不是事后报表。为 agent 循环设硬性 token 上限与每任务成本预算；用便宜模型做 token 密集的压缩 / 总结步骤；并在 eval 里加入「单位任务成本」指标，而不只看质量分。
AI 质检失手，福特把「老师傅」重新请了回来
福特的 AI 质检工具因训练时缺乏足够的专家知识而失效，公司在过去三年重新雇回约 350 名资深工程师来「重新训练」模型——这是「AI 取代知识工人」叙事的一个具体反例。
▸ 点击展开详情
问题不是 AI 没用，而是没有领域专家把隐性知识喂进去，自动化质检就建不起来。重新引入人类专家后，福特在 J.D. Power 新车质量调查中从第 10 名跃居主流品牌第 1，CEO 称由此带来「数亿美元」的保修 / 召回成本顺风。对所有想用 AI 替换资深质检 / 审核岗的团队，这是一记提醒。
部署 AI 质检 / 审核前，先量化你的「专家知识覆盖率」——模型见过多少由资深人士标注的真实缺陷案例？把领域专家从「被替换对象」重新定位为「持续校准模型的训练回路」，并保留一条人类兜底通道。
给 AI 智能体的临时 Cloudflare 账户：删掉认证摩擦
Cloudflare 让任意 agent 直接 `wrangler deploy --temporary` 就能即时拿到一个已上线的 Worker，60 分钟认领窗口内有效、过期未认领自动删除——全程无需人类注册或复制粘贴 token。
▸ 点击展开详情
认证 / 开户是阻断自主 agent 自闭环部署的典型摩擦点。更巧妙的是 Wrangler 现在会主动向 agent 提示 `--temporary` 这个 flag，让 agent 无需人类指令就能自己发现并使用它；临时账户还支持数据库等绑定，且可在会话中途被人类「认领」接管转正。
审视你的 agent 工作流里有没有「需要人类插手开户 / 拿凭证」的断点——这些是自闭环的隐形天花板。借鉴这一模式：先发一次性沙箱凭证让 agent 跑通，成功后再让人类认领转正。
Recall：给 Claude Code 的本地、零 token 项目记忆
一个 Claude Code 插件，用纯本地的 TF-IDF + TextRank 抽取式摘要解决会话「冷启动」问题：通过 hook 捕获会话历史，压成约 1–2K token 的 context.md——整个摘要过程不调用任何 LLM、不需要 API key。
▸ 点击展开详情
跨会话记忆通常意味着又一轮 LLM 调用和 token 开销；Recall 反其道而行，用经典 NLP（TextRank 即在句子相似度图上跑 PageRank）在本地零成本生成恢复摘要，每次开新会话都省下订阅额度。它是「记忆工程不一定要更多 AI」的务实样本。
不是所有上下文压缩都得用 LLM。对「会话恢复摘要」「项目背景注入」这类不需要语义生成、只需抽取关键句的场景，用 TF-IDF / TextRank 等确定性方法可以零 token、可复现地完成；把宝贵的 LLM 调用留给真正需要生成的环节。
为什么大多数 AI eval 会漏掉 Linear 那封销售邮件事故
标准 eval 给「最终产出质量」打分，却系统性地漏掉一类 agent 失败：系统在没有核实「该不该行动」的前提下就行动了。Linear 的 agent 用错误的公司名给一位老客户连发 6 封邮件——这是行动前的状态核实失败，不是文案质量失败。
▸ 点击展开详情
一封措辞得体、个性化、符合品牌调性的邮件，在传统 eval 里能拿高分，却完全掩盖了「证据链断裂」。随着 agent 越来越多地代表用户「采取行动」，只评估输出质量的 eval 会给危险的 agent 发合格证。
把 eval 目标从「输出好不好」改成「agent 是否证明了它有权这样做」。在 eval 中加入轨迹检查：它实际取了哪些数据、引用了什么、哪些动作经过了权限闸门——对「采取行动类」agent，没通过前置证据核实就判失败，无论产出多漂亮。
Claude Code 的「扩展思考」并不是它真实的推理
Claude Code 落盘的「Extended Thinking」日志里只有一段约 600 字符的加密签名 blob，没有可读的推理；你看到的「思考」是事后生成的摘要，而非驱动其行为的真实推理——本地会话文件里根本不存在审计级的推理轨迹。
▸ 点击展开详情
任何想基于 Claude Code 本地日志做合规、审计、或事后追责的团队都踩在一个错误假设上。解密密钥在 Anthropic 手里，用户机器永远拿不到真实推理内容；要拿到「完整思考」需要企业协议。换句话说，「思考输出」更像产品体验，而非可信的推理证据。
不要把模型的「思考文本」当作行为审计的证据来源。要可追溯，就审计 agent 的可观测动作——工具调用、输入输出、状态变更——并自行落盘结构化 trace；把「思考摘要」仅当作调试时的启发信息。
HALO：用专用 RLM 递归改进你的 agent harness
通用 harness（如 Claude Code）倾向于对单条 trace 的错误过拟合，看不到跨多次执行的系统性失败模式。HALO 的做法是：收集生产 agent 的 OpenTelemetry trace → 用专门的 RLM（而非通用模型）在整个 trace 语料上识别系统性失败 → 生成报告 → 喂给编码 agent 去改 harness → 重复。
▸ 点击展开详情
这把「改 agent」从手工看日志升级成一个可循环的工程方法论。关键洞见是：通用 LLM 在单条 trace 上会过拟合到具体错误，而专用 RLM 能在多条执行上泛化出系统性模式——这正是规模化运行 agent 的团队最缺的反馈回路。
给你的 agent 接上 OTel 兼容的 trace 采集，把「读单条失败日志手工修」换成「在 trace 语料上批量找系统性失败模式」。token 密集的 trace 摘要交给便宜模型压缩成本，再把失败报告交给编码 agent 做 harness 级修复，形成 采集 → 归纳 → 修复 → 重部署 的闭环。
2,000 人尝试黑掉我的 AI 助手之后，我学到的
对一个接入真实邮箱的 Claude Opus 4.6 agent 做了开放红队：6,000+ 封注入邮件、2,000+ 人参与，0 次成功窃取密钥——简单的 4 行反注入指令就守住了。但真正的坑在别处：Gmail 被封、API 花掉 $500+、批处理时邮件之间的「上下文污染」。
▸ 点击展开详情
这说明 2026 年的前沿模型 + 极简防护对直接 prompt injection 已相当稳，但 agent 的真实失败模式转移到了运营层：成本失控、被上游服务（Google）判定异常封号，以及一个反直觉的 bug——批量处理时一封可疑邮件会抬高 agent 对同批后续所有邮件的「警惕度」，造成误判扩散。
别再把防护预算全压在「更强的反注入 prompt」上；按邮件 / 任务隔离上下文（每条都用全新 context），避免批内污染。同时给 agent 上线前做成本与速率的「运营压测」：模拟敌意流量，预估单位成本、设速率上限。
一家游戏工作室 18 个月的 AI agent 实战：哪些成了，哪些一直没成
一个 7 人、5 个项目的团队诚实复盘：AI agent 的胜利是窄而具体的（优化建议、bug 分诊、QA 场景生成、文档评审），而端到端的玩法实现与自主 playtest 在试了 18 个月后始终没跑通。
▸ 点击展开详情
这是少见的、带时间戳的真实生产记录，戳破了「agent 能端到端做完一切」的幻觉。基于截图分析的自主 playtest（2025.11）和基于文本游戏状态的 agent（2026.1）都因不稳定失败，最后 2026.3 靠一个「假输入层」workaround 才勉强落地；多 agent 互评产出详尽文档却没明确实用价值；额外堆 Knowledge.md / Soul.md 这类上下文文件，清理后并无可测的提升。
把 agent 投入「窄、可验证、有明确成功信号」的子任务，而不是端到端创作。在加上下文文件前先做 A/B：很多「上下文工程」的收益是想象出来的，要用可测指标去证伪。对自主 playtest 这类长程闭环，先准备好「假输入层 / 确定性桥接」。
本期的主线是一场「还债」。过去一年，自主智能体的叙事一路高歌：让 agent 端到端地写代码、做质检、跑业务。但本周来自多个独立来源的信号同时指向同一个现实——这套叙事开始结算。在《文明 VI》长程基准上，前沿模型执行自己计划的比例只有约一半，还会对没主动查询的状态完全失明；一家游戏工作室 18 个月的复盘显示，agent 的胜利窄而具体，端到端创作始终没跑通；福特在 AI 质检失手后，重新雇回约 350 名资深工程师。与此同时，支撑「让 agent 多跑几轮」的经济假设正在崩解：补贴退潮、按 token 计费铺开，而 agentic 工作流的 token 消耗可达普通调用的千倍。好消息是，工程界的回应正在成形——把 eval 从「输出好不好」改成「该不该行动」，给 agent 接上 trace 做系统性自我改进，用零 token 的经典 NLP 做记忆，把认证摩擦从循环里删掉。2026 年年中，不是 agent 退场，而是工程纪律登场：把自主性重新关进可观测、可计费、可证伪的笼子里。