AI 工程周刊 · 每周十篇非显而易见的工程洞察
AWS 发布的本地模拟器没有一行人写的代码,人做的是规格、测试和合并检查。
这个模拟器让编码代理在本机就能对着一份 AWS 的副本做测试。它的代码全部由代理编写和测试,依据是 400 多份公开的接口描述,覆盖 200 多个服务。代理先把测试改到能在真实 AWS 上通过,再去改模拟器,直到同一个测试也通过。
分布式系统的代码要在基础设施里才能验证,所以代理需要一个行为和真实服务一致的环境。AWS 高管 Swami 讲了自己的教训。他用 Kiro 重写一个当年花了约 4 个月的复制引擎,守了四个晚上才发现代理无法检查结果。给了规格和测试环境之后,重写只用了约 2 小时。
工程师的工作因此变成三件事:写规格,建测试,设合并关卡。AWS 的合并关卡里有多个安全代理,各自从不同的攻击角度审同一个改动,另有确定性检查拦住越界修改。仓库里公开了全部提交和代理提的问题,包括仍与真实 AWS 不一致的行为。AWS 说这套做法还在早期。
"代理写得再快,也要有东西告诉它写对了没有。"
— 本周主题
评估机构 METR 调查后认为,Anthropic 的模型进步比前一年快了约一倍,主因是 AI 在帮忙做 AI 研究。一位 METR 研究员据此推算,研究员个人的效率要提高约 10 倍,整体才能快一倍。
▸ 点击展开详情
团队整体提速一倍,需要的个人提速远大于一倍,因为实验用的算力没有同步增加。作者按简单模型推出 4 到 9 倍,再考虑好点子越来越难找,估到约 10 倍。Anthropic 员工的非正式说法是约 12 倍。报告的大部分证据没有公开,外人无法核对。
估算 AI 带来的提速时,把个人提速和团队产出分开算。找出不随人提速的环节,例如实验算力或评审,先量它。引用这份报告时写明,关键证据没有公开,推算部分是作者的个人意见。
一位前 Meta 工程师说,团队全靠 AI 写代码之后,代码库会慢慢变脆,事故也跟着变多。他看到四个原因:测试只测表面,代码过度复杂,人不再读懂代码,评审速度跟不上。这是个人观察,文中没有给出事故数据。
▸ 点击展开详情
这些问题在行覆盖率上看不出来,所以团队往往要等事故变多才发现。作者说,他在 Meta 最后几个月至少 90% 的代码由 AI 生成,这是拿到合格评级的最低线。出了事故,如果代理找不到原因,人就要去翻一份自己不熟的代码,所以恢复得更慢。
按月记录事故数和恢复时间,和团队开始用代理写代码的时间对照。评审测试时看它覆盖了哪几类用户,不要只看行覆盖率。安排人定期通读核心模块。
Anthropic 分析了约 20.7 万次科研会话,发现科学家主要用 Claude 分析数据和写作。他们认为最重要的两件事是提出想法和采集数据,用得反而少。原因不一样:采数据常要动手,提想法可能是人更愿意自己来,也可能是模型确实弱。
▸ 点击展开详情
做科研工具或内部研究代理的团队可以看到,用量跟着模型能力走,和任务有多重要关系不大。数据分析占 Claude Code 科研会话的 48.1%,研究者花在这上面的时间是 27.6%。采集数据占研究者 28.6% 的时间,只占 Claude 会话的 11.5%。
做科研工具时,先把分散的数据库和工具接进一个流程,因为专用工具上提想法的占比更高。评估一个领域能提速多少,先算动手环节占多少时间。引用文中的提速倍数时,写明那是情景假设。
一位外行开发者让代理分析公开的激光雷达数据,不到 72 小时就找到一处官方名录里没有的玛雅遗址。文章发出后他补了一条更正:一篇 2025 年的论文已经测绘过这里,代理查文献时漏掉了。
▸ 点击展开详情
代理很擅长按一份指南逐张看图,但没人做过这类结论它容易查漏。48 个代理把 NASA 约 1200 平方公里的雨林数据转成图片逐张看,没有用专门的模型。墨西哥国家人类学与历史研究所回复说名录里没有这个地点,可名录里没有不等于没人测绘过。
让代理判断某件事是否有人做过时,要求它列出查过的文献和数据库。把官方名录和学术文献分开查。对外宣布发现之前,先请一位领域内的人看一遍。
TinyFish 的研究代理作者改了两处设计后,系统变得更快、更省钱。他删掉了单独的规划模块,因为它每次只拿到一份快照,交接时会丢信息。他也不再为每次搜索开一个子代理,因为排序和提取论点不需要判断,改成普通工具调用就行。
▸ 点击展开详情
正在搭多代理系统的团队容易默认每一步都交给一个代理,这篇给了反例。用户追问时只要求看东南亚的定价风险,旧的规划模块却会漂回整个市场。文中的三个公开基准成绩是作者自测的,其中 DRACO 为 51.74 分,满分 100。
逐步检查流程,凡是不需要判断的步骤都改成普通工具调用。让做规划的和一直跟着任务的是同一个上下文。给每次运行设步数和时间上限,到了上限就用已有材料出报告。
一位开发者发现,同时盯着约 20 个代理会话,人会记不住自己在做什么。他把所有任务写成仓库里的 Markdown 工单,让代理按轮次处理,需要人决定的事项集中到一个收件箱。他一次只处理一项,做完决定就放回队列。
▸ 点击展开详情
在终端里并行开多个编码代理的人,瓶颈常常是自己的注意力,因为每个回复都要重新装一遍上下文。在他的做法里,代理可以调研、构建和跑测试,但从不部署到生产环境。作者承认这样仍然很累,而且工单会卡在等他裁决上。
把任务状态放进仓库,不要留在聊天窗口或脑子里。让脚本把等人裁决的事项排成一个按优先级的列表。每次只打开一项,决定后把结论写回工单,再看下一项。
Anthropic 发现,新一代模型自己判断该记什么,比按固定规则记效果更好。旧模型什么都记,记忆很快过时,反而拖慢任务。他们还让模型在空闲时对照原始记录检查和整理笔记,这一步叫 dreaming(做梦)。
▸ 点击展开详情
给代理做长期记忆的团队可以少写记忆规则,把算力花在事后核对上。玩宝可梦时,一个旧模型写了 413 个记忆文件,只拿到 1 枚徽章。最新的模型写了 9 个文件,拿到 4 枚。把规则定成只记失败之后,两个 Opus 模型从记忆得到的提升少了很多。这些都是 Anthropic 对自家模型的测试。
告诉模型记忆是做什么用的,不要规定它怎么记。定期让代理对照原始会话记录核对笔记,改掉记错的条目。每次会话自动加载的那层记忆要保持很小,细节下沉并留链接。
LoreKit 的作者指出,各家代理工具把记忆存成各自的格式,互相读不了,所以一个代理学到的教训传不到另一个。他建议参考可观测性领域当年合并出 OpenTelemetry 的做法,先约定共同的数据模型。他自己也做记忆工具,文中承认了这一点。
▸ 点击展开详情
同一个仓库里同时跑着 CI 代理、编辑器代理和评审机器人的团队,现在没法让它们共用一份记忆。文中列了 9 类现有格式,遗忘策略各不相同,例如 Copilot 的记忆 28 天没用到就删除。作者也承认最强的反对意见:再加一个标准未必能减少分裂,而且共享记忆会成为提示注入的入口。
列出团队里所有存放代理记忆的地方,看哪些互相读不到。给每条记忆记下是谁写的、何时失效、替代了哪一条。把共享记忆当作不可信输入,读之前核对它引用的代码是否改过。
Google 认为 Kubernetes 不适合运行代理,因为代理大部分时间在等模型或等人,却不能直接关掉。它把一套新的调度层 Agent Substrate 和沙箱 gVisor 捐给了 CNCF。做法是把会话状态和计算分开:空闲时把状态存起来,有请求再恢复到预热好的机器上。
▸ 点击展开详情
自己搭代理平台的团队要在两个坏选项里选:一直开着机器付空转的钱,或者缩到零再忍受慢启动。Google 给的数字是,交互会话里代理有 90% 到 95% 的时间在等。冷启动的唤醒延迟会超过 20 秒,Substrate 的目标是 500 毫秒以内。这些是厂商自己的数字,文中没有第三方测试。
先量一下自己的代理有多少时间在空等,再决定值不值得换调度方式。执行模型生成的代码时,不要让它和宿主机共用内核。批量评测要同时开几千个沙箱时,检查控制面能不能承受。
这一期的十篇文章,多数在回答同一个问题:代理做完之后,谁来确认它做对了。AWS 靠规格、测试和合并关卡。玛雅遗址的故事是反例:代理看图很准,查文献却漏了一篇,结论因此从发现变成了重新发现。Anthropic 让模型回头对照原始记录核对笔记,TinyFish 把不需要判断的步骤从代理改回普通工具。前 Meta 工程师描述的脆弱代码库,是确认环节跟不上生成速度的结果。读完这一期,可以先问自己的系统一句:代理的每一类产出,有没有一个它自己能跑的检查?