Est. 2026 Synapse Weekly
中文 · English

AI Engineering Weekly 第 46 期

AI 工程周刊 · 每周十篇非显而易见的工程洞察

2026年11月12日 · 星期四 本期精选 10 篇 点击文章展开详情
本期主题插画:代理产出的图纸从机器里涌出,工程师用放大镜逐页检查
2 小时
代理重写复制引擎用时
20.7 万
被分析的科研会话
413→9
旧模型与新模型的记忆文件数
90–95%
代理空等时间占比
头条 · Article I

AWS 让代理写完整个本地模拟器,工程师只做规格、测试和合并关卡

AWS 发布的本地模拟器没有一行人写的代码,人做的是规格、测试和合并检查。

这个模拟器让编码代理在本机就能对着一份 AWS 的副本做测试。它的代码全部由代理编写和测试,依据是 400 多份公开的接口描述,覆盖 200 多个服务。代理先把测试改到能在真实 AWS 上通过,再去改模拟器,直到同一个测试也通过。

分布式系统的代码要在基础设施里才能验证,所以代理需要一个行为和真实服务一致的环境。AWS 高管 Swami 讲了自己的教训。他用 Kiro 重写一个当年花了约 4 个月的复制引擎,守了四个晚上才发现代理无法检查结果。给了规格和测试环境之后,重写只用了约 2 小时。

工程师的工作因此变成三件事:写规格,建测试,设合并关卡。AWS 的合并关卡里有多个安全代理,各自从不同的攻击角度审同一个改动,另有确定性检查拦住越界修改。仓库里公开了全部提交和代理提的问题,包括仍与真实 AWS 不一致的行为。AWS 说这套做法还在早期。

阅读原文 · allthingsdistributed.com →

"代理写得再快,也要有东西告诉它写对了没有。"

— 本周主题

深度报道
Article II

METR 报告:Anthropic 的模型进步速度一年里快了约一倍

评估机构 METR 调查后认为,Anthropic 的模型进步比前一年快了约一倍,主因是 AI 在帮忙做 AI 研究。一位 METR 研究员据此推算,研究员个人的效率要提高约 10 倍,整体才能快一倍。

▸ 点击展开详情

为什么重要

团队整体提速一倍,需要的个人提速远大于一倍,因为实验用的算力没有同步增加。作者按简单模型推出 4 到 9 倍,再考虑好点子越来越难找,估到约 10 倍。Anthropic 员工的非正式说法是约 12 倍。报告的大部分证据没有公开,外人无法核对。

实践要点

估算 AI 带来的提速时,把个人提速和团队产出分开算。找出不随人提速的环节,例如实验算力或评审,先量它。引用这份报告时写明,关键证据没有公开,推算部分是作者的个人意见。

阅读原文 · planned-obsolescence.org →
Article III

一位前 Meta 工程师:全靠 AI 写的代码库会越来越脆

一位前 Meta 工程师说,团队全靠 AI 写代码之后,代码库会慢慢变脆,事故也跟着变多。他看到四个原因:测试只测表面,代码过度复杂,人不再读懂代码,评审速度跟不上。这是个人观察,文中没有给出事故数据。

▸ 点击展开详情

为什么重要

这些问题在行覆盖率上看不出来,所以团队往往要等事故变多才发现。作者说,他在 Meta 最后几个月至少 90% 的代码由 AI 生成,这是拿到合格评级的最低线。出了事故,如果代理找不到原因,人就要去翻一份自己不熟的代码,所以恢复得更慢。

实践要点

按月记录事故数和恢复时间,和团队开始用代理写代码的时间对照。评审测试时看它覆盖了哪几类用户,不要只看行覆盖率。安排人定期通读核心模块。

阅读原文 · evanxmerz.com →
应用提效
Article IV

科学家最看重提想法和采数据,却很少把这两件事交给 Claude

Anthropic 分析了约 20.7 万次科研会话,发现科学家主要用 Claude 分析数据和写作。他们认为最重要的两件事是提出想法和采集数据,用得反而少。原因不一样:采数据常要动手,提想法可能是人更愿意自己来,也可能是模型确实弱。

▸ 点击展开详情

为什么重要

做科研工具或内部研究代理的团队可以看到,用量跟着模型能力走,和任务有多重要关系不大。数据分析占 Claude Code 科研会话的 48.1%,研究者花在这上面的时间是 27.6%。采集数据占研究者 28.6% 的时间,只占 Claude 会话的 11.5%。

实践要点

做科研工具时,先把分散的数据库和工具接进一个流程,因为专用工具上提想法的占比更高。评估一个领域能提速多少,先算动手环节占多少时间。引用文中的提速倍数时,写明那是情景假设。

阅读原文 · anthropic.com →
Article V

代理三天内从雷达数据里找到玛雅遗址,但考古学家早已测绘过

一位外行开发者让代理分析公开的激光雷达数据,不到 72 小时就找到一处官方名录里没有的玛雅遗址。文章发出后他补了一条更正:一篇 2025 年的论文已经测绘过这里,代理查文献时漏掉了。

▸ 点击展开详情

为什么重要

代理很擅长按一份指南逐张看图,但没人做过这类结论它容易查漏。48 个代理把 NASA 约 1200 平方公里的雨林数据转成图片逐张看,没有用专门的模型。墨西哥国家人类学与历史研究所回复说名录里没有这个地点,可名录里没有不等于没人测绘过。

实践要点

让代理判断某件事是否有人做过时,要求它列出查过的文献和数据库。把官方名录和学术文献分开查。对外宣布发现之前,先请一位领域内的人看一遍。

阅读原文 · pietromiotti.com →
工程方法论
Article VI

做研究代理的人删掉了规划模块,也不再给每次搜索开子代理

TinyFish 的研究代理作者改了两处设计后,系统变得更快、更省钱。他删掉了单独的规划模块,因为它每次只拿到一份快照,交接时会丢信息。他也不再为每次搜索开一个子代理,因为排序和提取论点不需要判断,改成普通工具调用就行。

▸ 点击展开详情

为什么重要

正在搭多代理系统的团队容易默认每一步都交给一个代理,这篇给了反例。用户追问时只要求看东南亚的定价风险,旧的规划模块却会漂回整个市场。文中的三个公开基准成绩是作者自测的,其中 DRACO 为 51.74 分,满分 100。

实践要点

逐步检查流程,凡是不需要判断的步骤都改成普通工具调用。让做规划的和一直跟着任务的是同一个上下文。给每次运行设步数和时间上限,到了上限就用已有材料出报告。

阅读原文 · tinyfish.ai →
Article VII

同时盯二十个代理会话把人拖垮,一位开发者改用放在 git 里的队列

一位开发者发现,同时盯着约 20 个代理会话,人会记不住自己在做什么。他把所有任务写成仓库里的 Markdown 工单,让代理按轮次处理,需要人决定的事项集中到一个收件箱。他一次只处理一项,做完决定就放回队列。

▸ 点击展开详情

为什么重要

在终端里并行开多个编码代理的人,瓶颈常常是自己的注意力,因为每个回复都要重新装一遍上下文。在他的做法里,代理可以调研、构建和跑测试,但从不部署到生产环境。作者承认这样仍然很累,而且工单会卡在等他裁决上。

实践要点

把任务状态放进仓库,不要留在聊天窗口或脑子里。让脚本把等人裁决的事项排成一个按优先级的列表。每次只打开一项,决定后把结论写回工单,再看下一项。

阅读原文 · sergeykuhne.com →
Agent 架构
Article VIII

Anthropic:让模型自己判断该记什么,再用空闲时间回头核对笔记

Anthropic 发现,新一代模型自己判断该记什么,比按固定规则记效果更好。旧模型什么都记,记忆很快过时,反而拖慢任务。他们还让模型在空闲时对照原始记录检查和整理笔记,这一步叫 dreaming(做梦)。

▸ 点击展开详情

为什么重要

给代理做长期记忆的团队可以少写记忆规则,把算力花在事后核对上。玩宝可梦时,一个旧模型写了 413 个记忆文件,只拿到 1 枚徽章。最新的模型写了 9 个文件,拿到 4 枚。把规则定成只记失败之后,两个 Opus 模型从记忆得到的提升少了很多。这些都是 Anthropic 对自家模型的测试。

实践要点

告诉模型记忆是做什么用的,不要规定它怎么记。定期让代理对照原始会话记录核对笔记,改掉记错的条目。每次会话自动加载的那层记忆要保持很小,细节下沉并留链接。

阅读原文 · anthropic.com →
Article IX

每个代理工具都有自己的记忆格式,彼此读不了

LoreKit 的作者指出,各家代理工具把记忆存成各自的格式,互相读不了,所以一个代理学到的教训传不到另一个。他建议参考可观测性领域当年合并出 OpenTelemetry 的做法,先约定共同的数据模型。他自己也做记忆工具,文中承认了这一点。

▸ 点击展开详情

为什么重要

同一个仓库里同时跑着 CI 代理、编辑器代理和评审机器人的团队,现在没法让它们共用一份记忆。文中列了 9 类现有格式,遗忘策略各不相同,例如 Copilot 的记忆 28 天没用到就删除。作者也承认最强的反对意见:再加一个标准未必能减少分裂,而且共享记忆会成为提示注入的入口。

实践要点

列出团队里所有存放代理记忆的地方,看哪些互相读不到。给每条记忆记下是谁写的、何时失效、替代了哪一条。把共享记忆当作不可信输入,读之前核对它引用的代码是否改过。

阅读原文 · lorekit.io →
落地实践
Article X

Google 把运行代理的调度层和沙箱捐给 CNCF,目标是半秒内唤醒

Google 认为 Kubernetes 不适合运行代理,因为代理大部分时间在等模型或等人,却不能直接关掉。它把一套新的调度层 Agent Substrate 和沙箱 gVisor 捐给了 CNCF。做法是把会话状态和计算分开:空闲时把状态存起来,有请求再恢复到预热好的机器上。

▸ 点击展开详情

为什么重要

自己搭代理平台的团队要在两个坏选项里选:一直开着机器付空转的钱,或者缩到零再忍受慢启动。Google 给的数字是,交互会话里代理有 90% 到 95% 的时间在等。冷启动的唤醒延迟会超过 20 秒,Substrate 的目标是 500 毫秒以内。这些是厂商自己的数字,文中没有第三方测试。

实践要点

先量一下自己的代理有多少时间在空等,再决定值不值得换调度方式。执行模型生成的代码时,不要让它和宿主机共用内核。批量评测要同时开几千个沙箱时,检查控制面能不能承受。

阅读原文 · opensource.googleblog.com →

这一期的十篇文章,多数在回答同一个问题:代理做完之后,谁来确认它做对了。AWS 靠规格、测试和合并关卡。玛雅遗址的故事是反例:代理看图很准,查文献却漏了一篇,结论因此从发现变成了重新发现。Anthropic 让模型回头对照原始记录核对笔记,TinyFish 把不需要判断的步骤从代理改回普通工具。前 Meta 工程师描述的脆弱代码库,是确认环节跟不上生成速度的结果。读完这一期,可以先问自己的系统一句:代理的每一类产出,有没有一个它自己能跑的检查?