AI Engineering Weekly
AI 工程周刊 · 每周十篇非显而易见的工程洞察
把 Agent 当资深工程师考核：最强模型也只通过 27.9%
现有编码基准把任务写得像初级活儿，掩盖了 Agent 的真实短板——在需求欠具体、约定不成文的资深级任务上，前沿模型的失败率超过 70%。
资深工程师的核心工作，恰恰是需求不清、约定不成文的那部分——而这正是当前 Agent 最薄弱的地方。Snorkel AI 推出的 Senior SWE-Bench 用「欠具体」的自然语言需求，配一个会针对每份解法动态编写行为测试的 validation agent，并对代码库里不成文的「品味」约定打分。结果：最强的 Claude Fable 5 也只在 27.9% 的任务上通过（pass@1），Opus 4.8 为 25.0%，GPT-5.5 为 15.9%，Gemini 3.1 Pro 仅 6.8%。
这直接戳破了「Agent 已能顶替资深工程师」的叙事。该基准任务需求的中位长度只有 SWE-Bench Pro 的 31%，平均每个特性任务牵涉 11 个文件——更接近真实工程的模糊与跨度。对正在决定「把多少信任交给编码 Agent」的工程负责人，这是一个冷静的锚点：Agent 擅长被喂到嘴边的活儿，而非自己界定问题。
可复用的做法是把评测方式本身改造：刻意把任务写得欠具体，对「是否遵守未言明的代码库约定与品味」单独打分，而不是只看测试通过；并引入一个专门为每份解法编写行为测试的 validation agent，同时把被 reward-hacking 的任务从排行榜剔除。下一个值得观察的信号，是这类「资深级」基准会不会成为衡量 Agent 能否独立承担工程工作的行业标准。
"当 Agent 被放到资深工程师的标准下、生产力被放进真实工资单里，狂热叙事第一次系统性地撞上了可测量的现实。"
— 本周主题
AI 只节省约 3% 的工时，且几乎没变成钱
实验室 15–55% 的任务提速，落到真实工资数据只剩约 2.8% 的总工时节省，而其中仅 3–7% 传导到工资。
▸ 点击展开详情
挑战「AI 让我更快」这一默认前提——快≠产出更多，更≠赚到钱；采用率、任务提速类指标极具误导性。
用工资单/交付量口径而非任务提速来度量 AI ROI，并为「省下的时间→更多产出」显式设计转化路径。
AI 烧毁了初级程序员市场——但真相是 K 形的
「程序员」职称与入门岗坍塌，但开发者总就业上升；新建设者以「能力扩散到其他头衔」兑现，切断了通往资深的学徒制入口。
▸ 点击展开详情
五年后的中坚工程师从哪来？这是招聘与梯队建设的隐性炸弹；AI 冲击的是「能力重分布」而非单纯「岗位消失」。
别等外部市场供给中级工程师，在内部重建学徒制——让初级工程师与 Agent 搭档做评审密集型工作。
AI 在 Cloudflare CIRCL 挖出 7 个真实密码学漏洞——但定级能力很差
AI 审计流水线确认 7 个密码学漏洞，却系统性高估本地小 bug、低估教科书级 rogue-key 攻击，只堆问题不串成利用链，模型角色在版本间翻转。
▸ 点击展开详情
给「AI 自动化安全审计」恰当泼冷水——能扩大发现面，但不能信任其优先级与风险定级。
用 AI 广撒网列候选发现，把严重性定级与漏洞链构造留在人类回路；模型配对交叉跑，每次升级后重新基准化角色。
AI 超级预测者已追平人类顶尖水平
带脚手架的 AI 预测器与最强人类超预测者打平；真正的颠覆是把超预测级判断变得便宜、标准化——一个好脚手架约抵 9 个月基座模型进步。
▸ 点击展开详情
再证「脚手架 > 裸模型」：判断类应用的投资点在编排层，而非干等更大的模型。
判断/预测类任务把预算投入脚手架（多 subagent 分工 + 系统检索取证 + 结果聚合），而非等下一代基座模型。
Agentic Coding 笔记：护城河是「绕开模型失败模式」的手艺
强制 Agent「执行代码」验证假设胜过纯多 Agent 交叉核对；带反对派的人格评审团防跑偏；测试才是真正的限速器。
▸ 点击展开详情
模型季度换代下，方法论层经验比具体工具更保值，也解释为何盲目堆多 Agent 未必更靠谱。
让 Agent 执行代码而非继续推理来验证假设；加一个含反对派角色的人格评审团；在 AGENTS.md 写「compaction 后重读指令」。
短绳法：安全关键的活儿要给 Agent 拴上短绳
对安全关键/专家工作，不开 YOLO、逐行读 diff、频繁介入、按子任务提交、要求人类逐行复核并披露模型——只为不稀释人类对代码库的理解。
▸ 点击展开详情
正是「测试是限速器、未测代码被随机劣化」的对策；处理密码学/支付/权限类代码时，短绳是风控而非保守。
敏感仓库关闭自动批准，每个 diff 走权限提示；按子任务逐次 commit；PR 模板加一个强制「AI 披露」段落。
偷师数据库 50 年：给 Agent 动作装上 WAL（预写日志）
借数据库 WAL 思想，在每个动作执行前记录足够信息以支持撤销/重做或强制批准；难点是为「可逆/可补偿/不可逆」定义 UNDO/REDO 语义。
▸ 点击展开详情
当 Agent 目标模式连跑数小时、一天烧掉 5–10 亿 token，事后审计与回滚就是安全底线。
按可逆性给动作分级——可逆自动放行、可补偿设检查点、不可逆强制人工闸门；动作写进 WAL 支持确定性重放。
Claude Code 的「串台」：疑似会话泄漏与一套本地排查法
企业 ZDR 用户见 Agent 注入陌生内容；grep 会话 JSONL transcript 可区分本地跨会话串台与服务端泄漏，真凶是「启动目录≠工作目录」在 /compact 时把上下文拉入。
▸ 点击展开详情
真实的 Agent 可靠性/安全失败模式，也是一次「先诊断、再下结论」的示范。
Agent 凭空带出陌生上下文时，先 grep ~/.claude/projects/<cwd>/<session>.jsonl 定位；警惕启动目录与工作目录在 /compact 后串台。
Claude Code 是怎么「长出来」的：内部工具的涌现史
口述史显示 Claude Code 非设计产品而是涌现——从桌面 REPL 与内部 CLI「clide」演化，团队刻意保持极小以逼出 dogfooding、避免过度工程化。
▸ 点击展开详情
想造 Agent 工具/harness 的团队的一手样本：类别定义级产品常起于「自己天天用的小工具」。
先用每天使用的极小 REPL 孵化工具、靠 dogfooding 迭代；用廉价模型并行扇出突破上下文限制；抵制过早产品化。
如果说过去一年 AI 工程的主旋律是「能不能」，那么本周的关键词是「到底值多少」。四份彼此独立的证据不约而同地把狂热叙事拉回地面：Senior SWE-Bench 用资深工程师的标准考核 Agent，最强模型也只通过约四分之一；一项覆盖两万五千名劳动者的工资研究发现，AI 实际只省下约 3% 工时，且几乎没有传导成收入；AI 在 Cloudflare 的密码学库里确实挖出了真实漏洞，却在严重性定级上系统性失准；初级程序员的岗位在坍塌，能力却扩散到了别的头衔之下。这不是唱衰——超级预测者追平人类、Claude Code 从一个内部 REPL 涌现成型，都在提醒我们真正的突破仍在发生。本周真正的信号是：衡量 AI 的标尺，正在从「演示是否惊艳」转向「在资深标准与真实账本下是否成立」。谁先学会用后一把尺子，谁就更接近让 AI 真正落地的答案。