薄荷清尘 retweeted
FM Wang Yi spoke with U.S. Secretary of State Marco Rubio on the phone.
Wang Yi stated that China’s policy toward the United States remains stable and consistent. China is ready to strengthen communication and cooperation with the U.S. side, properly handle differences and sensitive issues, support each other in the successful hosting of the 2026 APEC Economic Leaders’ Meeting and the G20 Leaders’ Summit, and work for tangible progress in building a constructive China-U.S. relationship of strategic stability.
薄荷清尘 retweeted
Gemini 4 Carbon now holds #2 and #3 on my bug-hunt benchmark. Only Fable 5.2 on max scores a bit higher.
2 real repos, 105 replanted bugs. Find and fix what you can:
- Fable 5.2 (max): 58 for $139.65
- Gemini 4 Carbon (high): 57.3 for $31.32
- Gemini 4 Carbon (medium): 56 for $24.95
- Sonnet 5.5 (max): 51.3 for $154.03
- Fable 5.2 (xhigh): 49 for $61.01
- GPT-6 Astra (max): 45 for $33.03
- Gemini 4 Argon (high): 40.7 for $7.16
Stellar job, Google!
What a day! I tested Gemini 4 Carbon on real work. 2 repos, 105 replanted bugs. Find and fix what you can.
It scores just behind Fable 5.2. The results:
- Fable 5.2 (max): 58 for $139.65
- Gemini 4 Carbon (high): 57.3 for $31.32
- Sonnet 5.5 (max): 51.3 for $154.03
- GPT-6 Astra (max): 45 for $33.03
- GPT-6.1 Sol (max): 44.3 for $5.88
- Gemini 4 Argon (high): 40.7 for $7.16
Google's own benchmarks looked super strong, but nobody could access the model. Turns out they didn't lie: +16.6 points over Argon, at less than a quarter of Fable 5.2's cost.
Nobody should be laughing at Google anymore.
(the next effort level drops soon in the thread 🧵)
发狠了！忘情了！😵
狂烧 $154、干等近 5 个小时，Claude Sonnet 5.5 Max 交出来的修 bug 答卷，被 $25 的 Gemini 4 Carbon 按在地上摩擦 🐛
Paweł Huryn 放出的野生实测 Bug Hunt Bench，直接给大厂来了一场不留情面的“验尸”：
往 2 个真实代码库暗埋 105 个年初前沿模型全漏掉的真 bug，不标文件、不给数量，只甩一句话：「修这个仓库的 bug」
找到但没修好记 0 分；
顺手挑刺汇报“额外 bug”同样 0 分——作者直接点名：OpenAI 的模型最爱靠汇报无关小毛病刷分，所以全程启用「隐藏答案 + 跨模型家族盲判」
满分 105 分（三次运行取均值），👀👀👀：
· Claude Fable 5.2（max）：58.0 分 ｜ $139.65
· Gemini 4 Carbon（high）：57.3 分 ｜ $31.32（差榜首 0.7 分，省下近四分之三钞票）
· Gemini 4 Carbon（medium）：56.0 分 ｜ $24.95（仅 81 分钟，今晚刚补测的隐藏杀神）
· Claude Sonnet 5.5（max）：51.3 分 ｜ $154.03（单次硬磨 287 分钟，全场最贵且最慢）
· GPT-6 Astra（max）：45.0 分 ｜ $33.03
· GPT-6.1 Sol（max）：44.3 分 ｜ $5.88
· DeepSeek V4.1 Flash 1017：42.7 分 ｜ 仅 $1.84（极致的省钱怪物）
· Gemini 4 Argon（上代）：40.7 分 ｜ $7.16
“”没人应该再笑 Google 了”！
一边是被刷成应试题库的 SWE-bench，一边是一句话扔进烂代码库抓瞎修的野生盲测，你选谁？
1
1
182
北冥有鲲！一锅炖不下🤤
苦等两个月，阿里终于把云栖大会那句「very soon」兑现成了官方帖「Qwen4 is coming」🚀
但翻遍今早这条官宣，最耐人寻味的不是它放出了什么，而是它反常地藏起了什么——没跑分、没参数，连 Qwen 最招牌的「开源」两个字，通篇只字未提::ೖ(⑅σ̑ᴗσ̑)ೖ::
不过👀：
· 旗舰先行：打头阵的是 Qwen4-Max，已在阿里 Token Plan 开启预览
· 肥水不流外人田：同步开放 QwenWork、Qoder、Qwen App、QwenStudio 四个早期入口，清一色锁死在自家生态内
· 火力全压生产力：官方原话直指更深的知识、更强的世界理解与编程/Agent 能力，点名要啃复杂编程、知识工作、前端构建与专业软件工作流
还有👀：
没有跑分表、没有参数量、没有上下文长度、没有正式发布日期，更没有任何关于「开源与许可证」的字眼。
说白了，这是一张「关门测温帖」而非正式发布帖——先把旗舰 Max 塞进自家工具链里洗一波真实业务反馈，权重和成绩单全压在后头
把过去两个月的草蛇灰线拼齐：
· 9 月 22 日云栖大会：首次确认新架构训练中，舞台投屏闪过 Max、Plus、Flash、27B 四档矩阵
· 10 月底：Arena 闪现神秘匿名模型，Qwen Code 曝出代码占位符
· 上周：早期小模型检查点 Qwen-4-Flash-Early（代号 hawk）在第三方游戏开发榜 GameFeel 偷跑登顶，49.9 分压过 Opus 5.5
· 今天：Qwen4-Max 正式揭面，开启生态内预览
接下来 Qwen4-Max 到底怎么样还要拭目以待，但我觉得千问的模型依旧是小尺寸更能打😋
2
3
474
Cabon 四两拨千斤🤯
4 万 token 干翻 35 万 token，$9 账单把 $33 的 Claude 王牌按在第三——昨晚刚攻下 Devin，凌晨 Gemini 4 Carbon 直接把 Cursor 自家榜单掀了 🏆
Cursor 刚刚官宣上线 Carbon，甩出最贴近真实多文件烂摊子的内部榜 CursorBench 4.0。前十名原本是 Claude 铁桶一块的后花园，一夜之间前二直接易主：
· Gemini 4 Carbon（High）：60.4% —— $9.22/任务（约 40K token，71 步）
· Gemini 4 Carbon（Medium）：60.1% —— $8.49/任务
· Claude Fable 5.2（Max）：60.0% —— $32.79/任务（约 353K token，218 步）
· Gemini 4 Carbon（Low）：58.6% —— $11.89/任务（124 步）
· Claude Opus 5.5（Max）：57.8% —— $13.43/任务
· 第 6 至 10 名：全是 Claude 各档位在后面排队（55.5%–56.9%）
别看那 0.4% 的险胜，真正恐怖的在后面👀：
1. Claude 靠堆算力死磕，Carbon 靠不走弯路通杀：Fable 5.2 硬跑了 218 步、烧掉 35 万 token 才摸到 60%；Carbon High 只用 71 步、不到 1/8 的 token 就正面反超，单任务成本生生砸穿，差出 3.6 倍
2. 贪便宜开低档，反而被账单背刺：全榜最扎心的真相——Carbon Low（$11.89）居然比满血 High 档（$9.22）还贵！模型脑子不够用就会在代码里鬼打墙，步数从 71 暴涨到 124，省下的单价全赔进了返工费里。
而且这绝不是单榜爆冷：同榜上代 Argon High 只有 52.9%，Carbon 一代狂飙 7.5 分，跟昨晚 Devin 榜上 26.3 → 40.0 的跳幅死死咬合——Google 这代编程底座是系统性换血了
商业收割更是不讲武德：Cursor 里直接五折干到 11 月 30 日（输入 $2/M、输出 $10/M，12 月 1 日恢复 $4/$20）。一夜连拔 Devin 和 Cursor 两座最大编程阵地，再甩出半价屠刀，摆明了要硬抢开发者手里的「默认模型」王座
这不仅仅是大模型之间的战斗了，编程工具也不遑多让啊
1
2
269
Gemini 4 Carbon大闹天宫🥳🥳
Google 编程模型这次是真上牌桌了：Gemini 4 Carbon 正式接入 Devin，在真实工程榜上一口暴涨 13.7 分，直接贴到 Claude Sonnet 5.5 身后 💻
Cognition 刚刚宣布 Devin Desktop 与 Devin CLI 上线 Gemini 4 Carbon，并放出了最新的 FrontierCode 2.0 评测结果
这个榜测的是真实软件工程任务，按代码质量与「PR 可合并性」打分——没过硬性门槛的解法直接判 0 分，含金量很硬（顺带防串台：这是 FrontierCode 2.0，和偏计算机科学推理的 FrontierCS 2 是两个完全不同的基准）
把全榜 9 个模型的成绩摊开，梯队身位非常清晰：
· Claude Fable 5.2：49.1（断层领跑）
· Claude Opus 5.5：45.5
· GPT-6 Astra：42.8
· Claude Sonnet 5.5：41.0
· Gemini 4 Carbon：40.0（压过 Sol，距 Sonnet 仅 1 分）
· GPT-6.1 Sol：39.0
· Claude Haiku 5.5：27.7
· Gemini 4 Argon：26.3（Google 上一代，倒数第二）
· SWE-2 Flash：24.0（Cognition 自家小模型）
整张榜最大的看点，全在 Google 自己的飞跃：
1. 从陪跑到卡位：上一代 Argon 只有 26.3 分，仅高于垫底小模型，基本属于编程榜陪跑；Carbon 一步跨到 40.0 分，正面压过 GPT-6.1 Sol，摸到了主流日常主力模型的门槛
2. 涨分同时降价：Cognition 官方博客披露了一个关键细节——Carbon 在「低推理强度」下就已经超过了 Argon 的历史最佳成绩；而在跑出最高分时，单任务成本还不到 Argon 的三分之二
Carbon 最近在 AA 指数、VIALS 等评测榜上连着登顶，但跑分归跑分，工具链选型是另一码事。Devin 这种头部编程 Agent 把它放进正式模型列表，意味着第一批真实重度工程流量开始往它身上灌了
Claude给是Gemini，你会如何选择？
4
11
3,542
薄荷清尘 retweeted
Gemini Robotics 2.5 is here. 🤖
Our latest physical AI is able to learn hundreds of everyday skills - from folding laundry and serving pastries to autonomously sorting car parts on the factory floor.
Here’s a snapshot of its capabilities 🧵
薄荷清尘 retweeted
学习 DeepSeek Harness 之 TypeScript 原型链
为了搞懂 DSH 底下的插件框架 Cordis
学 TypeScript 时发现一个很有意思的点
准确说是 JavaScript 的特性：对象可以直接继承另一个对象
举个例子：
const b = Object.create(a) // b 以 a 为原型
const c = Object.create(b) // c 以 b 为原型
c.x // 读 c 的属性 x
c 自己没有 x，就去 b 找，b 没有，再去 a 找
这个往上找的过程，是引擎自动完成的
这和 Java 那种类继承不一样
类继承继承的是模板，拿不到某个对象运行时里装的数据
原型继承继承的是一个活着的对象
a 现在有什么、以后再加什么，c 都能读到
Go、Java、C++ 都没有这个语法
想要同样效果，只能把父对象当参数传进去
存成 parent 字段，再手写一层层往上找
这就是 Cordis 插件树的地基：
每个插件拿到一个 Object.create 出来的子 ctx
能读到上层所有东西，自己写的只留在自己这一层
全场最贵的 Claude Sonnet 5.5 Max（$7.00/题）只拿了 45 分🤥
🤯😱而疑似 Qwen4 的早期小模型检查点，用 $0.40/题拿下了 49.9 分全场第一 🎮
刚更新的 GameFeel Benchmark v1.4 性价比图，最吓人的不是国产模型登顶，而是帕累托前沿彻底变形了：
· Qwen-4-Flash-Early：49.9 分 —— $0.40
· Claude Opus 5.5：47.2 分 —— $2.60
· Qwen-4-27B-Early：44.6 分 —— 仅 $0.16（成本只有 Opus 的 1/16）
阿里用 Flash 和 27B 探路，基本明牌了正式版的价格带。当旗舰模型「总分被咬死、价格被甩开 6 到 16 倍」，主流编程 API 的高溢价护城河还能撑多久呢？
1
718
AI界的红蓝对抗🤫🤫
为了赢下这场网络攻防赛，OpenAI 专门派出了内部受控的“Daybreak 特供版”，烧掉 22 美元拿到 81%；而 DeepSeek 直接拿谁都能下载的公开权重上场，花不到 3 美元拿到 73%，甚至在其中一个靶场正面反杀了 GPT-6 🛡️
୧(๑•̀⌄•́๑)૭碉堡了
这组数据来自 Vals AI 的最新网络攻防评测（源头自 @NFT_Chen 转述），直接拉出 NOVA（21 个目标）和 LIGHTHOUSE（31 个目标）两个靶场，测试大模型能独立完成多少个真实攻击目标
୧(๑•̀⌄•́๑)૭碉堡了
把总账单和分项扒开看看👀👀：
1️⃣ 七分之一的白菜价，还赢下了一局正面交锋
• 总成绩：GPT-6 Sol Daybreak 约 81% 拿第一（单次成本约 $22）；DeepSeek V4.1 Flash 1017 约 73% 拿第二（成本不到 $3，只有前者的七分之一）。
• NOVA 靶场（21 个目标）：DeepSeek 拿下 16.3，正面反超了 GPT-6 Sol 的 15.7！这一局是开源实打实赢了。
• LIGHTHOUSE 靶场（31 个目标）：Sol 拿下 27，
DeepSeek 拿下 21，
两者总分的差距主要拉在更复杂的这一场。
• 其余选手众生相：
Kimi K3.1 Pro 稳居中游（13/21｜20/31）；
Meta Wonder 极其分裂，在 NOVA 只有惨淡的 7/21，到了 LIGHTHOUSE 却猛砍 28/31 冲上全场第二（甚至压了 Sol 一头）；
Grok 4.7 中规中矩（12/21｜16/31）；
GLM 5.3 Flash 两场都只有 5 个，全场垫底🤣🤣
2️⃣ 一个必须点破的“不公平”背景
看这张榜，如果不交代参赛版本，对 DeepSeek 太不公平，或者说太抬举闭源了：
OpenAI 上场的是“GPT-6 Sol Daybreak”——这是官方专门为这类高危安全评测准备的受控解禁版，相当于闭源阵营是揣着“特别持枪证”上场的；
而 DeepSeek V4.1 Flash 是完完全全公开的开源权重，没有申请环节、没有使用审批，任何人现在就能拉到本地跑。
一个是“实验室里专门解开束缚的最强闭源”，一个是“网盘里谁都能拿走的公开开源”，两者的靶场完成率只差了 8 个百分点
你们觉得开源攻防能力彻底平民化之后，最先被改变的是攻击方，还是防守方🤨？
1
1
147
薄荷清尘 retweeted
Introducing Seedream 5.5.
More realistic images. More stable editing across 100 rounds.
1. Keep refining, with pixel-level preservation of unedited regions and reduced detail loss across successive edits.
2. Generate transparent and semi-transparent assets with native RGBA output, ready for compositing and reuse.
3. More natural lighting, materials, and skin textures, with significantly improved small-text rendering.
Seedream 5.5 is coming to Dreamina, CapCut, and BytePlus. We can't wait for you to try it!
Explore what's new: seed.bytedance.com/seedream5…
薄荷清尘 retweeted
千斤拔四两！🤓🤓
为了在决策准确率上多 4 分，你愿意多付 60 倍的账单、再多等上百倍的时间吗？📊
昨晚 Artificial Analysis 发布了 Decision Index v2，专门给信贷审批、保险理赔、风控审核这类“高频决策小模型”排座次，并直接把账算到了“每百万次任务”上
先看这次 v2 极其狠辣的“防刷题”改造：
• 私有数据暴涨：私有题库占比从 25% 直接拉到 45%（其中 AA-Paperclip 占 30%，含 1,500 份私有文档、每份 15 题），彻底堵死背题路子。
• 新增 AA-Symmetry 一致性测试：拿 120 道母题裂变出 440 个变体，换措辞、调换选项顺序，专看模型答案稳不稳（外加职业任务、工具调用时机等五项加权）。
• 主指标奖励“校准度（Calibration）”：不只看对错，更看你有多确信。Decision Score 以 50 分为界（答对在 50 分以上、答错在 50 分以下），用置信度在各自半区调节得分——盲目自信地答错，会被重罚。
在这个严苛标准下，看看“专用决策模型榜”的前五名与极值账单：
1️⃣ Drex Max v1.1（Nace AI）：73 分 | $102 / 百万任务（约 275 毫秒/任务）
2️⃣ GLiDE v1.2（Fastino）：73 分 | $780 / 百万任务（同分，但因为按题计费，贵了近 8 倍）
3️⃣ Mammoth 27B（Base Labs）：72 分 | 约 $250 / 百万任务
4️⃣ Decider v1.2：70 分 | $68 / 百万任务
5️⃣ d1-ultra：70 分 | 约 $120 / 百万任务
• 性价比与速度极值：帕累托前沿最便宜的 Celeris-1.1 Decision 拿了 64 分，每百万任务仅需 $14，单任务 56 毫秒全场最快；而最惨的 Clef 只有 60 分，收费却高达 $859，属于又贵又弱。
扎心了ヾ(*Ő౪Ő*)：
• GPT-6 Luna (Max) 考了 76 分，Claude Haiku 5.5 (Max) 考了 77 分，分数确实压过了所有专用小模型（73 分）。
• 但看一眼代价：Luna 每百万任务要 $1,530（Drex 的 15 倍），单任务耗时 11.34 秒（比专用模型的 275 毫秒慢了约 40 倍）；
• Haiku 更是夸张到每百万任务 $6,240（Drex 的 61 倍），单任务要等 32.65 秒——比最快的 Celeris 慢了整整 600 倍！🤯🤯
你们觉得在信贷、风控这种高频判断场景里，未来会被降价提速的通用大模型顺手吃掉，还是这种毫秒级的专用小模型能一直守住阵地呢？🤔？
千斤拔四两！🤓🤓
为了在决策准确率上多 4 分，你愿意多付 60 倍的账单、再多等上百倍的时间吗？📊
昨晚 Artificial Analysis 发布了 Decision Index v2，专门给信贷审批、保险理赔、风控审核这类“高频决策小模型”排座次，并直接把账算到了“每百万次任务”上
先看这次 v2 极其狠辣的“防刷题”改造：
• 私有数据暴涨：私有题库占比从 25% 直接拉到 45%（其中 AA-Paperclip 占 30%，含 1,500 份私有文档、每份 15 题），彻底堵死背题路子。
• 新增 AA-Symmetry 一致性测试：拿 120 道母题裂变出 440 个变体，换措辞、调换选项顺序，专看模型答案稳不稳（外加职业任务、工具调用时机等五项加权）。
• 主指标奖励“校准度（Calibration）”：不只看对错，更看你有多确信。Decision Score 以 50 分为界（答对在 50 分以上、答错在 50 分以下），用置信度在各自半区调节得分——盲目自信地答错，会被重罚。
在这个严苛标准下，看看“专用决策模型榜”的前五名与极值账单：
1️⃣ Drex Max v1.1（Nace AI）：73 分 | $102 / 百万任务（约 275 毫秒/任务）
2️⃣ GLiDE v1.2（Fastino）：73 分 | $780 / 百万任务（同分，但因为按题计费，贵了近 8 倍）
3️⃣ Mammoth 27B（Base Labs）：72 分 | 约 $250 / 百万任务
4️⃣ Decider v1.2：70 分 | $68 / 百万任务
5️⃣ d1-ultra：70 分 | 约 $120 / 百万任务
• 性价比与速度极值：帕累托前沿最便宜的 Celeris-1.1 Decision 拿了 64 分，每百万任务仅需 $14，单任务 56 毫秒全场最快；而最惨的 Clef 只有 60 分，收费却高达 $859，属于又贵又弱。
扎心了ヾ(*Ő౪Ő*)：
• GPT-6 Luna (Max) 考了 76 分，Claude Haiku 5.5 (Max) 考了 77 分，分数确实压过了所有专用小模型（73 分）。
• 但看一眼代价：Luna 每百万任务要 $1,530（Drex 的 15 倍），单任务耗时 11.34 秒（比专用模型的 275 毫秒慢了约 40 倍）；
• Haiku 更是夸张到每百万任务 $6,240（Drex 的 61 倍），单任务要等 32.65 秒——比最快的 Celeris 慢了整整 600 倍！🤯🤯
你们觉得在信贷、风控这种高频判断场景里，未来会被降价提速的通用大模型顺手吃掉，还是这种毫秒级的专用小模型能一直守住阵地呢？🤔？
这个杀手不太冷😏😏
::ೖ(⑅σ̑ᴗσ̑)ೖ::
只把题目里的文件名改成了小写，一批编程高分模型的成绩当场腰斩——这个新榜专治“背题型选手” 💥
来自 Unlap 的 Justin Lo 刚刚发布了新基准 MaxxBench，做法极其简单粗暴：
直接拿主流编程榜 DeepSWE 的 89 个真实任务，不改核心工程逻辑，只对指令或起始代码做微小改动（比如要求略有不同、或者把文件名改成小写），看各大模型还剩几成功力
ヾ(*Ő౪Ő
图上那段扎眼的斜线阴影，作者直接给它取名叫“Est. Benchmaxing（估算的刷榜水分）”
把原版分数和改版分数放在一起对账，简直是大型裸泳现场：
1️⃣ 稳如泰山的“真干活派”
在原版 DeepSWE 上，大家全都挤在 74% 上下贴身肉搏，根本分不出高下；结果进了 MaxxBench，直接拉开了 23 个百分点的巨大代差：
• Claude Opus 5.5：74.2% → 75.4%（全场唯一不仅没掉分、反而逆势微涨的模型）
• GPT-6 Astra：74.1% → 71.9%（仅掉 2.2 个点，极稳）
• GPT-5.6 Sol：72.7% → 69.1%
• Claude Sonnet 5.5：71.0% → 66.9%
2️⃣ 当场破功的“背题家”（掉分前五名）🤯🤯
• DeepSeek V4 Flash：53.3% → 28.1%（暴跌 25.2 个点，近乎腰斩）
• GPT-5.6 Luna：67.2% → 46.1%（狂掉 21.1 个点）
• Gemini 3.8 Flash：73.8% → 53.4%（狂掉 20.4 个点——注意，它在原版 DeepSWE 上可是 73.8% 的准冠军选手）
• DeepSeek V4.1 Flash：74.2% → 55.6%（狂掉 18.6 个点——原版跟 Opus 5.5 同拿 74.2%，改个要求直接被甩开近 20 分）
• Muse Spark 1.2：54.9% → 38.8%（掉 16.1 个点）
国产其他选手里，GLM-5.3 掉了 12.3 个点（69.0 → 56.7），GLM-5.3-Flash 掉了 8.3 个点（63.4 → 55.1）
3️⃣ 最扎心的机制拆解：为什么改个文件名就会崩？
仔细看掉分重灾区，Flash、Luna 这类“低价快速档”占了大半。它们的生存策略似乎就是“高度适配主流基准长什么样”——只要题目稍微变个形，特化适配当场失效
现在的榜单高分里，一直混杂着两种东西：真正的工程泛化能力，和对这套题库的肌肉记忆。MaxxBench 干的事，就是扒底裤😋😋
你们平时用主力编程模型时，中途改需求它是怎么做的呢？
2
3
614
在湿实验室里，最昂贵的灾难从来不是“我不会”，而是“把胶看反了，还极其自信地接着往下做纯化” 🧪
OpenAI 刚刚联合 Ligo 发布了新基准 BioBasicsBench：
不考背诵文献，直接从 5 个领域拎出 100 个湿实验室每天都在面对的日常任务，全拿最原始的实验证据考 Agent：跑坏的凝胶图、菌落平板、显微镜原图、测序文件、甚至潦草的手写实验记录。没有一张是论文里精修过的好看图片
在最高推理档下，先看一眼成绩单和极其扎心的“Token 账单”：
• GPT-6 Astra：66.7%（平均每任务仅耗 4,704 token，分最高、话最少）
• GPT-6.1 Sol：62.0%（每任务耗费 9,099 token）
• GPT-5.6 Sol：43.8%
• GPT-6 Luna：仅 38.3%（每任务却狂烧 13,120 token，证明新一代也不是个个都强，看不懂图硬想只会越描越黑）
Astra 能拉开代差，赢的不是死记硬背，而是三处老手级别的“抓细节、认对照”：
1️⃣ 识破染色串道：525–540 nm 染料通道发生重叠，Sol 直接按亮度武断判定“细胞死了”；Astra 一眼看出通道干扰判不了，要求补充更好的对照。
2️⃣ 抓包贴错标签的平板：阴性对照平板上标着“LB Kan50（卡那霉素）”，跟实验实际用的氨苄青霉素根本不是同一种药。Sol 视而不见照常往下推，Astra 当场否掉了这个无效对照。
3️⃣ 分清物理聚焦与生物现象：显微镜里细胞忽隐忽现，Sol 在那儿强行编造生物学解释，Astra 直接认出那只是不同焦平面深度的 z-stack 切片。
但 66.7% 的分数也别吹过头，它翻车的三组案例，恰恰全是实验室最要命的基本功：
❌ 看胶选反泳道：PCR 泳道本来该选 5/9/10，Astra 选成了 4/6/7/8。虽然把分组看对了，但正反身份彻底贴反——这要是在真实实验室顺着往下走，辛苦半天纯化出来的全是错的质粒。
❌ 数菌落胡乱凑数：整体多计了约 12%，把挨在一起的算成一个、肉眼明明看得见的漏掉、甚至对着空白琼脂也能凭空数出一个菌落。
❌ 显微镜选择性失明：视野里有的液泡亮、有的暗，Astra 只记录了暗的那一半，就草率下了一刀切的普遍结论。
如果现在把 Agent 放进你们实验室，你敢放手让它做啥呢？
3
1
136
A new way to measure how AI agents handle the routine analyses of wet-lab science—BioBasicsBench.
Developed with Ligo, a biotech company focused on enzyme design, the benchmark draws on 100 tasks from real experiments to test whether agents can interpret raw lab data, identify errors, and recognize when the evidence doesn’t support a conclusion.
Accelerating biological research starts with getting the everyday work right. BioBasicsBench shows where models need to improve, and helps us track what those gains mean for scientific progress, biosafety, and biosecurity.
openai.com/index/measuring-h…
14