01 / 10
AI2026年9月
思维图：你输入的句子，并不是模型读到的句子
词表中有九个条目无法在被输入后存活。这个 bug 隐藏了数周，因为输出看上去完全合理。
7 分钟阅读
02 / 10
AI2026年9月
思维图：单个注意力头究竟计算了什么
三个矩阵、一次点积、一次 softmax。每行总是加起来等于 1——那是模型必须满足的约束，不是它给出的发现。
4 分钟阅读
03 / 10
AI2026年9月
思维图：十六个头，其中五个只会说“下一个词”
选择最自信的头，每次都会选到位置头。它报告的是“it → was, 0.962”——而那是它对每个句子里每个词都给出的答案。
5 分钟阅读
04 / 10
AI2026年9月
思维图：在没有推理引擎的浏览器里运行 BERT
朴素 int8 让注意力对齐停在 2.97e-2——比门限差三十倍。把精度花在哪里，就是全部的工程故事。
4 分钟阅读
05 / 10
AI2026年9月
思维图：从三十一兆字节的表里只下载二十行
词嵌入表有 31,254,528 字节。一个十二词的句子只需要其中约 20 KB。HTTP Range 让传输的只有这一部分。
4 分钟阅读
06 / 10
AI2026年9月
思维图：那个“权重”其实是另一个东西的份额
在你看到之前，每一行显示值的中位数已有 24% 被删除。最坏情况是 95%。而这套算术自始至终都是对的。
4 分钟阅读
07 / 10
AI2026年9月
思维图：注意力 rollout 是正确的，也几乎是无用的
句中每一行 rollout 的归一化熵都在 0.935 到 0.971 之间。那是一个披着排名外衣的均匀分布，而它曾是默认视图。
4 分钟阅读
08 / 10
AI2026年9月
思维图：如何测试一个你无法用眼睛判断的模型？
我用同一个错误的想法写了代码，也写了测试，它们彼此完美吻合。一切都是绿的。
5 分钟阅读
09 / 10
AI2026年9月
思维图：我们试了那个已发表的修复方案，并测量了它的价值
它把问题减半，却没有消解它。[CLS] 携带的值范数是内容词元的 0.63 倍——不是论文里那个接近零的数。四层不是十二层。
4 分钟阅读
10 / 10
AI2026年9月
思维图：它是诊断工具，不是读心术
换掉那个决定 “it” 指代什么的形容词。读者的答案会反转。十六个头里没有一个改变自己的胜者。
5 分钟阅读