Loading
开发日志与见解
技术见解、项目开发日志，以及物理、人工智能与机器人技术交叉点的探索。
十篇文章，讲在浏览器里运行真实 BERT 编码器——以及它的注意力数值并不代表的一切。
九篇文章，从一条力曲线走向一个由 2,000 个粒子组成的可复现世界。
精选
词表中有九个条目无法在被输入后存活。这个 bug 隐藏了数周，因为输出看上去完全合理。
全部文章
换掉那个决定 “it” 指代什么的形容词。读者的答案会反转。十六个头里没有一个改变自己的胜者。
它把问题减半，却没有消解它。[CLS] 携带的值范数是内容词元的 0.63 倍——不是论文里那个接近零的数。四层不是十二层。
我用同一个错误的想法写了代码，也写了测试，它们彼此完美吻合。一切都是绿的。
句中每一行 rollout 的归一化熵都在 0.935 到 0.971 之间。那是一个披着排名外衣的均匀分布，而它曾是默认视图。
在你看到之前，每一行显示值的中位数已有 24% 被删除。最坏情况是 95%。而这套算术自始至终都是对的。
词嵌入表有 31,254,528 字节。一个十二词的句子只需要其中约 20 KB。HTTP Range 让传输的只有这一部分。
朴素 int8 让注意力对齐停在 2.97e-2——比门限差三十倍。把精度花在哪里，就是全部的工程故事。
选择最自信的头，每次都会选到位置头。它报告的是“it → was, 0.962”——而那是它对每个句子里每个词都给出的答案。
三个矩阵、一次点积、一次 softmax。每行总是加起来等于 1——那是模型必须满足的约束，不是它给出的发现。
项目始于视觉实验，最终让我明白：间距、测量、可复现性与界面，其实是同一个科学问题。
每个控件、四项实验、确定性分享、保存发现、截图、JSON、CSV、移动端使用与故障排查。
界面需要鼓励探索却不隐藏因果，展示证据却不变成仪表盘墙，并且能在手机上工作。
随机规则很容易。寻找既保持结构又持续运动的随机规则，需要先定义何为有趣，也会暴露这个定义的局限。
漂亮图案只是发现的提示，不是结果。这个项目需要能够反驳视觉直觉的测量。
渲染不是装饰。它让距离、运动、关系与故障变得可读，同时不改变底层物理。
固定时间步、确定性种子、环形世界与空间哈希：它们让两千个粒子仍然是一项实验。
矩阵不是调色板，也不只是控制面板。它是一种描述吸引、排斥、追逐与结构的方向性语言。
第一代将会是一场灾难。在写下第一行代码之前，我就知道了。
宇宙中最有趣的事物从未被设计过，它们是涌现出来的。
梯度下降不是下山的比喻，它就是下山。
大多数开发者作品集长得一样。我想让我的看起来像一本物理教科书。
不是单词，不是句子，而是比两者都更奇特、更有趣的东西。
科学艺术美学与表现性动态如何打造生动的作品集体验。
