RT-2：把机械臂挤进词表

2023 年初，Google 手里有当时世界上最聪明的「看图说话模型」（论文里叫视觉语言模型，VLM）：给它一张照片，它能告诉你里面有什么、谁和谁是什么关系、法语提问也照答不误。桌上这个场景——一根香蕉、三张数字卡片、一罐可乐、一只闲着的机械臂——对它来说毫无难度。就像家里来了位百科全书级的客人：什么都知道，就是四体不勤。

挨个点下面三个问题，先考考它；确认它真的懂了，再点最后那条红色的指令。

看到问题了吗？最后那一步，它把该做的事说得明明白白——目标是哪张卡、为什么——右边的电机却一格都没动。答案在它脑子里，但它的嘴只会吐句子，电机等的是一串数字信号。它缺的不是知识，是输出的形状：说出来的是话，接不上线。此前的通行做法，是让大模型当"指挥"、另雇一个专门的小脑袋当"手"——可小脑袋没读过互联网，大模型的满腹经纶到了执行层就断了。RT-2 问的问题是：能不能不雇翻译，让这个大家伙亲自动手？那第一件事，就得搞清楚——机械臂的"话"，长什么样？

机械臂听的"话"，RT-2 直接沿用了前作 RT-1 定好的格式：每个控制瞬间，手臂需要知道 8 件事——要不要收工、朝三个方向各挪多少、绕三个轴各转多少、夹爪张多开。每一件事的取值被切成 0 到 255 共 256 档（为什么要切档、切粗切细有什么代价，地图篇拆过，这里直接用结论）。于是一个机器人动作，就是一句 8 个整数的电文。论文里的真实例子长这样：

"1  128  91  241  5  101  127"
（收工=1 · 平移三档 · 旋转三档 · 夹爪一档）

像发电报：再复杂的舞步，拆成每拍一句、八个字的电文，就能从电话线里过去。光看定义没感觉——你来当一次 RT-2：用下面的按钮，把香蕉搬到写着"3"的卡片旁边，最后按「收工」交卷。每按一下，你就替模型"说"了一句话：

注意上方滚动的电文：往右挪的那句，第 2 个数跳到 160；下探时是第 4 个数在动；合上夹爪的瞬间，最后一个数从 230 掉到 32。你的整趟搬运，是一段十几句的独白——真机上这段独白以每秒 1 到 3 句的节奏念出来，念一句，手动一下，相机看一眼，再念下一句。一个动作 = 一句 8 个词的话；一次任务 = 一段几十句的独白。动作既然是话，理论上就能让语言模型来说。然而马上撞墙：语言模型的词表是出厂就焊死的，里面根本没有这 256 个"动作词"的座位。

词表（词元表）是语言模型认识的全部"字"，每个词元背着一套预训练权重，像剧院里张张有主的座位。现在要塞进 256 个从没存在过的动作词。先别往下读——如果是你，你会怎么办？押一个：

答案是：B 和 C 都对，A 恰恰是被否决的那个。RT-2 的硬规矩是"不新增任何参数"——加新座位就得配新的嵌入向量，它们在预训练里没有历史，网络知识一点也沾不上。所以只能在旧座位里做文章：PaLI-X 运气好，它的词表里 0 到 1000 每个整数本来就有专属词元，直接借 256 个数字币当动作档；PaLM-E 没这个便利，就把 256 个使用频率最低的冷门词赶走，让"动作"住进去——给旧词元强行换新含义这件事，前人已验证可行，术语叫符号调优（symbol tuning）。动作词不是加进词表的，是从词表里抠出来的。配套还有一条纪律：执行机器人任务时，解码器只许从这 256 个词里挑字（论文叫输出约束）——这条纪律有什么用，最后的沙盒里你可以亲手关掉试试。座位解决了。然而真正贵的问题这才登场：训练时，拿什么喂它？

直觉的做法：预训练好的看图说话模型摆在那儿，用机器人数据微调一遍不就完了？论文管这叫「只炼机器人数据」（fine-tuning）。另一条路贵得多：「一起炼」（co-fine-tuning，共同微调）——微调的每一锅里，既有机器人轨迹，也掺着原汁原味的网络图文问答（PaLI-X 版机器人数据约占一半，PaLM-E 版约三分之二，靠采样权重配平）。像学第二门外语时把母语课本也带在书包里：多背了几斤书，但不会学了新的忘了旧的。到底值不值？论文用同一套"没见过的东西"考卷做了消融实验。点下面五份配方，亲眼比较：

三个数值得盯：从零训只有 9%——惨到论文直接放弃给 55B 跑从零对照，这一格永远空着；5B 上"一起炼"只比"只炼"多 2 个百分点（44 对 42），可到了 55B，差距张开到 11 个百分点（63 对 52）——模型越大，忘掉网络课本的损失越贵。右下角那本"网络课本"就是原因：只炼机器人数据时，模型对"卡通、恐龙、Taylor Swift"这些概念的记忆会被 8 个整数的电文一点点冲刷掉；一起炼，课本始终摊开着。网络知识不是一次性注入的燃料，是要持续喂的口粮——停喂就忘。顺带一提代价：炼出来的 55B 塞不进任何机器人的机载电脑，只能架在云端多块 TPU 上、隔着网线遥控手臂，每秒 1 到 3 句电文——正好是你在上一节体会过的那个节奏。好，钱花了、饭喂了，网络知识真的流进手里了吗？

先说清"涌现"在这里的严格含义：指令里的关键概念，从没在任何机器人数据里出现过——能做出来，只可能是网络知识顺着共享的词表流进了电机。论文攒了约 6000 次真机评测，把这类考题分成三科：符号理解、推理、人物识别。下面四道都是论文里的原题（我们那根香蕉也在）。每道题先押注：这台 55B 的 RT-2，多半能成，还是多半会砸？四道都押完才开榜：

开榜后最扎眼的是两头：符号理解 82%——"心形、字母 X、Taylor Swift 的脸"这些机器人数据里绝不存在的概念，它拿得又稳又准；可我们那道香蕉算术题落在最弱的一科：数学只有 25%。更有意思的是一个反转：12B 的 PaLM-E 数学考了 35%，反超 55B 的 PaLI-X——因为 PaLM-E 的底座预训练配方里数学内容更多。这戳破了"涌现"的神秘感：涌现不是变魔术，是底座里本来就有的知识第一次找到了通往电机的路；底座里没有的，涌现不出来。还有一个容易漏看的事实：在见过的任务上，RT-2（91-93%）并不比小 200 多倍的 RT-1（92%）强——这场革命的战利品全部在"没见过"的那一半世界里（未见任务平均 62% 对 32%，翻了一倍）。然而，还有一类指令，连"没见过"都不足以形容它的刁钻——它拐弯。

"把香蕉移到 3 旁"再难，好歹指名道姓。可"我饿了"呢？没有名词，没有动词，没有目标——人听了会先在心里过一道弯："饿了 → 要吃的 → 桌上有根蛋白棒 → 拿它"。论文最后做了个轻巧的实验：把训练数据改造一下，让模型在动作电文前，先写一行给自己看的「打算」（Plan）——这借的是大语言模型思维链（chain-of-thought）的路子，而且只额外训了几百步。点一条指令，看它落笔的顺序（四条都是论文真实记录，动作数字原样照抄）：

盯住中间那行橙色的「打算」：写下"pick redbull can"（拿红牛）的一瞬间，一道拐弯的题就变回了它千锤百炼的直线题——红牛能提神、石头可以当锤子，这些常识没有一条来自机械臂，全是从网络课本里带来的。思维链在这里是个转接头：把人话的拐弯，转成它会做的直线。而且想和做住在同一个模型里，不再需要第一节里那种"指挥 + 翻译"的双人班子。看到这里，它像是无所不能了。是时候泼冷水了——而这盆冷水，恰恰是论文自己泼的。

把网络知识炼进手臂，到底买到了什么、没买到什么？下面七件事，全部出自论文的评测清单和失败清单。你来当审稿人：每件事，判它"能"还是"不能"——判完七件，规律自己会浮出来。

规律浮出来了吗：判"能"的全是新名词——章鱼、足球、字母 X；判"不能"的全是新动作——擦、叠、按部位抓。论文在局限一节里说得毫不含糊：网络预训练让泛化翻倍，但机器人没有因此学会任何一个新动作——物理技能仍然被机器人数据锁死在那 7 个动词里（捡起、挪近、立正放、推倒、开关抽屉、放进取出）。网络课本教得了它"什么是章鱼"，教不了它手上的巧劲——互联网上没有肌肉记忆。互联网给了它新的名词和关系，没给它新的动词。诚实地画出这条线，是这篇论文最体面的地方。好了——嘴接上了线（§2-3）、饭配好了（§4）、考卷批完了（§5-6）、边界画清了。所有零件都在你手里，组装。

这就是整条流水线：相机画面和你的指令拼成一句提问 → 视觉编码器 → 语言模型 →（先写打算，如果开了思维链）→ 吐出 8 个动作词元 → 反词元化（de-tokenize，把词元翻译回位移）→ 电机。随便发指令，拨弄两个开关；再接受一个挑战：找出一条它每个字都听得懂、却永远做不成的指令。

如果你还没试过，回去把两样东西关掉：关掉输出约束再执行一次——解码器会在电文里混进一个普通的词，执行器当场报错，这就是为什么机器人任务下必须锁死词表、只许说那 256 个动作词；关掉思维链再说一次"我饿了"——没有写打算的地方，拐弯的指令又接不住了。至于那条永远做不成的指令——"把毛巾叠好"，每个字它都懂，可"叠"这个动词不在它的肌肉里。你刚才亲手撞上的，就是上一节画的那条边界。

回看你这一路亲手做过的事：你先让一个满腹经纶的模型当众卡壳——说得出、做不到（§1）；然后替它说了一段 8 个词一句的电文独白（§2）；押中（或没押中）两台模型的词表手术——借数字的座位，或者赶走冷门词（§3）；比较过五份训练配方，看着"只炼机器人数据"把网络课本一点点忘掉（§4）；给四道涌现考题开了榜，发现数学那科小模型反超（§5）；看它在动手前先写一行给自己的打算（§6）；最后当审稿人画出了"新名词能、新动词不能"的边界（§7），又在沙盒里亲手撞了一次（§8）。

论文给这套"视觉 + 语言 + 动作共用一个模型、一张词表"的做法起了个名字：vision-language-action model，VLA。名字起对了很重要——此后几年，开源复刻、跨机构数据联盟、各家的下一代机器人大脑，全都自称 VLA，整个赛道以这篇论文为原点重新排队。而它留下的两道未解题——新动作从哪来（论文自己猜：也许从人类视频里学）、大模型怎么塞回机器人肚子里（量化、蒸馏）——正是后来者排队要解的题。想看这条队伍排成了什么样，地图篇《当 AI 长出手来》的六级台阶和数据饥荒图就在隔壁等你。

一句话带走：让手学会说话，比让嘴学会干活，路要短得多。嘴到手的全部工程，不过是 256 个借来的座位、一锅掺着网络课本的饭、和一行写给自己的打算。