VistaVLA：眼里有照片，心里没地图

规则很简单：你是机械臂的大脑，但你只能看到一张正面照片。任务是那句经典指令——「把杯子后面的海绵拿起来」。训练时海绵一直摆在老位置，你已经练得很熟了。现在有人动了桌子。拖动滑块把海绵朝你挪近或推远，然后点「照老经验伸手」。

看侧面那一格就明白了：海绵挪了十几厘米，正面照片里它只缩小了几个像素——深度方向的变化，在照片里被压扁成了几乎看不见的尺寸差。而只看照片学出来的策略，本质是一张「像素位置 → 手臂动作」的对照表，照片没怎么变，它的手就伸向老地方，抓一把空气。这不是编出来吓人的：论文在真机上做了这个实验，把物体沿深度方向挪动后，基线模型十次只成六次；换成挪动平面位置，十次全军覆没，一次都抓不到。照片压扁了世界，而机械臂活在没被压扁的那个世界里。

给机器补上第三维，业界当然试过：直接喂深度图、点云。但这些是「每个像素离我多远」的原始测量——一堆数字，不是一张图。你的大脑不是这样工作的：你心里那张桌面地图，除了形状还有意思——「那里有只杯子，杯子后面是海绵」。认知科学管它叫认知地图：几何和语义长在一起，换个角度看也不乱。这篇论文的目标就一句话：给 VLA 造一张认知地图。第一步，先把「形状」立起来。

造立体地图的材料，这两年图形学给了个漂亮答案：3D 高斯泼溅（3D Gaussian Splatting，白话：把场景拆成几万颗半透明的彩色小球，每颗记住自己的位置、大小、颜色）。几张不同角度的照片进去，一团小球云出来——从此你想从哪个角度看，就把小球们朝那个方向重新一撒。VistaVLA 用两台固定相机的照片实时搭这团云。拖动滑块，绕着桌子转一圈：

注意你刚才做的事：输入只有左上角那两张视角焊死的照片，可大图里你转到了照片从没拍过的角度——杯子和海绵的前后关系、遮挡边缘，全都对。照片是一次性的观察，小球云是可以反复查询的世界。这正是「地图」和「照片」的分水岭：地图不怕换视角。还有一个容易漏看的细节：这团云不是提前扫描好的——机器人每做一步动作，都用最新的照片当场重搭一次，所以桌上东西被挪动了，地图跟着变，不存在「拿着旧地图找新桌子」的问题。

然而现在这团云只是个哑巴雕塑：它知道哪里有东西，不知道那是什么。指令里说的「海绵」「杯子」，在小球的世界里还查无此人。

怎么让小球「认字」？VistaVLA 找了两位现成的老师：一位看图懂语言（SigLIP2，CLIP 的后辈），一位看图懂结构（DINOv2）。两位老师看每张照片，给每个像素写下一份 2176 维的「这是什么」笔记——太厚了，先用一个小压缩器压到 128 维。然后是关键一步：渲染的时候，每颗小球把自己的 128 维笔记「泼」到它在照片里占的那些像素上，泼出来的结果必须和老师的笔记对得上。多张照片一起对账，每颗小球最后攒下的，就是它在所有角度下的公共语义。点下面的词，看哪些小球应声亮起：

亮起的瞬间，注意两件事。第一，词是开放的——老师是语言对齐的大模型，所以不止「海绵」「杯子」这几个预设，任何能说出口的东西都能查（论文的说法：开放词汇的语义落在了 3D 空间里）。第二，语义跟着小球走而不是跟着像素走——你在上一节转过视角，同一颗小球换个角度还是那颗海绵。几何管「在哪」，语义管「是什么」，两者钉在同一颗球上，认知地图才算成形。

然而好事变成了坏事：这张地图有十万颗球，每颗带 128 个数。VLA 的注意力窗口是按 token 收费的——十万个 token 塞进去，机械臂算完一步，菜都凉了。

论文给这道工序起名 Merge-then-Query：先合并，再提炼。像整理一屋子杂物：先把同类的捆成捆（合并），再写一页清单（提炼）。点「下一步」，亲眼看十万变六十四：

你按过「随机抽稀」了：小球是少了，可海绵——桌上最小的主角——整个被抽没了。这就是为什么合并的顺序很讲究：VistaVLA 沿一条 Z 字形空间曲线给小球排队（保证相邻的球空间上也挨着），然后只让语义相似的邻居合并，不相似的谁也不吞谁；合并时按块头加权平均，位置和语义一起融。小东西因为和周围的桌面语义不同，就一直活到最后。真机消融给了残酷的对照：换成无差别抽稀（FPS 采样），放海绵任务十次成零次；用语义合并，十次成九次。压缩不是删除，是合并同类项——同类项认的是语义，不是距离。

最后一步「提炼」：64 个空白的提问 token 对着压剩的一千颗球做注意力，各自把关心的空间信息吸走——像 64 个记者采访一千个目击者，交回 64 段摘要。为什么是 64？论文扫过一遍：16 个太少装不下，256 个反而最差（问题太多，采访秩序就乱了）。64 个 token，从十万压过来，压缩率 99% 以上，桌面的布局和语义都还在。

零件齐了，看它们咬合。特意留意这台 VLA 的块头：底座是 VLA-Adapter，只有 5 亿参数——比你在 π0 篇见过的 30 亿级选手小一个数量级。它凭什么打？凭喂进去的东西不一样。点每个环节，看数据怎么流：

进入模型的是四路 token 排成一列：图像 token（手腕相机的照片，管「此刻看见什么」）、指令 token（那句「把杯子后面的海绵放进碗里」）、64 个地图 token（管「桌面的立体布局」）、动作查询 token（负责把前面的一切翻译成手臂的连续动作）。排队顺序有讲究：地图排在指令之后，等于先读题再看图；动作排在最后，能回头看所有人。预测出的 K 步动作只执行前 4 步就重新拍照重规划——和你在 GR00T 篇拧过的「动作块别太长」是同一个道理。

然而，架构自洽不等于真的有用。多装两台相机、多喂几百个图像 token，会不会效果一样？该验货了。

验货用的是真机：七个桌面任务（放海绵、叠盒子、叠碗、扔垃圾并合盖、转魔杖接杯……），每个测十次。对手里最扎眼的是 π0.5——预训练过海量机器人数据的 30 亿参数通才。开赛前，先押两注：

三个数字按反直觉程度排序。第一：喂深度图几乎不涨（+Depth 版和纯 RGB 基线几乎持平）——原始深度是一堆没有语义的测量值，和预训练模型的「像素语义」话不投机，示范数据又少，模型学不会用它。缺的从来不是深度数字，是那张几何和语义长在一起的图。第二：换位测试里，预训练大牌集体交零分——OpenVLA 0.0，π0 0.0，见多识广救不了空间泛化；VistaVLA 从基线的 1.7 分提到 12.2 分，不高，但那是全场唯一两位数。第三：真机七任务平均 +22.8 分，0.5B 的小脑袋赢了 3B 的 π0.5——赢在输入的质量，不是脑子的大小。还有一处容易错过的消融：给基线加到三台相机、768 个图像 token，还是打不过 VistaVLA 的 320 个——多看几眼照片，不等于心里有图。

但注意 3/10 这个数字——位置扰动下它是全场唯一活口，可十次也只成三次。地图有了，还远谈不上牢靠。最后一节，这张桌子交给你，亲手去找它的边界。

俯视视角，海绵归你摆。两台机器人等着你发号施令：只看照片的基线，和心里有图的 VistaVLA。成功率就是论文真机实测的那几档。挑战：① 先在训练位置试两把，确认两台都行；② 把海绵挪远，看谁先露馅；③ 把海绵挪到侧面去——找到那个连 VistaVLA 也只有三成把握的死角。

玩几把你就会摸到那条边界：深度方向上 VistaVLA 相当稳（小球云本来就是立体的，远近骗不了它）；平面大挪移它也常失手——三成把握，只是比零强。论文自己把这行字写进了结论：大的位置扰动仍然是难题。认知地图解决了「看见立体」，还没解决「在陌生布局里重新规划」——那是下一篇论文的事。

学术锚点：本文来自南洋理工大学 EmPACT Lab 与新加坡 A*STAR I2R，2026 年 7 月（arXiv:2607.12356）。骨架是「语义高斯场 + Merge-then-Query 压缩 + VLA-Adapter 0.5B 底座」。本文做了不少简化：高斯泼溅的数学（协方差、透明度合成）只给了白话；两阶段训练里先几何后语义的课程、LoRA 微调、Morton 码的位交织细节都收进了旁白；图里的小球云是教学示意，颗数远少于真实的十万。

回想你这一路亲手做过的事：你只看正面照片伸过手，抓过一把空气，然后从侧面看见深度是怎么被压扁的；你绕着一团小球云转了一圈，发现地图不怕换视角；你点过「海绵」，看语义亮在 3D 空间里而不是像素上；你按过「随机抽稀」，眼看最小的主角被抽没，才明白合并要认语义；你押过深度图那一注——多数人押「大涨」，而正确答案是几乎不涨；最后你在沙盒里亲手找到了它三成把握的死角。

这条线索值得记住：机器人操作的短板正在从「动作不够灵巧」转向「空间理解不够」。π0 篇解决了手怎么动得流畅，SONIC 篇解决了身体怎么走得稳，这一篇补的是眼睛和心之间那一段——看见的是照片，行动靠的是地图。下一站：回总图看这颗棋子落在「3D 输入」那一格；或者去 RT-2 篇，看看这一切开始的地方。