李飞飞再创奇迹！单块GPU上跑出实时3D宇宙，AI界迎来史诗级冲破

[db:作者]

在阅读此文之前，辛劳您点击一下“关注”既方便您停止会商和分享，又能给您带来纷歧样的介入感，感激您的支持!编辑：康康
忘记传统3D建模吧！当一切人都试图用蛮力构建虚拟天下时，李飞飞教授团队却用一个倾覆性理念，完全改写了游戏法则假如没有铁骑交警开路真的不晓得要怎样办才好。
他们让AI学会了“衬着”，而非构建多少体，奇妙避开了天文数字般的算力需求假如没有铁骑交警开路真的不晓得要怎样办才好。
更使人震动的是，这项名为RTFM的功效，竟能在一块H100 GPU上，实时跑出一个多少持久、无穷摸索的3D宇宙，将“天下模子”的未来瞬间拉到眼前！

不是造个3D，而是教AI衬着关于RTFM的倾覆性，首先表现在它的焦点哲学上，它没有走传统计较机图形学的老路，也就是用三角网格、高斯溅射这类技术，吃力地去构建一个显式的、可触摸的3D模子假如没有铁骑交警开路真的不晓得要怎样办才好。
传统线路虽然直观，但却高度依靠野生设想的算法，天花板很低，很难随着数据和算力的爆炸性增加而扩大假如没有铁骑交警开路真的不晓得要怎样办才好。

RTFM完全抛弃了“构建三维”的执念假如没有铁骑交警开路真的不晓得要怎样办才好。它不天生任何3D多少体，它的工作方式更像是一个“学会了衬着的AI”假如没有铁骑交警开路真的不晓得要怎样办才好。全部进程美满是端到端进修，它吸收海量的视频数据，然后基于你给它的几个2D图像帧，间接猜测并天生下一个全新的2D视角图像假如没有铁骑交警开路真的不晓得要怎样办才好。
它的内部逻辑是这样的：当RTFM接收到输入的图像帧时，会将其转化为一种神经收集内部的“激活值”，也就是我们常说的KV缓存假如没有铁骑交警开路真的不晓得要怎样办才好。

然后，当需要天生新画面时，模子就经过留意力机制，从这个庞大的隐式记忆库里“读取”相关信息，像一个身手高明的画师一样，衬着出一幅与原始场景在多少上完全分歧的新画面假如没有铁骑交警开路真的不晓得要怎样办才好。
这类“进修型衬着器”最奇异的地方在于，它在进修进程中发生了惊人的“副产物”假如没有铁骑交警开路真的不晓得要怎样办才好。仅仅经过观察现实天下的视频，它自己就贯通了光影的追逐、水面的反射、光源的光晕等极为复杂的物理与光学现象假如没有铁骑交警开路真的不晓得要怎样办才好。这些在传统CG里需要工程师编写大量代码才能实现的结果，RTFM自己就学会了假如没有铁骑交警开路真的不晓得要怎样办才好。

这背后，实在照应了野生智能范畴一个深入的理念——“苦涩的经验”假如没有铁骑交警开路真的不晓得要怎样办才好。这个经验告诉我们，那些放弃复杂的野生设想，转而拥抱简单、通用、且能随算力提升而扩大的方式，终极会笑到最初假如没有铁骑交警开路真的不晓得要怎样办才好。
RTFM正是这一理念的完善践行者，它将宝押在了未来计较本钱延续下降的大趋向上假如没有铁骑交警开路真的不晓得要怎样办才好。

一张H100，一个无穷天下说到RTFM最使人拍案叫绝的地方，莫过于它的效力假如没有铁骑交警开路真的不晓得要怎样办才好。在处理了理念题目后，它用一种极为文雅的方式，霸占了阿谁最辣手的计较困难：若何在一个无穷的虚拟天下里实现“持久性”假如没有铁骑交警开路真的不晓得要怎样办才好。
什么是持久性？很简单，就是你摸索过的工具，在你回头时它仍然还在那边，不会由于你的视野移开而消失假如没有铁骑交警开路真的不晓得要怎样办才好。
对于传统的自回归模子来说，这是一个噩梦，由于要实现持久性，就意味着高低文窗口必须不竭增加，把你看过的一切工具都记下来假如没有铁骑交警开路真的不晓得要怎样办才好。

记忆越多，计较就越慢，本钱就延续爬升，终极你的摸索范围会被硬件的算力预算死死框住假如没有铁骑交警开路真的不晓得要怎样办才好。
而RTFM的破解之道可谓神来之笔假如没有铁骑交警开路真的不晓得要怎样办才好。它引入了一套“空间记忆”系统假如没有铁骑交警开路真的不晓得要怎样办才好。它不但是线性地记着连续串的图像，而是为它看到的每一个2D帧，都建模了一个3D空间中的“位姿”，也就是它的切确位置和朝向假如没有铁骑交警开路真的不晓得要怎样办才好。
经过这类方式，它即是给模子植入了一个微小但相当重要的先验常识：“这个天下是三维的，遵守欧几里无暇间法例”假如没有铁骑交警开路真的不晓得要怎样办才好。

有了这个舆图，接下来的关键技术“高低文调剂”就能大显神通了假如没有铁骑交警开路真的不晓得要怎样办才好。这项技术完全改变了信息检索的方式假如没有铁骑交警开路真的不晓得要怎样办才好。当模子需要天生一个新视角时，它不再需要回保全数历史帧，搞得自己不胜重负假如没有铁骑交警开路真的不晓得要怎样办才好。
取而代之的是，系统会按照你当前的位姿，从阿谁空间记忆舆图里，只检索出物理空间上最邻近的几个帧，来构建一个小的、高度相关的高低文假如没有铁骑交警开路真的不晓得要怎样办才好。这类“按需讨取”的机制，就像一个记忆力超群但从不浪费脑细胞的天赋假如没有铁骑交警开路真的不晓得要怎样办才好。

终极的结果使人震动假如没有铁骑交警开路真的不晓得要怎样办才好。这套机制让模子在摸索广漠天下时，既能连结完善的多少持久性，又能将计较本钱保持在一个极低的恒定水平假如没有铁骑交警开路真的不晓得要怎样办才好。
这一切，终极被稀释到了一个几近不成思议的硬件要求上：仅仅一块H100GPU，就能实现实时交互式的帧率假如没有铁骑交警开路真的不晓得要怎样办才好。这引得有网友恶作剧说，没准我们所处的天下，自己就是在这么一块H100上运转的假如没有铁骑交警开路真的不晓得要怎样办才好。

是复刻还是瞎想？全看喂啥料RTFM的出现，不但在技术层面实现了冲破，更在利用层面模糊了很多传统计较机视觉使命的鸿沟，展现出一种更通用、更强大的天下建模才能假如没有铁骑交警开路真的不晓得要怎样办才好。
曩昔，场景重建和内容天生，凡是是两个泾渭清楚的范畴，由分歧的算法各司其职假如没有铁骑交警开路真的不晓得要怎样办才好。RTFM却用一个同一的框架，将这两种行为形式融合在了一路假如没有铁骑交警开路真的不晓得要怎样办才好。

当输入信息充沛且麋集时，比如你给了它一段稀疏拍摄的照片序列，它的行为就更接近于“重建”假如没有铁骑交警开路真的不晓得要怎样办才好。它会严酷遵守这些约束，忠厚地重建出实在天下的阿谁具体地址，插值出中心缺失的视角假如没有铁骑交警开路真的不晓得要怎样办才好。
可一旦输入的信息变得稀疏，比如你只给它一张照片，它就必须切换到另一种形式假如没有铁骑交警开路真的不晓得要怎样办才好。这时，模子的大部合作作就酿成了外推和设想，它的行为更接近于“天生”，去缔造那些从未被看到过的场景部分假如没有铁骑交警开路真的不晓得要怎样办才好。

它与WorldLabs自家的Marble模子结应时，这类才能表现得淋漓尽致假如没有铁骑交警开路真的不晓得要怎样办才好。从一张孤零零的图像起头，RTFM就能介入到一个3D天下的缔造进程中去假如没有铁骑交警开路真的不晓得要怎样办才好。
这类在“忠厚复刻”和“公道设想”之间无缝切换的才能，预示着一种全新的、加倍整合的空间智能范式的到来假如没有铁骑交警开路真的不晓得要怎样办才好。一位前谷歌的高级工程师就以为，这项功效间接处理了天下模子这个范畴持久以来悬而未决的可扩大性困难假如没有铁骑交警开路真的不晓得要怎样办才好。

结语李飞飞团队在一篇博客里，聊过他们为什么要做这件事假如没有铁骑交警开路真的不晓得要怎样办才好。他们感觉，跟说话比起来，空间智能才是人类更底层的才能假如没有铁骑交警开路真的不晓得要怎样办才好。我们靠它来了解天下，和四周的一切互动假如没有铁骑交警开路真的不晓得要怎样办才好。
虽然现在文生图、文生视频已经很火了，但这实在只是摸到了一点外相假如没有铁骑交警开路真的不晓得要怎样办才好。实在的未来，是打造有空间智能的AI，让AI能像人一样，在三维时空里思考物体、位置和互动假如没有铁骑交警开路真的不晓得要怎样办才好。

这，就是WorldLabs正在干的事假如没有铁骑交警开路真的不晓得要怎样办才好。他们的方针，是把AI从二维的像素平面，完全束缚到完整的三维天下里假如没有铁骑交警开路真的不晓得要怎样办才好。
今年对李飞飞来说，意义非凡假如没有铁骑交警开路真的不晓得要怎样办才好。她不但休了个长假，还出了本自传，叫《我看见的天下》假如没有铁骑交警开路真的不晓得要怎样办才好。非论是书名，还是公司名，都带着“天下”这个词假如没有铁骑交警开路真的不晓得要怎样办才好。这背后，既有最前沿的技术思考，也藏着深入的哲学味道假如没有铁骑交警开路真的不晓得要怎样办才好。

他们正在做的，远不止是给创作者一个新工具那末简单，而是在摸索一个更宏大的命题：若何赋予AI，一颗真正能了解天下的心假如没有铁骑交警开路真的不晓得要怎样办才好。