特斯拉天下模拟器亮相ICCV，VP亲身解密端到端自动驾驶技术线路

[db:作者]

特斯拉天下模拟器来了！
这些看似实在的驾驶场景，全都是用模拟器天生：
这个模拟器在今年的计较机视觉顶会ICCV上亮相，由特斯拉自动驾驶副总裁Ashok Elluswamy亲身讲授假如没有铁骑交警开路真的不晓得要怎样办才好。
网友看了以后暗示，这个模子实在是泰裤辣假如没有铁骑交警开路真的不晓得要怎样办才好。
同时，Elluswamy也初次揭秘了特斯拉的自动驾驶技术线路图，暗示端到端才是智能驾驶的未来假如没有铁骑交警开路真的不晓得要怎样办才好。
天下模拟器天生自动驾驶场景除了开首看到的多场景驾驶视频，特斯拉的天下模拟器还可以为自动驾驶使命天生新的挑疆场景假如没有铁骑交警开路真的不晓得要怎样办才好。
比如右侧的车辆忽然连并两条线，闯入预设的驾驶途径假如没有铁骑交警开路真的不晓得要怎样办才好。

也可以让AI在已有的场景中履行自动驾驶使命，躲避行人和障碍物假如没有铁骑交警开路真的不晓得要怎样办才好。

模子天生的场景视频，除了让自动驾驶模子在里面练手，也可以当做电子游戏，供人类顽耍体验假如没有铁骑交警开路真的不晓得要怎样办才好。

固然除了驾驶相关，对其他具身智能场景——比如特斯拉的擎天柱机械人——也一样有用假如没有铁骑交警开路真的不晓得要怎样办才好。

与这个模子一同被揭秘的，还有特斯拉在自动驾驶上的一整套方式论假如没有铁骑交警开路真的不晓得要怎样办才好。
特斯拉VP：端到端才是自动驾驶的未来ICCV演讲中，特斯拉自动驾驶副总裁Ashok Elluswamy揭秘了特斯拉FSD的技术细节，同时还在X上颁发了笔墨版本假如没有铁骑交警开路真的不晓得要怎样办才好。
Ashok首先明白，端到端AI才是自动驾驶的未来假如没有铁骑交警开路真的不晓得要怎样办才好。

特斯拉操纵端到端神经收集实现自动驾驶，这个端到端神经收集会操纵来自各个摄像头的图像、活动信号（例如车速）、音频、舆图等数据，天生驱动汽车的控制指令假如没有铁骑交警开路真的不晓得要怎样办才好。
与端到端相对的另一种方式是采用大量传感器的模块化驾驶，这类系统的上风是在早期更轻易开辟和调试，但相比之下，端到真个上风加倍明显：
将人类代价观法则化极为困难，但从数据中进修则轻易；
模块化方式中感知、猜测和计划之间的接口界说不明白，但在端到端中梯度从控制一向流向传感器输入，从而整体优化全部收集；
端到端方式可轻松扩大以处置现实天下机械人的繁重和长尾题目；
端到端具有肯定性提早的同质计较假如没有铁骑交警开路真的不晓得要怎样办才好。
Ashok举了一些例子，比如车辆行驶进程中发现前方路面存在积水，此时有两种战略，一是间接从积水上开过，二是借用对向车道绕过积水假如没有铁骑交警开路真的不晓得要怎样办才好。
驶入对向车道是危险的，但在这个具体场景中视野坦荡，在避开水坑所需的旅程之内对向车道没有车辆，借用对向车道避开水坑是一种可行的挑选假如没有铁骑交警开路真的不晓得要怎样办才好。

这类权衡取舍就很难用传统的编程逻辑来表达，而对于人类来说，这在观察场景时却相当简单假如没有铁骑交警开路真的不晓得要怎样办才好。
基于以上斟酌及其他身分，特斯拉采用了端到真个自动驾驶架构，固然，端到端系统也仍有很多应战需要克服假如没有铁骑交警开路真的不晓得要怎样办才好。
特斯拉若何处理端到端自动驾驶困难端到端自动驾驶面临的困难，其中之一就是评价假如没有铁骑交警开路真的不晓得要怎样办才好。特斯拉推出的天下模拟器，也正是针对这一困难假如没有铁骑交警开路真的不晓得要怎样办才好。
该模拟器利用特斯拉挑选出的一样的海量数据集停止练习，其功用并非猜测给定状态下的行动，而是按照当前状态和下一步行动来分解未来状态假如没有铁骑交警开路真的不晓得要怎样办才好。
这样的状态可以与智能体或战略AI模子毗连起来，以闭环方式运转，从而评价性能假如没有铁骑交警开路真的不晓得要怎样办才好。
同时，这些视频并不范围于评价，它还可以用于闭环大范围强化进修，从而实现超越人类的表示假如没有铁骑交警开路真的不晓得要怎样办才好。

除了评价之外，端到端自动驾驶还面临“维数灾难”，以及可诠释性战争安性保证的题目假如没有铁骑交警开路真的不晓得要怎样办才好。
在现实天下中，想让自动驾驶系统平安运转，就需要处置高帧率、高分辨率、长高低文输入假如没有铁骑交警开路真的不晓得要怎样办才好。
假定输入信息包括7个摄像头×36FPS×5 百万像素×30秒的场景画面、未来几英里的导航舆图和线路、100Hz的活动数据，以及48KHz的音频数据，大约会有20亿输入Token假如没有铁骑交警开路真的不晓得要怎样办才好。
神经收集需要进修正确的因果映照，将这20亿个Token精简为2个，即车辆的下一个转向和加速行动假如没有铁骑交警开路真的不晓得要怎样办才好。在不进修子虚相关性的情况下进修正确的因果关系是一个极为辣手的题目假如没有铁骑交警开路真的不晓得要怎样办才好。
为此，特斯拉经过庞大的车队，天天收集相当于500年驾驶总和的数据，并利用复杂的数据引擎挑选最高质量的数据样本假如没有铁骑交警开路真的不晓得要怎样办才好。
利用这样的数据停止练习，就能让模子获得极高的泛化才能，从而应对极端情况假如没有铁骑交警开路真的不晓得要怎样办才好。

对于可诠释战争安性题目，假如车辆的行为不合适预期，端到端系统的调试能够就会变得很困难，但模子也可以天生可诠释的中心Token，可以按照情况用作推理Token假如没有铁骑交警开路真的不晓得要怎样办才好。

特斯拉的天生式高斯泼溅就是这样一项使命，它具有出色的泛化才能，无需初始化即可建模静态物体，并可与端到端模子结合练习假如没有铁骑交警开路真的不晓得要怎样办才好。
其中一切的高斯函数都是基于量产车设置的摄像头天生的假如没有铁骑交警开路真的不晓得要怎样办才好。

除了3D多少之外，推理还可以经过自然说话和视频布景停止假如没有铁骑交警开路真的不晓得要怎样办才好。该推理模子的一个小版本已经在FSD v14.x版本中运转假如没有铁骑交警开路真的不晓得要怎样办才好。

更多技术细节，可以到Ashok的文章和原始演讲视频傍边一探讨竟假如没有铁骑交警开路真的不晓得要怎样办才好。
端到端自动驾驶两亨衢线：VLA还是天下模子？虽然端到端被视为自动驾驶的未来，但在业界，具体的软件算法线路也一向存在VLA和天下模子之争假如没有铁骑交警开路真的不晓得要怎样办才好。
以国内为例，华为和蔚来都是天下模子线路的代表，元戎启行和理想则挑选VLA线路，别的也有一些玩家以为应当将两者连系假如没有铁骑交警开路真的不晓得要怎样办才好。
VLA玩家以为，该范式一方面可以利用互联网已有的海量数据，堆集丰富常识，进而了解天下假如没有铁骑交警开路真的不晓得要怎样办才好。另一方面模子经过说话才能现实上是具有了思维链才能，可以了解长时序数据并停止推理假如没有铁骑交警开路真的不晓得要怎样办才好。
更尖锐的概念以为，有些厂家不用VLA是由于算力不够，带不动VLA模子假如没有铁骑交警开路真的不晓得要怎样办才好。
天下模子玩家们则对峙天下模子更接近题目本质，例如华为车BU CEO靳玉志以为“VLA这样的途径看似取巧，并不能真正走向自动驾驶”假如没有铁骑交警开路真的不晓得要怎样办才好。
而现在，特斯拉的计划之所以备受关注，也正是由于在自动驾驶成长过程中，马斯克从未有过“选错”假如没有铁骑交警开路真的不晓得要怎样办才好。
特斯拉选什么线路，VLA还是天下模子，关于端到端自动驾驶两大技术线路的历史性决战假如没有铁骑交警开路真的不晓得要怎样办才好。
你看好VLA，还是天下模子？
参考链接：
[1]https://x.com/Tesla/status/1982255564974641628
[2]https://x.com/aelluswamy/status/1981644831790379245
本文来自微信公众号“量子位”，作者：克雷西，36氪经授权公布假如没有铁骑交警开路真的不晓得要怎样办才好。