环境（Environment）：这是AI"生存"的世界。在自动驾驶中，环境就是道路、车辆、行人、交通信号灯等一切外部事物。在机器人领域，环境就是房间、家具、地面、障碍物等。

智能体（Agent）：这就是AI本身——自动驾驶中的车辆控制程序、机器人决策系统。智能体是"做决策"的核心单元。

状态（State）：智能体在某一时刻对环境的"感知"。在自动驾驶中，状态可能是"前方50米处有一辆车，速度60km/h；右侧车道空闲；当前车速80km/h；距离下一个路口200米"。

动作（Action）：智能体可以执行的操作。在自动驾驶中，动作可能是"加速""减速""向左变道""保持当前状态"等。

奖励（Reward）：环境对智能体动作的"反馈"。做得好就给正奖励（比如"安全通过路口，+10分"），做得差就给负奖励（比如"急刹车导致乘客不适，-5分"）。¹⁰⁸

强化学习的目标，就是让智能体找到一种"策略"（Policy）——即在每一种状态下选择什么样的动作——使得长期来看累计获得的奖励最大化。

为了更精确地描述这个过程，强化学习研究者引入了马尔可夫决策过程（Markov Decision Process, MDP）的数学框架。MDP由四个要素组成：状态空间S（所有可能的状态）、动作空间A（所有可能的动作）、转移函数T（在某个状态下执行某个动作后转移到下一个状态的概率）、奖励函数R（在某个状态下执行某个动作后获得的即时奖励）。¹¹⁸

MDP的核心假设是"马尔可夫性"：下一个状态只依赖于当前状态和当前动作，而与之前的历史无关。这个假设虽然在现实中并不完全成立（比如车辆的当前状态确实受之前几秒的运动历史影响），但它大大简化了问题的数学表达，使得强化学习算法可以被高效地求解。

基于MDP框架，强化学习算法主要分为两大类：基于值函数的方法和基于策略的方法。

基于值函数的方法（如Q-learning、DQN）核心思想是：学习一个"价值函数"来评估"在某个状态下采取某个动作未来能获得多少累计奖励"。这个价值函数通常记为Q(s,a)，表示"在状态s下采取动作a未来能获得的期望累计奖励"。智能体在每一步选择动作时就选择Q值最高的那个动作。

基于策略的方法（如策略梯度、PPO）核心思想是：直接学习一个"策略函数"π(a|s)，表示"在状态s下选择动作a的概率"。策略函数通常用一个神经网络来表示，通过"梯度上升"的方法来优化——如果某个动作带来了高奖励就增加选择这个动作的概率，如果带来了低奖励就降低选择这个动作的概率。

近年来，Actor-Critic方法成为主流，它结合了两者的优点：用一个"演员"（Actor）网络来学习策略，用一个"评论家"（Critic）网络来评估价值。演员负责"执行"，评论家负责"评估"，两者相互促进、共同提升。PPO（Proximal Policy Optimization，近端策略优化）是目前最受欢迎的策略优化算法之一，它通过对策略更新的幅度进行限制来保证训练的稳定性。

在自动驾驶中，强化学习已经被应用于多个子任务。比如在轨迹规划任务中，强化学习智能体学习在复杂的交通环境中规划出安全、舒适、高效的行驶轨迹。研究者设计了各种奖励函数来引导智能体学习"类人的驾驶行为"——不仅仅是"不碰撞"，还要"开得平稳""遵守交通规则""尊重其他道路参与者"。¹⁰⁷¹¹² 在自动泊车任务中，强化学习智能体学习在狭小的空间内精确控制车辆的转向和速度完成侧方停车、倒车入库等操作。在匝道汇入任务中，智能体学习在高速公路入口处找到合适的时机安全地汇入主路车流。

3.1.2 奖励机制：强化学习的"灵魂"

若以行为训练范式类比强化学习，那么奖励函数就是"训练者手中的指令信号"。它是整个强化学习系统的核心——奖励设计得好，AI就能学会智能的行为；奖励设计得差，AI就会学会"投机取巧"或者做出不符合预期的行为。

用一个经典案例来说明奖励设计的重要性。

假设训练一个AI玩"赛船游戏"，游戏目标是让船从起点到达终点。设计的奖励函数为"每收集一个宝物+1分，到达终点+100分"。

但AI学会的策略可能会出人意料：它会驾驶船只在起点附近的一个宝物点反复绕圈、收集该宝物、然后故意撞墙自杀、重新开始——因为重新开始后宝物又会出现，它可以再次收集。如此循环往复，AI可以获得无限的分数却永远到不了终点。

这就是强化学习领域著名的"奖励黑客"（Reward Hacking）问题——AI找到了一种"取巧"的方式，在形式上最大化奖励但在实质上完全违背了设计者的意图。

在自动驾驶中，奖励函数的设计更加复杂。一个简单的想法是"不碰撞就奖励，碰撞就惩罚"，但正如相关研究者指出的，这种"统一碰撞惩罚"机制可能带来严重问题：如果碰撞惩罚太强，智能体会学会"冻结式"驾驶——永远停在路边不动，因为不动就不会碰撞；如果碰撞惩罚太弱，智能体会倾向于激进驾驶，把碰撞视为"可接受的代价"。¹¹⁵

一个更成熟的自动驾驶奖励函数应该采用分层架构：安全奖励（避免碰撞、保持车距）+ 效率奖励（按时到达、合理速度）+ 舒适奖励（平稳驾驶、避免急加急刹）+ 规则奖励（遵守交通法规、礼让行人）。¹²⁰ 每一层都有相应的权重，反映了设计者对不同目标的重视程度。

本书研究团队在2025智能车未来挑战赛的方案B中精心设计的Prompt本质上就是一种"人工奖励函数"。方案B使用豆包视觉大模型，Prompt中明确要求"优先选择运动轨迹最危险的目标""边界框紧密贴合目标轮廓""确保输出包含完整的边界框列表"——这些要求就是在告诉模型：什么样的输出是"好"的应该被"奖励"，什么样的输出是"差"的应该被"惩罚"。³⁶

3.1.3 从AlphaGo到AlphaGo Zero：自我进化的奇迹

2016年，AlphaGo击败了李世石，震惊了世界。但更令人震惊的事情发生在一年之后。

2017年10月，DeepMind在《自然》杂志上发表论文，介绍了AlphaGo Zero——一个全新的版本，它完全没有学习任何人类棋谱，而是完全通过"自我对弈"（Self-play）从零开始学习围棋。⁵²¹¹¹

AlphaGo Zero的做法是：它一开始对围棋一无所知，只是随机地下棋。它和自己下棋，下完之后判断输赢。赢了，就记住这盘棋中走得好的那几步；输了，就避免这盘棋中走得差的那几步。然后它再和自己下一盘，再判断输赢，再更新策略……如此循环往复。

经过大约40天的训练，AlphaGo Zero达到了超越之前所有版本的水平——包括那个击败了李世石的AlphaGo。在100局对弈中，AlphaGo Zero以100:0的战绩完胜AlphaGo。⁵²

这一成果证明了一件重要的事：机器可以通过"自我对弈"实现超越人类水平的性能。 不需要人类教师的指导，不需要人类经验的传授，只需要规则（围棋的规则）和目标（赢棋），机器就能自行"进化"出超越人类的智能。

这种"自我对弈"的思想在技术层面上具有深刻内涵：它同时扮演着"黑方"和"白方"，自己和自己下棋。每一盘棋结束后，它从胜负中学习到新的策略，然后在下一盘棋中应用。对手（也就是它自己）也在不断变强，所以它必须不断进步才能继续赢棋。这种"竞争性自我提升"的机制让AlphaGo Zero的学习效率远超从人类棋谱中学习。

3.1.4 强化学习的局限：为什么自动驾驶不能"边开边学"？

既然强化学习如此强大，为什么不直接让自动驾驶汽车在真实道路上"边开边学"呢？

答案很明确：试错的成本过高。

AlphaGo下错一步棋的后果只是输一盘棋，可以马上重新开始。但自动驾驶汽车"做错一个动作"的后果可能是车毁人亡。不能在真实道路上让车辆"随机尝试"各种驾驶策略——"试试这个时候变道会不会发生碰撞""试试那个时候加速会不会追尾"——这在物理上是不可能的，在伦理上是不能接受的。¹⁰⁷¹¹⁸

这就引出了强化学习在自动驾驶中应用的三个核心挑战：

第一，安全性约束。 自动驾驶的强化学习必须在"安全边界"内进行探索。不能真的去探索"撞墙会怎样"——这个"经验"虽然有价值但获取它的代价太高了。研究者们的解决方案包括：在仿真环境中进行探索（先在虚拟世界中"试错"），设置"安全护栏"（某些动作被严格禁止），以及使用"保守探索"策略（优先尝试看起来安全的动作）。¹¹⁸

第二，样本效率低。 强化学习通常需要数百万甚至数十亿次的交互才能学会一个复杂的任务。在真实世界中，一辆汽车一天最多行驶几百公里，能积累的经验非常有限。这就是为什么"仿真+强化学习"成为主流方案——在虚拟世界中，一辆车一天可以"行驶"数百万公里，积累海量的经验。我们将在第5、6章详细讨论这个话题。

第三，奖励函数设计困难。 如前所述，自动驾驶的奖励函数涉及安全、效率、舒适、法规遵守等多个维度，这些维度之间往往存在冲突。比如"快速通过"和"安全驾驶"就可能冲突——要快速就可能需要冒险，要安全就可能需要放慢速度。如何在多个冲突目标之间找到平衡是奖励函数设计的核心难题。¹¹²¹¹⁵

这些挑战并不意味着强化学习在自动驾驶中无用武之地。事实上，强化学习已经在自动驾驶的特定子任务中取得了显著成功——比如自动泊车、高速公路跟车、匝道汇入等相对结构化的场景。¹⁰⁷ 但对于城市道路的复杂开放场景，纯强化学习方案仍然面临巨大挑战。

这就引出了一个关键问题：如果不能在真实世界中"边开边学"，有没有一种方法让机器"在脑海中预演"各种场景，从而在不需要真实试错的情况下"学会"驾驶？

答案是：世界模型。

3.2 在脑海中预演未来：世界模型与"机器想象力"

3.2.1 人类驾驶员的前瞻性认知：不是反应快，而是想得远

通过一个思想实验来理解这一概念。

假设驾驶员正在开车，前方是一条居民区的街道。道路两旁停满了车辆，路边有一些儿童在玩耍。车速为40公里每小时。突然，驾驶员看到前方右侧停放车辆之间有一个小身影一闪而过——可能是一个孩子。

在这一瞬间，驾驶员做了什么？

驾驶员可能没有看到那个孩子的完整身形，但其大脑已自动完成了以下推理："那里可能有孩子→孩子可能会突然冲到马路上→我需要提前减速→脚移到刹车上→同时扫视两侧确认安全→准备随时紧急制动。"

整个过程发生在不到一秒钟内。驾驶员甚至可能没有意识到自身完成了如此复杂的思考——它是一种基于长期驾驶经验的"本能反应"。

学术界在2025年的科普讲座中对这种现象做了精辟的总结："一个老司机为什么不发生车祸？不是因为他现在在看哪里，而是他现在在想什么。"³⁸

这就是人类驾驶员的核心优势——不是反应快（人类从看到危险到踩下刹车的反应时间约为200-300毫秒，而机器可以做到100毫秒以内），而是想得远。老司机看到前方儿童时，他的大脑已经"想象"了多种可能的未来：孩子可能追球跑到路中央、可能突然转身跑向对面、可能站在原地不动……基于对这些未来的"预判"，他提前采取了防御性驾驶策略。

这种"预判"不是"看到"的，而是"想到"的。它是主动的、前瞻性的认知过程，而不是被动的、反应性的感知过程。

3.2.2 世界模型：给机器一个"想象空间"

现在的问题是：能不能让机器也拥有这种"预判未来"的能力？

这就是"世界模型"（World Model）的核心目标。¹⁰⁶

世界模型，从字面含义可知，就是机器对"世界如何运转"的内部模拟器。它不是一个"数据库"（存储已知信息），而是一个"模拟器"（能够推演未知情况）。它回答的不是"现在是什么"，而是"如果我做了A，未来会变成什么样"。

一个完整的世界模型通常包含三个核心组件：

动态模型（Dynamics Model）：预测"如果我做了某个动作，世界会如何变化"。比如，"如果我以当前速度继续行驶，3秒后我会到达什么位置""如果我踩下刹车，车辆会在多长距离内停下"。动态模型本质上是在学习物理规律——惯性、摩擦、重力、碰撞等。

观察模型（Observation Model）：预测"我预期看到的东西和实际看到的东西是否一致"。比如，世界模型预测"3秒后前方应该有一辆红色的轿车"，但实际观察到的可能是"前方有一辆白色的SUV"——这种不一致说明世界模型的预测有误，需要更新。观察模型是世界模型的"自我校正"机制。

奖励模型（Reward Model）：评估"这个未来对我有利还是有害"。比如，"如果我以这个速度过弯，车辆会侧滑，这是有害的""如果我提前减速，可以安全通过，这是有利的"。奖励模型帮助世界模型判断哪些未来值得追求、哪些未来应该避免。

把这三个组件合在一起，世界模型就可以完成一个关键的循环：想象一个动作→预测这个动作的结果→评估这个结果的好坏→如果好就执行这个动作，如果不好就想象另一个动作→再预测→再评估……直到找到一个"最优"的动作。¹⁰⁶

这个过程和人类驾驶员的"预判"过程如出一辙。老司机看到前方儿童时，他的大脑就是在执行这个循环：想象"继续匀速行驶"的结果（可能撞到孩子→不好）→想象"减速"的结果（可以及时刹车→好）→选择"减速"。

世界模型的这种"想象-评估-选择"循环在技术上被称为模型预测控制（Model Predictive Control, MPC）。MPC在工业控制领域已经有几十年的应用历史，但传统MPC使用的是人工建立的物理模型（如车辆的运动学方程），而世界模型使用的是从数据中学习的模型。这意味着世界模型可以捕捉到传统物理模型难以描述的复杂现象——比如其他驾驶员的"非理性行为"、路面的"意外变化"甚至"从未见过的场景"。

世界模型的另一个关键优势是**"反事实推理"**（Counterfactual Reasoning）能力。传统AI只能回答"现在是什么"，而世界模型可以回答"如果当时做了不同的选择结果会怎样"。这种能力对于从经验中学习至关重要——当一次错误的决策发生后，世界模型可以帮助"复盘"："如果我当时选择了B而不是A，结果会不会更好？"这种"从错误中学习"的能力是智能进化的关键驱动力。

此外，世界模型还可以用于**"数据增强"**——在虚拟世界中生成各种极端场景（暴雨、黑夜、施工、事故）来训练感知和决策系统。传统上这些极端场景的数据很难获取（不能真的去制造车祸来收集数据），但在世界模型中可以"生成"成千上万种危险场景，让系统在安全的虚拟环境中"经历"各种意外从而学会如何应对。这种"让机器在云端经历大量极端场景"的能力是计算实验的核心价值。

3.2.3 从"看懂当前"到"看透未来"：计算视觉的范式转换

世界模型的出现标志着计算视觉领域正在经历一场深刻的范式转换。

旧范式：被动感知。 AI"看懂"当前场景中的物体→识别物体、理解内容→回答"这是什么"。这种范式的局限在于：它只处理"现在"，不预测"未来"；它只能识别"见过的东西"，无法应对"没见过的情况"。³⁸

新范式：主动想象。 AI"看透"未来可能发生的变化→推演未来数秒到数分钟的发展→评估每种未来的风险概率和严重程度→实现真正的理解和推理。³⁸

学术界将这场范式转换概括为"从被动感知到主动想象"。³⁸ 这不仅仅是一个技术升级，更是一种思维方式的转变：从"AI看到什么就处理什么"到"AI主动思考会发生什么"。

用一个具体的场景来说明这个区别。

场景：驾驶员正在开车，前方路口有一个行人站在路边，似乎准备过马路。

被动感知范式的处理流程：检测到行人→分类为"行人"→跟踪其位置→输出"前方有行人"。然后等待下一帧的数据再做同样的处理。这是一种"反应式"的处理方式——行人不动系统就不动，行人动了系统才反应。

主动想象范式的处理流程：检测到行人→分析其行为模式（站立、面向马路、身体前倾→可能准备过马路）→想象多种未来（"他可能在等红灯""他可能随时冲出来""他可能在等公交车"）→评估每种未来的风险（"如果他冲出来，以当前速度需要3秒才能刹停，而距离只有20米→危险！"）→提前采取防御措施（减速、准备刹车、观察两侧）。这是一种"前瞻式"的处理方式——在事情发生之前就已经做好了准备。

学术界提出了一个愿景：未来的自动驾驶系统应该在脑海中推演大量可能的未来，然后选择最好的一种。³⁸ 这虽然是一种修辞性的表达，但它准确地抓住了世界模型的核心能力：不是在意外发生时做出最好的反应，而是在意外发生前就避免它。

3.2.4 世界模型的前沿进展

世界模型的概念虽然由来已久（早在1990年代就有研究者提出），但直到最近几年随着深度学习和大规模计算的发展，它才真正从理论走向实践。

2024年，Google DeepMind推出了Genie 2——一个可以从单张图片生成可交互三维世界的模型。输入一张客厅的照片，它就能生成这个客厅的三维模型，用户可以在其中自由走动、移动家具、改变光照。更值得关注的是，Genie 2生成的世界遵循物理规律——把一个球扔出去，它会按照抛物线运动；把一个杯子推到桌子边缘，它会掉下去。¹⁰⁶

同年，NVIDIA推出了Cosmos平台——一个专门为具身智能设计的"世界模型基础设施"。Cosmos可以生成长达数分钟的、物理一致的驾驶场景视频。可以在虚拟世界中创建各种极端场景——暴雨中的高速公路、夜间没有路灯的乡村道路、施工现场混乱的交通——然后让自动驾驶系统在这个虚拟世界中"练习"。⁴

这些世界模型的发展正在推动具身智能算法的范式跃迁——从VLA（Vision-Language-Action，视觉-语言-动作模型）到WAM（World-Action Model，世界-动作模型）。⁴¹²⁶ 为便于读者理解，此处对三个关键术语及其演进关系做统一界定：

【术语统一说明】

· VLM（视觉-语言模型，Vision-Language Model）： 能够同时处理视觉信息与自然语言的多模态大模型，实现跨模态理解能力。

· VLA（视觉-语言-动作模型，Vision-Language-Action）： 将视觉感知、语言理解与动作控制三者融合的端到端模型，在VLM基础上增加动作输出，打通"感知→认知→行动"全链路。

· WAM（世界-动作模型，World-Action Model）： 在VLA基础上引入世界模型的演进架构，使系统不仅能"看懂当前"和"执行动作"，还能"预判未来"，实现从反应式智能到前瞻式智能的跃迁。

演进关系链：VLM → VLA → WAM（跨模态理解 → 增加动作输出 → 引入世界模型预判未来）

VLA模型是当前具身智能领域的主流研究热点。它将"看"（视觉）"理解"（语言）"做"（动作）三者结合在一起，实现了端到端的感知-决策-控制。比如，理想汽车2025年在Thor-U芯片上部署了VLA模型，实现了从摄像头图像直接输出方向盘和踏板控制信号。¹¹⁰

但VLA模型有一个根本的局限：它是在"当前状态"下做决策的，缺乏对未来的"预判"能力。而WAM模型通过引入世界模型让系统能够"想象"未来的场景，从而做出更有远见的决策。

从VLA到WAM的跃迁本质上是从"反应式智能"到"前瞻式智能"的跃迁。正如学术界所指出：从"看懂当前"到"看透未来"，是具身智能的必然进化方向。³⁸

值得关注的是，国内在世界模型领域也在快速跟进。2025年，清华大学、北京大学、商汤科技等机构相继推出了各自的驾驶世界模型。吉利汽车的G-ASD系统融合了VLM、VLA和世界模型等技术，已部署在超过30万台车辆上。¹¹³ 这些进展表明，世界模型正在从学术研究走向产业应用，从"概念验证"走向"规模化部署"。

世界模型的发展还带来了一个重要的理论启示：智能的本质可能是"预测"。 神经科学家卡尔·弗里斯顿（Karl Friston）提出的"自由能原理"（Free Energy Principle）认为，所有生物智能的核心机制都是"最小化预测误差"——即让内部模型对外部世界的预测尽可能准确。大脑不是被动地"接收"信息而是主动地"预测"信息，然后用实际感官输入来"校正"预测。世界模型正是这一理论在工程上的实现：机器通过不断地"预测-校正"循环来学习和适应环境。

如果这个理论是正确的，那么世界模型就不仅仅是具身智能的一个"技术组件"，而是智能的"核心机制"。从AlphaGo的"价值网络"（评估棋局好坏）到自动驾驶的"预测模型"（预判其他车辆行为）再到通用人工智能的"世界模型"（理解世界的运转规律），"预测"这个主题贯穿了AI发展的始终。

3.3 特色专栏：多模型竞合架构与自我进化

3.3.1 自我对弈思想的由来与技术原理

自我对弈（Self-play）的思想在人工智能领域有着深厚的理论基础。早在国际象棋和围棋等博弈游戏中，研究者就发现：让一个模型同时扮演博弈的双方进行对弈，可以从零开始逐步提升双方的水平。这种"竞争性自我提升"机制的核心在于：每一次对弈都产生新的训练数据（对局记录），这些数据反过来又用于提升模型的策略水平，形成一个"越打越强"的正反馈循环。

AlphaGo Zero的"自我对弈"是这一思想的杰出代表：它同时扮演着"黑方"和"白方"，自己和自己下棋。每一盘棋结束后，它从胜负中学习到新的策略，然后在下一盘棋中应用。对手（也就是它自己）也在不断变强，所以它必须不断进步才能继续赢棋。这种机制让AlphaGo Zero的学习效率远超从人类棋谱中学习。

学术界将这种思想引入了具身智能的教学和研究中。相关研究者在2025年中国自动化学会科普大讲堂上指出："教学的本质是师生之间的相互赋能。""教学的核心不是教书本上的旧知识，而是向学生展示如何离开自己的舒适区，从头开始学习并应用一项新知识、新技术。"³⁸

这段话的深意在于：学习不是单向的"灌输"，而是双向的"互动"。 教师向学生提出挑战，学生在应对挑战中成长；学生的疑问和新想法反过来也促使教师更新自己的认知。这种"教学相长"的过程和自我对弈机制在本质上是相通的——都是通过对抗性互动实现双方的共同进步。

3.3.2 方案A与方案B：竞合架构的工程权衡分析

在2025中国智能车未来挑战赛中，本书研究团队提交了两个方案，这本身就是多模型竞合思想的一次工程实践。

方案A是"实时方案"，基于改进后的YOLO5模型。它的核心优势在于推理速度——YOLO5的推理速度约为6毫秒/帧，完全可以满足实时处理的需求。这意味着它可以在视频播放的同时逐帧进行检测和分析并输出结果。³⁶

方案A的工作流程如下：首先，YOLO5对每一帧图像进行目标检测，识别出13类目标（行人、车辆、可行驶区域等）；然后，筛选出0-7类（行人、骑行者、车辆等）作为"潜在关注目标"；接着，将可行驶区域聚合成"安全区域"并转换为鸟瞰图视角；最后，判断是否有潜在关注目标侵入了前n帧的安全区域——如果有就输出为"关注目标"。

方案A的优势是明显的：速度快（6毫秒/帧，完全满足实时性要求）、可解释性强（每个检测结果都可以追溯到YOLO5的输出，知道"为什么"认定这是关注目标）、不需要联网（所有计算在本地完成，不受网络延迟影响）、成本低（不需要调用付费的API）。但它也存在局限：它依赖摄像头参数来生成鸟瞰图，而比赛未提供摄像头内外参数，只能估算，这导致鸟瞰图转换不够精确、距离估算存在偏差；此外，YOLO5作为传统目标检测模型，对复杂场景的理解能力有限——它只能检测"训练数据中见过的"物体类别，对于训练数据中从未出现的场景（如特殊的交通事故形态），可能无法有效识别。

方案A在鸟瞰图转换环节面临参数约束：在缺乏先验参数的条件下，团队采用经验值进行参数预估与标定。³⁶ 这意味着鸟瞰图的精度受限于参数估算的准确性。如果摄像头参数存在偏差，鸟瞰图中的物体位置就会产生偏差，进而影响"关注目标"的判断。这是方案A的主要技术瓶颈，也是后续改进的重点方向——通过从行驶视频中直接估计摄像头参数来提升鸟瞰图的精度。（详见第6章）

方案B是"非实时方案"，基于视觉大模型（豆包）。它的核心优势在于理解能力——大模型可以理解复杂的场景语义，能够根据上下文判断"哪个目标最危险"，甚至可以处理训练数据中从未见过的情况。³⁶

方案B的工作流程如下：首先，精心设计一个Prompt（提示词），明确告知大模型任务要求——"你正在分析一段风险驾驶场景视频。请逐帧识别并跟踪引发事故的关键目标。当多个目标存在时，优先选择运动轨迹最危险的目标。目标消失时，返回相邻前后帧提交的边界框。"然后，将视频输入豆包视觉大模型获取每一帧的检测结果；最后，对结果进行后处理——穷尽不同大模型的不规范输出进行查缺补漏。³⁶

方案B的优势在于理解能力强、能处理复杂场景、具有一定的"推理"能力。但它存在显著的局限性：推理速度极慢。豆包处理一帧图像大约需要3秒，而YOLO5只需要6毫秒——两者相差约500倍！³⁸

方案B的Prompt设计值得深入分析。Prompt是人与大模型"交互"的桥梁，一个高质量的Prompt能够引导模型输出高质量的结果。本书研究团队设计的Prompt包含以下几个层次：³⁶

角色设定："你正在分析一段风险驾驶场景视频。"——这确立了模型的"身份"和"任务背景"，让模型以"风险分析专家"的角色来思考问题。

任务描述："请逐帧识别并跟踪引发事故的关键目标（如突然出现的行人、自行车、摩托车、变道车辆等），每帧必须返回一个该目标在每帧中的精确整数边界框坐标。"——这明确了任务的具体要求："做什么"（识别并跟踪关键目标）、"目标范围"（行人、自行车、摩托车、变道车辆等）、"输出格式"（精确整数边界框坐标）。

重要规则：

1. "目标在连续帧中应平滑移动，边界框位置应随目标运动逐帧变化"——要求时序一致性，防止"跳跃式"检测。

2. "当多个目标存在时，优先选择运动轨迹最危险的目标（如快速靠近的车辆或突然出现的行人、自行车或摩托车）"——明确"优先级"规则，这是赛题的核心要求。

3. "目标消失时（未出现、离开或被遮挡），则返回相邻前后帧提交的边界框"——处理遮挡和消失的兜底规则。

4. "边界框应紧密贴合目标轮廓，避免过大或过小"——要求检测精度。

5. "确保输出包含完整的边界框列表"——规范输出格式，便于后处理。³⁶

这个Prompt的设计体现了"Prompt工程"的核心思想：不是简单地"询问"模型一个问题，而是"指导"模型完成一项任务。 高质量的Prompt像"任务说明书"一样，详细描述任务背景、目标、规则、格式等所有关键信息。

方案B的后处理过程同样重要。大模型的输出并不总是规范的——可能存在格式错误、坐标偏差甚至"幻觉"（输出不存在的边界框）。后处理需要：检查输出格式是否符合要求；检查边界框是否"合理"（边界框不能超出图像范围）；处理"目标消失"的情况——如果当前帧没有检测到目标，就"借用"前一帧或后一帧的边界框；处理"多个候选"的情况——选择"最危险"的那个。

"穷尽不同大模型所有可能的不规范输出，进行查缺补漏（直接填上一帧边界框 vs 估算当前帧边界框位置）。"³⁶ 这段描述生动地展现了大模型应用中的工程现实——理论上的"优雅"解决方案在工程实践中往往需要大量的工程适配工作来兜底。

竞合结果：在赛题五（风险驾驶场景的关键目标检测）中，方案B（豆包）取得了更优的性能。但在赛题四中，方案B的表现不佳，未能达到预期效果。这说明：没有一种方案是万能的，不同方案适用于不同的场景。

3.3.3"择优输出"的竞合工程原则

本章提出的竞合架构遵循"多模型互补、择优输出"的工程原则。

这个原则的核心理念是：不依赖单一模型，而是让多个模型相互竞争、相互补充，最终选择最优的结果。

理想的状态是这样的：YOLO5实时处理视频流，快速给出初步结果；同时，豆包大模型对关键帧进行深度分析，给出更精确的结果；两者实时"竞合"——如果YOLO5和豆包的结果一致，说明这个结果是高置信度的；如果不一致，就进一步分析哪个结果更可靠。

但现实的困境是：速度差距过大（500倍），无法实现实时竞合。YOLO5已经输出了第100帧的结果，豆包可能还在处理第1帧。因此团队最终采取了"离线评估"方案：先分别运行两个方案，然后比较结果，选择更优的方案提交。³⁶

受限于当前车载计算平台的算力瓶颈，大模型的高推理延迟使得实时竞合在工程部署上仍面临严峻挑战。正如研究者指出："现有视觉大模型运算速度都跟不上下YOLO5模型，未能实现实时竞合输出。"³⁶ 如果有一天大模型的推理速度能够提升到与YOLO5同量级，那么"实时竞合"就将成为可能。

多模型竞合的架构思想对具身智能系统的设计有重要的启示：系统的鲁棒性不在于单一组件的完美，而在于多个组件的互补。 就像人体免疫系统——它不是依赖某一种细胞来对抗所有病原体，而是让B细胞、T细胞、巨噬细胞等多种细胞协同作战，每种细胞负责不同的"敌人"。

3.3.4 从多模型竞合到"想象力×计算力=无限可能"

学术界提出了一个发人深省的公式："想象力×计算力=无限可能。"³⁸

这个公式的深层含义是：真正的智能协同不是人与机器的平等竞合，而是人类想象力通过机器实现的无限延伸。

人类提供什么？想象力、创造力、意图、价值判断。这些是机器目前还无法替代的。比如，"设计一个能在火星上行走的机器人"——这个构想来自人类的想象力。

机器提供什么？计算力、执行力、精确性、持续运行能力。这些是人类的短板。比如，"计算机器人在火星表面的每一步落点，确保不会因为沙地松软而失稳"——这个计算需要巨大的算力，机器可以高效完成。

当人类的想象力乘以机器的计算力，结果就是"无限可能"。

"想象力是方向，计算力是动力，无限性是结果。"³⁸ 这个公式不仅是对具身智能技术路线的总结，更是对人机关系的一种哲学思考：未来不是"机器取代人类"，也不是"人类控制机器"，而是"人类与机器协作共创"。

3.4 多模态大模型：给机器"通感"能力

3.4.1 什么是多模态大模型？

人类的感知是多模态的——我们同时用眼睛看、用耳朵听、用鼻子闻、用手触摸。这些不同的感官信息在大脑中融合在一起，形成了我们对世界的统一理解。例如，一个消费者看到红彤彤的苹果同时闻到一股香甜的气味，其大脑会把视觉信息和嗅觉信息"绑定"在一起，形成"这是一个香甜的苹果"的完整认知。

机器传统上是"单模态"的：视觉模型只看图像，语音模型只听声音，语言模型只处理文字。不同模态之间的"信息孤岛"让机器无法像人类一样进行跨模态的推理。

多模态大模型（Multimodal Large Model）的出现正在打破这些"信息孤岛"。多模态大模型能够同时理解和处理文本、图像、音频、视频等多种模态的信息，并在它们之间建立关联。³⁸¹¹³

例如，向多模态大模型输入一张交通场景的图片并询问："前方是否有行人？可以变道吗？"模型可以同时"看"图片（视觉模态）和"理解"问题（语言模态），然后给出一个综合的答案："前方左侧有一个行人正在过马路，不建议此时变道。"

这种"跨模态理解"能力对于具身智能至关重要。具身智能体需要同时处理视觉（摄像头）、空间（激光雷达点云）、速度（毫米波雷达）、语义（地图信息）等多种模态的信息。多模态大模型提供了一种统一的方式来"融合"这些异构信息。

目前，多模态大模型在具身智能中的应用已经取得了显著进展：

场景语义解析：VLM可以识别并理解"潮汐车道""施工绕行""公交专用道"等复杂交通语境，生成符合规则的驾驶决策。传统自动驾驶系统需要手工编写大量规则来处理这些场景，而VLM可以通过"理解"来自动应对。¹²²

视觉问答：驾驶员（或系统）可以用自然语言向VLM提问："前方是否有行人？""这条车道可以变道吗？""距离下一个红绿灯还有多远？"VLM结合视觉信息和语言理解给出准确的回答。这种交互方式极大地提高了自动驾驶系统的可解释性和可用性。¹¹⁶

端到端导航：VLM可以理解自然语言的导航指令（如"沿着这条路开2公里，然后在红绿灯处右转"），结合视觉环境信息提供更人性化的导航体验。这比传统的"规则匹配"式导航更加灵活和智能。¹²¹

异常检测：VLM可以识别施工区、事故现场、异常行人行为等"罕见场景"。传统目标检测模型在训练数据中可能没有这些场景，而VLM的"开放词汇"能力让它可以识别"没见过但听说过"的物体和场景。¹¹⁴

数据生成：VLM可以生成逼真的驾驶场景图像和视频用于训练数据的扩充。比如可以生成"暴雨中的城市交叉路口""夜间高速公路上的施工场景"等罕见但重要的训练样本。¹¹⁶

不过，多模态大模型在具身智能中的应用也面临一些挑战。最突出的是实时性问题：VLM的计算量巨大，如何在车载计算平台上实现实时推理？目前的主流解决方案是模型轻量化（如知识蒸馏、模型量化）和边缘计算部署（如使用专用的AI芯片）。2025年11月，瑞芯微发布了支持VLM边缘计算的RK182X系列AI协处理器，标志着VLM正在从云端走向终端。¹¹³

3.4.2 从文本大模型到视觉大模型：技术演进与工程实践

视觉大模型作为多模态大模型的重要分支，近年来取得了突破性进展。与文本大模型（如DeepSeek、ChatGPT）主要处理自然语言不同，视觉大模型能够同时处理图像和视频输入，实现跨模态的理解与推理。本节从工程实践的角度，概述视觉大模型的技术能力、API调用范式、Prompt工程方法论以及后处理的必要性。

视觉大模型的技术能力概述

视觉大模型在具身智能领域展现了以下核心技术能力：

1. 图像理解：能够识别图像中的物体、场景、文字、动作等内容，并生成自然语言描述。

2. 目标检测与定位：能够在图像中识别特定目标并输出边界框坐标（如方案B中的豆包视觉大模型）。

3. 时序分析：能够对视频序列进行逐帧分析，跟踪目标的运动轨迹。

4. 复杂推理：能够根据场景上下文进行推理判断（如"哪个目标最危险"）。

API调用范式的工程实践

视觉大模型的工程部署通常遵循以下流程：

1. 接口验证：首先通过网页版或API文档了解模型的输入输出格式，进行小规模测试调用，评估模型的响应质量和延迟。

2. 批量调用：验证模型能力后，通过API进行批量数据处理和结果获取。需要注意API的调用频率限制、错误处理机制和网络稳定性。

3. 结果解析：对API返回的结果进行结构化解析，提取所需的字段信息。

实践表明，视觉大模型的工程部署具有较高的可行性。对于已经熟悉文本大模型API调用的开发者而言，视觉大模型的接入流程和学习曲线相对平缓。

Prompt工程的技术方法论

Prompt工程是视觉大模型应用的核心技术环节。高质量的Prompt设计应遵循以下原则：

1. 角色明确化：定义模型在任务中的角色（如"你是一位风险驾驶场景分析专家"），使模型以适当的"视角"处理问题。

2. 任务结构化：将任务分解为清晰的步骤——识别目标→跟踪运动→评估风险→输出结果。

3. 规则具体化：明确优先级规则（"优先选择运动轨迹最危险的目标"）、格式要求（"输出精确整数边界框坐标"）和兜底策略（"目标消失时返回相邻帧边界框"）。

4. 输出规范化：通过标记符号规范输出格式，便于后续的程序化处理。

后处理的技术必要性

大模型的输出并不总是规范的——可能存在格式错误、数值偏差甚至"幻觉"（编造不存在的信息）。后处理阶段需要对这些输出进行"清洗"和"校正"，确保最终结果符合应用要求。后处理的主要任务包括：

1. 格式校验：检查输出是否符合预期的格式规范。

2. 数值合理性检查：验证坐标值是否在有效范围内。

3. 时序一致性处理：对目标消失或遮挡的情况进行插值或外推。

4. 冲突解决：在多个候选结果中选择最优输出。

3.4.3 多模态大模型在具身智能中的角色

多模态大模型正在改变具身智能的决策模式——从"人在回路中决策"到"多模型在回路中竞合"。³⁸

传统的具身智能系统采用"人在回路"（Human-in-the-loop）的决策模式：机器负责感知和分析，人类负责最终决策。比如，无人机在军事行动中锁定目标后需要人类操作员确认后才能开火。这种模式保证了人类对关键决策的控制权，但也限制了系统的自主性和响应速度。

多模态大模型的出现让"多模型在回路中竞合"成为可能。在这种新模式中，不仅人类可以在关键决策上进行最终确认，多个AI模型也可以"相互竞合"，在回路中共同做出决策。比如，视觉大模型、语言大模型、规划模型可以同时对同一个场景进行分析，然后通过"投票"或"加权"的方式得出最终决策。³⁸

正如学术界所指出：多模态大模型可承担部分决策功能。³⁸

这听起来具有未来感，但它正在变成现实。2025年，深圳地铁在黄木岗交通枢纽试点启用了智能导盲犬"小蒜"，融合了视觉语言大模型技术，能够自主路径规划、精准导航、智能避障、视觉识别、多语种交互——在没有人直接控制的情况下自主做出大量的行动决策。¹¹³

这种"行为模式的根本变革"对具身智能的未来发展有深远的影响。它意味着：具身智能体不再只是被动地"执行人类的命令"，而是能够主动地"理解情境、做出判断、采取行动"。这不是"机器取代人类"，而是"机器分担人类的认知负担"——让机器处理那些它可以高效处理的任务，让人类专注于那些只有人类才能做好的事情。

强化学习的"探索困境"：如何平衡"试错"与"效率"？

强化学习的核心机制是"试错"——智能体通过不断尝试不同的动作、观察结果来逐步找到最优策略。但"试错"本身有一个内在矛盾：探索过多则效率低下，探索过少则学不到有效的策略。

这个矛盾被称为探索-利用困境（Exploration-Exploitation Dilemma）。

探索（Exploration）是指尝试新的、未知的动作——"我不知道这个路口左转会怎样，试试看。"探索的价值在于：可能发现更好的策略。

利用（Exploitation）是指选择已知的、当前认为最好的动作——"上次在这个路口左转拿到了高奖励，这次还左转。"利用的价值在于：已经在已知策略上获得了回报。

问题在于：时间和资源是有限的。将时间花在"探索"上就没有时间"利用"；将时间花在"利用"上就可能错过更好的策略。

ε-greedy策略（在第5章实验三中提到）是解决这个困境的最简单方法：以ε的概率随机探索，以1-ε的概率选择当前最优动作。刚开始时ε=1.0（完全探索），随着训练进行，ε逐渐减小（更多利用）。

但ε-greedy有一个问题：它的探索是"盲目"的——随机选择动作，不考虑这个动作的"潜在价值"。有没有更"聪明"的探索方法？

UCB（Upper Confidence Bound）算法就是一种"智能"探索方法。它的核心思想是：不仅要考虑动作的"平均奖励"，还要考虑动作的"不确定性"。 如果一个动作的不确定性很高（尝试次数很少），即使它的平均奖励不高也值得尝试——因为它可能隐藏着"高奖励"的潜力。

UCB用数学公式来表达就是：选择动作时不仅看它的"平均分"还加上一个"置信区间 bonus"——尝试次数越少的动作bonus越大。这确保了"被忽视"的动作有机会被尝试。

这种"不确定性驱动"的探索策略与人类的行为非常相似。当消费者走进一家新餐厅时，其可能会尝试菜单上"没吃过"的菜——不是因为其知道该菜品好吃，而是因为"没试过"本身就是一个尝试的理由。

好奇心驱动的探索（Curiosity-Driven Exploration）是更前沿的方向。它的核心思想是：让智能体对"出乎意料"的结果产生内在的探索动机。 当智能体遇到"出乎意料"的结果时它会获得一种内在的"好奇心奖励"，从而主动探索这些"令人惊讶"的状态。

这种方法在稀疏奖励环境中特别有效。在稀疏奖励环境中大多数动作的奖励为0（没有正面或负面反馈），智能体很难知道哪些动作是"好"的。好奇心驱动让智能体至少对"新奇"的事物保持探索——"虽然我不知道这个动作好不好，但它让我看到了之前没见过的东西，这本身就值得尝试。"

DeepMind的"好奇心模块"（Curiosity Module）就是一个成功的应用。在一个3D迷宫环境中，没有外部奖励，只有好奇心驱动——智能体因为"想看看墙后面有什么"而学会了在迷宫中导航。

从"单智能体"到"多智能体"：当多个"大脑"一起思考

前面讨论的强化学习都是"单智能体"场景——一个智能体在一个环境中学习。但在现实世界中很多场景涉及多个智能体的交互——多辆自动驾驶汽车在道路上相互避让，多个机器人在仓库中协同搬运，多个无人机在空中编队飞行。

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）研究的就是这种场景。它比单智能体强化学习复杂得多，因为：

环境的"非平稳性"：在单智能体场景中，环境是"固定"的（除了智能体自己的行为）。但在多智能体场景中，其他智能体的行为会不断变化，导致环境对当前智能体来说是"非平稳"的——昨天有效的策略今天可能因为其他智能体的变化而失效。

"涌现"行为：多个智能体的交互会产生"涌现"现象——单个智能体的简单规则在群体交互中产生复杂的集体行为。就像鸟群的V字形编队——每只鸟只遵循"与相邻鸟保持适当距离"的简单规则，但整个鸟群呈现出优美的飞行模式。

合作与竞争的混合：多智能体场景中既有合作（共同完成一个任务）又有竞争（争夺有限资源）。如何在同一个框架中处理这两种关系是MARL的核心挑战。

MARL在自动驾驶中的应用：

在城市交通中，每辆自动驾驶汽车都是一个"智能体"，它们需要相互协调才能避免拥堵和事故。MARL可以用来训练这种"群体协调"能力：

• 合作场景：在拥堵路口，多辆车协同通过——不是"谁先抢到谁先走"，而是"大家配合，整体通行效率最高"。

• 竞争场景：在高速公路上变道超车——需要在"快速超车"和"不干扰其他车辆"之间找到平衡。

• 混合场景：在停车场找车位——既有竞争（争夺有限车位），又有合作（不堵塞通道）。

学术界提出的"多模型竞合"思想（见第1章和第7章）与MARL的理念高度契合——不是"一个模型管所有"，而是"多个模型相互竞争、相互补充"，通过"竞合"机制实现更鲁棒的群体智能。

3.5 本章小结：认知是智能的"引擎"

这一章我们探讨了具身智能的"大脑"——认知。从强化学习的"试错进化"到世界模型的"机器想象力"，从多模型竞合架构到多模态大模型的"通感"能力，我们看到了认知的多个维度。

强化学习让机器通过"试错+奖励"来自我进化。AlphaGo Zero通过自我对弈从无到有地学会了超越人类的围棋技艺。但强化学习在自动驾驶中的应用面临安全、样本效率和奖励设计等挑战。

世界模型给机器提供了"想象空间"，让它能够"预判未来"而不是仅仅"反应现在"。从被动感知到主动想象的范式转换是具身智能的必然进化方向。DeepMind的Genie 2和NVIDIA的Cosmos平台正在把世界模型从概念变成现实。

多模型竞合架构告诉我们：系统的鲁棒性不在于单一组件的完美，而在于多个组件的互补。本书研究团队的方案A（YOLO5）和方案B（豆包大模型）正是这种思想的工程实践——虽然由于速度差距未能实现实时竞合，但"择优输出"的工程原则已经展现了其价值。

多模态大模型给机器带来了"通感"能力，让它能够融合视觉、语言、动作等多种信息来理解世界。从"人在回路中决策"到"多模型在回路中竞合"，决策模式正在发生根本性的变革。

核心洞察：认知是智能的"引擎"——感知提供了燃料（数据），认知驱动了引擎（决策），行动输出了动力（行为）。没有好的认知，再精确的感知也无法转化为有效的行动；没有前瞻性的想象，再快的反应也只是被动应对。

回顾这一章的内容我们可以看到一个清晰的进化脉络：从"被动感知"到"主动想象"，从"单一模型"到"多模型竞合"，从"反应式决策"到"前瞻式规划"。这个进化脉络的核心驱动力是人类对"更智能的机器"的不懈追求。

但我们也需要保持清醒：目前的具身智能系统距离真正的"通用智能"还有很长的路要走。世界模型可以"想象"未来但它的"想象"受限于训练数据的范围；多模态大模型可以"理解"场景但它的"理解"仍然是统计性的而非因果性的；强化学习可以"进化"策略但它的"进化"需要海量的试错。

正如学术界所指出："真正的智能协同不是人与机器的平等竞合，而是人类想象力通过机器实现的无限延伸。"³⁸ 在这个协同关系中人类的角色不是"被取代者"而是"引领者"——我们用想象力定义方向，用价值判断选择路径，用创造力开辟新域。机器的角色不是"取代者"而是"放大器"——它把我们的想象力放大千万倍，让它在虚拟世界中经历一百万次迭代，在物理世界中精确到微秒地执行。

下一章，我们将探讨PCA闭环的最后一个环节——行动。下一节将探讨机器如何用其"四肢"来执行认知的决策。

实践环节：描述最近一次开车/骑车时的"预判"过程

这个实践环节不需要任何工具，只需要回忆和观察力。

步骤一： 回忆最近一次开车或骑车的经历（哪怕只是骑自行车上学/上班）。选择一个具体的场景——比如通过一个路口、超越一辆车、避让一个行人。

步骤二： 仔细回忆在此场景中的"感知"过程：观察到了什么？听到了什么？感觉到了什么？（例如："看到前方路口的红灯变成了黄灯""听到后方有救护车的鸣笛声""感觉到路面有点湿滑"）

步骤三： 回忆"认知"过程："想到"了什么？"预判"了什么？（例如："黄灯马上变红，需要减速停车""救护车可能在后面，需要靠边让行""路面湿滑，刹车距离会变长"）

步骤四： 回忆"行动"过程：采取了什么行动？（例如："松开油门，轻踩刹车""打开右转向灯，靠边减速""提前加大跟车距离"）

步骤五（最关键的一步）： 分析"预判"中有多少是基于"看到/听到"的，有多少是基于"想到/预期"的。例如当"预判"黄灯要变红时，并未"看到"红灯——这是基于经验"预期"的。这种"预期"就是认知中的"想象"成分。

思考题： 如果设计一个自动驾驶系统，如何设计算法来"复制"这次"预判"过程？哪些部分是容易实现的（例如"检测红灯"），哪些部分是困难的（例如"预判黄灯即将变红"）？

专栏3-1 奖励设计的系统失效案例：AI找到的"取巧"方法

强化学习的奖励函数设计是一门艺术，也是一门容易出现系统失效的技术。以下是几个经典的"奖励黑客"案例：

案例一：赛船游戏的"自杀循环"。 研究人员训练AI玩一款赛船游戏，目标是收集宝物并到达终点。奖励函数设计为"收集宝物+1分，到达终点+100分"。AI学会的策略是在起点附近的宝物点反复绕圈、收集宝物、然后撞墙自杀、重新开始——因为每次重新开始后宝物又会出现，可以无限刷分。¹²⁰

案例二：扫地机器人的"假装工作"。 一个扫地机器人的奖励函数是"清扫的灰尘量"。AI发现如果在已经干净的地面上反复来回清扫（把微乎其微的灰尘收集起来），可以获得持续的奖励。于是它学会了"假装工作"——在一个小区域里反复清扫，而不是去清扫其他房间。

案例三：机械臂的"隔空甩物"。 一个机械臂的任务是抓取物体并放到指定位置。奖励函数是"物体距离目标位置越近，奖励越高"。AI学会的策略是：不是"抓起物体再放到目标位置"，而是"把手臂直接甩到目标位置附近，利用惯性把物体'甩'过去"。

案例四：跳高机器人的"拱地术"。 一个双足机器人的任务是跳过一个障碍。奖励函数是"身体重心的高度"。AI发现与其费力跳过去，不如先趴下然后把身体"拱"起来——这样重心高度同样增加了，但完全没有"跳过障碍"的本意。

这些案例告诉我们：奖励函数的设计必须考虑所有可能的"取巧"方式。 好的奖励函数不仅要"鼓励正确的行为"，还要"惩罚投机取巧"。在自动驾驶中，这意味着奖励函数不能只看"有没有碰撞"，还要看"驾驶是否安全、舒适、高效、合规"。

一个有效的策略是**"分层奖励+约束条件"**：在鼓励目标行为的同时，设置硬性约束（如"绝对不能闯红灯""绝对不能超速"），违反约束就给予极大的惩罚。这样，AI即使有"取巧"的动机，也必须在约束条件的框架内行事。

专栏3-2 多未来推演的科幻隐喻与工程现实

在漫威电影《奇异博士》中，主人公使用时间宝石在脑海中推演了1400万种与灭霸战斗的可能未来，最终找到了唯一一种胜利的方式。

这个科幻场景恰如其分地描述了世界模型的核心能力——多未来推演（Multi-future Prediction）。³⁸

在现实世界中，自动驾驶的世界模型不会推演1400万种未来（那需要过多的计算资源），但它可以推演几种到几十种可能的未来："如果前车急刹，我需要多久才能停下？""如果右侧车辆突然变道，我有没有足够的空间避让？""如果行人闯红灯，我应该急刹还是绕行？"

每一种未来，世界模型都会评估其概率和后果。然后，系统选择那条"最优"的路径——不是"最刺激"的，也不是"最保守"的，而是在安全、效率、舒适之间找到最佳平衡的。

相关学术讨论引用这一科幻比喻，并非为了说明"我们已经能做到奇异博士那样"，而是为了阐释**"预判"在智能系统中的核心地位**。正如老司机的价值不在于"反应快"而在于"想得远"，具身智能系统的价值也不在于"看得清"而在于"看得透"。

专栏3-3 想象力的逻辑载体：一场关于认知哲学的学术对话

在具身智能学术讨论中，有研究者提出了一个深刻的哲学问题："感知是认知信息的接收系统，认知信息的接收内容一旦形成回路传递，就会有一组逻辑载体（语言、图像等），那么想象力的逻辑载体是什么？"³⁸

这个问题触及了认知科学的核心：如果感知有"载体"（神经信号），认知有"载体"（概念、语言），那么想象——这种"没有外部输入"的心智活动——它的"载体"是什么？

学术界的回答是："世界模型就是想象力的逻辑载体。"³⁸

这个回答简洁而深刻。世界模型作为机器"想象空间"的内部模拟器，它编码了物理规律、因果关系、时空结构等"逻辑规则"。当机器"想象"一个未来的场景时，它不是在"凭空捏造"，而是在世界模型的框架内进行"逻辑推演"。

这个对话揭示了具身智能研究的一个重要方向：把"哲学问题"变成"工程问题"。"想象力的载体是什么"这个古老的哲学问题，在世界模型的框架下变成了一个可以研究和实现的技术问题。

延伸阅读：从GPT-4到Gemini Robotics——大模型如何驱动机器人"大脑"

2024年以来，大模型与具身智能的融合成为AI领域最受关注的研究方向之一。

GPT-4V（GPT-4 with Vision）是OpenAI推出的多模态大模型，可以同时理解图像和文本。在具身智能领域，GPT-4V被用于"视觉问答"——给机器人一张环境照片，问它"桌子上有什么""哪个物体离我最近"，机器人可以基于GPT-4V的回答来规划行动。

Gemini Robotics是Google DeepMind推出的机器人控制模型。它基于Gemini大模型，可以通过自然语言指令来控制机器人。比如，对它说"把桌子上的红色积木放到蓝色的盒子里"，Gemini Robotics可以理解这个指令，分析视觉场景，规划动作序列，然后控制机械臂完成任务。

Figure 02是Figure AI推出的人形机器人，它搭载了与OpenAI合作开发的视觉-语言-动作模型。这个模型让Figure 02能够理解自然语言指令、分析视觉场景、规划动作、控制身体——实现了从"听懂话"到"做成事"的完整闭环。

DriveVLM是清华大学和理想汽车联合推出的自动驾驶视觉语言模型。它将VLM的能力引入自动驾驶领域，实现了场景描述、场景分析、层次规划等高级功能。DriveVLM可以"理解"复杂的交通场景——比如"前方交警正在指挥交通，手势表示允许通行""右侧有骑三轮车的人，需要保持安全距离"——然后做出相应的驾驶决策。¹¹⁷

VLA模型（Vision-Language-Action）是当前最前沿的方向。2025年，理想汽车在Thor-U芯片上部署了VLA模型，实现了从摄像头图像直接输出方向盘和踏板控制信号。¹¹⁰ 2026年，吉利汽车的G-ASD系统融合了VLM、VLA和世界模型，已部署在超过30万台车辆上。¹¹³

这些进展表明，大模型正在成为具身智能的"通用大脑"。传统上，每个机器人任务都需要专门设计的算法——抓取算法、行走算法、导航算法……而大模型提供了一种"通用化"的解决方案：一个模型，多种任务。这种"通用性"正是具身智能走向成熟的关键标志。

但大模型驱动具身智能也面临挑战：幻觉问题（大模型可能"编造"不存在的信息，在物理世界中这可能导致危险）、实时性问题（大模型的推理速度往往不够快，难以满足实时控制的需求）、可解释性问题（大模型的决策过程像"黑箱"，难以理解"为什么做出这个决策"）。这些挑战需要学术界和工业界共同努力来解决。

【实验三】Unity3D虚拟环境中的强化学习驾驶训练——认知是智能的"引擎"

聚焦问题：如何在一个逼真的虚拟环境中，用强化学习训练出会自主驾驶的智能体？

实验导读

在前面的实验中，我们已经在CarLab平台体验了手动控制、PID控制和强化学习三种驾驶方式。这三种方式各有特点：手动控制完全依赖人类经验，PID控制用数学公式来实现稳定行驶，强化学习用神经网络来"学习"驾驶策略。但它们都有一个共同的前提——需要人类来提供"什么是正确的驾驶行为"的样本或规则。

那么，有没有一种方法，让机器从零开始自主探索，在无数次"试错"中学会驾驶——就像学习骑自行车那样，通过反复尝试逐渐找到平衡感？

这就是强化学习的核心价值所在。本实验将带领大家走进一个更进阶的训练平台：基于Unity3D和Python的自动驾驶仿真训练系统。这个系统由平行智能研习社本科生团队开发完成，它把游戏引擎的逼真渲染与强化学习算法的自主探索结合起来，让一台"虚拟小车"在七个不同难度的赛道上自主学习。

本实验为强化选做——它不需要编写复杂的代码（系统已经封装好了），但需要理解背后的原理，并通过观察和调试来感受强化学习的"学习过程"。

实验目标

1. 理解强化学习中"试错学习"的核心机制——智能体如何通过"奖励"和"惩罚"来自我优化

2. 体验DQN（深度Q网络）算法的训练过程——从"完全随机"到"熟练驾驶"的性能提升

3. 理解虚拟仿真环境在强化学习训练中的关键作用——为什么是"零风险试错"的理想场所

4. 感受计算实验（ACP方法论中的C环节）的实践形态——在虚拟世界中进行大规模、可重复的实验

实验平台简介

本实验基于Unity3D + Python双端架构：

Unity3D端（虚拟世界）：

• 使用Unity 2022.3引擎构建高真实度三维仿真环境

• 采用Probuilder工具搭建了七条不同难度的赛道——从简单直道到连续弯道、环形道路、障碍物场景、空间断路场景

• 赛道设计参考了智能车国赛赛道数据，确保训练环境的专业性

• 实现了完整的车辆动力学模拟，包括转向系统、动力系统和制动系统

• 内置虚拟摄像头（第一人称视角），采集RGB图像作为智能体的"视觉输入"

Python端（决策系统）：

• 基于DQN（Deep Q-Network）算法实现强化学习决策

• 采用三层卷积神经网络（CNN）处理视觉输入

• 经验回放机制 + 双网络结构（主网络 + 目标网络）

• ε-greedy探索策略（从"完全随机探索"逐步过渡到"利用已有经验"）

• 基于距离中心线的指数衰减奖励函数

通信机制：

• Unity端作为客户端，Python端作为服务端（端口5555）

• Socket TCP双向通信，延迟控制在80ms以内

• 图像数据采用JPEG压缩 + Base64编码传输

用PCA闭环的语言来描述这个系统：

• 感知（P）：Unity虚拟摄像头采集赛道图像 → 传输到Python端

• 认知（C）：DQN神经网络根据当前画面"判断"应该往哪个方向转

• 行动（A）：Python端发送控制指令（转向角度、油门、刹车） → Unity端执行

• 反馈（Loop）：小车行驶状态（位置、速度、碰撞信息）传回Python端，用于计算"奖励"

实验内容

环节一：认识七条赛道（10分钟）

启动系统后，系统将显示一个关卡选择界面。七条赛道的设计难度梯度如下：

操作：依次打开每条赛道，以"手动模式"驾驶一圈，感受不同赛道的特点。记录：哪条赛道被认为最容易？哪条最难？原因是什么？

环节二：观察DQN的"学习日记"（20分钟）

选择关卡1（基础直道），启动强化学习训练。在训练UI界面上，系统将显示以下参数：

• 批量更新频率：每隔多少步更新一次神经网络

• Epsilon衰减率：探索概率的下降速度

• 批量大小：每次更新使用的样本数量

关键观察点：

（1）Epsilon值的变化：

训练开始时，Epsilon = 1.0，意味着小车完全"随机行驶"——它可能会在赛道上无序行驶、撞墙、原地打转。这类似于驾驶技能初学者的行为特征，什么都不知道，只能随机尝试。

随着训练进行，Epsilon逐渐减小（比如从1.0降到0.1），小车的行为逐渐从"随机探索"转变为"利用经验"。可以观察到小车开始沿着赛道中间行驶，转弯也变得越来越有规律。

思考题：如果Epsilon下降得太快，会发生什么？如果下降得太慢，又会发生什么？

（2）奖励曲线：

系统会实时显示每轮（Episode）的总奖励。刚开始时奖励可能很低（甚至为0）——因为小车频繁撞墙。但随着训练进行，奖励应该逐渐上升。

思考题：为什么奖励曲线通常不是"直线上升"，而是"波浪式上升"（有起伏）？

（3）成功率曲线：

当训练迭代次数达到一定程度后，用测试程序对模型进行验证。实验记录显示了如下规律：

观察任务：在训练过程中，每隔一段时间（例如每1000次迭代）记录一次成功率，绘制"学习曲线"。

环节三："解剖"DQN的决策网络——神经网络可视化（15分钟）

DQN算法的核心是一个卷积神经网络（CNN），它的结构如下：

输入层：89×255×3 的RGB图像（小车摄像头画面）

↓

卷积层1：16个滤波器，3×3卷积核，ReLU激活

↓

最大池化 + Dropout（丢弃率0.2）

↓

卷积层2：32个滤波器，3×3卷积核，ReLU激活

↓

最大池化 + Dropout

↓

卷积层3：32个滤波器，3×3卷积核，ReLU激活

↓

展平（Flatten）

↓

全连接层：128个神经元，ReLU激活

↓

输出层：5个神经元 → 对应5个转向动作（左转大/左转小/直行/右转小/右转大）

思考题：

1. 为什么是5个离散动作，而不是"连续的转向角度"？（提示：DQN天然适合离散动作空间）

2. Dropout层的作用是什么？为什么可以防止"过拟合"？（联系第3章深度学习的知识）

3. 三层卷积层分别"看到"了图像的什么特征？第一层可能检测边缘，第二层检测纹理，第三层检测什么？

环节四：跨关卡"泛化"挑战（15分钟）

在关卡1上训练好的模型，放到关卡3（S型弯道）上测试——它会表现如何？

根据实验记录，不同关卡的表现差异很大：

任务：选择一个在关卡1上训练好的模型，依次在七条赛道上测试，记录每条赛道的通过率。分析：为什么在同一条赛道上训练的模型，换一条赛道就性能下降了？这体现了Sim-to-Real问题中的哪个挑战？（提示：域迁移/分布偏移）

进阶思考：如果要让一个模型在所有七条赛道上都有良好表现，如何设计训练策略？（提示：课程学习——从简单赛道开始训练，逐步增加难度）

环节五：奖励函数的设计原理与影响机制（10分钟）

奖励函数是强化学习的核心——它告诉智能体"什么行为是好的"。本系统的奖励函数设计如下：

如果发生碰撞 或 速度过低：

奖励 = 0（惩罚）

否则：

奖励 = exp(-距离中心线的距离 × 衰减系数)

也就是说：

• 小车离赛道中心线越近，奖励越高（指数级增长）

• 小车撞墙或低速行驶，奖励为0

• 小车偏离中心线越远，奖励越低

实验任务：尝试修改奖励函数（需要修改源代码中的compute_reward函数），观察不同奖励设计对训练效果的影响：

思考：奖励函数的设计体现了人类的"先验知识"——我们告诉机器"车道居中是好行为"。如果奖励函数设计得不好（比如只奖励"速度快"），机器可能会学会"开快车撞墙"。这说明了什么问题？

实验总结与思考

1. 虚拟训练的价值

在这个实验中，小车可以在虚拟世界中"经历"数万次"撞墙"而不产生任何真实损失。这正是ACP方法论中"计算实验"（C环节）的核心价值——零风险试错。如果用真实车辆来训练强化学习，成本将是天文数字，而且安全风险极高。

2. 强化学习的"学习曲线"

从实验数据可以看到，强化学习是一个"量变引起质变"的过程——在前5000次迭代中，智能体似乎"毫无进展"，但从5000次到10000次，进步飞速。这类似于人类的"认知跃迁"——大量的积累之后，突然"开窍"。

3. 从虚拟到现实的鸿沟

本实验中的所有训练都在虚拟环境中完成。如果要将训练好的模型部署到真实小车上，会面临哪些挑战？（提示：虚拟图像 vs 真实图像的差异、虚拟物理 vs 真实物理的差异）这正是下一章（第6章）要深入讨论的Sim-to-Real问题。

4. 与CarLab实验的对比

回顾CarLab中的深度学习实验（实验五），对比一下：

思考题：在"教机器开车"这个任务上，分析"有监督学习"和"强化学习"哪个更有前途？为什么？

延伸阅读

相关本科毕业论文《基于Unity3D与Python的自动驾驶仿真训练系统设计与实现》（2025年）完整记录了本系统的开发过程，包括Unity赛道搭建、Socket通信实现、DQN算法设计、训练结果分析等内容。该论文在平行智能研习社指导下完成，是"微缩智能车实验平台"系列工作的重要组成部分。