原标题：MLLM：下一代自动驾驶的新解法

专题解读

事件：12月16日，腾讯地图、普渡大学等机构的研究者发布了关于多模态大型语言模型（MLLM）在自动驾驶中应用的综述论文。LLM 技术整合到自动驾驶领域，在驾驶感知、运动规划、人车交互和运动控制方面将带来显著的范式转变。

近期，多模态大型语言模型（MLLM）成为研究热点。相比于 LLMs，MLLMs 更符合人类的感知方式，能提供更友好的界面和更广泛的任务支持。MLLM在自动驾驶领域也有了越来越多的尝试。

自动驾驶同样是「具身智能」重要落地场景之一。大模型技术正成为自动驾驶的核心推动力，特别是在用户-车辆交互、运动规划、车辆控制及模拟人类交互和决策过程方面。

大模型技术在自动驾驶领域应用的历程回顾

1、自动驾驶类似于经验丰富的人类驾驶员所拥有的能力。而获取这种熟练程度主要有两种：一是通过模拟环境中的基于学习的技术；二是通过类似的方法从离线数据中学习。由于模拟与现实世界之间的差异，这两个领域并不完全相同，即存在「sim2real」差距。

2、自动驾驶的目标是通过大量数据收集和深度学习，解决驾驶能力的局限性。然而，由于数据收集和注释的高成本，以及模拟环境和现实世界环境之间的固有差异。在这种情况下，通过有效地利用大语言模型中内嵌的天生常识，可能会逐渐缩小这一差距。逐步增强自动驾驶系统的能力，使其更接近或可能达到理想的专家级驾驶熟练度。

图：LLMs 在自动驾驶领域的应用

3、LLMs 在自动驾驶中的结合应用：

① 规划与控制层面：LLMs 在自动驾驶决策过程中的应用，特别是在提供透明解释和增强系统可靠性方面；研究分为两类：一是对预训练模型的微调，二是通过巧妙的提示设计来挖掘 LLMs 的深层推理潜力；相关应用案例如 MTD-GPT、DriveGPT4、GPT-Driver 等，均在不同的驾驶决策任务中展现出优越性能。

② 感知层面：业界目前主要是在感知领域使用大模型，LLMs 在自动驾驶感知任务中的具有独特的价值和强大能力；典型工作如 PromptTrack、HiLM-D，将 LLMs 与 3D 检测任务和跟踪任务结合，性能优越。

③ 问答和生成层面：相关研究包括 Domain Knowledge Distillation、Human-Centric Autonomous Systems 等，利用 LLMs 处理自动驾驶相关的复杂问题。

4、视觉-语言模型（VLMs）在自动驾驶领域也有了越来越多的尝试。通过集成语言数据，车辆和交通系统能够更深入地理解现实世界环境，提高驾驶安全性和效率。今年 9 月，伦敦的自动驾驶 Wayve 提出了基于视觉-语言-动作模型（VLAM）开发的自动驾驶交互模型 LINGO-1，LINGO-1 基于各种视觉和语言数据源上训练所得，能够执行视觉问答（VQA）任务，并且能对驾驶行为和推理进行描述。VLAM 是 Wayve 在视觉语言模型（VLM）基础上的进一步探索。

5、近期，多模态大型语言模型（MLLMs）成为研究热点。MLLMs 结合了如 ChatGPT、InstructGPT 等大型语言模型的能力，能够处理文本和图像等多种模态的任务。MLLMs 的关键技术和应用包括多模态指令调整、多模态上下文学习、多模态思维链，以及 LLM 辅助视觉推理等。相比于 LLMs，MLLMs 更符合人类的感知方式，能提供更友好的界面和更广泛的任务支持。

自动驾驶是「具身智能」 重要落地场景

1、具身智能的概念翻译于英文 embodied AI，字面意思为具有身体的人工智能。该概念的起源最早可追溯到 1950 年人工智能源点级人物艾伦·图灵的理论设想。

2、具身智能「大脑」包括算法驱动、基于 VLM（Visual-Language Model）理解信息等特点，具身智能「大脑」的决策感知体系和人类相似，都是基于图片转文本，再 Token 化理解。

3、自动驾驶是「具身智能」 重要落地场景之一。具身智能机器人「大脑」在一定程度上和自动驾驶相似，在开放场景和路径规划上具有一定的迁移性。同时，具身智能机器人和自动驾驶的技术在算法层面也是相通的。

4、近期...

MLLMs 如何「加持」自动驾驶？

1、感知方面

以 MLLMs 在自动驾驶的感知方面扮演着关键角色。通过结合视觉、文本和其他模态的数据，MLLMs 能够更全面地理解和解释周围环境。这种多模态融合不仅提高了对交通场景的理解能力，还增强了系统对新情况的适应性。例如...

2、规划和控制方面

在规划和控制方面，MLLMs 利用自然语言处理技术，将复杂的驾驶任务转化为更易于理解和执行的语言模型问题。这种方法不仅简化了任务的处理过程，还提高了任务执行的准确性和效率。例如...

3、安全性和可解释性方面

①MLLMs 在提高自动驾驶系统的安全性和可解释性方面发挥着重要作用。通过生成与计划动作相关的解释，MLLMs 提供了对决策过程的深入理解，从而增加了用户对系统的信任...

4、控制器参数微调

MLLMs 在自动驾驶中还有助于控制器参数的微调，使其更符合驾驶员的偏好。这种个性化的适应性不仅提升了驾驶体验，还增强了系统的灵活性和响应能力。例如...

MLLM 在自动驾驶领域的应用有哪些典型案例？...「大模型技术+自动驾驶」未来有哪些研究方向和挑战？... 查看完整解读请前往「机器之心PRO」业内通讯 · 2023年度#Week 51

「机器之心PRO」业内通讯 · 2023年度#Week 51

本期通讯总计 32070 字，包含 3 项专题解读 + 28 项 AI&Robotics 赛道要事收录。

1. Gemini 之后，多模态的下一步怎么走？

Gemini 技术报告放出了哪些细节？Gemini 是哪种多模态模型？多模态模型有几种？多模态的下一步有哪些技术路径？...

2. MLLM：下一代自动驾驶的新解法

大模型会带来自动驾驶的范式变革吗？MLLM 技术是如何加持自动驾驶？MLLM 在自动驾驶领域有哪些典型用例？为什么说自动驾驶也是「具身智能」 重要落地场景？...

3. 2024 年 AI 趋势预测一览

a16z 对 2024 年各行业都有哪些预测？哪些领域的预测观点值得重点关注？AI 业内大佬对 2024 年还有哪些关键预测？...

↓↓↓ 关注「机器之心 PRO 会员」服务号，点击菜单栏「收件箱」查看往期通讯。