科学家提出GenAINet框架，让AI网络成为综合智能体
几年前，时任阿布扎比先进技术研究所（Technology Innovation Institute, TII）AI 与数字科学研究中心首席科学家的梅罗安·德巴（Merouane Debbah）教授，带领团队相继推出了第一个阿拉伯语大模型 NOOR、以及 Falcon 系列大模型（70 亿参数规模、400 亿参数规模、1800 亿参数规模）。
以上大语言模型的发布，也让阿联酋整个国家跻身大模型赛道中的前排位置。目前在上述单位担任研究员的邹航表示：“这可能是阿联酋这个年轻国家首次在国际先进技术上取得领先地位。”
Falcon 系列大模型的成功，也进一步增强了阿布扎比先进技术研究所、以及阿联酋政府对于发展包括大语言模型在内的生成式 AI 技术的信心和决心。
而阿布扎比先进技术研究所，作为研究 AI 原生网络的一支主要力量，他们曾将 AI 技术应用在通信系统的各个方面，比如波束管理、信号检测、分离、调制等，并取得了很好的效果。
蹚出一条“AI+ 通信”之路
当前，无论是通信学术界、还是通信工业界，对于生成式 AI 技术都有着极大关注。
2024 年 2 月，在西班牙巴萨罗那举办的世界移动通信大会上，多家公司发布了与生成式 AI 相关的计划或产品。
例如，华为发布了通信行业的首个大模型，高通发布了首款支持生成式 AI 应用的通信芯片。
与此同时，AI 原生网络被认为是下一代移动通信系统（6G）的关键使能技术，基础大模型具备打通 6G 网络各项垂直应用的巨大潜力。
研究发现随着智能设备的日益增多，未来的网络将不仅仅用于高速传输数据，还将成为智能决策的一个重要组成部分。
而如何在无线网络环境中，更加高效地部署和应用生成式 AI 技术，尤其是部署和应用那些能够理解和生成自然语言的大模型（即大型语言模型），成为实现“AI+ 通信”应用的必答之题。
然而，要将生成式 AI 模型整合到通信系统中并非易事。当前学界比较流行的研究思路是：教会大语言模型使用设备上的各种工具，从而拓展大模型在各个领域的应用。
这些工具通常包括互联网信息检索、计算器、本地数据库、各种标准程序接口等。通过增强大模型使用工具的能力，就能得到基于大模型的智能代理，而大模型就相当于智能代理的大脑。
只有赋予大模型使用工具的能力，才能大范围地扩展大模型在通信中的应用场景。
而只有让这些智能体不仅可以相互传递数据，还能交流和共享知识，才能更快、更好地做出决策。这就好比让机器之间交换经验和想法，而不仅仅是交换数字和比特。
而阿布扎比先进技术研究所团队所提出的生成式 AI 网络 GenAINet 框架，正是为了实现这一目标。
（来源：Arxiv Preprint）
他们希望 GenAINet 能为生成式 AI 在通信领域的应用，提供一种全新的视角和方法，让未来的无线网络不仅更快、更广泛，还能更聪明、更高效。
在 GenAINet 的帮助之下，预计在 6G 网络中，每一个连接设备都将成为大模型驱动的智能体，比如基站、个人电脑、手机、汽车、机器人等。
利用大模型极强的理解能力、生成能力和推理能力，智能体只需传递极少的语义信息，就能生成内容、规划动作、增强知识等。这种由知识驱动的全新通信模式，将极大增强垂直行业的应用。
比如，车联网中的自动驾驶汽车，通过交换过往学习到的驾驶经验，比如障碍物预测、刹车预判、路径规划等能力，就能增强道路安全和行驶效率。
再比如，物联网中的工业机器人通过交换语义信息进行相互协作，可以完成诸如智能物流、仓储、制造等复杂工作。
这样一来，就将实现真正 AI 原生的 6G 网络，即网络不再只是一个数据传输管道，而是可以成为一个巨大的综合智能体，从而让运营商在生成式 AI 的浪潮中可以实现更大的商业价值。
（来源：Arxiv 预印本）
破解 AI 在 6G 中的应用之难
而之所以开展本次研究，是因为该团队发现 AI 在 6G 中大规模应用的关键问题是：在多样化的场景和任务上，传统 AI 模型很难达到通用效果。
要达到 AI 原生网络的目标，亟需一个网络大脑来打通通信系统中的各个网络设备和协议栈。而基础大模型在语言上所展现出的多任务、多场景处理能力，恰好符合课题组的目标。
与此同时，通信网络中存在大量的数据，因此为 6G 构建一个通用的基础大模型，具备一定的可行性。
该团队认为大模型与通信的交叉领域大体可以分成两个方向：大模型赋能通信、通信赋能大模型。
通信赋能大模型，通过利用或提出新的通信技术，来协调多个大模型之间的部署与服务。
大模型赋能通信，则是使用大模型去解决通信中的一系列下游问题，比如资源优化、协议学习、辅助标准生成等。
2023 年，他们开始尝试使用“小”语言模型（例如 GPT-2，即 GPT-4 大模型的前身），来对 3GPP（全球通信技术标准，3rd Generation Partnership Project）的技术文本进行分类，结果发现成功率相当之高。
后来，他们将这一初步结果整理为论文，并将其发表于通信行业旗舰会议 GLOBECOM 上。
随后，他们开始尝试使用更大参数规模的模型（包括 GPT4、Llama、以及 TII 自研的 Falcon 系列大模型）来解决更加实际的通信问题。
研究中，如何建构通信智能体，成为摆在他们面前的首要问题。
于是，他们先后探索了如下问题：大模型该如何使用工具？大模型如何规划复杂的通信任务并分解为简单可执行的任务？以及大模型如何利用本地知识增强最终解决方案的可行性？
研究之后该团队认为：大模型要想在通信行业实现大规模应用，就必须让巨量参数模型之间实现信息的高效通信。
同时，大模型之间应该交换的是高度概念化抽象化的知识或经验，而不是像传统通信网络那样仅仅传递原始信息。
也就是说，本次方法更加适用于能理解指令并完成指令的大模型，这对于深度融合 AI 技术的通信系统具有重要意义。
而为了让本次方法能为业界提供切实可行的解决方案，他们深入研究了各种大模型和多智能体的应用框架。
在此基础之上，他们将生成式 AI 网络的关键想法加以反复实验，并提供了全新的端到端流程框架。
后来，他们开始尝试参数规模更大的大模型，这让他们碰到了不少技术难题。不过，对于大模型的研究者来说，手头必须拥有一定数量的高性能 GPU。
邹航说：“幸运的是在中心领导的支持下，我们的计算资源也越来越大。为了加速研究进度，我们几乎从零开始学习并掌握了关于大模型的参数压缩、内存优化等技术。”
最终，相关论文以《GenAINet：通过知识转移和推理实现无线集体智慧》（GenAINet：Enabling Wireless Collective Intelligence via Knowledge Transfer and Reasoning）为题提交 IEEE Communications Magazine 并由行业专家审议。
图｜相关论文（来源：Arxiv 预印本）
阿布扎比先进技术研究所的研究员邹航博士、首席研究员赵祺阳博士、以及研究员田雨博士是共同作者。
图 | 从左到右：邹航、赵祺阳、田雨（来源：资料图）
生成式 AI 走向无定论，研究者要多条腿走路
有趣的是，在验证想法的过程之中，许多围绕“生成式 AI 未来走向”的辩论，也时刻提醒他们要关注不同的技术路线。
对于大模型来说，它需要巨大的数据训练和资源训练，但是它并不能感知环境知识和抽象知识。因此，这种“加参数”和“喂数据”的方法是相当低效的。
Meta 公司曾提出一种非生成式模型架构 JEPA，它具备更高效的复杂任务推理能力。
这正符合该团队构建高效原生 AI 网络的目标，因此后续他们打算两条腿走路，即利用现有的大模型技术，探索新的技术方向。
对于邹航等人来说，其认为大模型的发展必须走开源之路基于此，该团队打算进一步验证本次成果在通行行业具体问题中的应用。
要知道，一切实际运行的通信系统，都是在标准、协议等一定框架的规定下进行的。以大家熟悉的 4G 和 5G 为例，它们实际上就是一系列标准与协议的复杂组合。
然而，大模型在通信领域的知识相对有限，目前仅仅停留在常识水平。
在实践中，该团队发现很难让大模型按照现有标准和协议的要求去完成具体的通信任务，比如网络功率优化、网络资源分配等。
因此，如何增强大模型在通信行业的领域知识，将成为通信行业研究的下一个热点，也是该团队的后续任务之一。
除此之外，作为自然语言处理的基石模型，大模型天然地适合处理一切与语言相关的任务。然而，在通信领域，类似的基石模型并不存在。
电磁信号、语言信号、视觉信号之间的巨大差别，导致很难构建出一款通信基石模型。
由“深度学习三巨头之一”杨立昆所提出的世界模型框架，在抽象层面具备一定的理解能力和学习能力，因此探索这一框架在通信领域中的应用，也是该团队非常感兴趣的方向。
不过，大模型的大规模部署和通信，必然要消耗大量通信资源和计算资源。
为了让网络中的多个智能体能以高效协作的方式来完成复杂任务，还得让大模型之间只需交换最关键的信息，就能实现最高的通信效率。
因此，未来的智能体也需要具备感知、规划、决策、记忆等功能。而这些，都将是课题组未来的努力方向。
参考资料：
1.https://arxiv.org/pdf/2402.16631.pdf
运营/排版：何晨龙