大模型“祛魅”之后，应该思考什么？
书生、通义、混元、ABAB、商量……在今天举行的2024全球开发者先锋大会之大模型前沿论坛上，去年占据话题中心的多款国产人工智能（AI）大模型首次“同框”。与会专家也不约而同地谈起了“过去这一年”，而非“未来会怎样”，这似乎印证了对大模型的“祛魅”正在发生。
2023年，以ChatGPT为代表的大模型迅速席卷全球，给人带来一种技术即将跃迁的幻象。尽管业内认为过去一年大模型取得的进步超过以往10年之和，但总体来说大模型技术演进进入了一个相对平缓的平台期。展望未来，大模型还能带来哪些惊喜？学界和产业界应该思考什么？
大与小
“力大砖飞”是人们对ChatGPT的初印象，当人们谈论它的能力时经常用到的一个数据是，它可能消耗了全球互联网2/3的文本语料。一时间，不断扩大参数被认为是提升大语言的不二法则。
然而，过去一年的实践让越来越多从业者意识到，大模型并不完全遵循“参数越多越聪明”的定律。去年6月，微软发布的Phi-1只有13亿参数，能力超越了Meta拥有70亿参数的Llama2，它用事实证明参数的质量比数量更重要。事实上，这也是业内对马斯克开源参数量达3140亿的全球最大模型Grok反应冷淡的原因之一，这是一个基础大模型，尚未针对应用进行特定训练。
上海人工智能实验室领军科学家林达华说：“低质量的数据会对模型造成破坏性影响，甚至可能让模型能力‘坍缩’。”他特别强调多样性对于数据质量的影响——10%的带有重复模式的数据注入到训练集里，可能会使模型降级到原来1/2参数体量的能力表现。从这点来看，互联网语料并不是好的数据来源，它存在太多重复的语言模式。
大参数的另一个缺点是耗能巨大，因此，当下主要大模型都在精简自己的参数。高质量语料用完了怎么办？林达华表示，业内的普遍做法是让计算机自己合成数据，反哺自身。
开与闭
正如当年互联网的开源与闭源之争一样，如今同样的问题又抛给了大模型。日前，马斯克宣布开源其自研的大模型Grok，此举被视为其不满竞争对手OpenAI选择闭源的“身体力行式”回应。
开源大模型允许任何人访问和使用源代码，而闭源模型则由单一实体控制，通常需要付费使用。从阵营来看，开源大模型包括Meta的Llama-2、生成式AI公司Stability AI的Stable Diffusion、阿里云的通义千问等，闭源大模型则以OpenAI的ChatGPT、百度的文心一言等为代表。有人认为，闭源大模型可能加大数字鸿沟，造成大公司的数字垄断，并由此侵占普通人的数字空间话语权，有人则认为开源模型会导致更大的技术风险，有可能导致技术被滥用。
林达华认为，正如Windows和Linux并存了这么久一样，大模型中的开源和闭源也各有优劣。一般来说，闭源模型更容易形成商业模式，企业可以通过销售许可、提供专业服务等途径获取收益；而开源更容易产生颠覆式创新，互联网的繁荣就始于开源。
研与用
推动大模型演进，有“研”与“用”两股驱动力量：“研”是研究人员对规模法则（Scaling Law）的信仰，“用”是无数企业对大模型将带来产业变革的憧憬。两股力量交织，让过去一年大模型取得的进展比以往10年还多。在大模型技术发展趋于稳定的当下，谁能洞察市场需求，率先打造出现象级产品，谁就能在大模型的“中场比拼”中取胜。
针对市场的不同需求，AI公司开始各显神通。几天前，月之暗面科技有限公司宣布旗下Kimi智能助手能处理的长文本数量突破200万字，相当于两套《三体》三部曲的字数。这意味着，只需10分钟，Kimi就能以读文本的方式在任何一个新领域达到接近初级专家的水平。
商汤科技董事长徐立则“推销”起了他们的智能软件研发助手“小浣熊”。它可提供高效的代码补全功能，支持多种编程语言，还可根据上下文理解开发者需求，提供准确的代码建议。据介绍，去年推出的“小浣熊”1.0版本可节省程序员30%的工作量，即将推出的2.0版本则将根据反馈制定产品特征，有望实现产品的自主开发。
稀宇科技技术副总裁安德森也忙不迭介绍自家基于ABAB大模型开发的AI智能聊天助手“海螺问问”。它可以用使用者订制的声线，回答用户提出的包括科学、技术、历史、文化在内的各种问题，还能提供翻译等各项功能。
上海人工智能实验室青年科学家陈凯表示，“去年是对GPT-4祛魅的一年，随着我们对大模型的研究越来越深入，对其能带来的可能与不可能也有了更多了解，今年可以期待更多应用落地。”
作者：沈湫莎
文：沈湫莎 图：受访者提供 编辑：沈湫莎 责任编辑：任荃
转载此文请注明出处。