Kimi掀起大模型长文本竞赛
创始人
2024-03-24 21:13:36
0

原标题:Kimi掀起大模型长文本竞赛

作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得拥挤,24小时内,阿里、360、百度紧急“出手”,纷纷入局长文本赛道。

大厂的加入,让月之暗面充满理想化色彩的“登月计划”,有了更接地气、更市场化的一面——从千亿参数到千万长文本,大模型好像又“卷”出了新高度。而一同被“卷”起来的,还有大模型的商业化进程。

图片来源:月之暗面官微

内卷长文本

Kimi像条“鲇鱼”,用200万字无损上下文激活了整个国产大模型市场。3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360AI浏览器,同时360AI浏览器App也即将上线。

头天晚上,阿里通义千问宣布,向所有人免费开放1000万字的长文档处理功能,成为全球文档处理容量第一的AI应用。与此同时,也有媒体从知情人士处获悉,百度文心一言下个月将进行版本升级,届时也将开放长文本能力,文字范围会在200万—500万。

Kimi是月之暗面推出的一款智能助手。3月18日,月之暗面宣布Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。去年10月刚发布时,Kimi可支持的无损上下文输入长度为20万字。3月21日,因过于火爆,Kimi一度“宕机”。

天使投资人、资深人工智能专家郭涛对北京商报记者分析称,200万字的长文本处理能力是一个巨大的技术突破,这意味着AI模型可以理解和生成更复杂、更丰富的内容,这对于许多应用场景,如自动写作、内容生成、信息检索等,都具有重要的价值。

这可能也是Kimi引爆市场的关键。

3月22日,“Kimi概念”进入持续火爆的第四天,不过资本市场上已出现分化迹象,当天收盘,掌阅科技、中广天择收获三连板,因赛集团股价则跌超4%,电广传媒跌超3%。

财经评论员张雪峰对北京商报记者提到,这一突破意味着在自然语言处理领域,特别是文本生成和理解方面,Kimi取得了重大进展,其主要技术突破包括长文本处理能力、上下文理解和训练技术三个方面。

以长文本处理能力为例,Kimi能够处理长达200万字的文本,而且在处理过程中不会出现信息丢失或失真的情况。这种能力在以往的自然语言处理模型中很难实现,因为长文本的处理需要更大的内存和更复杂的模型结构。

AGI的初心

20万到200万的变化,不止在于字数的简单累积,更在于“无损”和它们共同指向的AGI目标。

杨植麟曾解释称,通往AGI,无损的长上下文将会是一个很关键的基础技术。从word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。

“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”杨植麟说。

月之暗面曾介绍,从20万字到200万字,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。

为了达到更好的长窗口无损压缩性能,月之暗面研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”“降采样”等技术捷径,攻克了很多底层技术难点。

但字数累积的表象以及大厂相继亮出同类型产品的情况,也让“吃瓜群众”对于所谓的技术突破有些疑虑。

在接受北京商报记者采访时,伽利略资本合伙人郑譞做了一个类比,对象就是不久前火爆全球的文生视频大模型Sora。

郑譞解释称,文生视频可以看做是连续的文生图,从理论层面上,可能并不是颠覆性的突破,但是做到稳定生成长视频确实有难度,更多解决的是工程上的问题。但也不能说工程上的创新就不是创新,月之暗面无损长文本可能也是这个道理。

概括起来,从底层技术上来看,Kimi可能确实没有颠覆性的突破,更像是一个突破性技术的前序技术。

“长文本技术上需要解决上下文理解、长期记忆、复杂推理、多任务适应性以及计算效率等问题,学界其实早就有一些相应的解决方案,比如长文本处理、注意力机制优化等,但是在复杂推理和计算效率上工程难度还是很大的,各大厂也都给出了自己的方案,只不过之前大家并没有将‘长文本’当成关键词给予足够的关注度”,郑譞称。

郭涛也提到,从目前公开资料来看,Kimi的技术确实具有一定的竞争优势,但还不具备技术壁垒。长文本可能会成为大模型的下一个“卷”的领域,因为这是一个具有广泛应用前景和商业价值的研究方向。

不过在郑譞看来,月之暗面与其他人工智能企业真正的不同点,并不在于技术乃至商业化路线的差异,而在于“初心”的不同。

郑譞将杨植麟形容为一个“富有理想主义的创始人”“他的目标就是打造自己理想的AGI,而不是从落地或者务实的视角去思考当下的问题”。

商业化“肉搏”

理想化的月之暗面,也不能完全“脱俗”。Kimi爆火时,有媒体报道称,月之暗面相关负责人提到,年内将有商业化初步方案。对于具体的商业化路径以及大厂竞相加入是否会对Kimi的商业化产生影响等问题,北京商报记者联系了月之暗面,但截至发稿未收到回复。

郑譞猜测,相较于特定应用,Kimi的商业化可能类似于OpenAI,更倾向于一种通用性的商业化,例如商业化的高端接入入口用以扩展客户的应用等。

目前已有多家企业确认了与Kimi的合作。例如3月24日,万兴科技对外透露,公司旗下视频创意软件万兴喵影已率先接入Kimi,其AI写文案功能当前已采用Kimi大模型服务,万兴科技正加速旗下其他产品对Kimi的对接测试。

而对于大厂纷纷加入长文本竞争的原因,张雪峰认为,长文本处理能力是自然语言处理领域的一个重要方向,而且随着信息量的增加,对长文本处理能力的需求也越来越迫切。

张雪峰进一步补充称,Kimi的技术突破表明长文本处理已经成为可能,因此大厂纷纷投入研发长文本处理技术,以保持竞争力和领先地位。另外,长文本处理也是满足用户需求的重要途径,可以为用户提供更全面、准确的信息服务。

至于大厂的入局,是否会给月之暗面商业化造成影响,郑譞则给出了否定的回答,原因在于“虽然都在讲长文本,但大家的侧重点显然是千差万别的,而且各家所追求的愿景也有着天壤之别”。

回归“为什么是Kimi”的问题,中信建投研报提到,月之暗面打造高关注度应用KimiChat,一方面在于核心团队技术背景深,另一方面在于产品面向C端免费开放,注重产品运营。

据悉,月之暗面目前在招的31个岗位中,其中6个为市场、运营类岗位,包括达人运营、国内广告投放等。“目前招募更多市场、运营类人才,后续有望推动产品进一步破圈”。研报称。

北京商报记者 杨月涵

相关内容

热门资讯

1935.3克月球样品,首次揭... 7月9日,中国科学院发布嫦娥六号月球样品系列研究成果,四项重磅研究以封面文章形式发表于国际学术期刊《...
这波体验酷啊!他们都说“超过瘾... “知行虎门”第二天 有哪些精彩节目? 孩子们都有哪些收获? 一起来瞧瞧~ 航天飞行体验 在水濂小镇...
十篇齐发!《细胞》首次为中国脑... 7月10日深夜,由中国科学院脑科学与智能卓越技术创新中心领衔,我国科学家联合发布了10项重要成果,论...
Grok4成“宇宙最强模型”?... 21世纪经济报道记者孔海丽、实习生郑子涵 北京报道 虽然马斯克本人一脸疲态,但他亲自坐镇,给Grok...
关键部件全部国产化!全球单机功... 10日,中国华能集团有限公司(以下简称中国华能)宣布,全球单机功率和风轮直径最大的直驱型漂浮式海上风...
贴地飞行!时速600公里超导电... 7月8日至11日,第十二届世界高速铁路大会在北京举行,第十七届中国国际现代化铁路技术装备展览会同期举...
大屏化与AI驱动TV高端化浪潮 近日,在京东方投资者日活动中,京东方代表与行业伙伴、专家围绕TV高端化趋势以及LCD在多种显示技术中...
福建夫妻干出超级独角兽:用无人... 作者 | 铅笔道 松格 矿区内,无人驾驶矿卡已整齐排列,随着指令下达,这些矿卡缓缓启动,按照预设路线...
周红波:全球首个也是目前唯一将... 文/翁炫 在位于苏州工业园区纳米科技城的汉纳实验室里,周红波拿着一小块黑色薄膜自豪地说:“我们把概...
Grok 4号称“全球最强AI... 「这是世界上最聪明的人工智能。」 尽管比原定发布会时间推迟了近一个小时,但在今天中午(北京时间 9 ...
“江苏地质号”卫星出征 吉林一... 上证报中国证券网讯(记者 田甜)7月10日,长光卫星技术股份有限公司(下称“长光卫星”)在吉林省航天...
科学杂谈:一秒钟有多久? 1秒钟有多久?这个问题似乎不难回答。1天被分为24小时,每1小时被分为60分钟,而每分钟又被细分为6...
嫦娥六号玄武岩样品最新研究:破... 中新网北京7月10日电 (记者 孙自法)中国科学家对嫦娥六号采自月球背面南极-艾特肯盆地(SPA)的...
哈工大录取通知书公布,将送20... 7月10日消息,哈尔滨工业大学近日公布了今年的录取通知书以及“哈工大小卫星梦想遨游计划”,要将202...
原创 液... 在数字经济时代,算力需求爆发式增长,能量密度急剧增加,数据中心正面临前所未有的散热挑战。传统风冷技术...
上海交大团队突破AI设计热辐射... 在科技日新月异的今天,人工智能(AI)正以前所未有的速度渗透至科研领域的各个角落,为传统科学难题的解...
慕思股份:以专业为引领 智慧睡... 在当今快节奏的生活中,睡眠质量成为人们日益关注的焦点。消费者对睡眠质量的关注度显著提升,也推动了床垫...
参宿四爆炸后亮度超月亮,半年不... 最近,我在网上看到一个特别有意思的话题,说参宿四要是爆炸了,亮度能超过月亮,而且这亮度啊,能持续半年...
轻量化设计某新能源主减-差速器... 摘要:为轻量化设计某新能源主减-差速器总成,对主减速从动齿轮(简称主减齿轮)采用新的工艺路线,即滚齿...
智元机器人回应“借壳上市”猜测... IT之家 7 月 9 日消息,智元机器人针对近日“借壳上市”的猜测做出最新回应。 昨日晚间,上纬新材...