优刻得为智谱AI构建超千卡推理集群，让全球用户畅享大模型智能生活
时光倒回到2021年的那个夜晚。一位妈妈灵感枯竭,无法继续她的小说创作;一旁的爸爸正忙碌于代码的世界,他想要在工作之余开发一款小游戏,却困于代码调试;而他们的孩子,正眉头紧锁地趴在书桌上,为一道奥数题苦思冥想。
2024年的今天,AI大模型的出现让这一切发生改变。
在「智谱清言」的助力下,妈妈的小说创作焕发新生,她只需将自己的创意和构思输入给大模型,就可以生成自然生动的故事情节和对话;爸爸用大模型进行代码编程和调试,通过分析代码逻辑,大大减少了开发的繁琐流程,减轻了一大半的⼯作量;大模型也成为了小朋友学习上的得力助手,不仅能进行作业智能批改,还可以提供详实的解题思路,大幅提升了学习效率。
大模型+算力,让全球用户畅享智能化生活
智谱AI致力于打造全球领先的认知智能大模型,其新一代基座大模型GLM-4性能大幅提升,逼近GPT-4,展现了业界领先的多模态大语言模型能力。通过智谱大模型与优刻得算力的强强结合,大模型推理应用稳定、高效运行于云端,并具备大规模实时推理能力,其推理速度更快,并发性更高,而成本则显著降低。这一创新使得智谱大模型能够深入理解用户需求,快速作出响应,让全球用户提前享受智能化生活的便利与高效。
早在2022年起,优刻得就开始为智谱AI提供强大的底层算力支持。优刻得低成本、高附加值的乌兰察布智算中心,提供定制化高电机柜和充沛的GPU算力,能够帮助智谱大模型迅速搭建并扩大训练和推理集群的规模,提升模型研发效率,支持大模型应用快速上线和对外服务。目前,优刻得智算中心算力管理规模共计超过3000P。
优刻得乌兰察布智算中心
优刻得助力智谱AI构建超千卡规模推理集群
自「智谱清言」正式上线以来,每日吸引数百万用户访问,面临着在文本、图片、视频等多场景下的大规模实时推理需求。为了满足激增的模型计算需求,需持续扩展计算卡数量,构建千卡级别的推理集群,以进一步提升算力资源利用率和推理性能。
优刻得推理服务平台,提供超大规模融合算力,支持计算集群的统一调度和管理。目前,优刻得已成功助力智谱AI构建了超千卡规模的推理集群。同时,在优刻得云互通产品的加持下,平台还具备强大的“混合组网能力”,让大模型得以实现训推一体化。基于全生命周期的算力资源管理,不仅确保了大模型的高效、稳定运行,使其能够应对各类复杂的推理任务,同时也为云上服务的实时响应提供了坚实的技术保障。
匹配全栈算力资源,实现多样化的推理场景覆盖
智谱大模型广泛应用于智能编程、智能写作等领域,为各行业的智能化升级提供强大的技术支持。无论是处理文本、图像还是视频等多模态数据,智谱大模型都能展现出卓越的性能和灵活性。
优刻得推理服务平台匹配全栈算力资源,兼容通用大模型和行业大模型等多样化场景,面向文图生成、代码生成等各类模型提供弹性稳定的推理服务,满足各算力场景对大规模实时推理的需求。其中,「CodeGeeX」就是智谱AI在优刻得弹性灵活的算力部署方案支撑下,所推出的一款基于大模型的智能编程助手,它可以实现代码的生成与补全、自动添加注释、代码翻译,以及智能问答等功能,每天帮助程序员编写2000万行代码,显著提高工作效率。
除了公有云上的模型推理服务,优刻得也支持大模型的私有化部署。优刻得与智谱AI正探索以“大模型一体机”为载体的全新合作方式,联合推出的行业大模型解决方案能够更好地帮助金融、医疗、汽车、制造等行业快速落地大模型业务。当下,优刻得推理服务平台已融合了丰富的行业模型资源,这些行业模型能够针对不同行业需求进行定制,提供了更加精准和高效的推理能力。
大幅降低推理成本,实现成本效益与服务质量的平衡
随着AIGC技术的持续演进,其对GPU算力的依赖愈发明显。大模型企业在追求卓越计算性能的同时,对推理算力的利用效率和成本要求也愈来愈重视。
目前,优刻得引入了先进的GPU资源管理和调度机制,为智谱大模型提供灵活可靠的性能支持。通过智能分配和动态调整集群任务,有效降低了单个节点的负载压力,同时避免算力资源的闲置和过度消耗。这种精细化的资源管理方式下,优刻得助力智谱大模型的算力利用率显著提升,带来经济又高效的大模型推理体验。优刻得的产品在推理成本方面显著优于同类竞争对手,成功实现了成本效益与服务质量的平衡。
同时,智谱AI使用了优刻得自主研发的UPFS并行文件系统,来优化模型推理性能。UPFS支持IB/RoCE网络,提供对数据百微秒级的访问和最高数百GB/s的读写吞吐,进一步提高数据传输和通信的效率。
未来,优刻得将与智谱AI携手并进,以更加灵活可靠的智算底座,推动大模型技术的持续创新与应用。相信通过双方的紧密合作与不懈努力,大模型将在各个领域落地生根、全面融入生产和生活,更多用户、更多家庭都能享受到智能、高效、便捷的人工智能体验。