摩尔线程推出首个全国产千卡千亿模型训练平台
经济观察网 记者 陈奇杰
12月19日，摩尔线程推出首个全国产千卡千亿模型训练平台“摩尔线程KUAE智算中心”。另外，其还发布大模型智算加速卡MTT S4000。
摩尔线程成立于2020年10月，是一家以GPU（图形处理器）芯片设计为主的集成电路高科技公司，其创始人张建中曾经担任英伟达全球副总裁、中国区总经理。此前，摩尔线程被美国列入AI芯片实体清单。
据摩尔线程介绍，MTT S4000采用第三代MUSA（摩尔线程产品系列采用的统一系统架构）内核，单卡支持48GB显存容量和768GB/s的显存带宽，FP16（16位半精度浮点数）算力为100TFLOPS（每秒浮点运算次数）。同时，MTT S4000提供先进的图形渲染能力、视频编解码能力和超高清8K HDR（高动态范围成像）显示能力，助力AI（人工智能）计算、图形渲染、多媒体等综合应用场景的落地。
借助摩尔线程自研开发工具，MTT S4000计算卡可以充分利用现有CUDA（英伟达推出的通用并行计算架构）软件生态，实现CUDA代码零成本迁移到MUSA平台。
摩尔线程KUAE智算中心支持千亿参数模型的预训练、微调和推理，其基于MTT S4000进行建设，通过摩尔线程自研技术实现多卡互联，并支持单卡到千卡集群的无缝扩展。未来摩尔线程还将推出更大规模的集群，以满足更大规模的大模型训练需求。
据悉，目前摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程KUAE千卡集群，70B（700亿）到130B（1300亿）参数的大模型训练，线性加速比均可达到91%，算力利用率基本保持不变。以2000亿训练数据量为例，智源研究院700亿参数Aquila2可在33天完成训练；1300亿参数规模的模型可在56天完成训练。此外，摩尔线程KUAE千卡集群支持长时间连续稳定运行，支持断点续训。
摩尔线程CEO张建中表示：“摩尔线程KUAE智算中心的正式启用，是公司发展的重要里程碑。摩尔线程构建了从芯片到显卡到集群的智算产品线，依托全功能GPU的多元计算优势，旨在满足不断增长的大模型训练和推理需求，以绿色、安全的智能算力，大力推动AIGC（生成式人工智能）、数字孪生、物理仿真、元宇宙等多模态应用的落地和千行百业的高质量发展。”