今天 DeepSeek 带来了 DeepEP,一个专为混合专家系统(MoE)和专家并行(EP)定制的通信库。
它的设计灵感来自 DeepSeek-V3 论文里的群组限制门控算法(group-limited gating),这个算法能帮助大模型更高效地分配任务给不同的「专家」, 降本增效从未如此简单。
DeepEP 的 亮点颇多:
高效优化的全员协作通道
专为训练和推理预填充设计的高吞吐核心
专为推理解码设计的低延迟核心
原生支持FP8智能压缩传输
灵活调控GPU资源,实现边计算边传输
DeepEP 在 Mixture-of-Experts (MoE) 模型的通信技术上有所突破,特别是在 GPU 内核优化方面。它显著提升 MoE 模型的性能和效率,适用于大规模 AI 训练和推理。
DeepSeek 开源周,APPSO 将持续带来最新动态和解读,
上一篇:闪迪独立,西部数据完成分拆
下一篇:“D医生”打下手,真医生唱主角