国产GPU能快速部署DeepSeek了
创始人
2025-02-06 08:21:05
0次
此外，用户也可以基于摩尔线程MTT S80、MTT S4000显卡，进行DeepSeek-R1蒸馏模型的推理部署。其实早在1月28日，就已经有B站UP主在摩尔线程MTT S80上手动完成实践。
通过DeepSeek提供的蒸馏模型，能够将大规模模型的能力迁移至更小、更高效的版本，在国产GPU上实现高性能推理。摩尔线程基于自研全功能GPU，通过开源与自研双引擎方案，快速实现了对DeepSeek蒸馏模型的推理服务部署。
基于Ollama开源框架，摩尔线程完成DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署，并在多种中文任务中展现了优异的性能，验证摩尔线程自研全功能GPU的通用性与CUDA兼容性。通过摩尔线程自主研发的高性能推理引擎，结合软硬件协同优化技术，通过定制化的算子加速和内存管理，显著提升了模型的计算效率和资源利用率。
这一引擎不仅支持DeepSeek蒸馏模型的高效运行，还为未来更多大规模模型的部署提供了技术保障。 摩尔线程即将开放自主设计的夸娥（KUAE）GPU智算集群，全面支持DeepSeek V3、R1模型，以及新一代蒸馏模型的分布式部署。夸娥集群集成先进推理技术与分布式计算框架，将确保大规模模型的高效稳定运行，助力开发者快速实现业务落地。
相关内容
热门资讯
河北开展2025年度智能工厂梯...
我省开展2025年度智能工厂梯度培育行动 加快推动制造业数字化转型智能化升级 3月28日，在安平网...
昆山农商银行成功上线境内海运费...
2025年5月30日，昆山农商银行境内海运费发票OCR智能识别及检验真伪功能正式投产运行，并成功为本...
需求断层、数据孤岛、评价滞后！...
当前，全球人工智能技术加速迭代，生成式AI正深刻重塑教育生态。中共中央、国务院《教育强国建设规划纲要...
国内首个低空新基建完整解决方案...
【国内首个低空新基建完整解决方案发布】财联社7月8日电，由遥感卫星应用国家工程研究中心等单位主办的2...
“上新”！合肥绘制“未来产业图...
在安徽省合肥国家高新技术产业开发区，有一条孕育了数十家量子科技企业的“量子大街”。过去的10多年里，...
智能机器人“大白”助力FRAS...
东方网通讯员陈霞琼、肖鑫、记者刘轶琳7月8日报道：日前，同济大学附属上海市第四人民医院胃肠外科，一位...
和林格尔新区：打造绿色算力产业...
在即将于7月12日举办的2025绿色算力（人工智能）大会上，作为承办方之一的内蒙古和林格尔新区将成为...
矩道科技VR教育新体验：让孩子...
上海网络科技有限公司，一家秉持“为教育增添新维度”愿景的前沿科技企业，正引领着教育行业迈向虚拟现实与...
新疆建立西北首个脑机接口病房
7月6日，新疆医科大学第一附属医院神经外科脑机接口(BCI)病房揭牌，新疆医疗在神经科技领域迈入新阶...
2025齐齐哈尔第二届国际无人...
在齐齐哈尔水师森林温泉度假区，一场盛大的千架无人机+巨幕烟花秀表演将于7月12日20:38璀璨上演，...
金盘科技涨4.25%，成交额5...
7月8日，金盘科技涨4.25%，成交额5.12亿元，换手率3.22%，总市值161.03亿元。 异动...
AI版三个臭皮匠！ChatGP...
不圆 发自 凹非寺 量子位 | 公众号 QbitAI ChatGPT的对话流畅性、Gemini的多模...
智慧农场，科技拓展想象（大数据...
江苏省农科院设施番茄智能化生产示范基地内，智慧农业创新团队在调试采摘机器人。 李 博摄 在山东省黄...
外媒：为何是中国正让空中出租车...
以色列Calcalistech网站7月6日文章，原题：为什么是中国，而不是好莱坞正在让空中出租车成为...
亿纬锂能获得实用新型专利授权：...
证券之星消息，根据天眼查APP数据显示亿纬锂能（300014）新获得一项实用新型专利授权，专利名为“...
原创 通...
盖世汽车讯 7月4日，通用汽车宣布，今年第二季度，通用汽车及其在华合资企业（上汽通用和上汽通用五菱）...
纽威股份获得实用新型专利授权：...
证券之星消息，根据天眼查APP数据显示纽威股份（603699）新获得一项实用新型专利授权，专利名为“...
UV光固化树脂在3D打印领域的...
在3D打印技术飞速发展的今天，材料创新已成为推动行业突破的关键力量。作为增材制造领域的核心耗材，UV...
百年古树倾倒前，可有精准 “把...
百年古树是自然与历史的珍贵遗产，其倾倒前的微小倾斜变化难以被肉眼察觉，而 HYS07 倾角传感器正是...
打造湾区智能养老高地！“广东造...
以智能机器帮助腿脚不便的老人家“恢复”上下楼能力、24小时陪护独居老人，监护安全指标……伴随老龄人口...