第四范式推出大模型推理端侧解决方案ModelHub AIoT
创始人
2025-02-26 22:01:52
0次
记者从第四范式了解到，2月25日，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，并实现离线运行。
上证报中国证券网讯（记者 王子霖）记者从第四范式了解到，2月25日，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，并实现离线运行。用户可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。公司表示，该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了AI大模型推理成本。
据悉，ModelHub AIoT在网络不稳定或离线环境下，端侧模型仍能正常运行，确保服务的连续性。安全性方面，在端侧部署模型，数据无需上传至云端，所有计算和处理都在本地设备上完成，避免了云端传输和存储过程中的潜在泄露风险，降低了数据被黑客攻击或滥用的可能性。成本优化方面，端侧部署可有效降低对云端资源的依赖，本地处理减少了云端计算和存储的需求，降低了服务器成本和API调用成本，无需频繁上传大量数据，节省了网络带宽资源。
相关内容
热门资讯
VR走进东方梦核，“穿越百年”...
南都讯 记者林经武 钟欣 通讯员 罗海韵 蒋欣蕾摘下头显设备，依然能重返虚拟场景中的古老亭宇，在清雅...
国产智能大型养路机械在昆明“首...
6月12日，在云南省昆明市大龙山铁路专用线捣固稳定作业现场，国产智能大型养路机械复兴号DWL-32K...
硬盘分区越多越好吗？数据管理的...
在日常使用电脑的过程中，你可能会听到一种说法：“硬盘分区越多越好”。但实际上，硬盘分区的数量并不是越...
原创 2...
在科技飞速发展的今天，未来已不再是遥不可及的想象，它正以令人惊叹的速度融入我们的日常生活。2025年...
上影节未来影院单元启动 《长安...
记者 孙永会 上海，已进入国际电影节时间。适逢世界电影诞生130周年、中国电影诞生120周年，上海这...
中石油申请颗粒传感器检测方法专...
金融界2025年6月14日消息，国家知识产权局信息显示，中国石油天然气集团有限公司申请一项名为“颗粒...
救捞系统全力高效完成2025年...
据中央气象台消息，2025年第1号台风“蝴蝶”于6月14日12时30分在广东雷州半岛二次登陆，登陆时...
华为畅享系列实力登上千元好物6...
在618这个购物盛宴中，手机市场犹如一片繁华的战场，各大品牌纷纷使出浑身解数，试图在这场激烈的竞争中...
绿米联创取得驱动组件及电动卷帘...
金融界2025年6月14日消息，国家知识产权局信息显示，深圳绿米联创科技有限公司取得一项名为“驱动组...
《开播吧！国潮》守住文化，玩出...
来源：央视网 中央广播电视总台携手抖音平台，开创一档集文艺创作、才艺展示、文化传承于一体的新型台...
天文学家发现 10 万亿倍太阳...
6 月 15 日消息，哈佛-史密森尼天体物理中心研究团队本周在阿拉斯加举行的第 246 届美国天文学...
北京橡胶院申请自密封轮胎涂胶设...
金融界2025年6月14日消息，国家知识产权局信息显示，北京橡胶工业研究设计院有限公司申请一项名为“...
15岁中国少女解决世界难题，一...
2020年10月，第二届世界顶尖科学家大会在上海举行，汇聚了众多世界级的科学家，其中不乏诺贝尔奖获得...
原创 1...
2020年10月，第二届世界顶尖科学家大会在上海举行，汇聚了众多世界级的科学家，其中不乏诺贝尔奖获得...
超声检查、微生物研究……“太空...
超声检查、微生物研究……“太空出差”乘组各项工作进展顺利 “太空出差”50余天，神舟二十号航天员陈...
“华强北”围攻AI耳机，未来智...
文/曹双涛 编辑/杨博丞 跨境游热度不减、出海成为当前中企的“必答题”、AI大模型技术持续升级等多重...
无人机运动相机VR头显：新兴数...
随着科技的飞速发展，无人机、运动相机和VR头显这些新兴数码产品逐渐走进了我们的生活。作为一名数码爱好...
显卡“三风扇”和“双风扇”区别...
当显卡风扇的轰鸣声化作数据洪流中的战鼓，三风扇与双风扇的较量早已超越简单的数量之争，而是演变为一场关...
突如其来的怀旧！Win11开机...
快科技6月15日消息，Windows 11近日的Dev和Beta版本的更新带来了一些改进，但这些预览...
原创 又...
作为定位年轻人群的科技潮牌，realme真我从一开始就不是循规蹈矩的角色，而是真正打破规则、敢于“越...