大模型专题：『弈衡』人工智能大模型评测平台白皮书2024
创始人
2024-07-21 00:01:31
0次
今天分享的是：大模型专题：『弈衡』人工智能大模型评测平台白皮书2024
报告共计：21页
《『弈衡』人工智能大模型评测平台白皮书（2024年）》由中国移动研究院发布，旨在解决AI大模型评测中的挑战，构建高效、系统化且可信赖的评测平台。
AI大模型评测需求包括技术验证、质量控制、风险管理和合法合规等方面，评测内容涵盖功能性、性能、安全性和可靠性等多个维度。业界典型大模型评测平台有OpenCompass、AgentBench、OpenEval和百度大模型内容安全评测平台等，它们具有评测全面、方式多样、高效分布式评测和开源可复现等优势，但也存在缺乏统一标准、安全性和公正性问题、数据集局限、技术门槛高和分布式评测资源需求高等局限性。
中国移动“弈衡”大模型评测平台的设计原则包括智能化自动化、灵活可扩展性和交互体验设计，整体架构分为底层能力层、评测管理层、评测执行层、结果分析层和行业应用层。平台特色包括对标国际一流的评测体系、基于大模型技术的智能化结果评判和基于自组织的端到端自动化流程，创新点为用大模型测试大模型和自动化智能评测引擎。平台主要功能包括数据与模型管理、评测流程管理和结果分析与展示，具有多维度评测体系、自动化评测能力、用户友好的“一键测试”功能、高度可拓展性等优势，并在国家和产业层面有成功案例和应用实践。
未来，“弈衡”平台将扩展和深化评测需求，创新和应用评测技术，构建和共享评测数据，并构建完善的评测生态，推动各方深度合作，以适应大模型技术的发展。
以下为报告节选内容
相关内容
热门资讯
原创 外...
到2025年，中国航天领域已经接连取得了重要突破，且这些成就几乎都发生在同一时间段内。从梦舟飞船的逃...
原创 邓...
这颗以每秒61公里冲向太阳的星际访客3I/ATLAS，其双曲线轨道与自主发光现象揭示了宇宙隐性势能向...
广电计量：公司积极布局AI高算...
证券日报网讯 广电计量8月21日发布公告，在公司回答调研者提问时表示，广电计量积极布局AI高算力芯片...
原创 荣...
不知道有多少人和阿维一样，购买手机喜欢购买高配版，目前阿维手里的手机就是16GB+1TB规格的，后续...
马云时隔6年再访蚂蚁森林，比种...
马云时隔六年再次探访“蚂蚁森林”，这些年蚂蚁森林种树超6亿棵 据蚂蚁森林官方微博消息，8月19日，...
马斯克一觉醒来，Space X...
西风 发自 凹非寺 量子位 | 公众号 QbitAI 马斯克一觉醒来，新品Space X在京被发布了...
六年投数百亿元 每年上万人研发
2019年8月9日，在广东东莞松山湖举行的华为开发者大会上，华为发布了自主研发的鸿蒙操作系统。 新华...
微信最新发文：一开始就没有已读...
“微信已读功能”这个话题，年年有人问，年年上热搜，年年在辟谣，堪称热搜榜的“钉子户”和“打不死的南方...
iOS 26新增提醒回电功能，...
几周前，苹果面向 iPhone 用户推出了首个 iOS 26 公测版更新，带来了全新的“液态玻璃”设...
太原：“小莲”e路帮 服务精准...
“您好，我是小莲，很高兴为您服务。您可以问我屏幕上的这些问题。” “小莲小莲，我想知道创业有哪些补贴...
动捕设备能成为具身大模型的下一...
具身智能的产业发展可追溯至20 世纪 50 年代，图灵在其论文中提出人工智能可能的发展方向，为具身智...
工业组态平台三大头部厂商：航天...
低代码、云原生、国产化三大技术路线，正在重塑工业组态软件市场格局。在工业数字化转型浪潮中，组态软件作...
小米16系列9月单挑苹果 10...
据爆料者透露，在使用新一代旗舰芯片的国产手机中，9月底大概只有小米16系列会推出，其它采用骁龙8 E...
科技日报：人工智能时代，科学教...
图为北京一零一中学教师孙越正在教授物理探究课。 受访单位供图 “中小学科学教育是以自然科学内容为主，...
金融赋能冰城“智造”创新升级
（来源：黑龙江日报） 转自：黑龙江日报 □本报记者 程瑶 走进位于哈尔滨新区的哈尔滨海邻科信息技术有...
建发致新以“三创”驱动革新，重...
在医疗健康产业迈向高质量发展的浪潮中，传统医疗器械流通模式正面临深度变革。建发致新以“创新、创造、创...
中国太阳能风扇帽走俏海外的启示
最近，海外某社交平台上一段视频爆火。视频里一位美国女博主为正在户外烧烤的父亲送上了一份礼物——一顶由...
未来五年中国银行提供300亿元...
【东盟专线】未来五年中国银行提供300亿元助广西发展人工智能 中新社南宁8月21日电 (张广权)中国...
“男网红娶三个残障老婆”引发关...
【#抖音回应男网红娶残障老婆##农村成哥账号近1个月涨粉3.4万#】8月21日，网友投诉短视频平台#...
AI+万物智联 中国电信物联网...
（图片来源：摄图网） （记者 叶菁）作为运营商相对“传统”的业务，物联网成为运营商的一个重要基座，...