以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵
创始人
2024-04-27 00:36:19
0

原标题:以多模态场景大脑为核心,商汤绝影打造AI大模型座舱产品矩阵

商汤绝影一直是智能座舱领域的头部供应商,座舱AI软件的市场份额连续5年位列行业第一。作为加速智能汽车驶入AGI时代的核心技术伙伴,商汤绝影着力打造了以敏锐洞察、深度思考、高效执行的多模态场景大脑为核心的AI大模型座舱产品矩阵,为用户提供深度个性化、有人文关怀的全新出行体验。

行业领先的一站式智能座舱产品解决方案

基于商汤积累深厚的人脸识别、视线追踪、头部姿态、动作识别、物体识别等底层技术能力,商汤绝影提供多层次、全方位的一站式智能座舱产品解决方案,包括驾驶员感知系统(DMS)、车舱感知系统(OMS)、车外近场感知系统和AI大模型座舱产品体系。

作为国内座舱AI软件的领头羊,商汤绝影已经打造超过15个行业首发的智能座舱产品与功能,展现出强大的持续创新能力和量产上车实力。

2020年,商汤绝影发布行业首个量产3D刷脸开车门技术,并在美国某高端品牌车型上实现全球首发,后续以FaceID为核心的刷脸解锁车门的产品量产落地合资车企和国内造车新势力企业。2021创交会上,商汤绝影的座舱乘员健康检测功能行业首发,实现舱内健康检测从0到1的量产突破。

2024年1月,蔚来正式发布Banyan·榕2.4.0 智能系统,其中商汤绝影与蔚来紧密合作,持续打磨优化全舱人脸识别技术能力,助力蔚来发布行业首创的NOMI全舱记忆功能。

凭借全舱感知能力和本地账户的画像信息,NOMI全舱记忆功能最多可以记住19位用户信息,以更亲切的称呼来替代“主驾”、“副驾”等生硬词汇,人机交互更加有温度。同时,NOMI还能同步全舱每个驾乘人员的数据,如座椅位置、音乐账号等,从而满足每个记忆用户的个性化需求,自然拉近与用户的情感距离,让每一次出行体验更加温馨、舒适。

到2023年底,商汤绝影智能座舱产品解决方案已经上车30家国内外主机厂,覆盖80多个车型。

敏锐洞察、深度思考、高效执行的多模态场景大脑,引领智舱新体验

传统的智能座舱设计往往以单点功能为主,不同功能之间相互独立,用户体验不够流畅,孤立、离散的功能组合称不上是真正的智能座舱。以多模态大模型和语言大模型为基础,商汤绝影正在打造的敏锐洞察、深度思考、高效执行的多模态场景大脑,重塑座舱体验。

通过应用场景和用户需求驱动,多模态场景大脑让智能汽车可以高效准确地全景感知和深度理解用户需求和周围环境,并以场景大脑为核心打通不同应用,可以全局调用车上开放的软硬件服务,将离散的单点功能聚合在一起,从而为用户提供更多深度个性化的主动关怀和服务。

多模态大模型可以准确感知并识别车外信息

基于地理位置推荐符合用户喜好的餐厅、介绍用户感兴趣的外部自然景物,并进行优质景点推荐是绝影AI大模型座舱产品的基础功能。凭借强大的多模态感知能力,搭载商汤绝影方案的车辆能准确感知车外信息,包括周围车辆的车型、标志性建筑物等,以语音、图片或视频等方式为舱内人员提供更为准确和全面的内容,帮助用户了解和掌握外部环境信息。

大模型上车的能力不止于此。根据对于用户行程安排和实时交通数据的精准分析,结合用户的表情和语气,商汤绝影“场景大脑”能够及时发现驾驶员可能面临的迟到风险,并提供两条可选路线与预计抵达时间,用户可通过手势或语音命令进行确认。同时,在得到确认后,系统还可以根据用户的表达习惯向相关会议参与者发送通知,告知相关情况,为用户提供专业高效、温暖贴心的智能出行体验。

加速AI大模型座舱产品量产落地

当前很多座舱大模型仅仅是将PC端或手机端的大模型APP简单地搬运到车内,而非针对座舱场景专项定制。由于手机和座舱在交互逻辑、显示方式等都存在显著差异,这样的机械式搬运难以提供良好的人机交互体验。

基于多模态大模型、语言大模型、文生图大模型、“大医”大模型等能力组合,商汤绝影以多模态场景大脑为核心,打造了丰富的AI大模型座舱产品矩阵。

“车典”把汽车说明书装进了车内的语言大模型中,“千语”可以让车载语音助手进行角色扮演,“神笔”让用户秒变“车内大画家”,“童伴”让车内的儿童跟有趣的故事、古诗和成语游戏为伴,寓教于乐,而“旅医”就像是一个移动的私人健康管家,为驾乘人员提供专业且个性化的健康管理服务。

“神笔”让用户秒变“车内大画家”

尤其是“旅医”这个健康管理的大模型产品,它是以“大医”医疗健康大模型为桥梁,联结健康检测及医疗生态服务,首次在座舱内对用户进行专业及个性化健康管理服务,实现健康咨询、在线挂号、检测、报告解读、用药咨询、健康科普等一系列服务。

这个功能对于怀孕的用户来说特别友好,当感知车内有孕妇时,“旅医”会主动感知和询问孕妇健康状态,当判断需要产检或者其他医疗援助时,会主动推荐相应的医疗机构,征得用户同意后,协助完成挂号等一系列操作。

“旅医”首次在座舱内对用户进行专业及个性化健康管理服务

同时,商汤绝影也在推进AI大模型座舱产品的量产落地,目前已上车多家主流车企的量产车型。

近期小米SU7的上市与交付倍受关注,商汤“日日新”大模型体系全面助力小爱语音助手车载场景应用,为用户提供智能座舱的升维体验。

此外,绝影已经和一家国内领先的新势力车企深度合作,多模态大模型部署上车,将让智能汽车全方位感知并理解车外路况、天气等环境数据和舱内所有驾乘人员的对话、表情及用户画像等各类信息,针对性地提供更多主动关怀、深度个性化的产品和服务。

面向通用人工智能的未来,商汤绝影还在进一步探索舱驾融合,以实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合,提升用户体验、降低系统成本,进一步打破舱内外的界限和束缚,涌现更多创新功能,让智能汽车向着超级智能体进化。

相关内容

热门资讯

5G赋能企业通信转型:二级运营... 5G技术的广泛应用正引领企业通信进入一个崭新的“智能赋能”时代。根据中国信通院的最新数据,到2024...
竞道光电光伏环境监测仪,数据助... 来源:竞道光电 【JD-FGF9山东竞道光电厂家品质保障,值得信赖】在光伏产业规模化、智能化发展的背...
客易云AI数字人:掀起数字人创... 在当今智能化浪潮中,客易云数字人凭借其前沿的人工智能技术,在数字人创作领域脱颖而出。它专注于运用高精...
西安市中心医院举办2025年临... 阳光讯(记者 郑亚雷)7月16日—7月18日,在西安市中心医院北大街院区门诊4楼多功能厅举办了为期三...
锦州新锦化取得平衡盘密封防旋绕... 金融界2025年7月18日消息,国家知识产权局信息显示,锦州新锦化机械制造有限公司取得一项名为“一种...
快手高级副总裁马宏彬:数字经济... 7月16日,以“共创金砖未来 共谱南方新篇”为主题的金砖国家媒体智库高端论坛在巴西里约热内卢举行。快...
机情问答:手机内置/外挂风扇哪... 【CNMO科技】近日,OPPO K13 Turbo系列即将发布,这款新机将搭载一项重要硬件配置——内...
AI助力科学家寻外星生命,新策... 在浩瀚无垠的宇宙中,地球是否孤独地漂浮着,这一问题自古以来便萦绕在人类的心头。探索外星生命的存在,一...
聚智向实 共智有为 华为亮相2... 当前,数实融合已成为推动新质生产力发展的核心力量。7月18日,以“向实同行,共创融合新生态”为主题的...
实景映射、数字分析、联动应急,... 7月18日,记者从西城区了解到, 由蓟城山水集团研发的“什刹海智能运营管理平台”上线。该平台将为什刹...
湖州德清舞阳街道:暑期科学秀点... 潮新闻客户端 通讯员 李婷 “快看!这个泡泡比我人还高!”7月17日上午,塔山社区活动室爆发出阵阵欢...
我省一民生大模型算法正式通过国... 本报讯 7月14日,国家网信办公布第十二批深度合成服务算法备案名单,我省企业中科同昌万锦信息技术有限...
2024年高性价比之选:揭秘红... 在现代社会,手机已成为人们不可或缺的“数字伴侣”,然而续航焦虑和性能不足却如影随形,成为用户心中的隐...
祁阳:科技成果赋能企业发展 今日永州讯(通讯员 伍迎宾 田武)祁阳市聚焦建设现代化产业体系,促进科技成果产业化,充分释放科技创新...
河北医科大学举办第三届智能医学... 来源:时讯博览 7月11日至15日,河北医科大学医学影像学院依托智能医学影像产业学院举办第三届夏令营...
人民网发布《中国智能互联网发展... 人民网上海7月18日电(记者廖灿亮) 今日上午,由人民网主办的2025中国智能互联网蓝皮书发布活动在...
青·学习 | 人工智能是年轻的... 青 · 学习 习近平总书记在上海考察时强调:“人工智能是年轻的事业,也是年轻人的事业。”这一论断不仅...
科研人员探测到迄今最大质量的黑... 新华社伦敦7月17日电(记者郭爽)一个国际合作团队日前宣布,他们借助美国激光干涉仪引力波天文台(LI...
海尔智家获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示海尔智家(600690)新获得一项实用新型专利授权,专利名为“...
iPhone 17 刀法精湛又... 按照惯例,苹果将会在今年9月带来新一代的iPhone系列发布活动。因此目前出现的产品爆料已经基本接近...