Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型
创始人
2024-04-10 03:36:04
0

原标题:Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型

快科技4月10日消息,美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。

数据显示,预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。

Intel的最新解决方案,有望帮助企业应对推广AI项目时所面临的挑战,加速实现AIGC落地商用。

Intel现有的Gaudi 2诞生于2022年5月,并于2023年7月正式引入中国,拥有极高的深度学习性能、效率,以及极高的性价比。

它采用台积电7nm工艺制造,集成24个可编程的Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等,支持PCIe 4.0 x16,最高功耗800W,可满足大规模语言模型、生成式AI模型的强算力需求。

新一代的Gaudi 3面向AI训练和推理,升级为台积电5nm工艺,带来了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽、1.5倍的内存带宽。

对比NVIDIA H100,它在流行LLM上的推理性能领先50%、训练时间快40%。

Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型、1750亿参数GPT-3模型的训练时间。

在Llama 70亿/700亿参数、Falcon 1800亿参数大型语言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。

Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。

Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。

Gaudi 3 AI加速器具备高性能、经济实用、节能、可快速部署等优点,能够充分满足复杂性、成本效益、碎片化、数据可靠性、合规性等AI应用需求。

Gaudi 3将于2024年第二季度面向OEM厂商出货,包括戴尔、慧与、联想、超威等。

目前,Intel Gaudi加速器的行业客户及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。

此外,Intel还宣布联合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴,共同创建一个开放平台,助力企业推动AI创新。

该计划旨在开发开放的、多供应商的AIGC系统,通过RAG(检索增强生成)技术,提供一流的部署便利性、性能和价值。

初始阶段,Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强Intel Tiber开发者云平台基础设施的功能。

相关内容

热门资讯

滕达参加厦门市人大常委会202... 7月3日上午,厦门市人大常委会2025年度读书班开班,市人大常委会主任杨国豪作开班动员讲话。国投智能...
2025年苏州青年科学家名单公... 今天 在2025高校技术转移转化大会 暨第二届苏州国际科创大会、 第十七届国际精英创业周开幕式现场 ...
热烈祝贺江苏科技大学郭伟教授当... 2025 年 5 月 21 日,江苏科技大学首席科学家郭伟教授收到俄罗斯工程院(RAE)主席古谢夫发...
今年一季度上海市规上人工智能产... 7月10日,上海市政府副秘书长、上海市经济信息化委主任张英在2025世界人工智能大会暨人工智能全球治...
国资委:加快培养工业母机产业人... ● 本报记者 刘丽靓 国务院国资委7月9日消息,国务院国资委主办的中央企业工业母机领域人才特训班近日...
雅安雨城:开展无人机驾驶基础技... 中新网四川新闻7月10日电 (刘刚郑瑶)近日,雅安市雨城区人社部门在周公山镇余家村文化广场,开展了无...
智慧中医让优质医疗服务触手可及 转自:中国中医药网 在岭南中医药文化的深厚土壤中,广东省中医院以“开放包容,敢为人先”的精神,在数字...
月球样品又有新发现!嫦娥六号揭... 据新华社北京7月9日电 7月9日,中国科学院发布嫦娥六号月球样品系列研究成果,四项重磅研究以封面文章...
背靠英伟达的Perplexit... 7月10日讯(编辑 史正丞)获英伟达投资的美国AI搜索初创公司Perplexity AI周三宣布,推...
哈工大录取通知书公布,将送 2... IT之家 7 月 10 日消息,哈尔滨工业大学近日公布了今年的录取通知书以及“哈工大小卫星梦想遨游计...
嫦娥六号月球样品研究又有新成果 7月9日,中国科学院地质与地球物理研究所、中国科学院国家天文台与南京大学等科研团队,利用嫦娥六号采回...
青岛西海岸新区:打造“科研淘宝... 原标题:青岛西海岸新区:打造“科研淘宝”平台,激活协同创新生态 青岛古镇口大学城大型科学仪器设备设施...
彭博社:苹果新款Vision ... (映维网Nweon 2025年07月10日)根据彭博社的马克·古尔曼,苹果即将在今年发布的升级版Ap...
首次揭示月背约42亿年前和28... 本报北京7月9日电 (吴月辉、刘珈如)7月9日,中国科学院举行新闻发布会,发布嫦娥六号月球样品最新研...
2kW下效率高达97%!港晟图... 前言 当前,高功率电源在效率、散热与体积方面正面临重重考验。尽管升压 PFC+LLC 拓扑已被广泛...
北大学生选择武汉创业 专注智慧... “明天,我们一起去工厂里走一遍流程,看能不能想办法把净空空间利用得更好……”6月30日,在湖北浩蓝智...
新 AI 模型助力更准确预测心... 转自:科普中国 美国研究人员开发出一款多模态人工智能(AI)模型,能显著提高识别心源性猝死高风险人群...
工会数智化核心基础设施“工会智... 在7月3日召开的全国工会数智化建设工作现场推进会上,“工会智脑”正式发布。 “工会智脑”由大模型算力...
华为又一重大发布!引领酒店行业... “ 华为发布星河AI酒店网络解决方案,将重塑酒店业数智化标准 在当今数智化与智能化深度融合的时代浪潮...
AI狂欢,网站末日来了!互联网... 新智元报道 编辑:KingHZ 【新智元导读】谷歌上线AI摘要功能,表面上让搜索更高效,背后却在悄...