Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型
创始人
2024-04-10 03:36:04
0

原标题:Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型

快科技4月10日消息,美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi 3 AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。

数据显示,预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。

Intel的最新解决方案,有望帮助企业应对推广AI项目时所面临的挑战,加速实现AIGC落地商用。

Intel现有的Gaudi 2诞生于2022年5月,并于2023年7月正式引入中国,拥有极高的深度学习性能、效率,以及极高的性价比。

它采用台积电7nm工艺制造,集成24个可编程的Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等,支持PCIe 4.0 x16,最高功耗800W,可满足大规模语言模型、生成式AI模型的强算力需求。

新一代的Gaudi 3面向AI训练和推理,升级为台积电5nm工艺,带来了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽、1.5倍的内存带宽。

对比NVIDIA H100,它在流行LLM上的推理性能领先50%、训练时间快40%。

Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型、1750亿参数GPT-3模型的训练时间。

在Llama 70亿/700亿参数、Falcon 1800亿参数大型语言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。

Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。

Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。

Gaudi 3 AI加速器具备高性能、经济实用、节能、可快速部署等优点,能够充分满足复杂性、成本效益、碎片化、数据可靠性、合规性等AI应用需求。

Gaudi 3将于2024年第二季度面向OEM厂商出货,包括戴尔、慧与、联想、超威等。

目前,Intel Gaudi加速器的行业客户及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。

此外,Intel还宣布联合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴,共同创建一个开放平台,助力企业推动AI创新。

该计划旨在开发开放的、多供应商的AIGC系统,通过RAG(检索增强生成)技术,提供一流的部署便利性、性能和价值。

初始阶段,Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强Intel Tiber开发者云平台基础设施的功能。

相关内容

热门资讯

彭博社:苹果新款Vision ... (映维网Nweon 2025年07月10日)根据彭博社的马克·古尔曼,苹果即将在今年发布的升级版Ap...
首次揭示月背约42亿年前和28... 本报北京7月9日电 (吴月辉、刘珈如)7月9日,中国科学院举行新闻发布会,发布嫦娥六号月球样品最新研...
2kW下效率高达97%!港晟图... 前言 当前,高功率电源在效率、散热与体积方面正面临重重考验。尽管升压 PFC+LLC 拓扑已被广泛...
北大学生选择武汉创业 专注智慧... “明天,我们一起去工厂里走一遍流程,看能不能想办法把净空空间利用得更好……”6月30日,在湖北浩蓝智...
新 AI 模型助力更准确预测心... 转自:科普中国 美国研究人员开发出一款多模态人工智能(AI)模型,能显著提高识别心源性猝死高风险人群...
工会数智化核心基础设施“工会智... 在7月3日召开的全国工会数智化建设工作现场推进会上,“工会智脑”正式发布。 “工会智脑”由大模型算力...
华为又一重大发布!引领酒店行业... “ 华为发布星河AI酒店网络解决方案,将重塑酒店业数智化标准 在当今数智化与智能化深度融合的时代浪潮...
AI狂欢,网站末日来了!互联网... 新智元报道 编辑:KingHZ 【新智元导读】谷歌上线AI摘要功能,表面上让搜索更高效,背后却在悄...
罗马仕之死 来源 | 伯虎财经(bohuFN) 作者 | 梦得 席卷充电宝整个行业的风暴,似乎“罗马仕”受伤最为...
有感觉吗?今天是地球有史以来最... 【圣路易时报讯】2025年7月9日,地球迎来有记录以来“最短的一天”。据国际地球自转和参考系统服务机...
北上 | 来自铁路上的他们! 白山黑水间,青春热望与北疆辽阔相遇。这片土地以包容开放姿态,托举青年理想,而青年正以滚烫赤诚回应时代...
从太空轨道到未来神话的伦理危机 在技术飞速发展的当代,人工智能、宇宙移民与生命工程的讨论已从专业学界延伸至公众视野,技术如何改变生命...
AI浏览器新挑战:Perple... 在AI技术日新月异的当下,一场关于如何重新定义上网体验的商业竞争正悄然升温。近期,备受瞩目的美国AI...
智元机器人入主上纬新材:三步走... 近日,资本市场迎来了一则引人注目的消息:智元机器人拟入主A股上市公司上纬新材(688585),这一消...
蓝海视界取得CELL双工位检测... 金融界2025年7月9日消息,国家知识产权局信息显示,深圳市蓝海视界科技有限公司取得一项名为“一种C...
“双轮驱动”打通 页岩油开发的... 新的成就标志着新疆油田在非常规油气开发领域取得重大突破,更彰显了开发者们齐心协力“把这件事干成”的坚...
格力申请一种BMC材料组合物等... 金融界2025年7月9日消息,国家知识产权局信息显示,珠海格力新材料有限公司;珠海格力电器股份有限公...
中银国际:产业催化在即 重视A... 智通财经获悉,中银国际发布研报称,AI眼镜、AI手机等AI端侧产品正在进入加速落地期,国产消费电子龙...
走在前、挑大梁•产业链上的山东... 近日,2025年市工业企业“一企一技术”研发中心名单发布,威高采血耗材有限公司入围。作为国内采血耗材...
超导量子比特相干时间创一毫秒新... 新华社赫尔辛基7月9日电(记者朱昊晨 徐谦)芬兰阿尔托大学8日宣布,该校研究人员将超导量子比特的最长...