2023-12-21 16:42:49 作者:姚立伟
谷歌近日发布了一个名为TpuGraphs的模型训练数据集,旨在优化编译器和提升AI深度学习能力。这个数据集主要来自各种开源深度学习程序,包括多种热门模型架构,如ResNet、EfficientNet、Mask R-CNN和Transformer等。
据谷歌介绍,与业界竞品相比,TpuGraphs数据集的平均图大小是业界训练集的770倍,“图数量”则是对了25倍。他们声称,利用TpuGraphs数据集可以有效解决最终输出模型可扩展性、效率和质量等问题。
此外,谷歌还介绍了一种名为GST(Graph Segment Training)的模型训练方法,该方法可以在RAM有限的设备上训练大型图神经网络,并宣称能够将模型端到端训练时间加速3倍,从而提高模型训练效率。