金融界2024年4月13日消息,据国家知识产权局公告,清华大学申请一项名为“一种基于课程学习的自监督预训练系统及方法“,公开号CN117875360A,申请日期为2024年1月。
专利摘要显示,本发明提供了一种基于课程学习的自监督预训练系统及方法,涉及图结构数据技术领域,包括第一掩码器将样本图结构数据输入训练过程中的有结构感知能力的掩码自编码器,得到样本图结构数据中每个节点的向量化表示,基于第一残差误差确定构成课程的边集合;第二掩码器基于构成课程的边集合和样本图结构数据选择要掩码的边,得到基于第一难度得分的选取的边集合;有结构感知能力的掩码自编码器基于扰动图为输入进行重建,得到重建图结构数据;基于样本图结构数据和重建图结构数据计算损失值,并基于损失值继续训练,直到得到满足训练结束条件,得到训练好的有结构感知能力的掩码自编码器。上述系统无需标签即可训练。
来源:金融界