金融界2024年2月19日消息,据国家知识产权局公告,上海浦东发展银行股份有限公司申请一项名为“一种基于分布式的大规模数据迁移方法“,公开号CN117555878A,申请日期为2023年10月。
专利摘要显示,本发明涉及一种基于分布式的大规模数据迁移方法,方法包括:S1、建立迁移数据库;S2、将源库中的源数据导入迁移库,迁移库对源数据进行跑批映射,得到目标数据;S3、跑批完成得到目标数据后,进行源数据和目标数据的验证,验证后将目标数据下发至目标库;其中,源数据包括大数据量表,大数据量表包括分区表和频繁查询的基础数据,迁移库对大数据量表进行跑批映射的具体步骤为:对分区表中分区不均匀的分区表进行分片处理,对频繁查询的基础数据进行缓存,然后对分片处理后的分区表、缓存后的频繁查询的基础数据进行跑批写入目标表数据,并创建行索引,完成跑批映射。与现有技术相比,本发明具有提高数据迁移效率等优点。
来源:金融界