远光软件申请预训练模型专利，专利技术能提高预训练模型进化的效率和效果

　　金融界2024年1月30日消息，据国家知识产权局公告，远光软件股份有限公司申请一项名为“预训练模型的构建方法、计算机装置及计算机可读存储介质“，公开号CN117473310A，申请日期为2023年10月。

　　专利摘要显示，本发明提供一种预训练模型的构建方法、计算机装置及计算机可读存储介质，该方法包括建预训练模型所需要的数据集，基于数据集形成数据集范式；对所构建的数据集进行离线增量训练，并对数据集进行在线强化学习；设计预训练模型的进化模式：从本地知识库提取目标知识信息，将目标知识信息进行变换形成满足离线增量训练需求的知识集合，将知识集合形成目标文档，按照预设的时间间隔将目标文档导入到离线增量训练的模型中并进行增量训练；在增量训练完成后得到包含增量知识的附加模型，将附加模型与预训练模型进行融合获得新的预训练模型。本发明还提供实现上述方法的计算机装置备及计算机可读存储介质。本发明能提高预训练模型进化的效率和效果。