来源 :金融界2024-01-13
据国家知识产权局公告,航天信息股份有限公司申请一项名为“一种大语言模型训练方法、装置及相关设备“,公开号CN117390450A,申请日期为2023年10月。
专利摘要显示,本申请提供了一种大语言模型训练方法、装置及相关设备,通过获取预训练大语言模型;采用初始微调数据集对预训练大语言模型进行微调,得到微调大语言模型;基于提问数据以及答复数据构建优化微调数据集,答复数据是由微调大语言模型输出的针对提问数据的答复数据;利用优化微调数据集,对微调大语言模型进行迭代优化,获得训练好的大语言模型。本申请的这种大语言模型训练方法,基于用户的使用反馈,不断迭代优化微调大语言模型的方法,在迭代优化微调大语言模型的过程中产生了大量的数据对优化数据集进行调整,可以有效的减少训练及优化过程使用的样本数据获取的成本,并有效提高调整后的大语言模型的性能。