来源 :金融界2024-02-20
据国家知识产权局公告,税友软件集团股份有限公司申请一项名为“一种多模态文本分类方法、装置、设备及存储介质“,公开号CN117576701A,申请日期为2023年11月。
专利摘要显示,本申请公开了一种多模态文本分类方法、装置、设备及存储介质,涉及信息技术领域,包括:基于初始图像、初始输入文本及预定义标签确定目标输入文本,根据目标输入文本及目标语言模型获取目标文本特征;基于初始图像及深度残差网络模型获取初始图像特征,利用注意力机制、初始图像特征及目标文本特征筛选目标图像特征;基于目标语言模型获取中间层无类别文本特征,将中间层无类别文本特征及中间层输入文本特征输入至变分自编码器,得到中间层输入文本特征和中间层无类别文本特征对应的均值和方差;基于均值和方差获取权重值,以便利用分类器根据权重值、目标图像特征及目标文本特征对初始输入文本进行分类。本申请优化了对于图像特征的引入机制。