来源 :金融界2023-12-20
金融界2023年12月20日消息，据国家知识产权局公告，北京中科金财科技股份有限公司申请一项名为“一种基于深度学习的实时多语言处理的直播方法及系统”，公开号CN117253486A，申请日期为2023年9月。
专利摘要显示，本公开实施例提出了一种基于深度学习的实时多语言处理的直播方法及系统，所述方法包括：接收语音信号，并将其转化为文字信号；将所述文字信号实时翻译为目标语言文字；将所述目标语言文字转化为对应的目标语音信号；将接收的原始视频及所述目标语音信号输入基于深度学习的唇形合成模型调整所述原始视频中的唇形动作，得到所述唇形动作与所述目标语音信号相匹配的音视频流；将所述音视频流实时传输至用户接收端。本公开实施例能够在保证翻译质量的同时，实现语音和弹幕的实时翻译。同时，通过音视频同步技术和唇形合成技术，解决了音画不同步和口型不匹配的问题。