来源 :新浪财经2023-07-07
7月7日下午消息,2023世界人工智能大会期间,在中国电信“算网一体·融创未来”的分论坛上,中国电信数字智能科技分公司(电信智科)正式对外发布中国电信大语言模型TeleChat,并展示了大模型赋能数据中台、智能客服和智慧政务三个方向的产品。电信智科副总经理何忠江介绍,TeleChat使用了大量高质量中英文语料进行预训练,并采用了千万级问答数据进行微调。同时,设计了渐进膨胀注意力机制,用于增加模型的间隔采样,扩大实际感受野;研发了自校准微调技术,将迭代后相关性偏差作为强化学习的监督信号,提升强化学习效果;并且利用知识图谱协同增强策略,通过知识图谱增强大模型的预训练和推理能力,减少大模型幻觉现象。