来源 :软通动力2024-05-11
5月11日，鲲鹏昇腾开发者大会2024期间，华为举办“昇思AI框架及大模型技术论坛”，软通动力数字基础设施与集成总经理谢睿受邀出席、软通动力数字基础设施与集成技术总监单继岭发表《基于昇思Mind Spore，软通动力赋能客户应用与实践》主题分享，全方位展示基于AI框架技术的原生应用及客户实践。
会上，单继岭介绍了软通动力在人工智能领域的技术能力，以及结合华为MindSpore框架为客户带来创新的应用场景等内容。基于软通AI训推一体化平台，输出标准模型迁移流程，从而帮助企业实现大模型的“最后一公里”，推动各行业领域数字化转型。
软通AI训推一体化平台
软通AI训推一体化平台支持大规模集群计算环境下NPU/GPU异构计算资源按需、高效、自动调度，可为客户提供数据中心、开发中心、训练中心、模型中心、服务中心等一站式服务能力。平台基于MindSpore等多种计算框架和算法，内置大语言、图文、多模态大模型，叠加行业应用，能够加速大模型落地赋能业务，帮助企业和客户完成国产化、数字化、智能化的转型升级。目前，软通AI训推一体化平台已覆盖央国企、金融、教育等行业，打造多个Offering服务不同客户，助力用户快速实现大模型场景训练/推理“最后一公里”。
在央国企领域，基于司库应用，打造司库一体化产品，实现业财深度融合，在客户实际落地过程中，帮助客户对现有业务系统、管理模式改造升级，解决业务人工成本高、效率低等问题，帮助客户构筑数字化生产力堡垒，在集团建设可复用的业务及数据能力。
在教育领域，软通AI训推一体化平台基于AI硬件底座及通用大模型本地私有化部署，打造数字经济AI分析模型助手，实现自动批量提取经济新闻、热点、事件等关键信息并导出提取结果，可快速构建系统化数据库，并通过模拟人工操作以实现流程自动化，显著提升科研效率。
基于MindSpore模型迁移全流程
1
模型权重转换：模型分析与准备、权重转换
2
模型迁移：网络迁移开发、精度和性能调试
3
推理和训练代码迁移：单卡/多卡在线推理+精度验证、单卡/多卡finetune/peft +精度验证、单卡/多卡预训练+精度验证等
4
模型精度对齐和模型测评：网络结构对比、网络正向结果对比、网络loss结果对比、基于开源数据集模型评测分数对比等。
未来，软通动力将携手华为，依托MindSpore框架，为客户打造更加优质的人工智能解决方案，不断提升在AI技术领域的服务能力，共同促进AI技术的进步和广泛应用。