日前，在2023世界计算大会上，星环科技正式发布了全新的大模型运营管理软件：Sophon LLMOps，并入围专题展优秀成果。作为一款全栈式的大模型运营管理工具，Sophon LLMOps为企业和组织提供了可视化的一站式便利工具，为大语言模型在企业中从构思到原型，再到落地开花提供了便利趁手的铲子和肥沃的土壤。
随着AI技术的飞速发展，大语言模型（LLM）已成为许多企业和组织实现其业务增长和创新的重要技术和手段。然而，要实现高效、稳定的大模型数据收集、处理和模型训练、部署，并将其应用于具体的业务场景中，还面临着诸多挑战，包括：语料标注和处理、提示工程、大模型训练与微调、模型上架部署、应用链编排等。Sophon LLMOps作为星环科技自主研发的一款综合性大模型统一运营管理平台，旨在解决以上问题，为用户打通从数据接入、生成、开发和清洗、提示工程、大模型训练、大模型上架部署到大模型应用编排和业务效果对齐的全链路流程，从而实现针对大模型的“数据和分析的持续提升”。
功能强大，便捷的大模型运营和应用编排
Sophon LLMOps平台涵盖了大模型和智能体任务中从数据准备、模型训练、推理部署到监控优化的整个流程。它能够帮助数据科学家解决优化训练推理过程中遇到的复杂工程性问题，使得数据科学家能够将注意力集中在训练数据准备、建模训练以及提升业务效果本身，从而更加高效地完成端到端的大模型机器学习任务。
便利的提示工程和数据管理：Sophon LLMOps支持提示模版管理、提示验证评估、提示数据标注以及数据质量控制。可通过人工标注、半自动标注、自动标注等方式来完成数据标注任务。支持监控、更新和维护数据集，以保证数据质量和时效性。可通过数据质量检查、数据版本控制、自动化维护等方式来实现训练和推理数据管理。
易用的大模型训练和微调：依托于内置的大模型训练模板，为业务用户提供更方便快捷的大模型训练和微调流程。业务用户只需少量必要的操作，如选择基础模型、配置训练数据集路径、设定学习率等，即可快速启动训练和微调任务。此外，还提供智能化配置工具，避免资源错配、计算产生空值、精度损失、数据漂移等典型训练失败引起的损失。
统一的大模型纳管：Sophon LLMOps加强了对预训练大模型和微调后大模型的兼容性和性能表现的优化，以确保用户能够获得无缝、高效的使用体验。平台支持不同模型之间和模型版本之间的分叉树的维护和展示，从而提高模型的可维护性和可操作性，也可以有效防止版本混乱和误操作的发生。
持续的业务效果提升：Sophon LLMOps支持用户通过配置工作流来实现模型自动收敛、动态学习率等功能，提高训练效率和模型的稳定性。同时，平台还支持用户对训练过程的效率和性能监控、训练结果的效果对比评估，通过评估对齐和校准持续训练模型的召回和精度。
敏捷的应用链编排：Sophon LLMOps提供了应用和服务编排工具，使用户可以以低代码的方式结合知识库、智能分析和工具、代码执行器等技术和工具，通过向量数据库和深度图进行多模态意义下的“语义”检索、召回和串联来协同完成任务，提高从“需求到原型再到生产可用”的开发敏捷性和效率。
多源多模态，可信可解释
Sophon LLMOps支持来自多数据源的多模态数据，从而帮助用户实现“以数据为中心”的人工智能和高质量的数据资产管理。此外，Sophon LLMOps平台为大模型深度学习任务提供全方位的控制和管理能力，并对模型提供预测结果分析和解释能力，注重数据安全和隐私保护。
数据为中心的人工智能：Sophon LLMOps平台将高质量、丰富多样的数据作为实现生产级别大模型的基础。它融合了自研的向量/文本/图数据库以及分布式文件系统、数据处理和数据中台以及智能分析工具，可以统一管理、分析和应用智能分析前、中、后的多来源、多模态的数据。这有助于用户解决数据的采集整合、处理清洗、标注增强、提示生成、提示评估、业务效果对齐等问题，从而缩短业务落地观察周期，加速业务提升效果。
全流程可控的智能化平台：Sophon LLMOps平台为大模型深度学习任务提供全方位的控制和管理能力。平台自动化地管理和执行流程，包括数据流、模型训练、模型评估、模型部署等环节和步骤，同时提供直观的可视化监控界面。平台注重数据安全和隐私保护，提供权限控制、数据加密、访问日志等功能，保障用户数据的安全性和合规性。
统一视角的运管工具：Sophon LLMOps平台提供了大模型运营管理的统一视角和管理界面，简化了大模型的运维要求。该平台将原本散落在不同流程阶段的任务和服务进行统一的管理，降低了运维成本。同时，该平台还提供对模型预测结果的分析能力，对模型输出进行统计、可视化和解释，帮助用户了解模型的性能和效果。最后，平台还提供资源管理和优化能力，包括分布式计算、集群管理和资源调度，提高计算效率和系统性能。
Sophon LLMOps在领域智能问答系统的落地实践
由于问答系统具有强烈的行业属性，包括不同术语、行话、流程和经验等方面的差异，这导致为研发、生产、销售等不同环节设计通用的问答系统方案变得困难。业务知识在企业中的分散也进一步加剧了系统开发难度，企业构建智能问答系统往往需要高昂的开发成本和长时间的建设周期。此外，由于各系统的单独建设，用户需要通过不同的入口进行问答，无法对问题的答案进行统一溯源。当系统需要纳入新类别信息或其他知识时，也需要大量时间重新设计问答系统，这使得系统无法满足业务对知识实时性的要求。
针对智能问答系统在各个业务环节中的应用需求，Sophon LLMOps提供了领域智能问答解决方案。借助星环 Sophon LLMOps ，用户可以轻松完成数据采集、知识沉淀、大模型迭代提升的完整闭环。通过跨领域知识的学习和调优，大语言模型能更好地理解不同领域的专业术语、缩写、常见词汇和语法，承担统一的语义理解功能，解决业务领域性问题。此外，针对知识实时性，星环科技提供自主研发的向量数据库Hippo，将跨域知识统一存储和管理，解决知识融合性问题；并且支持知识在向量数据库实时更新，从而解决信息时效性问题。
通过大模型统一运营管理平台Sophon LLMOps和向量数据库Hippo的结合，企业可以实现跨业务领域的统一智能问答系统构建，解决了传统问答系统中行业属性、知识的离散化和信息、咨询的迟滞性等问题，并且大大降低开发投入和运维成本，让企业获取知识的过程变得更加简单高效、获取的内容变得精简可追溯、知识的更新变得更加即时。
Sophon LLMOps的发布标志着星环科技在大模型运营管理领域的重要技术突破。作为一家专注于分布式基础软件研发的公司，星环科技将继续致力于为客户提供最先进、最效率、最便捷的AI解决方案，推动人工智能技术的发展和应用，为构建智能化的未来贡献力量。