AI+客服，旅游服务平台为游客快速生成涉及“衣食住行”的详尽攻略；
AI+代码调试，程序员快速发现代码漏洞，提高开发效率和代码质量；
AI+教学，高校为学生量身定制个性化学习方案、提供智能辅导……
在人工智能大模型火热的今天，AI+的应用价值和前景令人瞩目，越来越多的企业渴望搭上这趟AI技术的快车，落地大模型应用。
网宿科技在行业率先推出边缘AI网关，提供安全、可靠、高性能、易观察的一体化模型服务管理方案，旨在打通AIGC应用落地“最后一公里”，助力企业AI应用创新。
AI+遍地开花，企业落地遇挑战
目前大模型的商业化落地大致有两种路径：一是私有化部署，二是通过API调用成熟模型集成开发。由于私有化部署涉及复杂的模型训练和高昂的成本，更多企业倾向于通过API调用来集成开发AI应用。
对于企业而言，仅仅通过API集成模型并不足以满足实际需求，为了确保模型应用能够符合预期，还需要考虑稳定、安全、成本等因素。
例如，在内容响应方面，当模型出现错误或响应超时时，应用需要能够及时切换到另一个模型以确保用户体验不受影响。在安全管控方面，需要在后端配置敏感词过滤机制，一旦检测到涉及企业核心信息、政治问题等不当内容时，系统应自动拦截，确保模型交互安全合规。
此外，企业在使用多个模型或提供商时，面临高昂的调用成本。需要实时获取使用数据，对各模型、用户进行限量管理，以最优成本地利用各AI服务商的模型服务。
面对这一系列复杂的模型管理、规则定制，对于缺乏专业AI技术开发人员的企业而言，无疑是一个不小的挑战！
打通AIGC应用落地“最后一公里”
网宿边缘AI网关开启免费测试
为了简化AI模型落地难度，网宿科技基于边缘无服务器计算平台，推出一个专门为访问和管理AI模型而设计的中间层服务——边缘AI网关，打通企业AIGC应用落地“最后一公里”。
网宿边缘AI网关预先集成市面主流模型，企业通过统一的通道入口和管理平台即能高效管理复杂的AI大模型，实现多模型接入、管理、运营一体化。同时，平台还提供缓存管理、边缘特殊配置和数据分析等丰富的功能，帮助企业自定义模型应用规则，优化AI应用性能，提升业务的可用性和安全性。
*网宿边缘AI网关架构图
01
一站式集成，简化开发工作流
目前，网宿边缘AI网关已提前完成与百度、微软等主流模型提供商的集成，企业开发人员不必开展复杂的代码调整，一次接入网宿边缘AI网关，即能无缝对接多个模型服务商。
通过界面化的统一控制台，开发人员仅需简单配置，即可自由选择、切换模型和版本，对多个模型的通道、API密钥和令牌等进行集中管理，大幅简化开发工作流程，让开发人员可真正专注于AI应用。
*规划支持的模型提供商
02
边缘定制，提升模型服务性能
网宿边缘AI网关支持企业自主管理通道，自定义优先级、负载均衡、回退、自动重试等策略，确保模型服务的可用性。
举个例子，当国内一用户向微软Azure模型发起请求时，主选模型无法及时响应需求，AI网关会自动回退到下一个模型，将内容响应给用户。同时，依托网宿强大的全球资源网络，用户就近接入边缘AI网关，经由全球高速传输通道加速回源，减少了因跨国网络波动等异常因素对用户体验的影响，进而确保访问的稳定性和速度。
值得一提的是，通过将网宿边缘AI网关和边缘函数结合使用，开发人员可在近用户端的边缘节点灵活定制一些模型调用或中间处理逻辑，1小时内即可上线服务，大幅节省开发时间。
03
数据分析+定制规则，成本更可控
边缘AI网关实时记录日志，上层汇聚分析，得到各网关、模型的请求数、tokens数、缓存数、错误数等指标数据。通过可视化展示，让企业开发人员可实时监控和控制各模型的调用，优化模型使用策略或调整提示模板等。
*实时数据分析
结合缓存管理、限速等特殊配置，企业可根据需求对模型进行更精细的控制和调整，以进一步优化成本。比如企业开启缓存管理后，AI网关会判断请求是否命中缓存，如果命中直接响应，无需回到模型提供商，减少tokens消耗，降低调用成本。
04
内容审核，增强交互安全
边缘AI网关具备内容安全审核功能，可主动过滤敏感信息和不合规内容，帮助企业守好数据和内容安全关。
在内容控制方面，边缘AI网关根据企业提供的敏感词列表自动检测请求内容，如有匹配，则直接拒绝请求或执行脱敏，避免敏感数据暴露到外网。在内容审计方面，对于交互中涉黄、涉政、涉暴类内容，支持第一时间识别和处置，确保AIGC合法合规，符合道德规范。
除了边缘AI网关，网宿科技深入企业应用、聚焦特定的AI场景，还打造了边缘向量数据库、边缘模型推理等边缘AI产品，计划下一步面相公众开放。
*网宿边缘AI产品矩阵
未来，网宿也将进一步拓展模型应用领域，通过与边缘函数、边缘KV存储、应用引擎等组合使用，助力企业在边缘端构建和扩展私有模型，执行智能问答、内容创作、检索增强、图片识别等AI任务。
AI时代，网宿将持续构建更加敏捷、适应性更强、更安全的AI生态系统，保障AI使用者能够灵活、高效、低成本的使用AI，进而提高企业生产力、改善用户体验、促进业务创新。