chaguwang.cn-查股网.中国
查股网.CN
天融信(002212)内幕信息消息披露
 
个股最新内幕信息查询:    
 

天融信李雪莹出席北京大学网信工作会议,畅谈大模型应用安全风险与防护之道

http://www.chaguwang.cn  2026-04-30  天融信内幕信息

来源 :天融信2026-04-30

  4月29日,北京大学召开2026年度网信工作会议并开展大模型应用安全风险与防护专题培训。天融信科技集团党委书记、董事长兼CEO李雪莹博士受邀出席,并作《大模型应用安全风险与防护》报告。

  当前,人工智能技术快速发展,各类大模型在学校各业务领域获得广泛应用,新技术带来新动能的同时,也伴生着新风险、新挑战,安全防护亦需同步迭代升级。李雪莹谈到:大模型技术已迈向“规模化应用与智能体落地”的关键阶段,安全风险正呈现出“跨层交织、链式传导”的复杂特征,这对安全防护体系提出了更高要求。

  天融信科技集团党委书记、董事长兼CEO 李雪莹

  大模型安全涉及内容、应用、模型/算法、数据、基础设施五大维度,而当前的核心风险主要聚焦于大模型应用安全。结合OWASP LLM TOP10 2025风险清单,李雪莹系统剖析了提示词注入、模型越狱、RAG安全、插件滥用、数据泄露、模型窃取及基础设施漏洞七大关键风险,并指出这些风险往往通过“链式传导”引发系统性危机。

  例如,提示词注入作为攻击者的“首要通道”,可绕过安全策略诱导模型输出恶意内容;模型越狱则使大模型脱离安全约束,执行未授权操作。她特别提醒,智能体的“自主决策”能力犹如“双刃剑”——在提升效率的同时,也显著放大了安全漏洞的破坏力。

  在谈及智能体安全分析时,李雪莹以典型开源智能体OpenClaw为例,深入揭示了风险根源。她指出,智能体的“意图误解”与“权限失控”问题尤为突出:用户一句模糊的指令可能被过度解读,导致高危操作;而“权限越界”风险更可能使智能体无视安全约束,甚至持续执行危险任务直至系统中断。她提示,此类问题折射出智能体设计中“效率与安全”的平衡难题,需从架构层面系统性解决。

  基于多年的技术深耕,天融信推出了覆盖大模型训练、部署、推理全流程的“1+3+X”大模型应用安全纵深防御体系。其中,“1”个中枢:以大模型安全运营中心为核心,实现风险统一管控与智能调度;“3”大支柱:融合风险监测、安全防护、应急响应能力,构建动态防御屏障;“X”项能力:通过网络、系统、应用、数据、终端层面多种标准化技术安全防护手段,智能化支撑上层安全能力。

  该体系针对智能体场景创新设计了行为监测与权限管控机制,有效遏止恶意插件调用与越权操作,为智能体应用筑牢“安全底座”。

  演讲最后,李雪莹强调,大模型安全需要以“体系化思维”破局,既要构建覆盖全生命周期的防御体系,也要平衡安全与效能的关系。面对多模态注入、长上下文攻击等新兴威胁,天融信将持续攻关安全技术,以“安全大模型”守护“大模型安全”,推动技术从“可用”迈向“可信”。天融信愿携手产学研各界,共同构建安全、健康、可持续的AI发展新范式。

  进入“十五五”时期,人工智能技术加速迭代、应用融合全面深化。教育部等五部门联合印发的《“人工智能+教育”行动计划》要求,在赋能学生学习、教师教学、学校治理、科学研究等方面,促进人工智能与教育深度广泛融合。大模型安全问题不仅是简单的技术漏洞,更关乎学术诚信、数据隐私、教学质量乃至科研安全。

  2025年6月,北京大学党办校办副主任、网信办主任、党办校办第二党支部书记蒋广学一行,曾到访天融信开展党建与业务双融双促专题交流活动。双方聚焦网络攻防态势、AI驱动的威胁检测、应急响应机制优化,围绕AI安全前沿技术、科研成果转化、产学研用深度对接等议题进行了热烈研讨。

  安全不是选择题,而是高质量发展的必选项。面向未来,我们将发挥各自优势,深化协同、紧密联动,以科技创新赋能教育高质量发展。

有问题请联系 767871486@qq.com 商务合作广告联系 QQ:767871486
Copyright 2007-2026
www.chaguwang.cn 查股网