一线警员在现场可以一键获取过往执法、处置情况与操作建议；中层管理人员获得系统自动撰写的一整套数据分析报表，快速、准确判断潜在的问题并进行改进；基层治理的“耕耘者”能够实时获取那些影响治安度和区域管理效率的多维度分析结果……
这些都是安防大模型落地后预期将给行业带来的改变—―工作效率大幅提升、工作成果质量得到切实保障。本文分析了大模型技术的研发背景、介绍了云从科技集团股份有限公司（以下简称云从科技）从容大模型相关情况，并以从容大模型为例介绍了大模型在安防领域的应用实践，并探讨了大模型在未来应用中面临的机遇和挑战，以期为同行提供有益借鉴。
★目录★
一、大模型赋能安防数智融合
二、安防领域大模型应用范例——云从科技从容大模型
三、从容大模型在行人分析中的实例
四、大模型应用机遇和挑战
五、结语
??
一、大模型赋能安防数智融合
随着大数据时代的到来，人工智能技术在安防领域的应用也面临着前所未有的挑战。传统的安防系统往往只能处理有限的数据量，难以应对大规模数据的处理和分析需求。同时，由于传统安防系统的局限性，其准确性和效率也受到一定的限制。此外，这些系统都需要特定的数据和模型进行训练，导致每个任务都需要收集专用数据且模型缺乏泛化性。因此，如何在专用数据有限和大数据、复杂场景下实现高效、精准和安全可靠的安防保障成为当前亟待解决的问题。
为了应对这些挑战，大模型技术应运而生。大模型技术是一种利用大量数据和强大计算能力来训练模型的技术，可以有效提高安防系统的准确性和效率。例如行人基础大模型可以在复杂的场景中快速准确地识别出行人的各项属性与姿态，并且仅需以前1%的数据量即可达到过往专用模型效果；物体基础大模型可以通过对车辆、物品图像进行分割和识别，实现自动化的交通管理和安全控制等功能。此外，大模型技术还可以应用于业务对话、信息分析、安防管理等领域（如图1所示），为安防工作提供更加全面、高效的支持。
图1 大模型在泛安防领域中的安全生产监测应用
当前，随着新一轮人工智能应用热潮的掀起，面向传统安防行业数字化、智能化转型升级的需求，各厂商加速释放AI大模型在安防场景中的通用、泛化和规模化复制能力，拓展AI技术边界、加速场景化赋能，为安防行业数智融合提供全场景的智能化技术产品及解决方案。
??
二、安防领域大模型应用范例
——云从科技从容大模型
新一轮科技革命和产业变革迅猛发展，数字技术、智能经济与数字化产业成为催生新产业、新业态、新模式的重点领域。当前，随着ChatGPT“狂飙”，AI大模型成为了“必争之地”。作为大模型人机协同操作系统和人工智能解决方案提供商，云从科技通过像人一样思考和工作的人机协同操作系统（CWOS），基于数据要素进行整合视觉、语音、NLP等多个领域大模型的实践，打造了一款多模态系列大模型——从容大模型。
从容大模型包含但不限于语言大模型、视觉大模型、语音大模型、代码生成大模型以及图像生成大模型等，其基于云从科技人机协同操作系统（如图2所示），围绕打造像人一样思考和工作的智能体目标，由云从科技多年积累的算法工厂、AI数据湖、知识计算、人机交互、智能业务流等核心技术构建而成。它通过实时学习并同步反馈结果，可以解决诸多AI应用的痛点，从而有利于快速普及个性化应用。同时，其具备上下文学习能力，能够以更好的交互性能应用于金融、安防、政务、交通、能源、教育、医疗、文娱等行业领域，其中安防等赛道成为重点布局方向。
图2 人机协同操作系统架构
从容大模型在安防领域的深度应用也初见成效——通过应用于视频监控、入侵检测、人脸识别等方面对过程中的数据进行分析，其可以帮助发现潜在的问题并进行改进，从而有效地降低安全风险和提高管理效率。如安防设备的正常运行对于保障人员和财产安全至关重要。然而，由于各种原因设备故障和损坏的情况时有发生，给用户带来不小的困扰。为了解决这个问题，一些用户开始引入大模型技术，利用大模型来实现设备维修的自动化。
具体来说，当设备出现问题时，操作员只需要通过语音或者文字指令告诉大模型问题的类型和具体情况，大模型就可以根据自己的知识库和算法来自动判断问题的严重程度，并提供相应的解决方案。如果需要更换零部件或者派遣工程师前往现场解决问题，大模型也可以根据实际情况自动安排相关工作。这样一来，整个维修过程就变得更加高效、快捷，大大减少了人工干预的时间和工作量。
除了设备维修之外，大模型还可以在其他方面为安防领域提供支持。例如，可以利用大模型来进行入侵检测和预警，自动识别异常行为和危险情况，并及时通知安保人员采取相应的措施。另外，大模型还可以用于视频监控和分析，自动识别出关键信息和事件，提高监控效果和管理水平。
在安防领域，云从科技推动AI技术多点闭环，解决更多需求，AI工程学实现效率突破。例如，安防领域人工智能需要诸多长尾算法，安防场景里无论是行人或是其他识别，都需要单独训练模型，单独收集数据，用非标的方法解决。因此，很多安防场景无法用AI解决问题，容易出现为了解决1%的性能而付出了100%成本的情况。
如今，随着通用大模型的诞生，人工智能实现跨越式发展，又让人们看到了AI大规模应用在工业领域的希望。借助大模型只需在实际应用场景中进行微调，便可以解决实际问题。
在AI能力沉淀的基础上，云从科技创新了一套适合自身能力特点的大模型“耕耘”方式，从容大模型架构见图3。云从科技对大模型的引入，建立在自家人机协同操作系统（CWOS）之上。
图3 从容大模型架构
CWOS是一套从信息化到数字化再到智能化渐次递进的数字化架构，致力于让机器像人一样思考和工作，大致可以概况为三个层面：信息化阶段通过AIoT等获取各类数据；数字化阶段处理数据、转化知识；智能化阶段实现场景的各种应用，其中包含有感知、认知、决策各领域的核心技术。
??
三、从容大模型在行人分析中的实例
在实际应用场景中，大模型与针对单一任务的专用模型相比表现出很强的泛化性，可以大大节约对真实数据的需求，甚至不需要额外收集真实数据，极大节省了在下游任务上的迁移成本，可快速将大模型能力迁移到新的应用场景之中，并且可广泛应用于能源、交通、制造、金融等泛安防行业领域，并为这些行业打造专属的行业大模型，深度赋能。
大模型技术在现代安防领域的应用非常广泛，包括行为分析、设备运维、安全事件预测等诸多场景。以云从科技从容大模型为例，本文将重点介绍大模型技术在行人方向的应用与实践。
传统的行人检测和分析存在诸多难点，包括缺乏对场景的理解，只能检测出所有目标；其次行人的某些特征非常细微，需要模型具有细粒度的识别能力，各种大姿态和环境干扰容易造成影响；再次，对行人的检测分析需求多变，层出不穷，大部分需要定制化开发。如何能够降低开发成本，在技术产业化的过程中非常关键。
此前，云从科技在视觉大模型上取得重要进展，行人基础大模型在PA-100K、RAPV2、PETA、HICO-DET四个数据集上从阿里巴巴、日立等多家知名高校、企业与研究机构脱颖而出，刷新了世界纪录。
其中最高在PA100K上的Fine-tuning准确率达到92.89%，比SOTA高出5.2个点，四个数据集所涉及的范围覆盖人体全局属性（性别、年龄）、局部属性（穿戴风格、配饰）、携带属性（手机、刀棍、手提包等）、人一物交互HOI（抽烟，持刀棍，手机拍屏幕）等。
作为“六感”之首的视觉，占据了人类吸收外部信息的70%以上。对于人工智能也一样，行人基础大模型让人工智能如何识别关于人的一切信息，准确率的提高具有非常高的实用价值，本次突破意味着该技术首次达到大规模商用水平，也意味着计算机视觉已经迈入“大模型时代”。
以人为中心的感知任务，一直是计算机视觉和机器学习领域研究的热点，在现实场景中有着广泛的应用，包括跨镜追踪、人体检测、人体属性等。不同于通用视觉大模型如DINOv2、EVA和CLIP等，行人基础大模型能够更加关注人体的细粒度特征。例如人一物交互（HOI）检测，这项技术旨在对图片中人体动作进行精细化理解，任务要求检测出图片中人和交互的物体，同时将二者关联起来并识别动作关系。传统目标检测任务缺乏对场景的理解，通常只能检测出图像中存在的所有目标。不同于传统的检测任务，HOI任务提供了更为细粒度的感知，对以人为中心的高维场景感知任务十分重要。HOI的难点在于，图片中人和物体存在大量的配对空间，并且人一物体交互关系对的分布十分不平衡，存在严重的长尾分布问题，所以预训练大模型的存在对于此任务非常关键。
云从行人基础大模型使用了超过20亿的数据，包括大量无标签数据集以及图文多模态数据集，数据集的丰富多样使得模型能够提取到非常稳健的特征，轻松应用于多种行人任务。
基于自监督学习范式，云从科技充分结合了对比学习和掩码学习的优点，使得模型包含丰富的语义信息，同时具有丰富的纹理细节提取能力。为了让模型学习拥有更加丰富的行人语义信息，结合多模态继续使用弱监督训练范式，进一步提升模型的效果。
基于从容大模型，可以大幅降低对专用数据的依赖和提升训练效率，仅需要1%的数据量即可达到与原场景定制化开发模型相接近的效果，适合获取真实样本代价非常高的特殊行业。
目前，该技术已广泛应用于矿山、建筑工地以及特殊场所的安全布控，监控作业人员穿戴合规，姿态行为等异常和违规行为。
??
四、大模型应用机遇和挑战
随着人工智能和大数据技术的快速发展，大模型在安防领域的应用前景也变得越来越广阔。未来，我们可以预见以下几个方面的应用：
1.智能监控
未来的安防系统将会变得更加智能化和自适应。大模型可以基于深度学习和神经网络等方法，自动分析和识别不同场景下的异常情况，与过往异常情况进行对比，并及时发出警报与分析结果。
2.智能分析
大模型可以将海量的数据进行分析和挖掘，从中提取出有价值的信息。例如，利用大模型技术可以对历史数据进行分析，找出某些事件发生的原因和规律，从而提前采取相应的措施，防止类似事件的再次发生。
3.自主巡逻
未来的安防系统将会更加自主化和智能化。大模型可以帮助无人机或其他设备根据数据分析结果制定自主巡逻逻辑，从而扩大监控的范围和提高监控的效率。
4.联合作战
未来的安防系统将会更加联合化和协同化。大模型可以将不同部门和机构的数据进行整合和分析，从而形成一个完整的安防体系。例如在大型活动中，可以将公安部门、消防部门、医疗救援部门等各个部门的资源进行整合，形成一个统一的指挥调度平台，提高应对突发事件的能力。
5.智慧治理
一方面可以通过跨模态的人机交互进行一语智办，另一方面针对市民出游的实际需求，基于当天交通与天气状况等及时给出建议，体现了大模型跨数据、跨部门融合的能力。
然而，大模型的发展也带来了一些新的问题和挑战。首先，大模型需要大量的数据和计算资源来进行训练和优化，这对于一些小型企业和个人来说可能是一个难题，因此“通用大模型+专用行业大模型”成为大模型的发展趋势。其次，大模型的可解释性也是一个重要问题，特别是在涉及个人隐私和公共安全的领域。最后，大模型的安全性也需要得到充分的重视和保护，以防止恶意攻击和滥用。
??
五、结语
综上所述，大模型技术是安防领域中的一项重要技术，它可以有效应对当前的挑战和问题，并为未来的安防发展提供了广阔的空间和可能性。但是，我们也需要在推广应用的过程中充分考虑这些问题，并采取相应的措施来解决它们，以确保大模型技术能够真正发挥出其应有的作用。