近日，ICCV2023 细粒度行为检测挑战赛（Open Fine Grained Activity Detection Challenge）顺利结束，云从科技在行为分类赛道（以下简称OpenFAD23-ICCV23）中斩获冠军。
挑战赛中，云从从容大模型展示了对多种模态信息的优秀理解和处理能力，从早稻田大学、软银等国内外多家知名企业、科研机构中脱颖而出，刷新世界纪录，再次展示了云从科技在多模态大模型领域的技术实力。
表1：云从科技在OpenFAD23-ICCV23数据集上的表现
专注领先技术研发推动视觉大模型落地应用
3D行为识别技术相比2D图像识别增加了时间维度的建模，是以人为中心的感知任务的重要组成部分，一直是人工智能领域的研究热点。
大模型具有强大的表征能力，并且在多模态（如语言、音频、图像、视频、视觉语言）上得到验证，云从结合实际业务落地需求研发了基于时空建模的3D行为识别基础大模型。
该模型基于Vision Transformer结构进行设计，通过自注意力机制将空间维度和时间维度的信息进行充分关联。
在预训练阶段，采用掩码重建的方式进行自监督学习，为了让模型同时学到场景语义和时序动作，采用偏场景的多模态语义特征和偏时序的动作特征同时做为教练模型（teacher）进行多分支特征蒸馏，使得模型同时具有场景语义和时序动作理解能力。
基于大模型预训练获得的基础时空特征，能够广泛用于视频检索、视频问答、3D行为识别、行为关键帧检测等下游任务中。在下游任务微调（fine-tune）阶段，通过帧间信息互补的方式自适应去除模型冗余的部分，极大提升了下游任务的训练和推理速度。
”
表2：云从科技在3D行为识别领域权威数据集Something-Something V2上的表现
本次OpenFAD23-ICCV23数据集包含491个日常生活中的人类行为，部分行为之间只有极其微小的差别，需要从视频中抽取多帧画面并采用3D时空建模算法进行分析。
云从科技从容大模型凭借在视觉领域的深厚积累，在OpenFAD23-ICCV23数据集粗粒度（coarse）行为类别上精度达到93.87%，在细粒度（fine-grain）行为类别上精度达到91.96%，识别精度相比上一届OpenFAD22的冠军方案高出4%以上。
准确率的大幅提升表明大模型在时空关系特征建模上的优势，意味着3D行为识别算法已经迈入多模态大模型时代，将极大提升该技术的商业应用价值。目前，该技术已在金融、安防等领域得到了广泛应用，例如人员动作合规识别，打架、跌倒等行为检测。
多次刷新纪录构建多模态大模型技术闭环
今年以来，云从科技多次在多模态领域实现技术突破。
6月
云从在CVPR 2023提出视觉大模型自监督学习方法，仅需过往1%的数据量或者无需真实数据便可以达到相同的效果；
7月
云从行人基础大模型在PA-100K、RAP V2、PETA、HICO-DET四个数据集成为世界第一，商品基础大模型在MUGE、Product1M 两个规模最大的开源中文多模态商品检索数据集上刷新世界纪录；
8月
云从视觉-语言跟踪大一统模型在4个富有挑战性的跨模态数据集（TNL2K, LaSOT, LaSOTExt, WebUAV-3M）上刷新了四项世界纪录；
这使得从容大模型能够以更好的交互性能，应用于金融、安防、政务、交通、能源、教育、医疗、文娱等行业领域。
那么多模态到底意味着什么？
当你输入一张照片，并用语音或文字“指挥”AI将其部分抠图修改，并发送给朋友时，它能立即理解并完成指令。
多模态交互降低了AI使用的门槛，使AI有望成为万千大众都能使用的生产工具和个人助理。
如今，多模态大模型已成为大模型迈向通用人工智能（AGI）目标的下一个前沿焦点，云从科技持续专注多模态技术研发与储备，推动视觉、语言、音频等技术的边界融合，为更多行业带来创新与变革。
联系我们
Contact Us
? 010-59486672
?www.zhongtairenhe.com
▼北京市朝阳区永安东里16号CBD国际大厦16层1611室
北京中泰仁和基金管理有限公司（中泰仁和）
成立于2013年，注册资本1亿元，是经中国基金业协会备案的合格股权投资机构（登记编号：P1019150）。公司专注于半导体集成电路、人工智能、智能制造、能源环保、TMT、大健康等领域，开展扩张期优质企业股权投资、Pre-IPO项目投资等业务，已投资企业数十家，超过10家企业已成功在国内或海外上市、挂牌。并实现数只基金退出。
中泰仁和拥有一支40余人的投融资团队，分布于北京、长沙、上海和广州。团队核心成员均来自国内外知名的PE基金、券商、信托公司和大型跨国公司等机构，具有专业的股权投资、并购重组、企业管理及境内外资本市场运作能力。完善的风险管理体系、专业的行业研究能力以及良好的激励机制，为公司的长期健康发展奠定了坚实的基础。
这些年，我们也凭借优质的投后服务和产业整合能力，从业务资源和产业深度上为被投企业赋能，实现深度产融互动。助力企业实现长期增值和可持续发展，由优秀走向卓越，共赢未来，持续为社会和股东创造价值。