来源 :海天瑞声2022-04-25
座舱，即将成为继家庭和办公室之外人们生活中的“第三空间”。
随着技术的迅速发展，车辆已经不仅仅是作为交通工具来满足基本出行需要。
凭借简单的语音交互指令就可以称为智能座舱的时代已然过去，未来的智能座舱将完全以人为本，通过极具创新、丰富的人机交互方式，打造更为轻松、舒适的出行体验。
这样的人机交互绝不是简单的一问一答，而是多通道、多层次、多模态的交流感知。
智能座舱多模态交互：更精准、更主动
未来智能座舱的交互虽仍以语音为主要沟通手段，但通过融合触摸、视线、手势、动作、表情等多维度信息，去增强感知的能力，做更精准的判断，比如利用人的嘴唇的视觉信息，可以更好地进行语音识别；
除此之外，利用多模态信息感知，可以将交互模式变为主动式交互。
过去的交互方式往往是基于用户发起的，其流程一般是用户唤醒系统，然后向系统描述自己的需求，而多模态感知可以实现更丰富的主动交互场景：
场景1，感知到用户疲劳或者负面情绪后，可以发起交互去缓解疲劳或者负面情绪，在情感互动、疲劳驾驶预警、专注力监测等场景下发挥突出作用;
场景2，通过视觉和音频信息，可以确定车内是否有儿童以及儿童是不是在哭闹，进而主动发起针对儿童的哭闹的安抚动作;感知到用户不开心，可以推荐一些轻松的歌曲或者讲一个笑话；
场景3，乘车人员接听电话时，系统自动降低多媒体音量，保证通话清晰；识别到副驾乘员抽烟时，根据车速适度打开车窗并开启车内空气净化；
……
这些听起来就美好的智能出行体验，意味着对相关算法、算力、数据要求的大幅提升，单从数据层面，就突破了单一的语音维度，涉及到自然语言处理、手势识别、眼球追踪、表情识别、多音区检测等多种模态的数据。
海天瑞声面向智能座舱的多模态交互数据
针对高阶智能座舱交互需求，海天瑞声累积了近7,000个小时，覆盖中文普通话、英语、法语、日语、西班牙语、德语等十余种语言的座舱环境语音现有数据集产品，还有多个座舱内DMS、OMS数据，覆盖不同光线环境，不同人群样本，可帮助打造面向未来的多模交互智能座舱产品。
DMSOMS座舱数据
例如，编号为King-AV-038的DMSOMS座舱数据集，包含30万段视频，其中包含
1）来自2500位驾驶员的行为数据，可应用于驾驶员感知系统的产品研发，包含驾驶员身份识别、疲劳检测、视线追踪、手势识别、语音交互等；
2）来自200位成人、100位儿童的座舱行为数据，可应用于座舱感知系统的产品研发，包含儿童检测、安全带检测、娱乐交互等，打造更高级别的舱内交互体验。
随着消费者对驾乘体验的追求越来越高，智能座舱实现千亿美元级市场潜力是可以预见的，人机交互也将成为智能汽车进一步发展的核心内容！
关于我们
成立于2005年，海天瑞声是一家专注于为AI算法训练提供数据产品及解决方案的服务商。产品及服务类型包含语音识别数据、语音合成数据、文本数据、图像数据等。数据服务涵盖从方案设计到采集、标注直至交付的全流程。