2023 GFIC
2月22-23日
由中国移动通信联合会、海南广播电视总台指导，海南广播电视总台国际传播融媒体中心、海南视听网络电视有限公司、众视Tech联合主办，中国联合网络通信有限公司海南省分公司协办的2023全球家庭互联网大会GFIC海南元宇宙峰会启动大会以“万象正心”为主题于2 月 22 -23日在海口召开。通过“线上+线下”相结合方式全方位报道这本次活动。
在22日的海南元宇宙峰会启动大会上，杭州当虹科技股份有限公司副总裁叶建华发表了题为《元宇宙场景下三维视频的探索》的精彩演讲。
演讲内容
目前元宇宙的整体成本与应用场景还有一定门槛，需要行业内人士共同努力将之更加深入，将元宇宙生态链建得更好。
三维视频在专业术语里叫体积视频，而VR其实是3DOF的呈现，VR每一帧看到的是一个二维视频，但元宇宙是完全沉浸式的。平面视频，包括VR虽然有沉浸式的感受，但VR是3DOF，X、Y、Z不能做移动。元宇宙无论是从八大特征，还是六大技术支撑的研究方向而言，都是更为沉浸、更立体、更交互、更多样。所以元宇宙场景下，更需6DOF的体验，目前6DOF概念也比较成熟，叫六个自由度，即X、Y、Z是自由的，且可以移动。扩展二维视频为三维体积视频，从视频采集、处理、压缩、传输到互动实现全链路升级，达到6DOF全息体验。
三维体积视频采集困难设备成本高，对环境要求高，对技术人员要求高，限制了创新应用的推广。体积视频数据量几何增长，而传统压缩算法基于混合编码框架，压缩效率已趋于极致，压缩效率难以再提升。
而采用NeRF等先进技术，降低采集成本，并可借助AI能力补充缺失数据，达到类似点云方式采集的效果。采用基于不断优化学习的AI技术及VPCC成熟压缩方式，实现高效的端到端压缩，提升压缩效率，瘦身体积视频。
显示模式点云特点
通过3D测量仪器（激光雷达，深度相机等）得到的三维场景或者物体表面的点的数据集合，称之为点云。点云中的点数据包含了丰富的信息，除了包括几何信息三维坐标X，Y，Z、法向量等，还可以包括颜色纹理（RGB）、反射强度（Intensity）等属性。可用于3D建模，运用于数字孪生、自动驾驶、数字文旅等应用。
优点：可以处理静态点云，也可以动态点云；点云数据压缩空间大。
缺点：高精度点云采集成本很高，动态点云采集需要上百个工业深度相机。
隐式模式NeRF：Neural Radiance Fields
神经辐射场特点
NERF是一种利用若干场景图片，可以方便的实现对场景的三维隐式建模的技术；通过建模可实现任意视觉合成。首发论文为2020年ECCV最佳paper，后续论文井喷，为近年来最热门技术之一。随着技术成熟，算力要求降低，应用价值较大。
优点：建模成本低，方便；基于DL技术，学术活跃，发展迅速。
缺点：静态场景效果好，动态物体待成熟；隐式表达，不方便编辑与压缩。
NeRF+点云结合的技术优势有以下几点：
1.采集成本低。
只需要10张图片或10个以内的摄像机位，即可满足采集条件，用普通摄像机完成采集，不需要深度工业相机，不需要绿布等特殊环境布置。
2.压缩效率高。
采用先进的基于AI的NeRF隐式三维建模技术，紧跟学术界先进成果，并根据实际应用场景调优，可运用于大场景，如赛事、演唱会等场景。
3.三维效果好。
利用点云的压缩技术，充分对三维体积视频进行压缩，端到端的AI压缩技术将提供更高压缩效率。
4.低延时、低碳。
使用CPU+GPU并行计算框架，并使用优化的深度学习以及点云压缩引擎技术，实现低延时低碳的技术方案。
最后叶建华呼吁，目前的政策、生态圈以及技术都越来越好，希望有更多的合作伙伴、更多的同行，能够共同加入三维方向的、立体方向各种各样的体验。
大会详情
联系我们
