Chai, X., Shao, F., Mu, B., Chen, H., Jiang, Q., & Ho, Y.-S. (n.d.). Plain-PCQA: No-Reference Point Cloud Quality Assessment by Analysis of Plain Visual and Geometrical Components. IEEE Transactions on Circuits and Systems for Video Technology, PP(99), 1–1. https://doi.org/10.1109/TCSVT.2024.3350180

论文中文题目：Plain-PCQA：通过分析纯视觉和几何组件，进行无参考点云质量评估。 论文作者单位：宁波大学

摘要：

在回顾点云质量评估（PCQA）的研究进展时，出现了两个主要的路径，即2D投影和3D点描述符。前者主要关注视觉信息，而后者集中于三维空间中的关键几何信息。然而，目前的研究缺乏对视觉组件影响的深入调查，并很少特别关注平面-点融合策略。为了全面表示特征并有效处理各种类型的损伤，我们提出了一个端到端的学习范式，只考虑纯视觉和几何因素，称为Plain-PCQA，用于定量评估与人类感知相关的3D密集点云的客观度量。首先，我们探讨了一种复杂的预处理技术。整个点云通过移动虚拟相机打包成六个投影，这在训练阶段可以方便地增加视觉样本。鉴于投影图像的高分辨率，我们选择了一个相对轻量级的网络，即ResNet-18，作为骨干网，以实现更高分辨率的输入数据。从投影图像中截取的五个裁剪补丁被集体输入到这个网络中。鉴于投影中存在一些无效信息，设计了一个掩码权重，根据每个补丁的有效信息内容计算其重要性。其次，设计了由基本视觉组件组成的双神经网络，包括无参考（NR）分支和降级参考（DR）分支，用于提供定量质量度量。具体而言，NR分支利用Vision Transformer（ViT）模型中每个块的特征输出来获得远程低级和高级视觉NR质量。DR分支利用KLT（Karhunen-Loève Transform）获取图像的主成分信息作为宏观结构图像，然后将输入图像与宏观结构图像的差异馈送到网络中进行DR质量提取。第三，引入了一个平面-点交互变换器（P2IT），通过结合2D投影中的纹理和语义特征以及3D空间中的几何特征来表征具有连接的2D-3D特征表示的完整特征。通过这些精心设计的深度特征，所提出的模型可以仅依赖纯视觉和几何组件实现竞争性能。实验结果表明，所提出的方法在多个代表性数据库上具有显著优于现有最先进方法的潜力。 表1 各种算法属性的总结

图1. PCQA 的纯视觉组件。 (a) 点云的投影和可视化; (b) 不同投影分辨率的效果; © 不同的阻塞策略以及投影图像的冗余信息处理视角。 图2. 所提出的 Plain-PCQA 模型的框架。具有输入 V(k)_i 的分支是用于量化降解严重性的基于锚点的网络；具有输入 V_i 的分支是用于视觉质量描述符的多尺度学习网络；具有输入 R 的分支是用于几何信息描述符的平面-点交互学习网络。

图3. 网络输入的预处理。(a) 投影平面的生成; (b) 降级参考图像的生成。 图4. 用于分析视觉组件的学习框架。 (a) 纯视觉组件的不对称网络; (b) 多尺度特征聚合器。

图5. NR-PCQA 在密集点云中的两种数据减少路径。 图6. 不同点云采样方法的计算时间。

图7. 几何组件分析的学习框架。

精彩内容

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：