CSIG 3DV专委会 [成果速览] 2021年第11期（总第11期）

    1. 论文动机

近年来，三维点云处理与应用引起学术界和工业界的广泛关注。一系列面向人眼视觉任务的点云处理已经取得了瞩目的成果，如点云压缩，点云重建与点云传输。与此同时，点云最终呈现质量作为衡量这些算法性能的一个重要指标，对高效的点云质量评价算法提出新的需求。国际标准化组织MPEG采用的基于点的点云质量评价模型由于缺乏对人眼视觉系统的考虑，鲁棒性较差，难以在实际应用中为点云处理带来有效指导。

针对以上问题，上海交通大学发表在TPAMI2020上的论文从图信号处理的角度出发，提出基于图信号梯度特征的点云质量评价模型（图1），其性能明显优于现有基于点的质量评价模型。

图1 GraphSIM流程图

  1. 论文题目

[TPAMI 2020] Inferring Point Cloud Quality via Graph Similarity 

杨琦（上海交通大学），马展（南京大学），徐异凌（上海交通大学），李竹（密苏里大学—堪萨斯分校），孙军（上海交通大学）

论文链接: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9306905

代码开源: http://smt.sjtu.edu.cn/papers/GraphSIM

  1. 创新点
  • 提出基于图信号处理的点云质量评价模型GraphSIM，其中采用图信号梯度作为点云特征进行失真量化，相比基于点空间距离的点云特征更加鲁棒；
  • 为了降级模型复杂度，使用基于图的类Haar滤波器进行点云重采样，使用关键点处的点云特征来表征整体点云特征；
  • 为了提升模型稳定性，模型超参数都采用先验知识，避免基于数据库的参数设置带来的局限性。
  1. 相关工作

传统基于点的点云质量评价算法[1]：

  • Point-to-point（P2point）

给定参考点云 和失真点云,对于参考点云中的任意一点a,在失真点云中寻找其欧式最邻近点b，向量的2范数作为点对(a,b)失真度量。对于整个点云来说，其质量评价分数为

其中，N代表参考点云点数。

  • Point-to-plane(P2plane)

基于P2point,P2plane以向量在点a所在的平面的法向量方向投影作为失真度量，其质量评价分数为

其中，代表a处法向量。

  1. 方法描述

采用图信号处理的方式进行点云质量评价，具体步骤如下：

  1. 点云重采样

使用点云采样的方法对参考点云进行采样，从而获得一系列的关键点。本文采用类Haar滤波器[2]实现点云高通滤波。

记参考点云为P，，m代表点数，n代表每个点具有的属性特征，属性特征包括几何，颜色，法向量，反射率等。针对人眼视觉系统，考虑几何（G）与颜色（C）特征，记参考点云，；对参考点云进行采样，可得关键点集合，k<<m，k为关键点的点数。

  1. 点云局部图表达方式构建

以关键点为中心构建点云局部图表达方式。使用半径搜索建立基于关键点的邻域空间。对于邻域内的两点a,b，

其中，表示欧式距离，分别表示邻域中a、b点的位置信息，G表示几何属性特征，表示高斯函数方差。若，则代表点a，b在空间上存在依存关系，其依存程度与欧式距离成正相关。基于此，对于任意一个以关键点为中心的邻域，都可得到描述其所包含的各个点的连接关系的邻接矩阵W。

  1. 图信号梯度特征聚合

使用点云颜色信息作为图信号。提取三阶图信号梯度特征：零阶梯度特征Gradient Mass，一阶梯度特征Gradient Average和二阶梯度特征Gradient Co-variance。

  • 梯度质量特征Gradient Mass

定义邻域内的任意一点对应该属性信息的信号梯度质量z(a)计算方式如下：

其中，W表示点直接邻接关系的值，f(a),f(b)表示信号f对应该属性信息在点a、b的值， 代表邻域内与a有连接关系的点的集合。采用上述公式可以计算出关键点的零阶信号梯度z(i)。

  • 梯度平均特征Gradient Average

基于点a对应某一属性信息的零阶信号梯度特征z(a)，可进一步计算得到邻域内对应该属性信息在信号梯度平均特征下的信号梯度k(a)，

N代表几何邻域内，与点a有明确连接关系的点数。采用上述公式可以计算出关键点i在信号梯度平均特征下的信号梯度k(i)。

  • 梯度协方差特征Gradient Co-variance

针对某一关键点的参考点云邻域和失真点云邻域，进行以下处理：先比较参考邻域和失真邻域中关键点的邻接点的点数，寻找其中关键点的邻接点的点数少的邻域，记为该关键点的标准邻域，另一个邻域记为该关键点的候选邻域；分别从标准邻域和候选邻域中提取与关键点具有明确连接关系的点（即邻接点），各自随机排列成一个队列，针对内的每一个点，从中寻找几何最邻近点，则可生成维度相同、每个位置的点都为欧式最邻近点的两个序列和。分别对两个序列中的点计算有权重的信号梯度，即

其中，G(j)代表序列b和c中的第j个点的加权信号梯度，f(j)代表序列b和c中第j个点的信号强度。

其中，cov代表协方差计算，E代表平均值计算。

  1. 特征池化

梯度质量和梯度平均特征二者的相似度可由下式计算：

其中，T为一个防止分母为零、保证计算结果稳定的小正实数，例如0.001。当s->1时，说明在在该点处失真点云与参考点云质量接近，人眼消费时可得到较高QoE。

梯度协方差特征的相似度计算方式如下，

其对关键点三阶梯度特征进行池化处理，最终得到关键点对应该属性信息的信号梯度相似度：

其中，z(i)点云上关键点对应该属性信息的梯度质量特征；k(i)点云上关键点对应该属性信息的信号梯度平均特征；o(i)表示参考点云和失真点云上的关键点对应该属性信息的信号梯度协方差特征；α、β、γ分别表示在信号梯度质量特征、信号梯度平均特征和信号梯度协方差特征下的权重系数（本文设置为1:1:1）。

考虑到颜色信息具有三个信道，包括R(red、红色)、G(green、绿色)、B(blue、蓝色)三个信道，对于提取出的k个关键点，信号f的颜色的信号梯度相似度R、G、B为三个信道的加权和，即：

其中，  表示关键点在R信道的信号梯度相似度，表示关键点在G信道的信号梯度相似度，表示关键点在B信道的信号梯度，s1，s2，s3分别表示R、G、B三个信道权重系数（本文设为1:2:1），S=s1+s2+s3， |.|代表绝对值操作，Q为最终的客观质量评价分数。

  1. 实验结果

本文在两个数据库上对模型进行测试与对比，第一个是SJTU-PCQA[3]，第二个是IRPC[4]。GraphSIM在两个数据库上都表现出了最优性能。

  • SJTU-PCQA
 
  • IRPC

  1. 参考文献
  • Tian, H. Ochimizu, C. Feng, R. Cohen and A. Vetro, “Geometric distortion metrics for point cloud compression,” 2017 IEEE International Conference on Image Processing (ICIP), Beijing, China, 2017, pp. 3460-3464, doi: 10.1109/ICIP.2017.8296925.
  • Chen, D. Tian, C. Feng, A. Vetro and J. Kovačević, “Fast Resampling of Three-Dimensional Point Clouds via Graphs,” in IEEE Transactions on Signal Processing, vol. 66, no. 3, pp. 666-681, 1 Feb.1, 2018, doi: 10.1109/TSP.2017.2771730.
  • Yang, H. Chen, Z. Ma, Y. Xu, R. Tang and J. Sun, “Predicting the Perceptual Quality of Point Cloud: A 3D-to-2D Projection-Based Exploration,” in IEEE Transactions on Multimedia, doi: 10.1109/TMM.2020.3033117.
  • Javaheri, C. Brites, F. M. B. Pereira and J. M. Ascenso, “Point Cloud Rendering after Coding: Impacts on Subjective and Objective Quality,” in IEEE Transactions on Multimedia, doi: 10.1109/TMM.2020.3037481.