1.论文动机

        作为大多数物体的基本几何属性，对称性广泛存在于我们的生活中。理解物体的对称性是计算机认知真实世界以及机器人智能交互中的重要问题。因此，对称性检测在图像分割、物体检测以及机械臂抓取等任务中有着广泛的应用前景。

        三维物体对称性检测是经典的几何问题，已有工作往往使用纯几何的方法解决该问题。由于对称性具有明确的数学定义（即物体在进行对称变换后具有几何不变性），传统的三维对称检测方法往往首先检测对称对应点（symmetric counterpart），再通过聚类或投票算法得到物体的对称面/轴。但是，这类算法的使用范围通常仅限于几何完整的合成三维模型或者高质量的重建三维模型，而无法处理物体观测缺失的情况，例如无法通过单张RGB-D图像判断物体的对称性。

        针对这一问题，国防科技大学iGRAPE Lab和普林斯顿大学发表在SIGGRAPH Asia 2020上的论文提出了首个面向单张RGB-D图像的对称检测网络SymmetryNet。不同于从观测数据中检测对称对应点的传统方法，SymmetryNet从大量数据中学习总结物体对称性出现的规律，进而通过RGB-D图像直接预测物体的对称性。其核心思想是在检测物体对称面/轴的同时预测输入点云的对称对应点，这样做的好处是能够提高对称检测的精度和泛化能力。SymmetryNet能够检测物体的反射对称（reflectional symmetry）和旋转对称（rotational symmetry），并且能够自动判断物体对称面/轴的数量，实现动态多输出。

2.论文题目

[SIGGRAPH Asia 2020] SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

施逸飞（国防科技大学），黄俊文（国防科技大学），张弘佳（国防科技大学），徐昕（国防科技大学），Szymon Rusinkiewicz（Princeton University），徐凯（国防科技大学）

论文链接: https://arxiv.org/abs/2008.00485

代码开源: https://github.com/GodZarathustra/SymmetryNet

3.创新点

创新点包括：

（1）提出了一种基于深度神经网络的三维物体对称性检测方法，用于解决通过单张RGB-D图像预测物体对称性这一问题；

（2）提出了同时预测物体对称面/轴以及输入点云对称对应点这一多任务学习思想，并针对物体的不同对称类型设计了多种网络结构和损失函数；

（3）提出了基于optimal assignment的网络多输出优化方法，实现了网络的端到端训练；

（4）提出了首个RGB-D图像物体对称性检测测试基准，该测试基准包含大量真实与合成数据，可用于对称性检测算法的验证。

4.相关工作

        在Mitra等[1]和Podolak等[2]提出两个三维对称检测开创性工作之后，三维对称检测在几何处理领域引起了广泛的关注。现有方法可以根据其适用范围进行分类：精确对称检测与近似对称检测，局部对称检测与近似对称检测以及整体对称检测与局部对称检测。这些工作的共同点是：需要首先检测物体的对称对应点，然后确定对称面/轴[3]。由此看来，对称对应点检测可以被视为传统三维对称检测的基础。但是，对于数据存在大量缺失的情况，例如单视图扫描数据，对称对应点的检测将会变得非常困难，也就会导致现有的三维对称检测方法失效。这一问题极大制约了现有三维对称检测方法的适用范围。

        近些年来，随着深度学习的发展，一些研究工作陆续聚焦于使用深度学习方法解决对称检测问题。其中，Ke等[4]和Shen等[5]分别提出了用于检测图像对称性的深度学习方法，这些方法能够检测物体在二维图像中的对称性。Gao等[6]提出了首个面向三维数据对称检测的深度学习方法，该方法使用了基于体素的三维卷积网络，并设计了一种考虑对称对应点匹配的损失函数，在完整三维模型上达到了较好的性能。Zhou等[7]提出了基于单张RGB图像的三维物体对称检测网络用于物体三维重建，该方法能够处理单个反射对称检测问题，但是不能检测其它对称类型。

5.方法描述

SymmetryNet的网络结构如图2所示，网络包括特征提取和对称性预测两个模块。RGB图像和点云首先分别经过一个卷积神经网络和点云处理网络，得到逐点特征，逐点特征随后通过weighted average pooling层计算得到全局特征。逐点特征和全局特征拼接之后被用来预测物体对称面/轴。SymmetryNet的创新点之一是将物体对称面/轴的预测和对称对应点预测结合起来，对这两个相互关联的任务同时训练，从而提升对称检测的精度和泛化能力。如图3所示，对于当前点 ，网络不仅预测物体的对称面/轴参数 和 ，同时还预测点 的对称对应点。其中，反射对称物体的对称对应点为 ，旋转对称物体的对称对应点则为一个围绕对称轴的圆环。此外，为了处理具有多个对称面/轴的物体，SymmetryNet每次输出多个对称面/轴，再利用分类器判断输出每一个输出的有效性。对于含有多个对称面/轴的物体，SymmetryNet通过求解optimal assignment优化方程计算预测对称面/轴与真值的匹配关系，进而计算loss并进行回传。

6.实验结果

        论文提出了首个RGB-D图像物体对称性检测测试基准，该测试基准包含大量真实与合成数据，可用于对称性检测算法的验证。如表1所示，测试基准基于ShapeNet、YCB和ScanNet三个数据集构建。在三个数据集已有标注基础上，论文对数据集进行了RGBD图像物体对称性标注。其中，ShapeNet数据集被分为四个子集：Train、Holdout view、Holdout instance以及Holdout category。这些子集可以被用来评估方法在不同难度数据上的性能，用于检验方法的泛化性。

        实验选用PR曲线作为评价标准。SymmetryNet与其它现有算法在ShapeNet数据集上的定量实验结果如图4所示。可以看出，SymmetryNet显著优于其它已有方法，性能达到了state-of-the-art，尤其是在没有训练过的物体（Holdout category）上优势明显。此外，论文对SymmetryNet进行了Ablation study，实验结果如图5所示。从图中可以看出，完整的方法在大多数情况下都具有最佳性能。值得注意的是，没有输入RGB图像的baseline方法（No RGB input）在Holdout category性能超过了完整的方法，这说明了网络在处理没见过物体时的泛化性能主要取决于几何特征，而不是颜色或纹理特征。图6展示了若干个对称性检测结果，可以看出SymmetryNet能够准确地检测出多种不同物体的对称性，包括被遮挡的物体、包含多个对称面的物体等。此外，为了证明单视角物体对称检测的有效性，论文还展示了SymmetryNet在物体位姿估计和物体部件分割这两个问题上的应用。

7.参考文献

[1] Niloy J Mitra, Leonidas J Guibas, and Mark Pauly. Partial and approximate symmetry detection for 3d geometry. In ACM Transactions on Graphics (TOG), volume 25, pages 560–568. ACM, 2006.

[2] Joshua Podolak, Philip Shilane, Aleksey Golovinskiy, Szymon Rusinkiewicz, and Thomas Funkhouser. A planar-reflective symmetry transform for 3D shapes. ACM Transactions on Graphics (TOG), 25(3), July 2006.

[3] Oliver Van Kaick, Hao Zhang, Ghassan Hamarneh, and Daniel Cohen-Or. A survey on shape correspondence. In Computer Graphics Forum, volume 30, pages 1681–1707, 2011.

[4] Wei Ke, Jie Chen, Jianbin Jiao, Guoying Zhao, and Qixiang Ye. Srn: side-output residual network for object symmetry detection in the wild. In Proc. CVPR, pages 1068–1076, 2017.

[5] Wei Shen, Kai Zhao, Yuan Jiang, Yan Wang, Zhijiang Zhang, and Xiang Bai. Object skeleton extraction in natural images by fusing scale-associated deep side outputs. In Proc. CVPR, pages 222–230, 2016.

[6] Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, and Leif Kobbelt. Prs-net: Planar reflective symmetry detection net for 3d models. arXiv preprint arXiv:1910.06511, 2019.

[7] Yichao Zhou, Shichen Liu, and Yi Ma. Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction. arXiv preprint arXiv:2006.10042, 2020.