2021年6月22日晚8点，CSIG-3DV学生论坛第五期“点云语义分割专题”在Skype线上召开，同时在虎牙直播平台进行同步直播。本次论坛共有两位讲者和一位主持老师，简介如下:

学生讲者一：Le Hui (惠乐 南京理工大学) 南京理工大学计算机学院高维信息智能感知与系统教育部重点实验室博士生，指导教师为谢晋教授和杨健教授，研究方向包括3D点云生成和3D点云分割，目前已在ECCV，AAAI，IROS等国际会议上发表论文。

学生讲者二：Kaizhi Yang (杨开智 中国科学技术大学) 中国科学技术大学信息学院多媒体计算与通信教育部-微软重点实验室二年级研究生，指导教师为陈雪锦副教授，研究方向为3D计算机视觉与图形学，主要为3D形状理解与建模，目前已在ACM SIGGRAPH等国际会议上发表论文。

主持人：Tianzhen Dong (董天祯 上海应用技术大学) 上海应用技术大学计算机学院高级工程师。主要研究兴趣包括计算机视觉与模式识别、虚拟现实、智能机器人。目前致力于模式识别、计算机视觉等方面的研究，并取得了一些有特色的研究成果。主要包括面向空间多视点图像的三维模型渲染与重建研究，动态背景下的三维目标跟踪与识别，视觉SLAM等课题的研究工作。主持或参加国家、省部级项目多项，发表学术论文数十篇。

图1. 惠乐作报告

惠乐的报告题目为SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network。在报告中，针对目前大部分点云语义分割方法需要大规模带标注的3D点云数据问题，惠乐介绍了一种SSPC-Net半监督点云语义分割算法。该方法利用极少量标注的3D点云数据可以获得比当前半监督分割方法更好的性能，甚至超过部分全监督方法的性能。SSPC-Net主要包含三部分：利用Superpoint Graph提取每个超点的嵌入特征、通过动态标签传递策略为无标注的超点生成伪标签、设计Coupled Attention学习真实标注的超点和带有伪标注的超点的上下文信息，最终获得具有判别力的特征用于后续的语义分割。

图2.杨开智作报告

杨开智的报告题目为Unsupervised Learning for Cuboid Shape Abstraction via Joint Segmentation from Point Clouds。在报告中，杨开智首先介绍了Shape Abstraction任务的概念及相关工作。接着杨开智介绍了一种新的无监督Shape Abstraction方法，保证了物体间结构的几何相似性和语义一致性而无需物体结构标注，并支持形状生成、插值、结构化聚类等一系列应用。具体地，该方法将点云分割任务引入Shape Abstraction，设计了特征嵌入网络、形状提取网络和点云分割网络，并提出了一系列损失函数联合监督Shape Abstraction任务和点云分割任务。

在两位同学完成报告后，主持人组织讲者与在线学生进行Q&A。

图3. 两位讲者进行Q&A

问答部分：

问题1：在一些场景中（例如，无人驾驶）获得的点云可能的不是完整的，仅可以获得一个视角下的点云。在这种场景中还能否采用半监督或无监督的方法进行点云分割？

回答：两位讲者均认为，如果直接迁移使用完整的点云数据训练的模型至真实场景中的不完整点云，训练测试数据的不一致将会导致糟糕的模型性能。而如果我们在训练过程中融入不完整的点云的数据，那么模型将会具有分割不完整点云的能力。幸运的是，目前存在一些不完整点云的数据集，例如SemanticKITTI 和 Semantic3D。对于全监督训练方式，使用这些数据集进行训练，模型可以获得对不完整点云较好的分割结果。对于半监督或弱监督训练方式，模型的性能取决于是否有标签存在于所关心的物体上。例如，在半监督设定的无人驾驶场景中，如果给定数据中有关于汽车的标注，那么通过标签传递或图模型推理的方式，也可以完成汽车分割。然而，对于一些极端（例如，汽车很少）或复杂的场景，半监督或弱监督方法很难完成点云分割。

问题2：在杨开智的报告中，讲者是如何设计目标函数的？

回答：在实验中，杨开智发现，不使用联合监督的目标函数所获得的分割结果是非常散乱的。因此，讲者设计了以稀疏性为目的的目标函数使分割结果更加简洁和紧凑。

问题3：如何利用迁移学习将现有方法应用于实际场景？

回答：惠乐认为，由于不同域之间存在差异，同一目标在不同场景下可能具有不同的外观或形状。因此我们通常需要在模型中设计约束，学习外观形状不相关的语义特征，减少不同域相同类别之间的特征差异。此外，我们还可以通过设计目标函数或域之间信息交互算法等形式，实现域之间的特征传播，增强特征在多个域中的判别力。

问题4：在实际场景中，杨开智的方法如何实现结构化聚类？

回答：在杨开智的方法中，不同物体的相同部件是由同一长方体组成。例如，对桌子而言，方法中使用同一长方体表示桌面，另外由同一长方体表示桌子的某一条腿。这种语义一致性约束有利于进行结构化聚类。该方法将物体表示为由多个长方体编码的向量，向量中的某一元素表示该元素索引的长方体是否出现在物体中，进而利用向量进行结构化聚类。

问题5：在惠乐的方法中，随着标注数量的下降，方法性能如何变化？

回答：在实验中，惠乐及其合作者评估了训练数据中点云的标注比例分别为0.1%、0.2%、1%和1PT（一个类别只标注一个点）时模型的性能。实验结果显示，模型性能不会因为标注的大量减少而急剧下降。例如，当训练数据中100%的点云被标注时，模型准确率为58%；而训练数据中仅1%的点云被标注时，模型性能仍然达到了53%。该现象的原因是方法中使用了Superpoint结构，将标注从点级别传播至Superpoint级别，因此相当于对点级别的标注做了增广。实验中也发现，如果直接使用点级别的标注而不使用Superpoint结构，标注的大量减少会导致性能的急剧下降。

问题6：在惠乐的方法中，对远处稀疏近处稠密的真实室外点云使用文中的标注方法时，模型性能是否受到影响？

回答：在该方法中，惠乐及其合作者为每个类别根据比例分配标注数据，即每个类别分配相同数量的标注点。因此，此分配策略与点云的稀疏性无关，所以在稀疏性不同的情况下标注时，模型性能受到的影响较小。

本次会议录播将在虎牙直播官方账号发布，回放链接为：https://v.huya.com/u/1472579339。

——————————————————————————————————————————————————————————–

活动参与方式：

1. 活动组织形式：每两周一期，周二晚8:00线上进行，每期1位老师主持人+2位学生讲者；
2. 软件平台：会议软件为Skype，同步直播软件为虎牙直播，网址：https://www.huya.com/24461705；
3. 欢迎相关领域老师和优秀硕博生推荐/自荐参与“3DV学生论坛”，秘书处联系方式（郭裕兰：yulan.guo@nudt.edu.cn，武玉伟：wuyuwei@bit.edu.cn，杨佳琪: jqyang@nwpu.edu.cn）

（撰稿：高志，审核：武玉伟，杨佳琪，郭裕兰）