2021年7月6日晚8点，CSIG-3DV学生论坛第六期“点云场景流专题”在Skype线上召开，同时在虎牙直播平台进行同步直播。本次论坛共有两位讲者和一位主持老师，简介如下:

学生讲者一：Yi Wei（韦祎 清华大学）清华大学自动化系智能视觉组二年级博士生，指导老师为鲁继文副教授。研究兴趣为三维视觉，包括三维场景理解，三维重建等。曾在··CVPR、ECCV、ICRA等顶会上以第一作者或共同第一作者身份发表四篇论文，曾获VCIP 2017 best student paper award。

学生讲者二：Ruibo Li（李睿博 南洋理工大学）新加坡南洋理工大学计算机科学与工程学院博士生，指导教师为Lin Guosheng助理教授。硕士毕业于华中科技大学，指导教师为曹治国教授。主要研究方向为点云场景流预测、单目深度预测，目前已在CVPR发表论文，有多项发明专利和国际竞赛获奖。

主持人：Xuejin Chen（陈雪锦 中国科学技术大学）2008年于中国科学技术大学获得博士学位，2008-2010年于耶鲁大学计算机系从事博士后研究，2010年加入中国科学技术大学信息学院任副教授。2014微软亚洲研究院“铸星计划”访问学者、2017年2月-2017年8月美国斯坦福大学计算机系任访问副教授。主要研究方向为计算机图形学、三维视觉、脑显微图像分析。在ACM TOG、IEEE TVCG、TMI、ACM Multimedia等期刊会议上发表学术论文50余篇，承担国家科研项目10余项，曾获CVM期刊2019年度最佳论文提名奖。

图1. 韦祎作报告

韦祎的报告题目为PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of Point Clouds。在报告中，韦祎首先介绍了场景流估计任务和相关工作，随后介绍了基于点云的场景流估计任务中存在的挑战性问题，并提出了一种PV-VAFT方法。该方法主要包含四步：1）特征提取步骤；2）可以有效获取局部和远距离点对依赖关系的Point-Voxel Correlation Fields步骤；3）可以充分利用所有点对关系来处理点云中的大位移和小位移的迭代式场景流估计步骤；4）场景流精细化步骤。

图2.李睿博作报告

李睿博的报告题目为Self-Supervised Scene Flow Estimation from Point Clouds。在报告中，李睿博首先介绍了任务的背景和相关工作，随后介绍了一种新的无需标注数据的自监督点云场景流预测方法。该方法将自监督中伪标签的生成问题转化为点云的匹配问题，通过设计考虑多种线索与约束的匹配算法来产生场景流伪标签。同时，该算法使用图模型对伪标签进行优化以提高伪标签质量。

图3. 两位讲者进行Q&A

在两位同学完成报告后，主持人组织讲者与在线学生进行Q&A。

问答部分：

问题1：在韦祎的报告中，从实验来看，K值和r值对最终的模型效果有很大影响，是否有寻找最优值的方法，二者对泛化性又有多大的影响？

回答：韦祎认为从消融实验来看，两个参数的影响其实没有特别大，至于自动化的参数学习方法则是自己下一步要做的工作。至于泛化能力，从KITTI数据集上的效果来看，泛化能力还是不错的。

问题2：在韦祎的报告中，truncation number在不同的点云中是否需要改变，是否有试过阈值方法？

回答：韦祎认为不需要采用阈值化操作，因为这样会导致truncation number不同，从而不便于GPU的批量化处理。至于对truncation number大小的确定，韦祎认为通过对消融实验的分析，512大小足以胜任，再小可能会导致信息丢失过于严重。

问题3：在韦祎的报告中，refinement模块为什么不可以和整个模型一起端到端的训练？

回答：韦祎认为，这是由于训练和测试中的迭代次数不一样所导致的。在训练过程中进行过多的迭代，会导致反传时间过慢，甚至出现显存爆炸问题，但在测试过程中就不一样了，不存在梯度反传计算问题，只需一次前向传播即可，因此可以进行更多的迭代。但对于refinement模块来说，需要在训练和测试时保持迭代轮数一致。因此为了保证计算效率，在训练refinement模块时，我们固定住了其他模块的权重。

问题4：在韦祎的报告中，为什么长距离的correlation有助于预测？

回答：韦祎认为，在模型初始迭代估计中，往往需要跨越较大的偏移距离，才能逼近真实值的附近，此时长距离的correlation便有助于模型在初始迭代时刻，较快地接近真实值，而在接近真实值后，局部的correlation更有利于精细化的微调、提升。

问题5：在李睿博的报告里，为什么在最近邻方法中会有大量的点对应到同一个点，而不是以一种无序的状态呈现？

回答：李睿博认为，在局部区域内，如果以距离为度量线索，则很容易形成多对一的现象。

问题6：在李睿博的方法中，伪标签的生成效率如何？

回答：在该方法中，李睿博及其合作者测试发现，对于一个包含了2048个点的场景，伪标签生成算法的两个模块分别消耗5ms和70ms。但他们只需要在训练过程中生成伪标签，在测试过程中是不需要伪标签预测这一步骤的。

问题7：在现实场景中，无法保证点云数据是完美的，如何在有噪声的数据中完成下游任务？

回答：李睿博认为，这需要在算法设计中考虑鲁棒性的问题，比如在点云的场景流预测中，通过颜色和法向量等线索，筛选掉一些离群点，也可以借助数据增强等方法，提升模型对噪声数据的鲁棒性。

问题8：请两位同学谈一谈投顶会、写文章上的一些心得？

回答：韦祎认为，在顶会投稿比较看重写作，如何将自己的工作凝练成一条线，说好一个故事很重要，做到无懈可击，避免被审稿人找到一些非常明显的问题；李睿博对韦祎的观点也表示赞同，写出的文章要动机明确且可靠,对以前方法的优劣势分析明确，并由此引出自己的方法，整体的行文要给别人呈现出清晰直观、具有说服力的特点。

问题9：请两位同学谈一谈如何回答rebuttal过程中一些较难回答的问题？

回答：韦祎认为，最难回答的问题是对文章新颖性的质疑，这一般很难用一两句话来改变审稿人的看法；李睿博也认为最难回答的问题是对文章新颖性的质疑。对此，应该在工作刚开始的时候，想清楚自己要解决什么问题，明确自己的方法与之前方法的异同，这样在rebuttal过程中可以通过比较以前的方法再次强调和凸显自己的新颖性。

问题10：请两位同学谈一谈对未来发展趋势的看法？

回答：李睿博认为，可以多多吸取一些2D任务方法中的新颖设计，再结合点云数据本身的特性，从而形成自己的创新，至于未来的可研究方向，李睿博认为半监督、无监督、自监督的点云场景流估计等都值得研究；韦祎认为场景流是一个比较新的方向，模型性能还有比较大的提升空间，大家可以考虑对这个方向进行一些研究，此外，不同于2D光流，在3D场景流中可以较为容易地分割出刚性物体，从而用一个pose来刻画所有点的运动，这是一个值得研究的方向。

本次会议录播将在虎牙直播官方账号发布，回放链接为：https://v.huya.com/u/1472579339。

—————————————————————————-

活动参与方式：

1. 活动组织形式：每两周一期，周二晚8:00线上进行，每期1位老师主持人+2位学生讲者；
2. 软件平台：会议软件为Skype，同步直播软件为虎牙直播，网址：https://www.huya.com/24461705；
3. 欢迎相关领域老师和优秀硕博生推荐/自荐参与“3DV学生论坛”，秘书处联系方式（郭裕兰：yulan.guo@nudt.edu.cn，武玉伟：wuyuwei@bit.edu.cn，杨佳琪: jqyang@nwpu.edu.cn）

（撰稿：姚承唐，审核：韦祎，李睿博，武玉伟，杨佳琪，郭裕兰）