CSIG-3DV学生论坛第三期“3D目标跟踪专题”顺利召开
2021年5月25日晚8点，CSIG-3DV学生论坛第三期“3D目标跟踪专题”在Skype线上召开，同时在虎牙直播平台进行同步直播。本次论坛共有两位讲者和一位主持老师，简介如下:
学生讲者一：Hai Wu (吴海 厦门大学) 厦门大学信息学院福建省智慧城市感知与计算重点实验室硕士生，指导老师为温程璐副教授。主要研究方向为点云目标检测与跟踪，目前已在IJCAI、IEEE TITS、ISPRS P&RS等国际会议和期刊上发表论文。
学生讲者二：Haozhe Qi (綦浩喆 华中科技大学) 华中科技大学多谱信息处理国家级重点实验室硕士，指导教师为曹治国教授，研究方向包括目标检测、目标跟踪、点云处理等。目前已在CVPR上发表过论文，有多项发明专利和国家级竞赛获奖，同时获得牛津大学、洛桑理工和新加坡国立大学的博士录取。
主持人：Yuwei Wu (武玉伟 北京理工大学) 博士。2016年10月加入北京理工大学计算机学院任职预聘助理教授、博士生导师。目前在IEEE Trans.和CVPR、AAAI、ACM MM等国际期刊和会议上发表论文40余篇，曾获中国人工智能学会优秀博士学位论文提名奖。主要研究方向是计算机视觉、机器学习。
图1.吴海报告
吴海的报告题目为PC-TCNN：Tracklet Proposal Network for Multi-Object Tracking on Point Clouds。在报告中，吴海介绍了一种基于三维点云的多目标跟踪网络PC-TCNN，解决了以前的方法过于依赖目标检测结果且忽略时空信息的问题。吴海采用了由粗到精的思路，设计了一种新的框架，该框架主要包含三步：踪片候选生成（Tracklet Proposal Generation）、踪片候选细（Tracklet Proposal Refinement）以及踪片关联（Tracklet Association），有效地提升了点云多目标跟踪精度。
图2. 綦浩喆报告
綦浩喆的报告题目为P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds。在报告中，綦浩喆介绍了一种用于点云的三维单目标跟踪网络P2B，解决了由点云的稀疏性、无序性和旋转可变性带来的挑战。该模型以点为核心基元，首先在3D搜索区域中定位潜在的目标中心，然后进行由点驱动的3D目标候选框的查找和验证，有效提升了单目标跟踪精度和速度。
在两位同学完成报告后，主持人组织讲者与在线学生进行Q&A。
图3. 两位讲者的Q&A环节
问题1：请两位讲者能否分别从单目标和多目标的角度分析,与二维目标跟踪相比，基于点云的三维目标跟踪的挑战和优势各是什么？
回答：綦浩喆认为，在单目标跟踪中，相较于二维目标跟踪，基于点云的三维目标跟踪不依赖于RGB信息，而是使用通过雷达采集的点云信息，因此，即使在天黑等情况下仍可正常运行。其次，点云是一种三维数据表示，隐含的三维信息更为丰富，可以更好地服务于需要三维场景感知的任务。缺陷在于点云存在稀疏性、无序性、旋转可变性等问题，基于点云的三维算法无法直接沿用以前用于二维数据的算法模型，需要设计一些适合于点云的方法。
吴海认为，多目标跟踪主要分为两个部分，一个是检测，另一个是数据关联。对于检测这一部分，吴海和綦浩喆的观点一致，而在数据关联上，基于点云的方法可以更好地利用点云的三维信息完成关联。但仅基于三维坐标信息的数据关联方法判别性较弱，模型很难和二维目标检测一样，通过判别性较强的外观相似性完成数据关联。
问题2：如何看待三维目标跟踪在速度和性能间的平衡问题？
回答：吴海从多目标角度分析认为，想要达到更好的平衡就必须要设计更好的处理点云数据的方法，此外，如何利用较少帧甚至单帧，就能获得跟踪的历史信息，达到速度和性能上的平衡，也是未来的一个研究方向。綦浩喆从单目标角度分析认为，相较于提取多个特征分别进行计算，端到端的网络结构可以大幅提升运行速度。
问题3：在三维目标跟踪数据集上是否会出现内卷的问题？
回答：吴海认为在多目标跟踪中，内卷问题确实存在，但新的数据集也在不断涌现，我们可以在新的数据集上进行测试，同时也可以考虑数据集上的泛化问题。綦浩喆认为在单目标跟踪中，还没有像多目标跟踪一样内卷，而像KITTI这种多目标跟踪数据集并不能很好的适用于单目标跟踪，如何设计一个更加适用于单目标跟踪任务的数据集是未来一个值得努力的方向。
问题4：不同算法在不同的数据集上的性能是不一样的，在这种情况下，应该如何评估一个三维目标跟踪算法的好坏
回答：吴海认为更多数据集上的测试结果肯定是更有说服力的，我们的模型需要有适应不同数据集和相应硬件设备的能力，这也会使论文更容易得到读者和审稿人的认可。
问题5：做研究和打比赛有哪些区别？
回答：綦浩喆认为做研究会更关注于任务本身，关注于方法的创新性，而打比赛更关注于性能的高低，关注于数据本身的问题，会尝试已有的算法，并使其尽可能地契合当前数据。
问题6：綦浩喆的工作是否是一种anchor–free的工作，与其他anchor–free方法有哪些区别？
回答：綦浩喆认为他们的方法是一种anchor-free的方法，尤其是检测分支就是通过点回归得到潜在的目标中心。
问题7：綦浩喆讲者是如何想到论文中的数据增广方法的？
回答：綦浩喆认为他们的方法是受到PointNet++算法的启发，而获得的灵感。
问题8：在吴海的工作中，除了手工调整tracklet长度，是否还有其他策略？
回答：吴海认为他们目前是通过实验，手动调参得到的tracklet长度结果。而不同数据集提供的pose、自运动数据精度不一样，未来可以考虑根据不同数据集的情况，比如pose、自运动数据精度等，调整tracklet的长度。
问题9：在綦浩喆的工作中，P2B对点云稀疏的车辆跟踪效果比较差，是否有比较好的解决思路？
回答：綦浩喆认为由于点云的稀疏性，有的车辆只能被看到局部区域，因此联合考虑全局特征和局部特征有利于解决这一问题。同时，綦浩喆还认为当前方法仅利用了最后一层的特征，而网络在下采样的过程中可能会损失信息，因此，可以考虑使用多层特征提取来缓解这一问题。
问题10：三维目标跟踪方法与检测方法有哪些区别？
回答：两位讲者均认为检测只能对已知类别的目标进行检测，无法应用到未知类别上。目前多目标跟踪方法仅跟踪已知类别，而单目标跟踪方法则可以持续的对未知类别进行跟踪。在未来的研究中，需要进一步考虑开放环境中的多目标跟踪，以适应目标类别更为宽泛的应用场景。
问题11：如何处理点云分辨率过大时的检测问题？
回答：吴海认为，随着点的密集程度增大，相应运算量也会增长，可以通过调大体素，牺牲一定的精度，来降低计算量，綦浩喆认为单目标跟踪中不存在点云变密集而导致的计算量过大问题，因为单目标跟踪中存在一个假设，即目标在前后两帧中的位置变化不会过于剧烈，因此在输入网络时，不会输入整个场景的点云，而是输入目标区域和其周围区域的点云。
问题12：在初入研究的时候，我们怎么能快速地进入到研究的状态，找到好的idea？
回答：綦浩喆认为应该尽可能多的通过阅读去了解所研究的领域和相关领域，再在此基础上，寻找不同领域间的联系，借鉴其它领域的思想和方法。吴海认为初入研究，需要多阅读，然后尝试复现论文方法，在对研究领域有了一定的了解后，要进一步深入，阅读其它领域的论文，借鉴其他领域的研究工作，同时也要拓宽自己的视野，多参加学术讲座，多与其它领域的人交流，激发自己的灵感。
本次会议录播将在虎牙直播官方账号发布，回放链接为：https://v.huya.com/play/512262883.html。
——————————————————————————————————————————————————————————————
活动参与方式：
- 活动组织形式：每两周一期，周二晚8:00线上进行，每期1位老师主持人+2位学生讲者；
- 软件平台：会议软件为Skype，同步直播软件为虎牙直播，网址：https://www.huya.com/24461705；
- 欢迎相关领域老师和优秀硕博生推荐/自荐参与“3DV学生论坛”，秘书处联系方式（郭裕兰：yulan.guo@nudt.edu.cn，武玉伟：wuyuwei@bit.edu.cn，杨佳琪: jqyang@nwpu.edu.cn）
（撰稿：姚承唐，审核：武玉伟，杨佳琪，郭裕兰）