西电智能学子荣获ECCV 2022国际大赛12项大奖

2022欧洲计算机视觉国际会议European Conference on Computer Vision（ECCV）于今年10月23-27日进行，多项竞赛大奖

竞赛题一：ECCV 2022 VIPriors 动作识别挑战赛

其中，由宋欣然、杨成远、刘畅、刘洋组成的学生队获得了动作识别赛道的冠军。由何文欣、高子涵、马天智组成的学生代表队在同场比赛中获得亚军。与此同时，由李丹旭、王若男组成的学生队以第九名的成绩进入榜单。

冠军队：宋欣然、杨成远、刘畅、刘洋

亚军队伍：何文欣、高子涵、马天智

2022 ECCV VIPriors 动作识别挑战赛的主要思想是在特定计算机视觉任务的特定数据集的简化版本上从头开始训练模型。在这个特殊的挑战中，训练期间不允许使用任何预训练的权重，包括任何预训练的骨干网络。比赛数据集是Kinetics400数据集的修改版本，称为Kinetics400 VIPriors。

冠军团队提出的解决方案突破了多模态、多模型高性能融合的关键技术，实现了高效的视频行为识别效果。实验数据主要包括光流、RGB、RGB差值三种模式的数据。在处理数据集时，间隔帧采样主要用于对视频数据进行采样。同时采用RandomResizedCrop方法将数据调整为128*128和224*224大小，同时添加随机噪声，以1/2的概率随机翻转训练数据集，增强训练数据集。 TenCrop 用于处理测试期间的数据，并使用测试时数据增强（TTA）策略来改进预测结果。所提出的解决方案首先从视频中提取RGB差异，并融合光流和RGB差异两种模式。然后，固定各个模态在单个模型上的训练参数，提取模型的中间特征，然后进行拼接融合。最后选择多个不同的模型权重，对得分较高的模型赋予较高的权重，即采用软投票的方法融合实验中所有模型的结果。

竞赛题2：ECCV 2022 VIPriors 物体检测挑战赛

由2022级博士生鲁小强、2021级硕士生谭晓、李成辉组成的学生队获得冠军。

卢小强、谭晓、李成辉

物体检测赛道的主题是重新训练检测器在数据不足的情况下从DelftBikes 数据集中检测自行车零件。该数据集包含10,000 张自行车图像，每辆自行车有22 个密集注释的零件。此外，所有零件位置和零件状态都被注释为缺失、完整、损坏或模糊。

冠军团队提出了一种新的两阶段目标检测训练方案，包括预训练阶段和微调阶段。该方案突破了少样本目标检测训练策略的关键技术，在数据不足、样本相似的情况下，实现了模型检测和泛化性能的显着提升。基本检测器使用多个先进的单级检测器（YOLOv7、YOLOR、Scaled-YOLOv4）和双级检测器CBNetv2。在预训练阶段，使用随机缩放、翻转、颜色抖动等弱数据增强方法训练多个基础模型，然后使用Model Soups 来整合模型。在微调阶段，使用预训练阶段的集成模型进行初始化，然后使用由Mosaic、Mixup、Copy-paste和Cutout组成的强大数据增强方法来训练检测器。此外，本阶段还进一步引入了基于图像级不确定性的加权训练策略。两个阶段都使用五重交叉验证方法来增强检测器的鲁棒性。然后，对训练好的检测器进行模型集成，并使用测试增强进行推理。最后采用WBF加权框融合策略对结果进行融合，得到最终的检测输出。

竞赛题三：ECCV 2022 VIPriors 图像分类挑战赛

学生团队由2021级硕士生马天智、高子涵、何文欣，2022级博士生陆小强，2021级硕士生李成辉、李超（评委会奖），以及2022级硕士生左毅、王子涛、和张晓文分别获得了比赛的一、二、三等奖。此外，由2021级硕士生王佳豪、王浩、2022级硕士生佘文轩、王梦佳、赵雨轩、陈宝亮组成的学生队分别位列第四、第五、第八。

冠军队：马天智、高子涵、何文欣

西电智能学子荣获ECCV 2022国际大赛12项大奖

亚军队伍：卢小强、李成辉、李超

季军队伍：左毅、王子涛、张晓雯

VIPriors图像分类挑战赛的重点在于，模型在数据不足的环境下不使用任何预训练，从头开始训练以获得最高的Top-1准确率。从头开始训练分类器，在数据不足的情况下识别ImageNet 数据集子集中的1000 种对象。该子集包含每种类型对象50 张图像，训练集、验证集和测试集各包含50,000 张图像。

冠军团队利用ResNest、ReXNet、EfficientNet-B8、ConvNeXt等多个模型，突破了改善效果不显着的图像增强方法的关键技术，实现了准确的图像识别结果。为了解决图像增强方法改善效果不显着的问题，引入自适应选择增强特征的方法来避免模糊信息的干扰。采用不同的策略分别训练表现较差的类别，并使用搜索算法选择适合特定数据集的数据增强策略，同时添加图像多通道的随机对比度拉伸。最后采用软硬投票相结合的方法进行模型集成和结果融合，有效提高了最终的分类精度。

竞赛问题4：ECCV 2022 UrbanPipe 细粒度视频异常识别挑战赛（赛道5）

由王浩、王家豪、董卓君、包千月组成的学生团队获得细粒度视频异常检测与分析赛道的亚军。由秋灿、张乐、高迎佳组成的学生代表队在同届比赛中获得第六名进入名单。

亚军队伍：王浩、王家豪、董卓君、包千月

视频异常分析对于现实世界的工业应用非常重要。城市管道系统是城市最重要的基础设施之一。为了保证其正常运行，需要对管道进行智能检测。 UrbanPipe 挑战赛旨在通过网络/方案预测视频中存在的多个管道缺陷类别。比赛使用了一个名为UrbanPipe 的新数据集。 UrbanPipe 是从现实城市管道系统中的各种快速查看(QV) 检查设备收集的。它由96,000 个短视频组成，分为16 个异常类别。所有视频总时长超过55小时。

亚军团队提出了一种具有多个时间分辨率的集成学习方法。该方案突破了模型对不同时域分辨率高度敏感的技术难点，实现了时间序列鲁棒概率预测模型。即采用不同的时域采样率对视频进行采样，得到不同时域分辨率的训练集，从而训练不同的基学习器。每个基础学习器都可以使用所有训练视频，从而获得更高的单元性能。模型性能。针对训练集明显的长尾类别分布，团队采用解耦的表示学习策略，得到了能够更好识别所有类别的模型。具体来说，训练过程分为两个阶段。第一阶段，随机采样数据进行正常训练；在第二阶段，除了最终分类器之外，模型的所有参数都被冻结，并使用类平衡损失重新训练分类器。同时，对不同模型的类别概率输出进行平均，得到综合概率结果。最后，对性能较差的类别数据进行重采样进行训练，并在单个类别的结果的基础上增强最终的概率预测结果。

竞赛题5 : ECCV 2022 DeeperAction Challenge-SportsMOT Track on Multi-actor Tracking

由2021级硕士生王家豪、孟畅、李东浩、王浩组成的学生队在本次比赛中获得亚军。

王家豪、孟畅、李东浩、王浩

多对象跟踪（MOT）是计算机视觉中的一项基本任务，旨在估计视频序列中对象（例如行人和车辆）的边界框和身份。流行的行人跟踪MOT数据集主要关注拥挤街道场景中的行人（如MOT17/20）或静态场景中的舞者（DanceTrack）。尽管运动分析的需求不断增加，但仍缺乏针对各种运动场景的多目标跟踪数据集。这些运动场景背景复杂，运动员动作快，镜头移动快。该赛道的SportsMOT是一个大规模多目标跟踪数据集，由篮球、足球和排球3个类别的240个视频片段组成。目标是在各种运动场景中仅跟踪操场上的运动员（一些观众、裁判和教练除外）。

亚军团队使用两阶段多目标跟踪框架DeepSORT作为基线框架，并根据数据类型的差异使用多种不同的检测器，如Cascade-RCNN-ResNest101、ATSS-SwinL等。足球场景的跟踪，由于场景变化相对于篮球和排球来说比较慢，同一名球员出现的时间间隔过长，因此亚军球队使用OC-SORT跟踪器单独处理足球类别，大大提高了足球品类的相关性。分数。此外，为了进一步减少目标ID切换次数，补充重叠目标的漏检，团队采用AFLink和线性插值作为后处理方法。最终，该队取得了74.899的成绩。团队突破了复杂运动场景下多目标跟踪的关键问题，有效解决了不同场景下跟踪难度不同的问题。

西电智能学子荣获ECCV 2022国际大赛12项大奖

竞赛题目6：ECCV 2022 SSLAD-Track1-2D 物体检测挑战赛

由卢小强、杨宇婷等博士生组成的学生代表队获得了本次比赛的亚军。

卢小强、杨雨婷

近年来，自动驾驶技术因其在减少事故、挽救生命、提高效率方面的巨大潜力而发展迅速。作为视觉感知系统中的重要模块，道路图像中的目标检测是自动驾驶技术的关键技术之一。本次竞赛题目主要针对具有少量注释和大量未标记数据的二维物体检测任务。给定5K 个标记训练样本和10M 个未标记图像，推断测试集中每个对象的边界框位置和类别。

亚军团队提出了一个两阶段自训练的师生框架，使用两阶段检测器作为教师模型，为单阶段检测器的学生模型提供多样化的伪监督信号。第一阶段，通过集成学习和模型融合Model Soups构建鲁棒的教师和学生模型；第二阶段，教师模型通过可靠的伪标签生成策略为学生模型提供高质量的伪监督信号。在推理阶段，团队设计了有效的后处理流程，包括多尺度测试、模型汤和自适应加权框融合。该团队突破了基于自训练的半监督学习范式的关键技术，实现了自动驾驶技术中道路目标物体检测精度的显着提升。

问题7：ECCV 2022 SSLAD 极端案例检测挑战赛

由卢小强、杨宇婷等博士生组成的学生代表队获得了本次比赛的亚军。

深度学习在检测车辆、行人和骑自行车者等交通中的常见类别方面取得了出色的成果。然而，此类检测器通常无法检测到训练期间看不见或很少看到的角落物体。这些角点目标主要由新类别（例如失控的轮胎）和常见类别的新实例（例如翻倒的车辆）组成，即分布之外的目标。该竞争问题旨在检测现实世界中的常见目标和角落目标。

亚军团队使用半监督学习方法来探索未知类别的识别以及对分布外目标的泛化。具体来说，使用两级检测器作为教师模型，为单级检测器的学生模型提供多种伪监督信号。第一阶段，通过集成学习和模型融合Model Soups构建鲁棒的教师和学生模型；第二阶段，教师模型通过可靠的伪标签生成策略为学生模型提供高质量的伪监督信号。在推理阶段，团队设计了有效的后处理流程，包括多尺度测试、模型汤和自适应加权框融合。该方法突破了开放世界目标检测新学习方法的关键技术，提高了自动驾驶技术中未知目标识别的准确性和鲁棒安全性。

问题8：ECCV 2022 VIPriors实例分割挑战赛

由卢小强、黄忠健等博士生组成的学生代表队获得本次比赛实例分割赛道第三名。由2022级硕士生张俊培、张可欣、彭锐和2021级硕士生程毅、王书涵、陈逸飞组成的学生队在本次比赛中分别获得第四名和第五名。

季军队伍：卢小强、黄忠健

比赛题目使用Synergy Sports提供的数据集。该数据集由不同篮球比赛中记录的图像组成。训练集、验证集和测试集分别有184、62和64张图像。评估时采用COCO评估指标，主要指标为AP@0.50：0.95。该赛道提出了“数据高效计算机视觉的视觉归纳先验挑战”。在本次挑战中，模型是在数据不足的情况下从头开始训练的，并且无法使用预训练。挑战的主要目标是分割所提供图像中的所有球员和球实例。