CLEAR Challenge Report
|
|
2022年度全球计算机视觉及模式识别领域顶级学术会议CVPR（Conference on Computer Vision and Pattern Recognition）再次线上举行，会议赛事涵盖了计算机视觉多个细分领域。6月19日，CVPR 2022 VPLOW（Visual Perception and Learning in an Open World） Workshop[1]公布了CLEAR挑战赛[2]的结果，上海湃道智能科技团队在为期39天的角逐中，一举夺得CLEAR挑战赛的亚军，并受邀参与CVPR 2022 VPLOW Workshop的线上报告。
赛题介绍
CLEAR挑战赛是增量学习领域算法研发方向的国际性大赛，由卡内基梅隆大学（Carnegie Mellon University）主办，赛中首次使用了基于真实世界图像的持续学习（CLEAR）数据集，数据集的时间跨度为十年（2004-2014 年），其中CLEAR10赛道共有11类、3.3万幅图像，CLEAR100赛道共有100类、约11万幅图像。参赛者需要遵循流协议（Stream Protocol），基于10个时间戳的数据集依次训练模型，即“今天训练，明天测试”。参赛者需要提交10个时间戳的训练模型，并连同训练和测试代码提交至AICROWD进行评估，每一个模型都将在10个时间戳的测试集上进行准确率评估，从而得到一个10x10 的准确率矩阵。最终的评估指标根据矩阵中的四类准确率平均计算得到。
竞赛成绩
该挑战赛吸引了众多学术界和产业界的科研团队参加，组委会共收到超过500份有效申请，参赛团队不仅包含来自美国卡耐基梅隆大学、印度IIT、上海交通大学、清华大学、浙江大学、北京航空航天大学、南方科技大学等全球20多所高校的团队，也不乏来自腾讯优图实验室、京东方科技等产业界的优秀选手。湃道团队与全球79个参赛团队，在CLEAR10和CLEAR100两个赛道展开为期39天的激烈角逐，最终在CLEAR100赛道和CLEAR10赛道上分别获得了亚军和季军的成绩，并在CLEAR总分榜上摘取了亚军。
在主赛道CLEAR100中，湃道科技取得了91.24的平均准确率得分，仅次于腾讯优图实验室的91.46分，并与第三名京东方科技、第四名上海交通大学的参赛团队拉开了3~5分的差距，同时在CLEAR10赛道中也获得了88.90分的好成绩。相比基线方法，团队的方法在CLEAR10和CLEAR100上分别获得了34%和85%的性能提升。
赛题特点
该挑战赛主要存在以下几个特点：
1. 数据集较小，禁止使用预训练模型和额外数据集。
2. 限制训练时长，每个时间戳下，模型在1080ti的训练时长不得超过12个小时。
3. 要求模型具备前向领域（Forward Domain）的预测能力，如何在CLEAR数据集上，尤其是前几个时间戳的数据集上，保障模型对前向领域的泛化预测能力也是该赛题的难点之一。
4. 要求模型具备对抗灾难性遗忘（Catastrophic Forgetting）的能力，参赛者需要自主平衡模型性能和计算资源的消耗，并通过合理的回放（Replay）采样方式缓解持续学习中普遍存在的灾难性遗忘问题。
方案解读
CLEAR竞赛紧贴湃道科技的业务场景：一方面在工业场景中，存在大量小数据、计算资源受限场景。例如很少有爆炸、火灾等场景；另外一方面：在实际场景部署后，随着时间环境的变化，要求算法具有终身学习的能力，以能够在新场景以及场景变化的情况下依旧取得高准确率，并降低部署成本。湃道科技深耕小样本、低资源、强泛化性的人工智能算法，在多种场景中开发了针对这些化工实际问题的大量技术解决方案，并已经将相关研究成果成功部署于上海孚宝、新加坡孚宝、宝武、宝化等多家世界五百强企业。针对该竞赛课题，湃道技术团队根据自身技术累积，设计具有针对性的解决方案：
为了缓解持续学习中的灾难性遗忘问题，团队实验了多种采样策略，根据各类采样策略的本地验证得分，最终选择累积采样作为采样策略。
由于挑战赛中的计算资源限制，参赛选手需要选取相对轻量的模型作为Baseline，通过添加了高效通道注意力（Efficient Channel Attention）模块，该模块可以在增加极少量计算消耗的情况下提升模型性能。
由于CLEAR小数据集的特点，团队针对CLEAR的评估指标，设计了最佳模型保存策略。针对使用累积数据集（Cumulative Dataset）会造成训练时间随着时间戳线性增长的问题，团队采用Epoch随着时间戳逐渐减少的训练策略，保障后续模型的训练稳定性。
竞赛结果
在主赛道CLEAR100中，湃道科技取得了91.24的平均准确率得分，仅次于腾讯优图实验室的91.46分，并与第三名京东方科技、第四名上海交通大学的参赛团队拉开了3~5分的差距，同时在CLEAR10赛道中也获得了88.90分的好成绩。相比基线方法，团队的方法在CLEAR10和CLEAR100上分别获得了34%和85%的性能提升。
结语
此次CLEAR挑战赛胜出的技术成果将直接应用于湃道科技的智慧作业，智慧安防类产品线算法中：能够再一次大大提升小目标的检测与火焰，烟雾等不确定形态的目标检测、跟踪与重识别、3D定位与重构、分割与事件分析，AR与工业检测等多项视觉技术的落地质量，为保障作业与生产安全提供坚实的算法基础，
通过长期以来对高危行业常见的特殊作业流程及规范进行挖掘，湃道还建立了基于算法和规则的安全知识图谱，融合自主研发的连续行为识别算法引擎，湃道已经在对各类操作流程明确、操作规范清晰、危险性高、人工监管不到位的高风险作业，应用计算机视觉技术取代人工进行作业流程的监管的能力上遥遥领先于行业水平。
湃道致力于打造的以AI为技术驱动的安全管理平台与方案正在帮助客户实现生产领域的全域安全与智慧化管理。
[1] CVPR 2022 VPLOW Workshop网址：https://www.cs.cmu.edu/~shuk/vplow.html
[2] CLEAR挑战赛网址：https://www.aicrowd.com/challenges/cvpr-2022-clear-challenge
