【导读】在 CVPR 2020 上，商汤查找与决议计划团队与中科院自动化所协作，针对超大规划多标签方针检测使命，提出了有用的处理方案。该作业以实在国际中的通用检测使命为布景，剖析了首要面临的痛点，在丢失函数和采样办法上提出了立异，有用地改进了痛点并在量化方针上有显着提高。
布景及剖析
在深度学习中，数据始终是至关重要的要素之一。跟着硬件与算法的开展，在学术界和工业界，对数据规划的需求也渐渐变得强。但是在大规划数据的场景下，呈现了许多新的应战，也使得算法的鸿沟将发生新的界说。
本文以 Open Images 数据库为例来模仿实在国际下的超大规划检测，该数据库具有 170 万练习图片，1240 万框图并包括 500 个方针类别。在该场景下，咱们剖析了首要面临的痛点问题：
图1
1.显式多标签问题
与传统的单标签方针检测不同，实在国际下的物体往往具有多种标签类别，以图 1(a,b)为例，方针可一起具有多种并排的标签类别，也可一起具有父子承继联系的多标签类别。
2.隐式多标签问题
超大规划数据因为其规划，往往选用机器辅佐人工的手法进行标示，在练习数据中会频频呈现漏标和混标的状况。以图 1(c,d)为例，部分方针会呈现缺失子类标签的状况，另一些易混杂类别的方针会随机性地互标。
3.类别的长尾效应
在学术会集，练习数据的类别一般方位在较均衡的散布，但是在实践使用中，类别的散布呈现出严峻的长尾效应。
多标签问题的处理方案
面临显现和隐式的多标签问题，检测中常用的 softmax 将导致多标签之间发生呼应值的竞赛。这种竞赛不只使得多标签的猜测概率显着下降，还会导致练习过程中优化方针的方向过错。
反传梯度为：
其间表明方针的类别呼应，代表该方针的 positive 标签个数，为 positive 标签调集，表明每个类别的二分标签。
针对以上调查，本文提出了 concurrent-softmax，在练习和测验过程中，依据方针的多标签和类别的隐性依靠联系输出每种类别的概率值。该算法有用地处理了练习过程中的多标签优化难点，并改进了猜测过程中多标签的竞赛问题。
反传梯度为：
其间表明在练习数据中计算的类别相对于类别的共存概率散布。
表 1 展现了 concurrent-softmax 与传统 loss 的成果比照，表 2 展现了 concurrent-softmax 在练习和测验时的作用。
表 1
表 2
长尾效应的处理方案
长尾效应的首要痛点首要在于部分类别呈现频率过高，部分类别呈现频率极低，天然采样办法然后导致检测器对稀少类欠拟合。典型的处理方案是均匀采样法，即每种类别图片的采样频率共同，但是此举将导致对稀少类的严峻过拟合，且高频类别中很多的练习数据无法被采样到，导致高频类的练习也不充沛。本文提出了混合采样和混合练习法以渐进式地逐渐改进以上两个问题。
首要，咱们以天然采样为根底，规划了混合采样办法，其间天然采样办法下的单类采样频率为：
均匀采样频率为：
混合采样频率则规划为：
其间表明某类别图片数量，表明滑润参数，界说如下：
该采样办法能有用的添加稀少类的采样频率并缓解过拟合。表 3 展现了混合采样办法在性能上的显着提高，图 2，3 别离展现了不同滑润稀少下采样办法对高频和低频类的单类精度影响。
表 3
图2
图3
其次，咱们选用混合练习办法，即用天然采样办法预练习模型，并选用混合采样办法微调模型，确保了高频类的每个样本都被采样过，确保了对高频类的充沛学习。表 4展现了混合练习办法带来的精度收益。
表 4
结语
该文章对实在场景下的大规划多标签方针检测问题做了较为全面的剖析，并提出了有用牢靠的处理方案，为未来相似场景下研讨供给了必定的经历和思路。
