来历：映维网 作者 黄颜
为了解说周围的国际，AI体系有必要了解三维视觉场景。这种需求不只只局限于机器人技能，一起包括导航，乃至是增强实际运用。即便是2D相片与视频，所描绘的场景和方针自身都归于三维。实在智能的内容了解体系有必要可以视频中辨认出杯子旋转时的把手几许形状，或许辨认出方针是坐落相片的远景仍是布景。
日前，Facebook发布了多项可以推进3D图画了解的AI研讨项目。虽然不尽相同，但互为弥补。正在国际计算机视觉大会（International Conference on Computer Vision）进行演示的项目触及一系列的用例和景象，包括不同品种的练习数据和输入。
Mesh R-CNN是一种新颖的，先进的处理方案，可以经过各种实际国际2D图画估计最精确的3D形状。这个办法运用了Facebook的Mask R-CNN结构进行方针实例切割，其乃至可以检测比如凳脚或堆叠家具等杂乱方针。Facebook指出，经过运用Mesh R-CNN的代替和弥补办法C3DPO，他们是第一个经过解说3D几许形状而在三个基准上成功完结非刚性形状的大规模3D重建，方针类别触及14种以上。需求留意的是，团队仅运用2D要害点来完结这一方针，零3D注释。Facebook提出了一种新颖的办法来学习图画与3D形状之间的相关，一起大大减少了对含注释练习示例的需求。这使得团队更接近于开宣布可以为更多品种方针创立3D标明的自我监督体系。Facebook团队一起开发了一种称为VoteNet的新颖技能，其可以运用LIDAR或其他传感器的3D输入履行方针检测。虽然大多数传统体系都依托2D图画信号，但这个体系彻底依据3D点云。与曾经的研讨比较，它可以完结更高的精度。
这项研讨的根底包括：运用深度学习来猜测和定位图画中方针的最新前进，以及用于3D形状了解的全新东西和架构（如体素，点云和网格）。计算机视觉范畴现已扩展到各式各样的使命，但3D了解将在支撑AI体系进一步了解实际国际和履行相关使命方面发挥核心作用。
1. 以高精度猜测非束缚遮挡方针的3D形状
比如Mask R-CNN这样的感知体系是了解图画的强壮通用东西。但由于它们是依据2D数据进行猜测，所以其疏忽了国际的3D结构。运用2D感知技能的前进，Facebook规划了一种3D方针重建模型，可以依据非束缚的实在国际图画猜测3D方针形状，包括具有一系列光学应战的图画（如具有遮挡，杂波和各种拓扑的方针）。将第三维带到方针检测体系，一起完结对杂乱状况的安稳添加作业，这要求更为强壮的工程才能，而当下的工程架构阻止了所述范畴的开展。
Mesh R-CNN依据输入图画猜测里边的方针实例，并揣度其3D形状。为了捕获几许形状和拓扑的多样性，它首要猜测大略体素，将其精化并进行精确的网格猜测。
为了应对应战，Faceboook团队经过网格猜测分支增强了Mask R-CNN的2D方针切割体系，并构建了Torch3d（Pytorch库，其间包括高度优化的3D运算符）以完结所述体系。Mesh R-CNN运用Mask R-CNN来检测和分类图画中的各种方针。然后，它运用新颖的网格猜测器来揣度3D形状（所述猜测器由体素猜测和网格细化的混合办法组成）。在猜测精密3D结构方面，这个两步进程完结了比曾经更高的精度。经过支撑杂乱操作的高效，灵敏和模块化完结，Torch3d可以协助完结这一点。
他们运用Detectron2来完结终究的体系，其运用RGB图画作为输入并一起检测物体和猜测3D形状。与Mask R-CNN运用监督学习来完结强壮的2D感知类似，Facebook的新颖办法运用彻底监督学习（成对的图画和网格）来学习3D猜测。为了进行练习，团队运用了由10000对图画和网格组成的Pix3D数据集，而这比一般包括数十万个图画与方针注释的2D基准要小得多。
Facebook用两组数据集评价了Mesh R-CNN，而他们均取得了亮眼的成果。关于Pix3D数据集，Mesh R-CNN是第一个可以一起检测一切类别方针，并在各种乱七八糟的家具场景中估计完好3D形状的体系。从前的作业要点是在完美裁剪的，无遮挡的图画中评价模型。关于ShapeNet数据集，体素猜测和网格细化的混合办法的体现要比从前的研讨提高7％。
Mesh R-CNN的体系总述，Facebook用3D形状揣度强化了Mask R-CNN
精确猜测和重建非束缚场景形状是迈向增强虚拟实际和其他新式体会的重要一步。虽然如此，与为2D图画搜集注释数据比较，为3D图画搜集注释数据要愈加杂乱和耗时，所以3D形状猜测的数据集开展相对滞后。所以，Facebook正在探究不同的办法来运用监督学习和自我监督学习来重建3D方针。
相关论文：Mesh R-CNN完好论文
2. 用2D要害点重建3D方针类别
关于无法运用网格方针和相应图画进行练习，并且无需彻底重建静态方针或场景的状况，Facebook开发了一种代替办法。全新的C3DPO（Canonical 3D Pose Networks）体系可以对3的D要害点模型进行重建，并经过更广泛的2D要害点监督来完结先进的重建成果。C3DPO可以以合适大规模布置的办法来协助你了解方针的3D几许形状。
C3DPO依据检测到的2D要害点来为一系列方针类别生成3D要害点，可以精确区别角度改变和形状变形。
追寻方针类别特定部分（如人体关节或小鸟翅膀）的2D要害点供给了有关方针几许形状及其形状变形或角度改变的完好头绪。生成的3D要害点非常有用，如用于3D面庞和全身网格的建模，然后为VR构建更传神的虚拟化身图形。与Mesh R-CNN类似，C3DPO运用非束缚图画来重建3D方针。
C3DPO是第一种可以用数千个2D要害点来重建包括数十万个图画的数据集的办法。Facebook针对三种不同的数据集，14种以上不同的非刚性方针类别完结了先进的重建精度。相关代码现已保管至GitHub 。
Facebook的模型包括两个重要的立异。首要，给定一组单目2D要害点，这个全新的3D重建网络将猜测相应camera角度的参数以及3D要害点方位。其次，Facebook提出了一种名为Canonicalization的新颖正准化技能（其包括一个第二辅佐深度网络）。所述技能处理了因分化3D角度和形状而带来的歧义。这两项立异使得Facebook团队可以完结比传统办法更优异的计算模型。
本来无法完结这种重建，这首要是因为曾经依据矩阵分化的办法的存储约束。与Facebook的深度网络不同，所述办法不能在“小批量”状况下运转。曾经的办法经过运用多个一起呈现的图画，并树立瞬时3D重建之间的对应联系来处理变形建模问题，而这需求特别实验室中专门研制的硬件。C3DPO带来的高功率使得在不运用硬件进行3D捕捉的状况下完结3D重建成为可能。
相关论文：C3DPO的完好论文。
3. 从图画采集中学习像素到外表映射
Facebook的体系学习了一个参数化卷积神经网络（CNN），它将图画作为输入并猜测每个像素的正准外表映射，其可以阐明模板形状的相应方位点。2D图画和3D形状之间的正准外表映射的类似上色暗示了对应联系。
Facebook进一步减少了开发通用方针类别3D了解所需的监督程度。他们介绍了一种可以经过近似主动实例切割来运用未注释图画调集的办法。Facebook没有清晰猜测图画的根底3D结构，而是处理了将图画像素映射到3D形状类别模板外表的弥补使命。
这种映射不只答应团队可以在3D形状类别的布景下了解图画，并且可以概括相同类别方针之间的对应联系。例如，关于你在左边图画中看到的高亮鸟喙，Facebook可以轻松地在右侧图画定位相应的点。
这可以完结的原因是，Facebook可以直观地了解实例之间的一起3D结构。将图画像素映射到正准3D外表的新颖办法一起为Facebook的学习体系带来了这项功用。当评价所述办法在各个实例之间传输对应联系的精确性时，其成果比本来的自我监督办法（不运用使命的底层3D结构）高出两倍。
Facebook的要害见地是，像素到3D外表的映射可以与逆操作（从3D到像素）配对，然后完结一个循环。Facebook团队的新颖办法可完结这个意图，并且可以运用检测办法的近似切割和无注释的，免费的，揭露可用的图画集进行学习。Facebook的体系可以直接运用，并与其他自上而下的3D猜测办法结合，然后供给对像素级3D的弥补了解。相关代码现已保管至GitHub 。
如视频中轿车色彩共同性所标明，Facebook的体系为运动和旋转方针产生了不变的像素嵌入。这种共同性超出了特定的实例，并且在需求了解方针之间共性的状况下非常有用。
Facebook不是直接学习两个图画之间的2D到2D对应联系，而是学习2D到3D对应联系，并保证与3D到2D重投影的共同性。这种共同循环可用作学习2D到3D对应联系的监督信号。
例如，假如要练习体系学习椅子就座的正确方位或茶杯握持的正确方位，当体系下次需求了解怎么就座另一张椅子或怎么握持另一个茶杯时，这种标明就非常有用。这种使命不只可以协助你加深对传统2D图画与视频内容的了解，一起可以经过搬运方针标明来增强AR/VR体会。
相关论文：正准外表映射论文
4. 提高当时3D体系的方针检测根底
跟着主动署理和3D空间扫描体系等尖端技能的不断开展，咱们需求推进方针检测机制的前进。在这些状况下，3D场景了解体系需求知道场景中存在什么方针以及它们的方位，然后支撑比如导航之类的高档使命。Facebook经过VoteNet改进了现有体系。VoteNet是为点云量身定制的高精确端到端3D方针检测网络，而它一起获得了ICCV 2019大会的最佳论文提名。与传统体系不同，VoteNet依赖于2D图画信号，而这是第一批彻底依据3D点云的体系之一。与曾经的研讨比较，这种办法功率更高，辨认精度更高。
Facebook的模型现已开源。据介绍，NoteNet完结了最先进的3D检测，其功能比本来一切的3D方针检测办法都要优异，比SUN RGB-D和ScanNet中至少添加了3.7和18.4 mAP（均匀精度）。VoteNet仅运用几许信息，不依赖规范的五颜六色图画，其功能优于曾经的办法。
VoteNet具有简略的规划，紧凑的模型尺度，可以完结高功率，全场景的速度约为100毫秒，并且内存占用空间较小。Facebook的算法从深度摄像头获取3D点云，并回来方针的3D鸿沟框，包括语义类。
VoteNet架构的示例图
Facebook提出了受经典Hough投票算法启示的投票机制。运用这种办法，Facebook的体系可以生成坐落方针中心邻近的新点，然后可以将它们进行分组和汇总。运用投票（由深度神经网络进行学习）的基本概念，可以将一组3D种子点投票给方针中心，然后康复它们的方位和状况。
从主动驾驶轿车到生物医学，跟着3D扫描仪的运用状况正在日益增多，经过对3D场景的方针进行定位和分类来完结对3D内容的语义了解非常重要。经过为2D摄像头弥补更先进的深度摄像头传感器以进行3D辨认，Facebook团队可以捕获任何给定场景的强壮视图。凭借VoteNet，体系可以更好地辨认场景中的首要方针，并支撑比如放置虚拟方针，导航或LiveMap构建等使命。
5. 开发对实在国际有着进一步了解的体系
3D计算机视觉存在很多的开放性研讨问题，而Facebook正在测验经过多种问题假定，技能和监督办法来推进所述范畴的前进。跟着数字国际的不断开展，3D相片和AR和VR体会等新式产品的鼓起，咱们需求不断开宣布更为智能的体系来更精确了解视觉场景中的方针，并支撑与其交互。
这是Facebook AI团队的长时间愿景，亦即开宣布一个能好像人类般了解国际并与之交互的AI体系。他们标明：“咱们一直在致力于缩小物理空间与虚拟空间之间的距离，并完结各个方面的科学打破。咱们以3D为要点的最新研讨一起可以协助改进和更好地弥补Facebook AI仿真平台中的3D方针推进咱们应对在实际国际中进行实验所面对的杂乱应战相同，3D研讨关于练习体系怎么了解方针的一切角度（即便被遮挡或其他光学应战）相同很重要。”
Facebook团队最终指出：“当结合比如触觉感知和自然语言了解等技能时，比如虚拟帮手这样的AI体系可以以愈加无缝和有用的办法运转。总而言之，关于咱们要构建出可以好像人类般了解三个维度的AI体系，这种前沿研讨正在协助咱们朝方针不断跨进。”
