新闻  |   论坛  |   博客  |   在线研讨会
单目3D目标检测之入门(2)
计算机视觉工坊 | 2023-08-20 18:50:52    阅读:778   发布文章

3.发展情况


Kitti的3D目标检测排行中,Car类第一的为SFD,Moderate中达到了84.76%,但是Setting中没有激光点云的符号。排第7的BtcDet使用了该符号,所示直接处理点云的方法至少达到了82%多的AP。


图片


点云和图像融合的方法,在Car类的Easy和Moderate类中的AP,其实跟直接处理点云方法的AP差别不是很明显。


双目或者说是立体视觉3D目标检测的方法的AP大概在53%左右。


单目3D目标检测的AP在16%多吧。


图片


(更新时间,2021年11月12日)


如果要查找更加详细的论文和模型精度、建议直接看KITTI关于3D目标检测的榜单:The KITTI Vision Benchmark Suite (cvlibs.net)


图片


这里还有一个纯单目3D目标检测的榜单(包含代码和论文):


图片


4. 为什么要做单目的3D目标检测?


为何最近单目3D目标检测也成为了一个小热点领域?起因可能是因为:


  • 伪激光雷达技术的提出(pseudo-LiDAR),利用图像模拟出雷达点云图像;


  • 单目深度估计的逐渐发展;


  • 纯点云,图像2D,多传感器融合检测的研究逐渐成熟,或者说快要达到天花板了。


从传感这个角度来说,


主动获取深度信息:如激光雷达、RGB-D相机


  • 价格昂贵,有效的距离小,并且线数再多的激光雷达获取的点云也是稀疏的,缺乏纹理信息的。况且激光雷达贵,一辆自动驾驶汽车装几个激光雷达、后期怎么维护保养,工业界最看重的是成本问题!!


再说说双目相机:


  • 误差较大,要求时间同步,体积较大(基线安装有要求,如果坏了一个,那就等于报废)


再说说单目相机:


  • 价格亲民


  • 体积小,功耗低;


  • 贴近实际应用需求。


并且,单目3D目标检测也不一定只能用于自动驾驶呀!只要设备上有摄像头,有3D检测的任务。


这里推荐大家一个单目深度估计的小应用场景:https://roxanneluo.github.io/Consistent-Video-Depth-Estimation/;单目3D检测最重要的一环就是单目深度估计,而单目深度估计在AR领域是广泛应用滴。


比如AR虚拟试衣间,或者京东淘宝上的一些AR试鞋,你拿手机摄像头对着自己脚,鞋自动覆盖到你脚上,这一块用到的应该是目标检测或者语义分割吧。



二、应用场景


推荐点击在线试鞋,体验一下AR技术吧。


单目3D目标检测的具体应用。我随后会单独整理在一篇博客中。



三、相关论文


3D目标检测综述:


  • Deep Learning for 3D Point Clouds: A Survey----2020年


  • 3D Object Detection for Autonomous Driving: A Survey—2021年


更多的文献可查看知乎上的这篇文章:单目3D视觉目标检测论文总结 - 知乎 (zhihu.com),总结了100多篇单目3D目标检测领域的文章。


本专栏下,我将会持续不断的更新我读的一些论文和代码运行工作。


  1. CaDDN:论文阅读  代码调试



四、相关数据集


这里只列出比较常用的几个数据集的名字。数据集的详细说明在这篇博客中。


  • KITTI Dataset


  • Waymo Open


  • NuScenes Dataset


  • Cityscapes


  • Lyft L5


  • H3D


  • Applloscape


  • Argoverse


图片



五、自动驾驶领域的相关企业


百度华为地平线,小鹏蔚来特斯拉。还挺押韵滴!


国外:Waymo、Cruise、Nuro、Argo;


国内:百度、华为、AutoX、图森未来、Pony(小马智行)、Weride(文远知行)、Didi(滴滴)、Momenta、纵目科技、智加科技、小鹏、蔚来、理想、嬴彻科技、魔视智能。


每个公司详细介绍:


国内:百度、华为、AutoX、图森未来、Pony(小马智行)、Weride(文远知行)、Didi(滴滴)、Momenta、纵目科技、智加科技、小鹏、蔚来、理想、嬴彻科技、魔视智能。


每个公司详细介绍,我将单独整理在一篇博客中,包括公司的背景、薪资情况、主要发展方向。


版权声明:本文为CSDN博主「hello689」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:

https://blog.csdn.net/jiachang98/article/details/121432839


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客