作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/358716442

编辑丨3D视觉工坊

已发表：

关于车道线检测方法的论文介绍（https://zhuanlan.zhihu.com/p/362656301）

选最近一些车道线检测论文，都是基于深度学习方法，但考虑的角度不一样：检测、分割和后处理等。

1 “Ultra Fast Structure-aware Deep Lane Detection，arXiv 2004.11757，4，2020

代码上线：https://github.com/cfzd/Ultra-Fast-Lane-Detection

车道线检测任务看成是基于全局图像特征的行选择（row selection）分类问题。其中提出一个structural loss 明确建模结构信息，速度很快，300+ FPS。

如图显示如何选择行的问题：在每个row anchor水平选择。

设X是全局图像特征，f是分类器选择一行的车道线位置，即车道线预测定义为：

设T是位置的one-hot编码，则分类器的优化形式是：（LCE是cross entropy loss）

下图显示分割和行选择的区别：这种方法依赖的是整个图像的感受野，远远大于分割网络的有

除了分类损失项，还有对location的建模。文中如此定义lane structural loss：它包括相似性和形状（直线）的两个loss函数项

其中

关于lane location

不过argmax操作是不能微分的，故此计算改成计算概率

这样lane location变成可微分的操作

最终的损失函数为：

整个模型架构如图所示：包括feature extractor，classification-based prediction和auxiliary segmentation task（只在训练时，聚合局部特征和全局上下文信息）等，group classification在row anchor执行。

实验结果如下：直观例子

2 “PolyLaneNet: Lane Estimation via Deep Polynomial Regression“，arXiv 2004.10924，4，2020

代码 上线：https://github.com/lucastabelini/PolyLaneNet

PolyLaneNet，采用deep polynomial regression，速度达到115FPS。

如图是其架构概览：

实验结果比较如下：

该方法的直观结果：

3 “End-to-End Lane Marker Detection via Row-wise Classification“，arXiv 2005.08630，5，2020

传统方法采取pixel prediction加post processing，而该方法是一种端到端的方式做direct lane marker vertex prediction，无需后处理。作者设计一种新的NN层，逐渐压缩水平组件，叫horizontal reduction modules (HRMs)。它实现端到端检测，其中位置基于argmax得到。这个模型叫E2E-LMD，直接预测lane marker vertex。如图是其框架显示：

E2E-LMD的架构图如下：

其加入连续horizontal reduction modules扩展普通的encoder-decoder architectures。第一步：构建编码器-****；第二步：逐渐压缩HRM的水平维度，无需改变垂直维度。最后一步：两个分支row-wise vertex location branch和vertex wise confidence branch，分类和置信度回归。

为提高检测性能，采用了Squeeze and Excitation (SE) block，实现注意机制。如图是加入SE前后的检测变化：

实验结果比较如下：

这是基于ERFNet主干网的定性检测结果：

4 “CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending“， arXiv 2007.12147，7，2020

华为论文，curve lanes检测很难，缺乏建模的长时上下文信息和带细节的弯曲轨迹。提出一个lane-sensitive architecture search framework，CurveLane-NAS，自动获取长时和短时曲线信息。包括三个部分：a) feature fusion search module，对multi-level hierarchy features找到较好的local and global context 融合 ; b) 弹性的backbone search module，开发带语义和潜力的 feature extractor; c) adaptive point blending module，搜一个multi-level post processing renfiement strategy，以此组合multi-scale head prediction。

华为的开源车道线数据集CurveLanes：大约150K images，90% 是弯曲车道线 (大概 135K images)，相比来说CULane Dataset (大约2.6K images) 和TuSimple Dataset ( 大约3.9K images)，如图是一些比较例子。

之前的PointLaneNet 和Line-CNN这两个方法，还是按照 proposal-based diagram 产生多个point anchor 或者 line proposals。CurveLane-NAS提出一个包括multi-level prediction heads 和 a multi-level feature fusion的搜索空间，包含了long-ranged coherent lane 信息和short-range curve 信息。

如图检测算法比较：(a) dense prediction based (SCNN), (b) proposal based (Line-CNN), (c)CurveLane-NAS。

NAS是网络结构参数的自动调优。先定义搜索空间，然后通过搜索策略找出网络结构，并进行评估，再以此反馈进行下一个迭代的搜索。搜索策略有基于强化学习的方法、基于进化算法的方法和基于梯度的方法等。基于进化算法，CurveLane-NAS设计了一个搜索空间和一个基于样本的多目标搜索算法，来检测曲线车道。

下图是NAS做车道线检测的流水线架构：前面提到的三个模块

如图示意的是Point Blending Search模块（取代NMS）：对每个预测头，预测每格的offsets和相应的scores；每个lane prediction 可以被offset和point anchors位置来恢复。

Adaptive score masking 允许在 multi-level prediction存在多个ROI。point blending 技术可以用准确的局部点取代一些高置信度anchor的预测点。而远端更细的curve shape则用local points修复。

实验结果比较如下：

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。