复杂路况的车道线特征提取、识别方法
技术领域：
本发明涉及复杂路况下的车道线检测方法，特别是一种基于对称局部阈值和去相关RANSAC的实时鲁棒车道线检测方法，属于汽车智能辅助驾驶系统技术领域。
背景技术：
近年来，随着我国经济的快速发展，客货运量的增加，我国公路建设路程迅猛增长，特别是高速公路的快速发展，大大缓解了我国经济发展给交通运输业带来的压力。但是随着公路建设路程的增长、汽车保有量的增加、车流量的加大以及行车速度的提高，道路交通事故呈逐年恶化的态势，特别是特大恶性交通事故频繁发生，给人们的生命财产和国民经济造成了巨大的损失。例如，2009年，中国汽车保有量约占世界汽车保有量的百分之三， 但交通事故死亡人数却占世界的百分之十六。据公安部交通管理局通报，2009年，全国共发生道路交通事故238351起，造成67759人死亡、275125人受伤，直接财产损失9. I亿元。 因此研究车道偏离预警系统，辅助驾驶员在单调驾驶环境中保持车辆在车道内行驶，已经成为国内外的研究重点。在安全辅助驾驶系统中，车道线的正确检测是该系统正常工作的基本前提和关键技术。目前，已经提出了很多基于视觉的车道线识别方法。按照识别方法的不同总体上可分为两大类基于特征的识别方法和基于模型的识别方法。基于特征的识别方法主要是结合道路图像的一些特征(如颜色特征、灰度梯度特征等)，从所获取的图像中识别出车道线。基于特征的识别方法可分为基于灰度特征和基于彩色特征的识别。基于模型的车道线识别方法主要是基于不同的道路图像模型(2D或3D 模型)，采用不同的识别技术(Hough变换、模板匹配技术、神经网络技术等)来对车道线进行识别。一方面，由于基于特征的方法通过结合底层特征(如边缘)对路面图像分割定位车道线，当道路路面结构不均匀、光照变化、阴影遮挡、车道线破损以及污痕存在使得车道线不规则时，在此情况下该方法就无能为力了。另一方面，基于模型的方法仅采用少量的参数描述车道线，如事先假定车道线的形状为直线或双曲线，那么车道线识别过程可看作是计算这些模型参数的过程，同样当道路路面结构不均匀、光照变化、阴影遮挡、车道线破损以及污痕存在使得车道线不规则、不清晰或是某段完全失去标识信息时，无法找到足够的车道线特征点来拟合假定的模型或者拟合出错误的模型，所以此情况下，该方法有时也不能有效地识别出正确的车道线。
发明内容
本发明的目的是提供一种复杂路况的车道线特征提取、识别方法，以解决现有方法对车道线存在光照变化、阴影遮挡、破损或污迹覆盖等复杂路况下鲁棒性和实时性都偏低甚至误识别的问题。为实现上述目的，本发明的复杂路况的车道线特征提取方法步骤如下
(I)将车载视觉系统采集到的彩色道路图像转换为灰度图像；(2)对灰度图像进行中值滤波处理；(3)根据道路图像对车道线特征提取的重要程度将滤波处理后的图像划分为不考虑区域和感兴趣区域；(4)对感兴趣区域利用对称局部阈值分割法进行二值化处理，从而实现车道线特征提取。进一步的，所述步骤(4)中利用对称局部阈值分割法进行二值化处理的具体步骤如下I)定义感兴趣区域的左上角为坐标原点，纵向为X轴、横向为y轴，设感兴趣区域大小为M行N列；2)对于感兴趣区域中任一点坐标为(Xi，y」)的像素，以其横坐标y」为基准，在同一横行上分别向左、右延伸c个像素距离，分别构成关于I = Yj对称的左边像素区域、右边像素区域；计算左像素区域和右像素区域的灰度平均值VmMnL和Vm_K ；3)判断感兴趣区域中任一点像素的横坐标y」的值，若y」的值小于等于c，则比较此像素点的灰度值V(Xi，Yj)与vm_K+T的大小，当V(Xi，Yj) > VmeanE+T时置此像素点的灰度值为255，否则就置为0，所述T是用最大类间方差法得到的感兴趣区域的分割阈值的二分之一;4)若y」的值大于c且小于N-c，分别比较此点的灰度值V(Xi，yj) % VmeanL+T,VmeanE+T 的大小，当VUi, Yj) > max{VmeanL+T, VmeanE+T}时置此像素点的灰度值为255，否则就置为O ;5)若y」的值大于等于N-c,比较此点的灰度值V(Xpyj)与VmeanI+T的大小，当V(Xi, Yj) > VmeanL+T时,置此像素点的灰度值为255，否则就置为O ;6)所有感兴趣区域内的像素点重复步骤(3)、⑷和(5)，就实现了感兴趣区域的二值化，得出车道线特征提取结果。进一步的，所述步骤(4)的2)步中，根据透视投影影响和实时性要求，对于第一行到第M行的各像素点，c值按下式依次取值为c = [A^^ + 0.5ZJ，Λ = 0，1，2，···Μ-1其中M是图像中感兴趣区域的行数，L1是
正常情况下测得的完好的车道线的像素宽度。进一步的，所述步骤(I)中将彩色道路图像转换为灰度图像的灰度化公式为=Vgray =O. 30R+0. 59G+0. 11Β,式中Vgray为灰度化后的像素灰度值，R、G、B分别代表RGB彩色模型的三个分量。进一步的，所述步骤(3)中感兴趣区域的划分是根据道路图像对车道线识别的重要程度将图像划分为3个区域左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域大小相同，一起构成感兴趣区域。本发明的复杂路况的车道线识别方法步骤如下(I)将车载视觉系统采集到的彩色道路图像转换为灰度图像，对灰度图像进行中值滤波处理，并进行感兴趣区域划分，利用对称局部阈值分割法分割、提取车道线特征信 (2)将感兴趣区域中提取出的所有一侧车道线特征点存入该侧车道线特征点集合
(3)在该侧车道线特征点集合Pk内随机抽取β个特征点构成抽取集合，并用其初始化该侧车道线模型Mk;(4)计算该侧车道线特征点集合Pk中其余各点与车道线模型Mk之间的垂直距离， 选取模型误差容限Cli,设垂直距离小于该误差容限的特征点个数为Y ；(5) β个特征点与Y个特征点的合集构成误差容限集合S，设定阈值t，若集合S 内特征点个数(β + Υ)小于t，则重复步骤(3)、(4);若集合S内特征点个数大于等于t，则利用集合S，采用最小二乘法构建新的车道线模型M/。(6)计算特征点集合Pk中各点与新车道线模型M/之间的垂直距离，选取删除误差容限(1。，从匕中删除步骤(5)中选定的集合S中的全部特征点以及所有与M/的垂直距离小于d0的特征点，由此得到新的特征点集合Ρκ。进一步的，重复步骤(3)、⑷、(5)和(6)不断建立新的车道线模型并且保留每次建立的新车道线模型参数，完成设定的抽取次数后，选取包含特征点最多的误差容限集合， 并以该误差容限集合构建的车道线模型为识别的最优车道线模型。进一步的，所述设定的抽取次数为2E(K)，E(K)为随机抽取次数K的统计均值， E(K) =w_e，其中w为集合Pk中车道线特征点个数与Pk中特征点总数(包含车道线特征点与噪声点)的比值，β为步骤(3)中初始化车道线模型时从Pk中随机抽取的特征点个数。进一步的，所述步骤(5)中阈值t的设定是根据拟合出的车道线模型是正确车道模型的置信度计算得到。本发明所提出的复杂路况的车道线特征提取方法是将原始道路图像经灰度化和中值滤波处理后，应用对称局部阈值分割方法对其进行分割以提取车道线信息。此分割方法利用对称局部信息来确定最终分割的阈值，对于光照变化、阴影遮挡或污迹覆盖造成的低对比度道路图像，此方法可有效地确定合理的阈值对其进行分割从而提取出正确的车道线特征信息。本发明所提出的复杂路况的车道线识别方法，根据提取出的特征点数量较少、分布不规则并且包含干扰点多的特点，应用去相关RANSAC方法进行识别，通过设定删除误差容限，不断删除前次拟合模型时所用到的所有特征点，降低模型之间的相关性。因此，相对于传统RANSAC方法不仅实时性得到很大提高而且鲁棒性得到明显增强，对于由于光照变化、阴影遮挡、破损或污迹覆盖造成提取出的车道线特征点少、干扰点多并且特征点分布不规则的情况下，可以有效地对车道线进行识别。本方法克服了大多道路图像预处理方法在光照变化以及车道线存在光照变化、阴影遮挡、污迹覆盖等情况下，不能有效提取车道线特征信息的缺点，适应性更广；在提取出的车道线特征点分布很不规则并且存在大量干扰点的情况下，本方法能有效地识别出车道线，相比经典识别方法鲁棒性大大增强；由于建模时使用的特征点少并且在迭代过程中不断使用误差容限删除原有特征点，因此去相关RANSAC 方法相对于原有的RANSAC方法实时性得到很大提高。
图I是车道线检测算法的整体流程2是中值滤波示意图3是道路图像分区示意图；图4是基于对称局部阈值分割方法不意图；图5是车道线区域特征点集合示意图；图6是初始化车道线模型示意图；图7是基于对称局部阈值的道路图像特征提取方法流程图；图8是道路图像特征提取方法实验结果比较图；图9是基于去相关RANSAC算法的车道线识别方法流程图；图10是不同路况下的车道线检测实验结果图。
具体实施例方式一、应用对称局部阈值分割的车道线特征提取本发明的车道线特征提取方法包括道路图像的灰度化、中值滤波、感兴趣区域的划分以及应用对称局部阈值分割提取车道线特征信息。具体实施步骤I、首先将车载视觉系统采集到的彩色图像经灰度化转换为灰度图像。灰度化采用如下形式
=0.30i +0.59G+ 0.115y =r = g=B
gray^(丄)式中，Vgray代表灰度化后的像素灰度值，R、G、B分别代表RGB彩色模型的三个分量。2、对灰度化后的图像进行中值滤波处理。采用3x3的窗口，把二维窗口中的数据一维化，并排列其顺序，由公式⑵求出其中值Me，然后用中值Me代替窗口中心X22原来的灰度值，如图2所示。Me = Median {xn, x12, X13*** X33I(2)3、将中值滤波后图像进行感兴趣区域的划分。根据道路图像对车道线识别的重要程度将其按图3划分为3个区域左车道线存在区域Al、右车道线存在区域A2以及不考虑区域A3，且左车道线存在区域Al、右车道线存在区域A2大小相同，一起构成感兴趣区域。设整幅图像平面面积为S，区域Al、A2、A3的面积分别为7S/24、7S/24、5S/12。由于A3区域主要为天空区域，基本不含车道线信息，车道线特征提取时直接将其作为背景处理，只在感兴趣区域Al和A2中进行特征提取。4、在感兴趣区域内利用对称局部阈值分割方法进行车道线特征提取。如图4所示，定义感兴趣区域的左上角为坐标原点，纵向为X轴、横向为y轴；设感兴趣区域大小为M 行N列，用I(x，y)表示道路图像感兴趣区域，用V(Xi，yj)表示像素点(Xi，yj)的灰度值。5、判断像素点(Xi, Yj)的横坐标y」的值，当y」彡c时,计算像素区域[I (Xi, Yj), Kxi, Yj+c)]的灰度平均值，记考虑到透视投影影响和实时性要求，对于第一行到第M行的各像素点，c按(3)式依次取值c = [k L[ +0-5^], k = 0,l,2,---M-I
M-I(3)式中M是图像中感兴趣区域的行数，L1是正常情况下测得的完好的车道线的像素览度。6、计算像素点(Xpyj)的灰度值 V(Xi，y」)，当 V(Xi，y」)> VmeanE+T 时置 V(Xi, y」)= 255，否则置V(Xi，y」)=0。上述关系式中，T是一个阈值常量，取T = IATtrtsuJrtsu为利用最大类间方差法(otsu)获得的感兴趣区域的全局阈值，这里取的是“去归一化”后的值。7、当 c < y」< N_c 时,分别计算像素区域[I (Xi, y「c), I (Xi, y」)]和[I (Xi, y」), I(Xi，Yj+c)]的均值，并分别记为 VmeanL 和 VmeanE;当 V(Xi，Yj) >max{VffleanL+T, VffleanE+T}时置
V(Xi, Yj) = 255,否则置 V (Xi, Yj) = O。8、当y」彡N-c时,计算像素区域[I (X^yj-C)，I (x^yj)]的均值记为Nmesnh ;当V(Xi, Yj) > VmeanL+T 时置 V(Xi，Yj) = 255，否则置 V (Xi，Yj) = O。9、重复步骤5、6、7、8遍历感兴趣区域所有像素点，得出分割后图像S(Xi，yj)，分割后图像S (xi; Yj)为
权利要求
1.一种复杂路况的车道线特征提取方法，其特征在于，该方法的步骤如下(1)将车载视觉系统采集到的彩色道路图像转换为灰度图像；(2)对灰度图像进行中值滤波处理；(3)根据道路图像对车道线特征提取的重要程度将滤波处理后的图像划分为不考虑区域和感兴趣区域；(4)对感兴趣区域利用对称局部阈值分割法进行二值化处理，从而实现车道线特征提取。
2.根据权利要求I所述的复杂路况的车道线特征提取方法，其特征在于，所述步骤(4) 中利用对称局部阈值分割法进行二值化处理的具体步骤如下1)定义感兴趣区域的左上角为坐标原点，纵向为X轴、横向为y轴，设感兴趣区域大小为M行N列；2)对于感兴趣区域中任一点坐标为(Xi，yj)的像素，以其横坐标y」为基准，在同一横行上分别向左、右延伸c个像素距离，分别构成关于I = Yj对称的左边像素区域、右边像素区域；计算左像素区域和右像素区域的灰度平均值VmMnL和Vm_K ；3)判断感兴趣区域中任一点像素的横坐标Yj的值，若&的值小于等于C，则比较此像素点的灰度值V(Xi，Yj)与Vm_K+T的大小，当V(Xi，Yj) > VmeanE+T时置此像素点的灰度值为 255，否则就置为0，所述T是用最大类间方差法得到的感兴趣区域的分割阈值的二分之一；4)若y」的值大于c且小于N-c，分别比较此点的灰度值V(Xi, y」)与V_L+T、VmeanE+T的大小，当VUi, Yj) > max{VmeanL+T, VmeanE+T}时置此像素点的灰度值为255，否则就置为O ;5)若Yj的值大于等于N-c,比较此点的灰度值V(Xi,Yj)与VmeanI+T的大小，当V(Xi, yp > VmeanL+T时,置此像素点的灰度值为255,否则就置为O ;6)所有感兴趣区域内的像素点重复步骤(3)、(4)和(5)，就实现了感兴趣区域的二值化，得出车道线特征提取结果。
3.根据权利要求2所述的复杂路况的车道线特征提取方法，其特征在于所述步骤(4) 的2)步中，根据透视投影影响和实时性要求，对于第一行到第M行的各像素点，c值按下式依次取值为C =+ 0-5l^ k = 0^-'-M~l其中M是图像中感兴趣区域的行数，L1是正常情况下测得的完好的车道线的像素宽度。
4.根据权利要求1-3中任一项所述的复杂路况的车道线提取方法，其特征在于，所述步骤(I)中将彩色道路图像转换为灰度图像的灰度化公式为=Vgray = O. 30R+0. 59G+0. 11B， 式中Vgray为灰度化后的像素灰度值，R、G、B分别代表RGB彩色模型的三个分量。
5.根据权利要求4所述的复杂路况的车道线特征提取方法，其特征在于，所述步骤(3) 中感兴趣区域的划分是根据道路图像对车道线识别的重要程度将图像划分为3个区域左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域大小相同，一起构成感兴趣区域。
6.一种复杂路况的车道线识别方法，其特征在于，该方法的步骤如下(I)将车载视觉系统采集到的彩色道路图像转换为灰度图像，对灰度图像进行中值滤波处理，并进行感兴趣区域划分，利用对称局部阈值分割法分割、提取车道线特征信息；(2)将感兴趣区域中提取出的所有一侧车道线特征点存入该侧车道线特征点集合Pk；(3)在该侧车道线特征点集合Pk内随机抽取β个特征点构成抽取集合，并用其初始化该侧车道线模型Mk;(4)计算该侧车道线特征点集合Pk中其余各点与车道线模型坞之间的垂直距离，选取模型误差容限屯，设垂直距离小于该误差容限的特征点个数为Y ；(5)β个特征点与Y个特征点的合集构成误差容限集合S，设定阈值t，若集合S内特征点个数(β + Y )小于t，则重复步骤(3)、(4);若集合S内特征点个数大于等于t，则利用集合S，采用最小二乘法构建新的车道线模型M/ ；(6)计算特征点集合匕中各点与新车道线模型M/之间的垂直距离，选取删除误差容限 (1。，从匕中删除步骤(5)中选定的集合S的全部特征点以及所有与M/的垂直距离小于d。 的特征点，由此得到新的特征点集合PR。
7.根据权利要求6所述的复杂路况的车道线识别方法，其特征在于重复步骤(3)、(4)、(5)和(6)不断建立新的车道线模型并且保留每次建立的新车道线模型参数，完成设定的抽取次数后，选取包含特征点最多的误差容限集合，并以该误差容限集合构建的车道线模型为识别的最优车道线模型。
8.根据权利要求7所述的复杂路况的车道线识别方法，其特征在于所述设定的抽取次数为2E⑷，E⑷为随机抽取次数K的统计均值，E(K) = w_e，其中，w为集合Pk中车道线特征点个数与Pk中特征点总数(包含车道线特征点与噪声点)的比值，β为步骤(3)中初始化车道线模型时从Pk中随机抽取的特征点个数。根据权利要求6-8中任一项所述的复杂路况的车道线识别方法，其特征在于，所述步骤(5)中阈值t的设定是根据拟合出的车道线模型是正确车道模型的置信度计算得到。
全文摘要
本发明涉及一种复杂路况的车道线检测方法，该方法首先将彩色道路图像转换为灰度图像并进行中值滤波处理；然后，对滤波后的图像进行感兴趣区域的划分，并应用对称局部阈值分割方法在感兴趣区域内对道路图像进行二值化处理，从而提取车道线特征信息；最后，基于提取出的车道线特征点分布规律，采用去相关RANSAC方法对左、右车道线分别进行并行识别。本发明所提出的车道线检测方法相对于传统RANSAC方法不仅实时性得到很大提高而且鲁棒性得到显著增强；本发明对由于光照变化、阴影遮挡、车道线破损以及污迹覆盖等原因造成的复杂路况，可快速、有效地检测出车道线。
文档编号G06K9/00GK102592114SQ20111044169
公开日2012年7月18日 申请日期2011年12月26日 优先权日2011年12月26日
发明者侯利龙, 傅洪亮, 张德贤, 张瑞, 李永锋, 杨铁军, 樊超, 狄帅, 马海华 申请人:河南工业大学
文档序号 :
【 6443262 】
技术研发人员：樊超,狄帅,杨铁军,傅洪亮,张德贤,张瑞,马海华,李永锋,侯利龙
技术所有人：河南工业大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：樊超,狄帅,杨铁军,傅洪亮,张德贤,张瑞,马海华,李永锋,侯利龙
技术所有人：河南工业大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除