基于级联深度学习的交通标志识别方法和系统的制作方法
【专利摘要】本发明提供了一种基于级联深度学习的交通标志识别方法和系统，引入级联卷积神经网络的思想，对目标标志样本空间进行扩充，添加更多具有监督性的样本，目的是为了使得交通标志的识别加入更多的先验信息，使进行识别器训练的样本空间有更高的监督性。该方法能更充分地利用标志的各种特征信息，弥补现有基于神经网络的交通标志识别的不足，从而提高标志的检测和识别率。
【专利说明】
基于级联深度学习的交通标志识别方法和系统
技术领域
[0001] 本发明设及一种计算机视觉和机器学习技术，属于目标检测和识别的方法，具体 设及一种基于级联深度学习的交通标志识别方法和系统，适用于图像或视频中的交通标志 的检测和识别。
【背景技术】
[0002] 交通标志的识别是目前智能辅助驾驶系统最重要的模块之一，日常驾驶时驾驶人 经常会因为有障碍物或精力不足而忽略交通标志，违反交通规则甚至引发车祸，因此，交通 标志识别不只是一项技术，更是关系国计民生的大事。
[0003] 交通标志识别技术是目标识别的一个分支，但是它又不同于传统的大类的目标识 另Ij，而是针对某一特定领域的目标识别。目前主要有两种方法:一种是W特征提取为基础， 再利用分类器进行分类的方法。运种方法的特征，包括颜色、形状、化G(梯度直方图）、SIFT、 化ar等特征。提取到图像的特征后，在分类时一般有两种方案，例如，基于概率的生成模型 (参见Mrinal Haloi .A novel pLSA based Traffic Signs Classification System.a巧iv，2015.)，该方法将标志的检测和识别过程建立一个话题模型，发掘图片中的 隐含的相似话题形成分类算法，利用词袋模型W及SIFT特征表示待检测和识别的图片。W 及利用特征样本进行训练的判别模型，例如线性判别分析、支持向量机、K-d树等(参见Wang G,Ren G,Wu Z,et al.:A hierarchical method for traffic sign classification with support vector machines.The 2013International Joint Conference on Neural Networks(IJCNN)，pp. 1-6.1邸E，Texas(2013))。运种方法的优点在于实现简单对机器性能 要求低，但需要对特征进行特殊的设计，且无法适应交通标志的复杂多样的变化形式和角 度光线等环境影响的背景，因此运类方法陷入了提升识别率的瓶颈。
[0004] 另外一种方法是基于神经网络的方法，运种方法是将提取特征和特征分类两步结 合构造端到端的图像识别的方法，它从信息处理角度对人脑神经网络进行抽象，由大量的 神经元(简单运算模型)利用不同的连接方式连接建立神经网络。从1989年，加拿大多伦多 大学教授化nn LeQm提出了卷积神经网络（Convolutional化ural化tworks，C順)之后， 神经网络在图像识别领域进行了诸多改进。卷积神经网络应用在图像识别领域，一般包括 卷积层、激活函数层对图像进行特征的提取，池化层等对特征进行融合和降维，Dropout层 等对神经网络结构进行优化防止过拟合，Softmax层对特征图进行转化构造能量函数W便 利用梯度下降法对整个网络参数进行调节。从2011年的GTSRB(German Traffic Sign Reco即ition Benchmark)比赛中，基于神经网络的方法开始崭露头角。（参见Ciresan D, Meier U,Masci J,et al.:A committee of neural networks for traffic sign classification.In:The 201IInternational Joint Conference on Neural Networks (IJCNN)，pp. 1918-1921. IE邸，California(2011))近五年中，大多数该类方法将精力集中 在改进神经网络的结构上，例如增加网络深度或将多个网络进行组合（参见Ciresan D， Meier U,Masci J,et al.:Multi-column deep neural network for traffic sign classification^.化 ural 化 tworks，Vol. 32,卵.333-338(2012))，例如改进神经网络的 會K量函数（Jin J,Fu K,Zhan邑 C. =Traffic si邑n reco邑nition with hin邑e loss trained convolutional neural networks .J. IEEE Intelligent Transportation Systems Society，Vol. 15 ,Issue. 5，pp. 1991-2000.1 E 邸 Press(2014))等等。运类方法虽然对检测 和识别有较好的效果，但是并没有充分利用交通标志的先验知识。
[0005] 此外，Mrinal化Ioi提出训练一个平移不变的神经网络，主要体现在对训练样本 进行扩充，做对比度变换、旋转变换和平移变换等，使得训练集更加丰富多样，令深度神经 网络在做识别时更加的鲁棒（参见Mrinal Haloi.Traffic Sign Classification Using De邱 Inc邱tion Based Convolutional 化tworks.a;rXiv 2015.)。可W看到运种方法将样 本扩充得到了更加丰富的样本变换空间，但是只是直观上扩充了样本，并不能说明运些样 本就一定具有对标志识别有监督性的先验知识。
[0006] 由于交通标志识别中，标志所在图片的背景复杂多样，标志变化繁多，会有透明、 中空、或者不规则轮廓等各种形状，还有角度和光线条件等环境影响，导致标志在纹理、粗 糖度、局部灰度对比等方面类内变化多且差异大。因此简单的特征提取方法无法适应，所W 采用神经网络运种相对复杂的分类器来进行识别，但现有的基于神经网络的交通检测和标 志方法对样本空间的利用不足，不能有效发掘样本的监督信息。
【发明内容】
[0007] 针对上述问题，本发明提供了一种基于级联深度学习的交通标志识别方法和系 统，引入级联卷积神经网络的思想，对目标标志样本空间进行扩充，添加更多具有监督性的 样本，目的是为了使得交通标志的识别加入更多的先验信息，使进行识别器训练的样本空 间有更高的监督性。该方法能更充分地利用标志的各种特征信息，弥补现有基于神经网络 的交通标志识别的不足，从而提高标志的检测和识别率。
[0008] 为了实现上述目的，本发明采用W下技术方案：
[0009] 基于级联深度学习的交通标志识别方法，包括W下步骤：
[0010] 1)将N类需要识别的交通标志作为目标样本训练得到预检测器，利用该预检测器 检测得到目标样本是否为标志的置信度，检测结果中包含假阳性样本和真阳性样本；
[0011] 2)利用部分目标样本训练得到基于第一个卷积神经网络的样本选择器(作为识别 器的基本网络和负监督样本选择器），并利用该样本选择器从与目标样本无显性关系的海 量数据库中选取得到置信度有单一峰值的假阳性样本；
[0012] 3)将N种真阳性样本作为正样本验证集构造与标志领域相关的负样本集（负样本 不包含标志，并且由含有标志的场景中的背景切割分块得到）；
[001引4)将步骤1)中得到的假阳性样本，步骤2)得到的假阳性样本W及步骤3)构造的负 样本集，合并构成负样本验证集，作为第化1类标志；
[0014] 5)建立第二个卷积神经网络，将步骤4)中构造的N+1类标志放入该第二个卷积神 经网络中进行训练得到标志的识别分类器，该识别分类器输出每个标志类别的置信度；
[0015] 6)将步骤1)得到的置信度与步骤5)得到的置信度进行融合后得到交通标志的识 别结果。
[0016] 进一步地，步骤1)中，对于每一种交通标志，利用图像特征和级联检测器方法训练 得到每种标志的预检测器D= {dn} (n= I. . .N)。
[0017] 进一步地，所述图像特征包括SIFT、LBP、化G或化ar特征。
[0018] 进一步地，步骤1)中，在最后检测到的图像中目标的比例为：
[0019] 1-(1-〇)l(0<o<1，L为检测器的训练层数），〇为每一个阶段保留的目标标志的比 例)。
[0020] 进一步地，步骤2)中采用Let化t-5取N类交通标志中的一部分进行训练。
[0021] 进一步地，步骤1)得到的置信度与步骤5)得到的置信度加权结合得到交通标志的 识别置信度S:
[0022]
[002；3] 其中，*徒示步骤1)得到的置信度= max!.、'￡.'〇巧JCWV,……。表示步骤5) 得到的置信度，Score为分类的置信度，n = 1-Nd在运里选最大值的编号作为判定的类别。
[0024] 基于级联深度学习的交通标志识别系统，包括：
[0025] 标志预检测模块，用于对N类交通标志训练得到预检测器，并利用预检测器检测得 到样本是否为标志的置信度；
[00%]验证样本构造模块，用于基于卷积神经网络的样本选择器构造N+1类标志的验证 样本集；
[0027]标志验证模块，用于将的N+1类标志放入神经网络中进行训练得到标志的识别分 类器，并将识别分类器输出的标志类别的置信度与预检测器得到的置信度进行融合后得到 交通标志的识别结果。
[00%]进一步地，所述标志预检测模块利用图像特征和级联检测器方法训练得到每种标 志的预检测器。
[0029] 进一步地，所述预检测器的检测结果中包含假阳性样本和真阳性样本。
[0030] 进一步地，所述验证样本集包括将N种真阳性样本作为正样本验证集构造的与标 志领域相关的负样本集，利用预检测器获得的假阳性样本，W及从海量数据库中利用卷积 神经网络得到的置信度有单一峰值的假阳性样本。
[0031] 进一步地，所述负样本不包含交通标志，并且由含有交通标志的场景中的背景切 割分块得到。
[0032] 有益效果
[0033] 本发明的有益效果在于:基于目标识别中最前沿的深度神经网络技术做改进，弥 补训练样本监督性不够的缺点，利用级联神经网络的结构，从海量数据库中挖掘和待识别 标志目标领域相关的负监督性样本，从而提高标志的检测和识别准确率。
【附图说明】
[0034] 图1本发明交通标志识别系统的框架图。
[0035] 图2本发明标志预检测模块流程图。
[0036] 图3本发明识别分类器训练示意图。
[0037] 图4本发明交通标志识别方法的流程图。
【具体实施方式】
[0038] 本发明针对基于深度神经网络的交通标志检测和识别方法中不能有效利用训练 样本的缺点，发明了一种利用级联卷积神经网络和统计分析的思想，从海量数据库中采集 对待识别目标领域有监督性的样本，构造更有效的训练样本空间的方法，从而提高检测和 识别的准确率。
[0039] 本发明拟将整个系统如图1所示，主要分为两部分，第一部分为标志的预检测，对 于N类交通标志训练得到的预检测器D= {山} (n= 1.. .N)，从视频帖中初步得到交通标志的 位置^1，71，*1，山}。^及运个样本是否为标志的置信度^,;第二部分为标志验证，利用前面 的预检测器D从大规模领域相关的图片中提取具有监督性的负样本，扩充训练样本空间。将 检测到的待验证图像块进行识别，进行N+1类的识别器的训练，该识别器会输出标志置信度 的分布，得到该标志的置信度的第二部分，.s'^ max !.化Y)巧，.vt-w'e;srorej。将运个两个 置信度加权结合得到该图像块的识别置信度：
[0040]
(1)
[0041] 进行修正迭代后，得到该图像块的交通标志最终分类。
[0042] 标志预检测模块
[0043] 标志检测部分采用Boosting的思想，利用级联检测器和SIFT、LBP、化G或化ar特征 进行训练得到预检测器Dl。级联检测器流程图如图2所示。
[0044] 在运一阶段，针对每一个目标标志logo_l，logo_2，…，logo_n分别训练一个预检 测器，从视频帖图像中采用滑动窗口的形式采集到待检测图像块。级联检测器的原理是每 一阶段都最大限度的保留目标图像，运样在每个阶段都会去掉待检测样本中的非目标图 像，运样检测到的假阳性样本（即非目标样本被认定为目标样本)便会逐层减少。检测器最 终会针对每个图像块输出是否为该交通标志的置信度，表征可能性。
[0045] 标志验证模块
[0046] 在运一部分将采用两层级联的卷积神经网络，第一个卷积神经网络主要用来提取 领域相关的有监督性的样本，利用统计分析的方法构造有效的样本空间。
[0047] 具有监督性的负样本的选择方案，首先选择在交通场景背景中的图像块，运些样 本在检测阶段后的结果得到的是假阳性样本，因此需要在识别验证阶段进行进一步的筛 除；其次，利用一部分目标样本类训练第一个卷积神经网络，运个网络可W设置的层数较 少，目的只是为了从海量的样本库中选择非目标标志，但对目标标志有干扰的图片。因为普 通的识别过程中，倘若一个图片为某一类目标标志，在经过卷积神经网络之后，会得到一个 指向该类的单一的峰值置信度，倘若不是某一类标志，则不应该出现运个峰值。因此需要利 用运个性质找到在海量数据库中看起来不相关，但是潜在的假阳性样本构造训练样本空 间。
[004引识别分类器训练示意图如图3所示。
[0049]第二个卷积神经网络是最终的识别网络，是由第一个C順中的参数传递得到，结构 上只有最后一层神经元个数由N变成了 N+1。功能上第一个用于选取负监督性样本，第二个 用于最后识别分类器的训练。
[0050] 针对N类目标标志，训练一个N+1类(包含I类负样本)的识别分类器，针对每个图像 对需判定的类别都有一个置信度。然后将预检测阶段的置信度和本阶段置信度却进行融 合后得到最终决策。
[0051] 本发明采用的检测和识别分为训练阶段和测试阶段两个阶段，初步检测标志、构 造识别样本空间、训练识别分类器=个大步骤，流程如图4所示。
[0化2] 步骤如下：
[0053] (1)从视频中提取待检测交通标志的视频帖；
[0054] (2)对于N种需要检测和识别的标志，利用其标注的位置，分别采集标志样本，尽可 能多样的背景和分辨率；
[0055] (3)对于采集到的标志样本，进行平移、缩放、旋转等仿射变换来扩充训练样本，提 高标志检测的准确率；
[0056] (4)对于每一种交通标志，利用图像特征和级联检测器方法训练得到每种标志的 预检测器D= {dn} (n= 1.. .N)，预检测器需要提前设置一个百分比O，表达每一个阶段保留 的目标标志的比例。运一步中，需要在检测的结果漏检率尽量低的前提下，降低错检率，可 W在一定程度上容忍非目标标志的存在，那么在最后检测到的图像中目标的比例为：
[0057] 1-(1-〇)l(0<o<1，L为检测器的训练层数） （2)
[005引（5)对含有标志的图片集，利用训练得到相应标志的预检测器，由于标志预检测器 不能达到百分之百的正确率，故区分检测得到的标志含有假阳性(false positive)和真阳 性（true positive)样本。
[0059] (6)训练用来采集监督性负样本的卷积神经网络。该网络可采用比较经典的浅层 的卷积神经网络CNN-I，例如LetNet-5等，取N类目标标志中的一部分进行训练。
[0060] (7)构造识别训练集。将N种真阳性样本作为正样本验证集;构造与标志领域相关 的负样本集，负样本不包含标志，并且由含有标志的场景中的背景切割分块得到，将运些领 域相关的负样本，第巧)步中得到的假阳性样本，W及从海量数据库(例如SUN database等） 中利用第(6)步的卷积神经网络得到的置信度有单一峰值的假阳性样本，合并构成负样本 验证集，作为第化1类标志。
[0061] (8)建立深度卷积神经网络学习器，将第（7)步中构造的N+1类标志放入神经网络 中进行训练得到标志的识别分类器。
[0062] (9)将待测试视频帖分别通过第(4)步预检测器的检测和第(8)步识别分类器的的 验证，将得到的置信度进行融合，针对(4)-(8)步进行反复的修正迭代，最终得到标志的位 置和类别。
[00创实施例
[0064]基于W上方法，发明人做了相关的实验验证，该实验是建立在德国交通标志标准 数据库German Traffic Sign Reco即ition Benchmark(GTSRB)上针对43种交通标志的评 测。
[00化]首先利用经典的卷积神经网络Le化t-5、VGG-Net、AlexNet作为该框架的基本卷积 网络，然后分别进行了四组实验，包括只有正样本、在正样本基础上加入随机负样本和加入 负监督性样本的情况。GTSRB数据库中交通标志识别率如下表所示： 「mAAl
[0067]由W上对比实验数据可W发现，采用本发明对交通标志的识别率能够有I.5%左 右的提升。
【主权项】
1. 基于级联深度学习的交通标志识别方法，包括以下步骤： 1) 将N类需要识别的交通标志作为目标样本训练得到预检测器，利用该预检测器检测 得到目标样本是否为标志的置信度，检测结果中包含假阳性样本和真阳性样本； 2) 利用部分目标样本训练得到基于第一个卷积神经网络的样本选择器，并利用该样本 选择器从与目标样本无显性关系的海量数据库中选取得到置信度有单一峰值的假阳性样 本； 3) 将N种真阳性样本作为正样本验证集构造与标志领域相关的负样本集； 4) 将步骤1)中得到的假阳性样本，步骤2)得到的假阳性样本以及步骤3)构造的负样本 集，合并构成负样本验证集，作为第N+1类标志； 5) 建立第二个卷积神经网络，将步骤4)中构造的N+1类标志放入该第二个卷积神经网 络中进行训练得到标志的识别分类器，该识别分类器输出每个标志类别的置信度； 6) 将步骤1)得到的置信度与步骤5)得到的置信度进行融合后得到交通标志的识别结 果。2. 如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤1) 中，对于每一种交通标志，利用图像特征和级联检测器方法训练得到每种标志的预检测器。3. 如权利要求2所述的基于级联深度学习的交通标志识别方法，其特征在于，所述图像 特征包括SIFT、LBP、HoG或Haar特征。4. 如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤2)中 采用LetNet-5取N类交通标志中的一部分进行训练。5. 如权利要求1所述的基于级联深度学习的交通标志识别方法，其特征在于，步骤1)得 到的置信度与步骤5)得到的置信度加权结合得到交通标志的识别置信度s:其中，<表示步骤1)得到的置信度，心2 =Diaxisntv夂Wi……表示步骤5)得到 的置信度，Score为分类的置信度，n = 1 η·Ν。6. 基于级联深度学习的交通标志识别系统，包括： 标志预检测模块，用于对N类交通标志训练得到预检测器，并利用预检测器检测得到样 本是否为标志的置信度； 验证样本构造模块，用于基于卷积神经网络的样本选择器构造 N+1类标志的验证样本 集； 标志验证模块，用于将的N+1类标志放入神经网络中进行训练得到标志的识别分类器， 并将识别分类器输出的标志类别的置信度与预检测器得到的置信度进行融合后得到交通 标志的识别结果。7. 如权利要求6所述的基于级联深度学习的交通标志识别系统，其特征在于，所述标志 预检测模块利用图像特征和级联检测器方法训练得到每种标志的预检测器。8. 如权利要求6所述的基于级联深度学习的交通标志识别系统，其特征在于，所述预检 测器的检测结果中包含假阳性样本和真阳性样本。9. 如权利要求8所述的基于级联深度学习的交通标志识别系统，其特征在于，所述验证 样本集包括将N种真阳性样本作为正样本验证集构造的与标志领域相关的负样本集，利用 预检测器获得的假阳性样本，以及从海量数据库中利用卷积神经网络得到的置信度有单一 峰值的假阳性样本。10.如权利要求9所述的基于级联深度学习的交通标志识别系统，其特征在于，所述负 样本不包含交通标志，并且由含有交通标志的场景中的背景切割分块得到。
【文档编号】G06K9/62GK106022300SQ201610388492
【公开日】2016年10月12日
【申请日】2016年6月2日
【发明人】葛仕明, 解凯旋, 罗朝, 叶奇挺, 孙利民
【申请人】中国科学院信息工程研究所
文档序号 :
【 10656086 】
技术研发人员：葛仕明,解凯旋,罗朝,叶奇挺,孙利民
技术所有人：中国科学院信息工程研究所
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：葛仕明,解凯旋,罗朝,叶奇挺,孙利民
技术所有人：中国科学院信息工程研究所
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除