基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置的制作方法
基于大广角镜头的FPGA+DSP嵌入式多值目标阈值分类跟踪装置技术领域：
本发明属于嵌入式机器视觉应用和目标跟踪技术领域。背景技术：
普通的图像跟踪器大都由常规镜头来获取目标信息。由于常规镜头的视场角较小，只 能获取现场有限的局部信息，导致视觉系统的盲区较大，不利于目标的实时跟踪。本发明 采用大广角镜头构建的全景视觉系统有大视场全场景摄录的优势， 一方面，大广角能瞬时 摄录全方位的景物，视野宽，图像信息量大，相机与景物处于相对运动状态时目标不易丢 失，另一方面，全景摄录也无需使用云台伺服系统进行摇拍也避免了多摄像机图像拼接技 术所需的复杂算法，节约了成本，在动态拍摄、安全监控、机动目标检测、多目标跟踪及 车辆自动导航等方面有广泛的应用前景。
DSP (Digital Signal Processor)具有灵活、准确、稳定、可重复、体积小、功耗
低，尤其是可编程性和易于实现自适应处理等特点，在数据、语音、视像信号等高速数学 运算和实时处理方面具有独特的优势，是进行产品定制开发的理想硬件平台。但在DSP中
实现当前较新的一些图像处理算法如基于概率学的多值目标跟踪等复杂算法仍属业界的 技术难题，亟待大力开展应用研究和开发。本发明考虑到在实时图像处理过程中，图像的 前期处理工作有数据量大、占用系统资源多，处理速度要求高，算法相对简单的特点，据 此采用现场可编程门阵列(Field Program Gate Array，简称FPGA)来完成如数字滤波、 图像增强、图像分割和阈值处理等数字图像预处理工作。而DSP负责数据量相对较少，但 算法、计算公式和逻辑策略相对复杂的图像处理任务。试验表明，基于上述功能模块分工 设计的FPGA+DSP的多值目标跟踪装置取得了良好的跟踪效果。
目标跟踪理论需要综合运用图像处理、模式识别、随机统计、估值理论、最优化算法 等现代信息处理技术。所涉及的问题是多学科交叉的前沿问题，是当今国际上研究的热点。 普通的目标跟踪方法受光线影响大，当物体被遮挡或背景复杂、背景与目标同时移动等情 况下容易丢失目标。本发明采用通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤波 对目标位置进行预测、跟踪，具有非线性，受光照及遮挡影响小，容易拓展多个目标等优 点。
发明内容:
本发明目的是克服现有技术存在的上述不足，提供一种基于大广角镜头宽视野大场景 图像的FPGA+DSP嵌入式多值目标阈值分类跟踪装置。使该装置可实现全景视觉图像采集、 多值目标阈值分类识别、基于概率预测模型的图像多目标交叉跟踪、跟踪门内有效目标校 验等图像处理功能。
本发明提供的基于大广角镜头的FPGA+DSP嵌入式多值目标阈值分类跟踪装置的总体架构为
可调分辨率的超大广角图像采集系统由大广角镜头和可编程彩色面阵CMOS芯片构成，
用于采集大场景下多目标数字图像。
现场可编程门阵列FPGA:与可调分辨率的超大广角图像采集系统中的CMOS芯片连接， 通过编程可调整控制多目标数字图像采集分辨率大小；受DSP的控制，根据其控制指令对 FPGA内部IP核处理模块进行重新配置和组合，以实现数字滤波、图像增强等预处理运算； 提供CMOS和SRAM芯片的连接接口，把大量图像数据实时传输至ljSRAM中。
SRAM数据存储器与现场可编程门阵列FPGA双向连接，受DSP程序调度，用于暂存多 值目标数字图像。
数字信号处理器DSP: DSP作为主控制器，负责控制FPGA采集、预处理图像，与外部设 备的接口和数据通讯任务，同时完成整个装置的核心算法，包括多值目标阈值分类识别算 法、基于概率预测模型的图像多目标交叉跟踪算法、跟踪门内有效目标校验算法。装置上 电时系统从FLASH中把程序加载到DSP的内存中，启动系统工作。
FLASH程序存储器用来存放DSP处理程序，其容量大小为32M字节，地址范围从 0X90000000-0X92000000。
数据通讯模块基于大广角镜头的FPGA+DSP嵌入式多值目标跟踪装置支持两种通讯 方式网络通讯和RS232通讯。网络通讯采用标准的TCP/IP协议，主要用来传输多目标 跟踪图像结果的输出。RS232工作于硬件流控方式，以增加数据传输的可靠性和稳定性。
主要软件功能模块相关算法为
多值目标阈值分类识别器
处理过程为首先进行目标辨识初始化，对被跟踪多值目标的颜色阈值及所处环境光 照条件等特征参数进行标定，接着DSP依据被跟踪多值目标的颜色阈值和亮度等特征参数 对图像进行全场搜索，直至系统判定出不同目标的中心点位置，最后以此作为多目标交叉 跟踪算法的先验概率。
基于概率预测模型的图像多目标交叉跟踪器
这种多目标交叉跟踪算法特征在于在DSP内实现的基于概率预测模型的图像多目标 交叉跟踪器的软件模块设计思路。这种多目标交叉跟踪算法涉及一种创新的混合交叉运算 的方法即分解概率预测运算过程中的每一步分别对不同目标交叉进行。这些步骤主要包括 捕获先验概率信息(如计算目标区域颜色直方图)、目标粒子集初始化、移动粒子、计算 粒子权值、权值标准化、粒子重采样、预测目标当前位置等。独创的交叉程序架构，使以 上步骤对各个不同目标进行同步处理，并行运算，从而实现了多目标实时快速跟踪，大大 提高了处理速度和跟踪效率。
跟踪门内有效目标校验器
处理过程为分别在跟踪算法预测出的各个目标中心点位置生成跟踪门，跟踪门的大 小可根据被跟踪目标大小进行预先程序设定。在跟踪门内进行目标特征值校验如对每个像素点进行颜色阈值判定，将跟踪门内符合目标颜色阈值的像素点总数与预先设定的p值进 行比较，大于p值证明跟踪有效，系统进行跟踪结果输出并继续跟踪；若小于p值则跟踪 失败，系统需重新进行全场图像的多值目标阈值分类识别。独创的跟踪门内有效目标校验 器对跟踪结果进行快速、有效地二次验证，控制目标跟踪过程，大大提高了系统运行的可 靠性。
本发明的优点和积极效果
综上所述，与其他跟踪装置与算法相比，本发明具有以下优点
參基于大广角镜头建立的全景视觉系统辅助可编程彩色面阵CMOS芯片，最高可达 300万像素，根据使用场合、应用环境的不同可以通过对FPGA的编程调整和控制大广角 图像分辨率，以获得多目标跟踪的最佳图像范围和大场景下高质量的目标图像。针对不同 应用优化取景范围和分辨率，以避免由于被跟踪目标的运动超出镜头视角范围而造成的目 标丢失以及由于目标分辨率低而造成的难于识别。
參高性能FPGA+DSP嵌入式系统，充分保证跟踪的实时性、准确性及装置工作的稳定 性和低功耗性。同时利于机载安装，灵活组态和方便维护。
參具有创新性的FPGA与DSP软件模块配置和功能分工模式，充分发挥了系统软、硬 件各自的优势及特点，布局合理，优化了装置性能。
參多值目标阈值分类识别算法考虑了处理对象的可变性和复杂性，采用非单一准则 进行多门限估计和目标特征提取，开发了以颜色、亮度等为主的多值图像分割算法和分类 标记配准方法。简单、实用、有效。
采用一种改进的基于概率预测模型的图像多目标交叉跟踪算法，在单DSP内创建 了一种交叉程序架构，对各个目标进行同步处理，从而使多跟踪模块同时工作成为现实， 提高了处理速度和跟踪效率，实现了在每帧图像中的多目标实时跟踪。
參创建跟踪门内有效目标校验器控制目标跟踪过程，提高了系统运行的可靠性。对 跟踪结果进行快速、有效地二次验证，确保基于概率预测模型的图像多目标交叉跟踪器在 跟踪丢失时第一时间捕获当前被跟踪目标信息。
參灵活的跟踪结果输出方式，可同时输出图像和当前被跟踪目标图像坐标。
依托于嵌入式FPGA+DSP平台，构成一套完整的、软硬件结合的、实时性强集成度 高的多值目标跟踪装置。以嵌入式硬件平台为依托的大视场多值目标阈值分类跟踪器在动 态拍摄、安全监控、机动目标检测、多目标跟踪及车辆自动导航等方面有广泛应用前景。 尤其对构建体积小、功耗低的机载目标跟踪系统有很大优势。
图1是本发明系统硬件框图； 图2是本发明系统程序框图。
具体实施方式
实施例1:
以移动机器人跟踪双色球航标进行自主导航为例说明该装置在实施识别和跟踪两种 不同颜色的顶部航标时的步骤和方法。
基于大广角镜头的FPGA+DSP多值目标阈值分类跟踪装置如图1所示，主要包括大广 角镜头和可编程彩色面阵CMOS芯片构成可调分辨率的超大广角图像采集系统；现场可编 程门阵列FPGA，编程控制采集图像的分辨率大小，并对图像进行数字高通滤波、图像去 噪处理，将处理后的图像存储在外部数据存储器SRAM中。DSP为主控制器，完成整个装置 的核心算法。FLASH作为程序存储器用来存放DSP的处理程序。数据通讯模块与DSP双 向连接，实现装置的通讯功能。
多值目标阈值分类跟踪过程主要由四个步骤组成-
可调分辨率的大广角图像采集，多值目标阈值分类识别，多目标交叉跟踪，跟踪门内 有效目标校验。
下面的实用案例具体说明了本发明的实施步骤和应用效果。
步骤一建立基于大广角镜头的FPGA+DSP嵌入式多值目标阈值分类跟踪装置。以 MT9T001型CMOS芯片及FE185C046HA-1鱼眼镜头建立超大广角视觉图像采集系统。 Cyclone IIC35型FPGA将图像采集分辨率编程设定为720X576，并对图像进行数字高通 滤波、图像去噪处理，将处理后的图像存储在SRAM (CY7C1021CV33-12)中。TMS320DM642 DSP，完成整个装置的核心算法。FLASH (39VF040)用来存放DSP处理程序。串口和网络 通讯芯片分别采用16c752和W几XT971A。
步骤二多值目标阈值分类识别。在本案例中以颜色为目标特征向量元素对双色球航 标进行多值目标阈值识别分类。为保证与周围环境及目标对颜色之间的反差，将目标表面 颜色分别设置为黄色和蓝色。在系统初始化阶段，首先对室外光线进行检测，调整 FE185C046HA-1广角镜头光圈；然后将黄色、蓝色目标分别移动至图像中的颜色自动标定 区域，系统自动读取相关变量数值，进行均值及方差计算，分别得到蓝色Y、 Cb、 Cr阈 值限定范围为85<Y<123、 132<Cb<163 、 100<Cr<125，黄色Y、 Cb、 Cr阈值限定 范围为97<Y<129、 69<Cb<103 、 128<Cr<157; DSP利用初始化阶段得到的多值目 标阈值对全屏范围内的每一像素点进行分类判定，分别统计属于蓝色和黄色范围内的像素 坐标，并对属于各自范围内的像素坐标利用求平均值的方式，获得蓝色和黄色目标的中心 位置分别为(423， 181)、 (249， 165)，并标记配对输出(Bl， Yl)。从而实现对多目标 的分类识别，为步骤三提供先验概率做好准备。
步骤三多目标交叉跟踪。在确定了蓝色和黄色目标中心位置的基础上，DSP采用一 种基于概率预测模型的图像多目标交叉跟踪算法实现多值目标的实时跟踪，具体包括捕获 先验概率信息(计算目标区域颜色直方图)、目标粒子集初始化、移动粒子、计算粒子权 值、权值标准化、重采样、预测目标当前位置七个步骤第一步，捕获先验概率信息。需要分别计算以蓝色和黄色目标中心位置30X30范围内图像的颜色直方图，设计了一种同 时包含Y、 U、 V信息的颜色直方图，具体方法为将Y、 U、 V分量的取值范围0 255 连续分割成32段，每段大小为8，三个分量的取值范围共计96 (32X3)段，即颜色直方 图横坐标轴共计96个坐标点。从原点开始0 32为Y的取值范围，33 64为U的取值范 围，65 96为V的取值范围，纵坐标轴表示黄色和蓝色目标中心30x30范围内属于不同 Y、 U、 V取值范围的像素个数，利用N个数组分别存储N个目标的颜色直方图信息，在 本案例中=2，即被跟踪目标个数为2。第二步，目标粒子集初始化。在第一帧图像到来 时，分别在两个目标的中心15X15范围内随机产生150个30X30的方框，即粒子，并按 照第一步的方式统计每一个粒子的颜色直方图；第三步，移动粒子。当下一帧图像到来时， 根据上一帧中每个粒子的位置(x，y)，随机移动到新的位置(x + RangeXrandom, y + Range Xrandom)， Range为移动范围，本实施例中取15, random为-1 1的随机数。第四步，
计算粒子权值。利用<formula>formula see original document page 8</formula>计算每个粒子的权值，式中x为多值
、...comW * 20 ,
目标颜色直方图，Zm为对应粒子的颜色直方图，count为粒子个数；第五步，权值标准化。 将每个粒子的权值与所有粒子的权值和相除，使得每个粒子权值的取值范围变为0 1之 间；第六步，粒子重采样。如果粒子的权值小于阈值a (a=所有粒子平均权值X K， K 值越大参与粒子重采样的粒子越多，本实施例中K=0.2)，则表示该粒子代表目标位置的 概率很低，需要重新采样以保证尽可能多的粒子能够参与下一步的目标预测。参照第三步 的方法，将这些粒子随机移动一个位置产生新的粒子，并计算权值；第七步，预测目标当 前位置。设定阈值P (P=所有粒子平均权值X K'， K'值越小参与预测的粒子越多，本实 施例中K'-0.8)分别统计两个目标中权值大于p的粒子，这些粒子权值的平均值即为两个 目标的预测位置。
步骤四跟踪门内有效目标校验。为了验证跟踪结果的正确性，分别在两个预测出的 目标位置点生成跟踪门l、跟踪门2，跟踪门大小设定为50x50。在跟踪门l内利用目标l的 颜色阈值85<丫<123、 132<Cb<163 、 100<&<125统计满足要求的像素个数，在跟踪 门2内利用目标2的颜色阈值97<丫<129、 69<Cb<103 、 128<0:<157统计满足要求的 像素个数，如果像素个数小于一定的阔值p，则判定为跟踪失败，需要重新进行多值目标 的检测，再启动多值目标跟踪模块；如果像素个数大于或等于阈值p则判定跟踪成功，输 出跟踪结果，本案例中n值为100。
权利要求
1、一种基于大广角镜头的FPGA+DSP嵌入式多值目标阈值分类跟踪装置，其特征在于该装置的总体架构包括可调分辨率的超大广角图像采集系统由大广角镜头和可编程彩色面阵CMOS芯片构成，用于采集大场景下多目标数字图像；现场可编程门阵列FPGA与可调分辨率的大广角图像采集系统中的CMOS芯片连接，通过编程可控制多目标数字图像的采集分辨率大小；受DSP的控制，根据其控制指令对FPGA内部IP核处理模块进行重新配置和组合，以实现数字滤波、图像增强等预处理运算；提供CMOS和SRAM芯片的连接接口，把大量图像数据实时传输到SRAM中；SRAM数据存储器与现场可编程门阵列FPGA双向连接，受DSP程序调度，用于暂存多值目标数字图像；数字信号处理器DSPDSP作为主控制器，负责控制FPGA采集、预处理图像，与外部设备的接口和数据通讯任务，同时完成整个装置的核心算法，包括多值目标阈值分类识别算法、基于概率预测模型的图像多目标交叉跟踪算法、跟踪门内有效目标校验算法；装置上电时系统从FLASH中把程序加载到DSP的内存中，启动系统工作；FLASH程序存储器用来存放DSP处理程序，其容量大小为32M字节，地址范围从0X90000000-0X92000000；数据通讯模块基于大广角镜头的FPGA+DSP嵌入式多值目标跟踪装置支持两种通讯方式网络通讯和RS232通讯；网络通讯采用标准的TCP/IP协议，主要用来传输多目标跟踪图像结果的输出；RS232工作于硬件流控方式，以增加数据传输的可靠性和稳定性。
2、 根据权利要求1臓的縫，辦征在于在DSP内实现的多值目标阈值分类识别器的软件 模块设计；该模决的处理禾i^为首先进行目标辨识初始化，对MJ^多值目标的颜色阈tt^ff 处环 ^照^#^#征参^ 行标定，M DSP依据鄉跟享多值目标的颜色阈值和^g的特征参 ,图像进行全场搜索，分类识别，^HS配准，计算相关目标参辦晒积、不同目标的中心点位 置，并以此作为多目标^J10薦法的基础。
3、 根据权利要求1所述的装置，，征在于在DSP内实现的基于概率预测模型的图像多目标，!^器的软件^t央设计；诞跟字、器采用的多目标，跟享算法涉及一种创新的混合 :运算 的方袪，即^m率预测运算过程中的每一步分别对不同目标^3t行；,步骤主要包括捕获 先验概率信息、目标粒m^j始化、移动粒子、计算粒子权值、权值标准化、粒子鼓样、预测 目标当前隨；独创的效 构，使以上步舰^h不同目丰^a行同步处理，荆话算，从 而实现了多目标实时,跟宗，^:提高了处a^和足跟宗效率。
4、根据权利要求1阮逸的，，，征在于在DSP内实现的s跟宗门内有效目标农验器的软件模块设计，来控制目标S鹏过程；处理禾辨为分别被腺算法预测出的於目标中心点錢生 戯跟享门，足腺门的大小可根据郷鹏目标大小进《预先辦设定；招跟宗门内进行目+滩征值 二次校验如对針像素点进行颜色阈傲啶，将足跟享门内船目标颜色阈值的像素点总数与预先 设定的ptta行比较，大于p值证明足UfW效，系统进行足跟 结果输出并继续￡10;若小于p值 则足鹏知汰，系统需￡ 行全场图像的多值目标阈值分类识别。
全文摘要
基于大广角镜头的FPGA+DSP嵌入式多值目标阈值分类跟踪装置。涉及一种在视频流中识别跟踪多目标的嵌入式系统和相关算法。图像采集由大广角镜头和彩色面阵CMOS芯片完成；数字滤波、图像增强等数字图像预处理工作由FPGA承担；而在DSP为核心的主处理器中实现多值目标阈值分类识别、标记配准等算法，一种改进的基于概率预测模型的多目标交叉运算的图像跟踪程序实时生成跟踪门；跟踪门内有效目标校验器控制跟踪过程并输出目标值。以嵌入式硬件平台为依托的大视场多值目标阈值分类跟踪器在动态拍摄、安全监控、机动目标检测、多目标跟踪及车辆自动导航等方面有广泛应用前景。尤其对构建体积小、功耗低的机载目标跟踪系统有很大优势。
文档编号G06T7/00GK101447075SQ200810154739
公开日2009年6月3日 申请日期2008年12月31日 优先权日2008年12月31日
发明者冯为嘉, 孟宪秋, 曹作良, 朱均超, 李雁斌 申请人:天津理工大学
文档序号 :
【 6466771 】
技术研发人员：曹作良,朱均超,冯为嘉,孟宪秋,李雁斌
技术所有人：天津理工大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：曹作良,朱均超,冯为嘉,孟宪秋,李雁斌
技术所有人：天津理工大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除