2008年10月17日星期五

基于OCR的车牌辨识系统的系统结构分析

中科院自动化所 国家文字识别工程中心 童剑军

——发于《中国智能交通》2004年5月刊 总第19期(2002年创刊,月刊),(技术应用à综合技术与案例) 版块,第80页

摘 要 智能交通系统是一个新兴的综合研究体系,对我国建立高效的交通运输管理系统、保障交通安全,改善环境质量和提高能源利用率具有极其重大的意义。车牌辨识是基于OCR的一种智能化技术,将其运用在智能交通系统中,将有利于提高交通管理的智能化、自动化水平,是智能交通研究的一个重要内容。由于交通设备的应用环境的特殊性,运用于交通系统的产品对环境适应性、系统稳定性、工作可靠性都有很高的要求。本文针对这些具体的应用要求,根据车牌辨识系统的模块组成和基本工作流程,比较了车牌辨识系统分别采用传统结构方式和嵌入式一体化结构方式时的特点,在实验数据的对比下,说明了系统体系结构对系统性能和实用化能力的影响,提出了在ITS中采用嵌入式一体化结构方式的优势。

关键词 智能交通系统(ITS);车牌辨识系统;系统基本技术流程;传统结构方式;嵌入式一体化结构方式;识别核心

1:概述

  智能交通系统(IntelligentTransportationSystem:简称ITS)是指将先进的信息技术、数据通讯传输技术、电子控制技术及计算机技术、网络技术等高新技术有效地运用于整个运输管理体系,使人、车、路密切配合、和谐统一的一种在大范围内、全方位发挥作用的实时、准确、高效的综合运输管理系统,保障交通安全,改善环境质量和提高能源利用率。

  ITS是近20年来新兴起的一个跨学科的、系统化的综合研究体系,是以解决交通拥挤问题和高速公路多发事故问题而产生的。其目的是在不扩张路网规模的前提下,通过综合运用现代信息技术与通信技术等,来提高交通路网的通行能力和交通运输能力。

  现代化的城市包括现代化的管理,现代化的交通,现代化的生活水平,智能交通系统是实现现代化的交通的必然要求。

2:车牌识别技术

2.1车牌识别系统

  车牌识别是指不依赖于电子信号,利用光学特性,基于光学字符识别(简称OCR,即Optical Character Recognition)技术对车辆牌照进行识别从而辨识车辆身份的一种技术。这一技术在国外早有研究,国内也同样有多家研究单位一直研究这一课题,力图将其应用于实际系统。

  从OCR技术的含义来说,车牌识别技术的基本工作流程如下图所示:


图1:车牌识别技术的基本工作流程
(Fig.1 The Flow Chart of License Recognition System)

  其中:

  图像采集指从实际环境中或者交通视频中获取图像。可通过照像设备直接获取,也可使用图像采集卡采集。车牌识别技术均基于对图像进行分析识别,这一步骤是为了提供识别的对象。

  识别核心为整个系统的工作核心。通过OCR字符识别技术,获得车牌号码识别结果(有时包括如车牌颜色,牌照位置等其他重要信息)。

  计算机应用指可以运用车牌识别技术的一切管理模块或软件,如公路收费系统、车场管理系统、门禁系统、交通监控和疏导系统等。

  车牌识别技术是集光学、电子、软件、人工智能等多领域的一项实用技术,由于其完全采用光学图像,避免了以往采取微波、雷达等电子设备进行交通监控造成的电子污染,同时使一些反监控电子装置(如“电子狗”,它能探测到道路上是否安装雷达等电子监控装置,便于不法驾驶人员逃避监控)无用武之地,增加了 ITS系统对在交通监控领域的有效性和威慑力。

2.2传统结构模式的应用

  我国研究人员对车牌识别技术的研究已有多年,目前有些地区也已将车牌识别的技术运用于实际系统。从模块结构来说,主要采用了软件识别方式,即传统结构方式,其基本结构如下图所示:


图2: 传统结构方式基本结构
(Fig.2 the Traditional Structure of System)

  该结构方式的特点是:
  A:摄像头独立于工控机之外,仅负责取得视频的作用
  B:采用单独的图像采集卡采集图像
  C:识别核心与管理系统同属于一个整体,即一套管理软件系统(在某些系统中,识别核心以动态库的形式出现,从软件模块上与管理系统分离)。

2.3传统结构方式的缺陷

  对于以上介绍的传统结构方式的车牌识别系统,具有一些难以克服的弱点,仅能使用在一些环境比较特殊的场合或停留在实验室阶段,不能在交通领域内全面铺开,分析其原因,主要有以下几个方面:
  (鉴于各产品厂商所使用的的识别核心或有自主版权,或为二次开发,其算法均各有特点,本文仅对系统结构进行分析,不评价识别核心的识别率)

  A:实际图像由于光照、车辆运动、气候、摄头精度等影响,与实验室环境差距很大,造成识别率大幅降低,这些问题包括:

  ①光源直射问题:阳光、灯光直射等,由于很多车辆牌照采用反光漆,直射将造成严重反光。
  ②采集速度问题:图像采集卡采用软件采集方式在视频信号中获得图像均有一定时间(一般大于40ms),在车辆高速运动条件下采集到的图像一般均带有“ 拖尾”现象,造成图像模糊,系统对车辆运动速度的适应性较低。且此问题属于板卡性能限制,无法克服,如果采用高速图像采集板卡,产品成本将会大幅上升。
  ③夜间照度不够问题:实际应用均在室外,不可能有实验室的良好光照,有些地区甚至没有路灯照明。
  ④夜间车辆大灯眩光问题:夜间拍摄识别车头牌照时,往往受车头大灯眩光,普通摄像头拍摄时光圈自动调小,已无法拍摄车牌。
  ⑤由于视频传输的速率限制和衰减等因素,真正采集到并用于识别的图片其分辨率比较低,如果采用高分辨率镜头和高速视频传输线路,成本将直线上升。

  B:ITS系统的产品需求量大,且绝大部分系统要求在野外进行工作,必须解决在低成本的条件下对环境适应性要求高这一矛盾。野外环境温度湿度变化很大,但在很多地区不可能设置专用机房,一般中低档工控机无法适应这些环境,故障率高,限制了这一技术的应用。

  C:ITS系统往往要求在不间断,无人值守情况下工作,必须考虑到系统工作的稳定性。对传统结构,包括采集卡,识别核心在内所有工作均在微机操作系统下运行,必须考虑操作系统稳定性,微机硬件兼容性等问题。

  D:识别核心由于必须与管理软件在一台计算机上运行,如果对目前已有的车辆管理系统加入、维护、升级车牌识别核心时容易牵一发而动全局,或埋下系统安全隐患,或须重新进行整个系统测试检测,风险性和工作量都大大增加。

3:嵌入式一体化结构

3.1结构方式

  嵌入式系统是指由微处理器芯片为核心实现的小型专门化的数字信号处理系统,主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件系统等组成,它是集软硬件于一体的可独立工作的“器件”,这个器件不同于普通的模拟信号系统,其以软件运行的方式对数字信号进行灵活处理,具有智能化的特征,比较类似于微机,但又不依赖于微机软件操作系统,可以独立地完成一定的功能,制造成一个独立的箱体或器件,与外界的联系仅通过预先规定的数据传输协议连接。目前使用得最广的嵌入式系统产品即为数字手机。

  车牌识别系统采用这种嵌入式一体化结构的基本思路是:将从摄像到识别的所有工作模块全部集成到一个箱体中,作为一个独立整体,完成车牌识别的全部工作,并以约定的传输协议与计算机管理软件进行数据交换。(该思路类似于微机操作系统中的COM结构概念,所有数据均以协议形式传递。且可独立修改或升级)

  嵌入式一体化结构系统的基本结构框图如下图(Fig.3)所示


图3:嵌入式一体化结构方式的基本结构
(Fig.3 The Integrated Structure of System)

  下面是Fig.3中一体化箱体内部的具体模块子结构图(Fig.4)


图4:嵌入式一体化结构方式系统中的各模块
(Fig.4 The modules of Integrated Structure System)

  其中识别核心以汇编语言形式存在于存储器中并在DSP中进行运算。

3.2输出数据结构及数据包

  输出的数据包括车牌小图片,识别结果,车牌位置,车牌颜色信息等,以结构的形式输出:

   #define struct PlateStru
   {
     CString Result;
     CRect PlateRt;
     BYTE* ImageData;
     BYTE PlateColor;
     DWORD Reserved1;
     DWORD Reserved2;
     BYTE Reserved[50];
   }

  箱体输出数据通过计算机端口(如串口、并口、网口或红外口等)以数据包形式传送到管理计算机。
  数据包的格式如下:


表1:数据包结构
(Table2:The structure of data)

  车牌图片数据为一个完整的JPG文件数据,管理软件仅需将其按二进制存为一个文件并赋予一个JPG文件名即可做为标准图像文件使用和显示,无需其他任何处理,图像压缩过程已在嵌入式车牌识别设备箱体中完成。

  该箱体还应该另外有一路标准视频信号输出,即为该箱体摄像头所摄的动态图像,可作为标准监控设备的视频信号输入,也可用于箱体的安装调试等。

3.3两种结构方式比较

  由Fig.2和Fig.3两幅图来看,两种识别系统的最大的区别在于识别核心在系统中的位置,嵌入式一体化结构方式的识别核心位于前端识别箱体内,而传统方式位于管理软件内,这两种方式导致了以下的明显的区别,这些区别也正是嵌入式一体化结构方式相对于传统方式的优势所在:

  · 首先,嵌入式一体化结构方式的识别核心位于前端箱体内,使识别与管理相分离,这使得车牌识别产品能更灵活地运用于各类车辆管理系统,无需对管理软件进行大的改动即可灵活地加入或去除车牌识别功能。对识别核心技术的改进和升级也仅需将该产品换装成高版本的箱体,而无需对管理软件作任何改动,管理软件只需根据传输协议接收车牌识别箱体的识别结果即可(注意,不管识别核心如何改变,传输协议是不变的)。而传统方式中对识别核心的任何改动或者改进都必须对整个管理软件系统进行整体的调试、检查,工作量大、繁琐且极易造成系统故障甚至崩溃。

  · 其次,嵌入式一体化结构方式的识别核心位于前端,使自动控制摄像头成为可能,将识别模块和摄像头集成在一个箱体内,使车牌识别核心能自动根据车牌的识别效果和光照强度反馈调节摄像头的光圈大小、快门速度等参数,使其对环境的适应性尽可能地增大,而对传统方式,摄像头参数一旦固定,则为一定值(如果采取可变焦镜头,不但成本大幅增加,而且控制系统复杂,不稳定因素加大),在通常环境下可能达到较好的识别效果,但如果光照、焦距变化范围比较大,而又无法使用自动调节,则会大大地影响识别效果。由Fig.3和Fig.2的比较可看出,嵌入式一体化结构方式中识别核心对摄像头提供一个反馈值,正是这一反馈实现了摄像头对环境光照的自适应。

  · 再次:由Fig.3中可看到,比较Fig.2,多了一个辅助光源,且该光源受识别核心控制,针对识别效果,自动加载、变化或者关掉辅助光源,实现智能化,更增大了对环境的适应性。

  · 其四:采用嵌入式一体化结构方式,从摄像到完成识别所有子模块集成到一个箱体中,且该箱体可采取密闭方式,必要时甚至可以完全密封并充以惰性气体,再加以温控模块,使其与外界环境相隔离,尽可能地不受外界温度湿度等的影响,大大提高了系统对环境的适应能力,可以在高温、低温、潮湿、干燥等不同环境下正常工作。

  · 其五:由于识别核心、通讯模块等以汇编语言形式存在于DSP中,不依赖于任何操作系统,大大增加了其工作的稳定性和可靠性,在DSP中加入防死锁和自恢复控制,在发生故障时自复位,可以保证系统长时间在无人值守的情况下工作。

  然而,采用嵌入式一体化结构方式也存在其自身的弱点:

  ★ 增加了升级换代产品时的施工工作量。这种结构方式虽然可以在完全不影响(无需中断)整个系统工作的同时完成识别核心的升级(更换识别箱体),但造成了需要在架设现场进行实物更换,而不能象传统结构方式那样在控制室更换整个系统管理软件即可,也无法做到远程升级,增加了施工量。

  ★ 由于识别算法固化于DSP硬件平台中,所以对识别算法要求比较高,不但要求短小精悍(因为DSP存贮容量毕竟非常有限),而且对运算量和运算速度有严格要求。在实际运用中,不可能十分钟才识别一辆车,一般要求一秒之内就要完成整个识别过程,这样才能达到实用化要求。

  在车牌识别系统中采用嵌入式一体化结构方式,虽然存在以上所说一些问题和要求,但相对于其特点来说,可以克服传统结构方式的各种缺陷,使这一技术达到实用化程度,从技术分析角度来看,嵌入式一体化结构方式将成为ITS系统产品的一种比较好的结构设计思路。


作者介绍:

中国科学院自动化研究所 童剑军
联系地址:北京2728信箱自动化大厦301室(100086)
邮箱:tong_friend2002@yahoo.com.cn
   tjj@hanwang.com.cn
电话:13070112334

没有评论:

发表评论

欢迎访问、交流!对本博客有何建议,请
来信告知!
本博内容来源于网络,如有不当或侵犯权益,请来信告知,将及时撤除!
如引用博客内容、论文,请注明原作者!

Google一下本博客

  • 《Getting Things Done》读书笔记 - 本文来自 inertial 原创投稿。 我第一次听说《Getting Things Done》这本书的时候误以为它和世面上的那些成功学书籍没什么区别,后来在不少书中看到了这个名字,也看见了很多人的推荐,由此产生了很大的兴趣。上个月正好有不少空闲,就抽时间把这本书读完了。 本来打算读英文原版,但是原版的生...
    5 年前
  • [原]Linux下编译使用boost库 - Boost库是一个可移植、提供源代码的C++库,作为标准库的后备,是C++标准化进程的开发引擎之一。 Boost库由C++标准委员会库工作组成员发起,其中有些内容有望成为下一代C++标准库内容。在C++社区中影响甚大,是不折不扣的“准”标准库。Boost由于其对跨平台的强调,对标准C++的强调,与...
    6 年前
  • [原]猎头、培训与咨询的价值(2)【补1】——北漂18年(93) - 【上期用手机写的,同时用语音输入转化成文字,错字较多,经好友霍师傅提醒本期重写,并增加一部分新内容】 简单谈下我对猎头、培训与咨询的看法。三样都干过,算是有些浅见。 猎头 简单的说就是人才中介。虽然在公司看来是可以直接解决现有企业问题的一个直接方法,但很多时候都不太管用。 猎头费一般是人才的一个月月...
    6 年前
  • OpenCV統計應用-Mahalanobis距離 - Mahalanobis距離是一個可以準確找出資料分布上面極端值(Outliers)的統計方法,使用線性迴歸的概念,也就是說他使用的是共變數矩陣以及該資料分布的平均數來找尋極端值的產生,而可以讓一群資料系統具有穩健性(Robust),去除不必要的雜訊訊息,這邊拿前面共變數矩陣的資料為例,並且新增了兩個點座標向量來做...
    15 年前
  • 努力推进模式识别实际产品的开发与应用 - Salu 无论是手写体识别、文档处理、人脸识别、基于内容的图片搜索、嵌入人工智能的搜索技术、虚拟网络社区、还是其它相关新科技下的信息整合领域,现在都在努力实用化。 前两年、即使现在还有很多人在抱怨说人脸的方法都不能用,但是就今年出现的和正在做的有关人脸识别实际应用的各种形式的产品可以说如雨后春笋。这是一个趋...
    16 年前