基于OpenCV的嵌入式图像处理平台的构建

2023.04.01

方华++郭静++田敬北

摘要：文章以ARM Cortex-A8 （S5PV210）为核心，构建了一种基于OpenCV的嵌入式图像处理平台，提出在主流的Ubuntu操作系统上交叉编译Qt和OpenCV后将其移植到嵌入式Linux操作系统中，为嵌入式平台下复杂图像处理算法的设计和实现提供了一条有效途径，降低了开发难度。在此平台上进行的在线人脸识别实验结果表明该平台运行可靠，功能正常。

关键词：OpenCV；嵌入式；图像处理平台；Qt

与基于PC机和图像处理卡等的传统图像处理系统相比，采用嵌入式系统可以开发出具有便携性、实时性、成本更低以及可靠性更佳的图像处理平台，但也存在软件设计难度大，开发周期长、代码效率主要依赖设计人员经验等问题。为此，文章提出一种基于OpenCV的嵌入式图像处理平台，在宿主机上采用Ubuntu操作系统，安装OpenCV以实现图像处理和计算机视觉方面的通用算法，降低开发难度，缩短软件开发周期[1]，同时OpenCV中大部分函数都进行了汇编优化，有效提高了程序的运行效率。基于OpenCV的开源特性也降低了产品的成本。

1 构建平台所用的软硬件配备

1.1 宿主机配置和源代码预备

宿主机主要是用来开发和调试嵌入式系统应用程序的计算机系统。宿主机硬件可以用PC机，配置Linux操作系统。在构建本嵌入式图像处理平台的过程中需要准备如下源代码：用于生成目标系统的编译器gcc源代码、用于图形界面显示的Qt源代码以及用于图像处理的OpenCV源代码。

1.2 建立rootfs目录

将下载的得到的文件解压，使用如下命令建立相关目录：

$sudo mkdir rootfs

$cd rootfs

$sudo mkdir root home lib dev sbin mnt sys proc tmp var etc usr

1.3 权限环境变量的设置

正确的权限设置是保证正常创建编译环境的重要条件，编译环境设置权限的基本原则是，保证用户对所有操作目录及目录下的文件拥有读写的权限[2]。具体设置如下：

sudo chown –R root：root rootfs/

sudo chown –R 755 root rootfs/

2 嵌入式图像处理平台的构建

2.1 嵌入式图像处理平台硬件结构

文章以友善之臂公司生产的Smart210开发板作为硬件平台，以三星公司的S5PV210嵌入式中央处理器作为核心部件。该款处理器采用了ARM Cortex?-A8内核，ARM V7指令集，主频可达1GHZ，具有2000DMIPS的高性能运算能力，已经被广泛应用于手机和平板等移动多媒体设备上。

2.2 软件平台搭建

软件平台的搭建主要分为操作系统移植、移植Qt和移植OpenCV三个部分。在图像处理开发工具上选择了广泛应用的OpenCV，利用该视觉库可以很方便地实现数字图像处理。在显示方面，选择以支持多平台而著称的Qt图形界面设计工具，其优点在于一次编写，随处编译，已成为图像处理领域强有力的辅助工具。

2.2.1 操作系统移植

嵌入式图像处理平台的搭建的首要步骤为操作系统的选择和移植。嵌入式Linux操作系统作为嵌入式主流操作系统，其最大的特点是源码公开并且遵循GPL协议。由于嵌入式Linux操作系统支持广泛的硬件、融合了各种强大的应用软件及完善的设备驱动和开发工具，因此文章选用了嵌入式Linux操作系统进行移植，其关键在于正确制作根文件系统以启动Linux内核。制作根文件系统的流程，如图 1所示。

2.2.2 图形界面库Qt的移植步骤

Step1：编译Qt-4.8.4，方法如下：

tar xfvz qt-everywhere-opensource-src-4.8.5.tar.gz

cd qt-everywhere-opensource-src-4.8.5

./configure -opensource -embedded arm -xplatform -prefix /opt/qt-4.8.5 -I /tslib/include -L /tslib/lib

Step2：把/opt/qt-4.8.5/lib下的所有文件放入开发板文件系统中。

Step3：修改etc/profile文件，添加Qt库的环境变量。

2.2.3 计算机开源视觉库OpenCV的移植步骤

在进行OpenCV的移植时文章提出改用Qt编写图形接口部分，而不使用OpenCV的HighGUI库。其原因在于OpenCV中的HighGUI模块中的函数是基于GTK+的，主要为了将图像显示在GTK+窗体上，由于移植GTK+比较复杂，需要的依赖库比较多，移植相当繁琐，容易出错。在嵌入式图像处理开发平台中，应用程序的开发与GTK+相关性不大，因此调用OpenCV函数编写图像处理程序时，不采用HighGUI中的库函数会使界面的编写更简单。

具体移植步骤如下：

Step1：下载源码并解压。

Step2：安装cmake以及cmake-gui。

Step3：配置OpenCV。

Step4：配置cmake和cmake-gui。

Step5：make和make install。

Step6：将lib文件夹下的所有文件拷贝到开发板。

Step7：设置环境变量。

3 嵌入式图像处理平台应用

为了验证嵌入式图像处理平台是否构建成功，文章设计了人脸识别应用程序进行验证。人脸识别是通过对摄像头获取的视频流数据进行图像处理中的检测定位和特征提取，从而识别出人脸的具体位置，并进行在线跟踪。实验中采用基于OpenCV的人脸识别分类器，通过接入的USB摄像头实时监测人脸。

3.1 人脸识别算法

OpenCV人脸识别分类器利用Haar-like特征来表示人脸特征[3]，采用积分图作为加速器的方法高效计算人脸特征，再由AdaBoost迭代学习算法进行特征选择和分类器的训练，最终实现人脸图像的跟踪识别。对于每一个特征，Adaboost算法根据训练样本的特征值排序，并计算样本权重，求得分类误差后得出最优弱分类器，经过多次循环特征选择能够得到更多的最优弱分类器，再组合最优弱分类器得到强分类器，相当于按照弱分类器的错误率加权投票的方式将弱分类器构造为一个强分类器；然后，将强分类器强强联手串联成一个级联分类器。

3.2 实验结果

实验分为标识人脸和跟踪人脸两方面，当单个或者多个人脸出现在摄像头前，显示屏上均能显示并标识人脸，当人脸从中间分别向两边移动时，能够实时跟踪人脸。同时，在本嵌入式图像处理平台上，检测出人脸的平均时间为300ms，而在普通的PC机上，编写同样的算法，运行也需要150ms的检测时间。在相同的代码下，本嵌入式平台和普通PC机平台主要参数不同。由该实验可看出，在本嵌入式平台下，能够准确的检测到摄像头所拍摄到的人脸，人脸识别的测试运行也证明了嵌入式图像处理平台的可行性和稳定性。

[参考文献]

[1]贾小军，喻擎苍.基于开源计算机视觉库OpenCV的图像处理[J].计算机应用与软件，2008（4）：276-278.

[2]宋凯，严丽平，甘岚.嵌入式图像处理系统的设计与实现[J].计算机工程与设计，2009（19）：4368-4370+4377.

[3]刘晓克，孙燮华，周永霞.基于新Haar-like特征的多角度人脸检测[J].计算机工程，2009（19）：195-197.