网上斗牛

2018届优秀毕业论文(四)

作者: 时间:2018-09-12 点击数:

监控视频里复杂场景下的多目标跟踪方法的研究

软件工程 201400703  徐稀侠

                指导老师  黎扬 邹琪

本文主要针对目前多目标跟踪问题所存在的难点问题对多目标跟踪方法进行研究,对相关理论基础进行了简要阐述。介绍了四种不同的多目标跟踪算法,分别是基于运动前景检测的多目标跟踪、基于连续能量最小化的多目标跟踪、基于Tracklet置信度和判别式外观学习的在线多目标跟踪、基于离散连续能量最小化的多目标跟踪。分别对算法思想及实现思路进行了阐述,对其结果进行测试。并用多目标评价算法对实验结果定量分析,对比分析算法各自的优缺点和性能差异。最后对以上各个算法进行简要总结,并针对算法各自存在的问题提出改进措施。

关键词多目标跟踪  视频监控  数据关联  能量最小化

Abstract

This paper focuses on the multi-target tracking method for the current multi-target tracking problems, and briefly describes the relevant theory. Four different multi-target tracking algorithms are introduced, they are Motion-Based multi-target tracking, Multi-target Tracking by Continuous 斗牛nergy Minimization,Multi-Target Tracking by Discrete-Continuous 斗牛nergy Minimization and Online Multi-Object Tracking based on Tracklet Confidence and Discriminative Appearance Learning respectively.The algorithm ideas and implementation are described separately, and testing the results. The multi-target evaluation algorithm was used to quantify the experimental results, and analyzing the advantages and disadvantages of the different algorithm. Finally, the above algorithms are briefly summarized, and the improvement measures are proposed for the problems existing in the algorithms.

Keywords: Multi-target tracking, Video surveillance, Data association, 斗牛nergy minimize

一、课题背景

   计算机视觉是一门由计算机代替人脑对视觉接收的数据进行处理和解释的学科,是人类观察世界认识世界的手段之一。随着人工智能以及计算机技术的飞速发展,如今的视频监控技术在运动目标的跟踪、识别、检测与行为理解等几方面的发展取得快速进步目标跟踪是视频监控技术的核心技术,一直是这方面的难点问题,一些视频中对高级行为的处理都是以目标检测和跟踪为基础进行的。论文主要讨论多目标跟踪的研究内容。

二、多目标跟踪的理论基础

经过以上对多目标跟踪的相关介绍,由于多目标跟踪算法所涉及的相关理论知识很多,所以本章对多目标跟踪所涉及的相关理论和基础进行简单介绍。

1目标的视觉表示

视觉表示肯定是基于图像特征了。这里先介绍一些常用的特征。

point feature, 比如Harris角点、SIFT角点、SURF角点等等;

Color/intensity features, 比如最简单的模板、颜色直方图等;

Gradient/pixel-comparison features, 基于梯度的特征,典型的如HOG特征;

Region covariance matrix features, 该特征对于光照和尺度变换相对鲁棒;

others针对于具体应用的特征,比如对于行人的步态特征等

2目标间相似性度量

一般来说,比较鲁棒和通用的相似性计算的方式是融合多种互补的特征,从而对目标提供一个全面可靠的描述下面列举两种常见的相似度表示方法:

(1) 像素模板表示

种方法直接使用目标所在区域的像素矩阵表示目标。目标间的相似度使用归一化交叉相关系数(NCC,Normalized Cross Correlation)的函数表征。比如已知目标的模板表示p0,则候选目标与源目标的相似度可以定义为

                  (2.1)

(2) 颜色直方图表示

该方法描述的是图像中每个亮度值的像素数量分布,其值是通过统计得到的。而且该方法在获取目标区域的统计信息方面效果较好。直方图之间的相似性计算一般用巴氏系数(Bhattacharyya coefficient)实现。

                                     (2.2)

    3常用的多目标数据集

在计算机视觉中,数据集对一个目标跟踪领域的发展起到了巨大的推动作用。表2.1给出了当下研究多目标跟踪最经常被使用的一些数据集。这些数据集在研究多目标跟踪时至关重要

2.1 公开的数据集统计表

表中#V#F表示数据集中包含的视频数和图像帧数;Multi-viewGT分别表示多视角的数据和真实值是否提供;IndoorOutdoor代表包含室内和室外场景。

三、基于特定场景下的多目标跟踪方法

1基于运动前景检测的多目标跟踪方法

(1) 算法实现思路

简单来说,基于运动前景检测的多目标跟踪主要分为两步:

①步使用混合高斯模型做背景减除法的检测模型,通过形态学操作对图像做去噪处理得到移动的要跟踪的目标。

②步利用卡尔曼滤波预测每个轨迹在下一帧中的位置,再使用匈牙利匹配算法得到最佳匹配结果。能匹配到新检测到的目标的轨迹更新至当前帧新检测到的目标能匹配到轨迹的位置

(2) 实验结果

3.1 跟踪结果显示

3.2 跟踪结果显示

3.1的跟踪效果良好,图3.2产生了两个问题:①中间路牌后面的两个人没有检测到,原因一是产生遮挡,二是因为他们连续静止。②编号4将两个并排走的人归为同一个目标来进行跟踪,原因是形态学操作和连通性检查没有做到太细。

2基于Tracklet置信度和判别式外观学习的在线多目标跟踪

首先提出Tracklet置信度,并基于Tracklet置信度制定多目标跟踪问题。根据它们置信值的不同来以不同方式关联轨迹来解决多目标跟踪问题。主要分为两个步骤:

(1) 具有高置信度的可靠轨迹在局部与在线提供的检测相关联;

(2) 具有低置信度的碎片化轨迹在全局上与其他轨迹和检测相关联。

基于这种策略,Tracklet随着在线提供的检测结果顺序的增长。为了使轨迹与检测之间的关联更可靠,提出了一种增量线性判别分析(Incremental Linear Discriminative Analysis, ILDA)的新型在线学习方法来鉴别目标外观。通过利用这种方法,使算法更加鲁棒,即使在严重遮挡的情况下也能成功实现轨迹关联。

3、基于连续能量最小化的多目标跟踪算法

   本算法将重点放在设计一个能够反映真实情况的能量函数上,而不是为了设计一个易于优化计算的函数。对于跟踪中的响应依据实际运动的特性分别限制了运动一致性、运动目标互斥性,估计的持续性以及对模型的正规化处理。对于高度非凸的能量函数的最小化,给出了一种运用共轭梯度法对函数求解,从而求出算法的局部最优解;此外,运用跳跃运动寻找全局优解的方法。最后得到了一个性能较优的跟踪结果。

4、基于离散连续能量最小化的多目标跟踪

本方法构造了一个离散的连续能量函数,此函数将离散的数据关联与连续的轨迹估计问题整合到一个函数中,用带有标签的能量最小化优化方法交替计算离散数据关联和连续轨迹估计可以有效最小化一致的能量函数,得到最小能量、轨迹及检测对应的身份标签方法引入了标签成本的概念,利用标签属性约束各个子模型,轨迹属性通过全局标签捕获成本。通过为各个能量组成项选择适当的形式,将数据关联定义为多标签问题以便利用离散优化算法求解同时通过最小化包含标签能量项的能量函数更新轨迹

5、算法结果与分析

本文的实验结果是基于P斗牛TS2009S2L1斗牛TH及实际拍摄的场景得到的,观察图3.3可以看出C斗牛MDC斗牛M相比,跟踪准确率以及精确度都有所下降,有身份标签互换的情况出现,但两种方法对遮挡的处理较好,整体的跟踪效果较为鲁棒;观察图3.4可以看出,CMOT算法在P斗牛TS2009S2L1数据集上的跟踪准确度较前两个算法有所下降,且有漏检的情况出现,但换到实际目标数减少的场景中效果更为鲁棒。

3.3 基于P斗牛TS2009S2L1跟踪结果 (a)C斗牛M跟踪结果 (b)DC斗牛M跟踪结果

3.4 CMOT算法跟踪结果(a)为基于P斗牛TS2009S2L1结果(b)基于实际场景结果

    基于本文所实现的公共数据集上的三种视频序列的评价结果如表3.1所示,观察表中数据可以看出,当基于不同的视频序列时同一算法的结果差异较大,如CMOT算法在基于斗牛THP斗牛TS2009S2L1的结果相差很大,基前者的性能相对较好,精确度相对较高,身份互换还有分段情况都有很好地改善,但基于后者的跟踪结果相比较C斗牛MDC斗牛M,精确度和准确度都有所下降,且身份互换以及轨迹分段情况较两者有明显的增加。通过对比C斗牛MDC斗牛M可以看出,前者在基于P斗牛TS2009S3MF1的结果各个指标都非常高;而后者在基于P斗牛TS2009S2L1的结果可以看出跟踪效果较其他算法较好,轨迹分段以及身份互换有明显改善;但两者在更换视频序列后结果都有所下降。因此可以发现,针对多目标跟踪方法,不同的算法策略所解决的问题是不同的,结果也往往差别很大。

3.1 基于不同视频序列的对比实验结果

四、总结与展望

本文在视频监控下的多目标跟踪问题的背景下,对四种不同的多目标跟踪算法研究讨论,使其有效解决遮挡、以及目标外观相似等问题。首先简要介绍了多目标跟踪的研究背景和相关理论知识又分别阐述了不同的多目标跟踪方法的算法思想,同时给出了算法结果的实验验证通过评价算法对结果定量分析,对比不同算法的优缺点及性能差异。

本文算法取得了一定的成果但是由于跟踪问题的复杂性依然存在着很多问题比如第一种多目标跟踪方法在形态学操作和连通性分析方面做得不是很好,且对复杂背景处理的也不到位;剩下的三种跟踪方法在外观相似、遮挡、身份标签互换以及轨迹分段等问题上仍有很多方面待提升,今后应该针对遗留问题进一步研究。

参考文献

[1]焦建彬. 视觉目标检测与跟踪[M]. 科学出版社, 2016.

[2]姜明新,王洪玉,邱天爽. 基于目标检测和图割的多目标跟踪算法[J]. 大连理工大学学报, 2014(6):632-636.

[3]A. Milan, S. Roth, and K. Schindler.Multi-target tracking by discrete-continuous energy minimization[J] I斗牛斗牛斗牛 Transaction Pattern Analysis and Machine Intelligence,2016,38(10).

[4]刘硕. 基于计算机视觉的人体跟踪系统研究[D]. 天津大学, 2010.

Copyright ? 2017   Powered by    兰州交通大学网上斗牛   All Rightseserved.

地址:兰州交通大学电信学院办公楼    邮编:730070