1 引言
广播体育视频的自动分析是视频检索技术的一个重要应用领域。体育视频是镜头转换检测最具挑战性的应用领域。本文的体育视频镜头转换检测围绕广受欢迎的足球视频展开,且容易扩展到其他体育视频的分析中。
在已有的研究中,局部颜色直方图(Region ColorHistograms控制工程网版权所有,RCH)距离特征(记作DRCH)是切变检测中最受推荐的特征www.cechina.cn,且此特征在渐变镜头转换检测中依然有效。文献[7]提出了一种在镜头转换检测中使用直方图特征的统一模型,并在较大的数据集上取得了很好的效果。笔者在实验中首先采用文献[7]中的RCH特征模型和决策树方案进行镜头转换检测,发现即使采用训练得到的最优分类器,切变检测的查全率和查准率也仅能同时达到96%,而渐变检测的查全率和查准率则很难同时达到60%。这样的检测水平(尤其对于渐变)必然会给下一步视频分析带来负面影响。现有算法在体育视频
1) 当镜头转换前的最后一帧与转换后的第一帧都以大面积比赛场地为背景时,它们的RCH特征非常相似,容易造成漏检。
2) 当摄像机以特写镜头跟踪奔跑的球员时,将发生快速摇移。这一过程中的RCH特征变化速度与渐变过程中的速度相当,容易造成误检。
3) 当前体育视频中的渐变对应的DRCH序列多数不再具有简单的尖峰形状,而是更复杂的模式CONTROL ENGINEERING China版权所有,容易造成大部分动画划变被漏检。
2 中层特征
特征提取是提高镜头转换检测算法性能的关键所在。由于镜头转换的本质是图像序列的特征在语义层次上的不连续控制工程网版权所有,现有算法使用的底层特征不足以解决体育视频中的问题。尽管能理想表达语义的是目标级特征(高层特征),然而对视频进行目标级分析在今天仍然是一项极具挑战性的工作。本文提出两种新型的中层特征来充分反映体育视频中的目标层特征,如场地的相对位置、球员的运动等。其中一种特征基于对赛场主颜色的分割;另一种特征基于对运动矢量可信度的评价。
2.1 主颜色(Dominant Color,DC)中层特征
由于在体育视频的多数帧中,具有某种特定颜色的场地在画面中占据很大的比例,DC分割成为一种在镜头转换检测、镜头视角分类以及目标检测中的有效工具。本文算法基于DC分割提取的3个特征(FDC1,FDC2和FDC3)能够有效地反映画面中的目标级特征。
由于广播足球视频中的场地通常呈现出绿色(实际上也可能偏青色或偏黄色),DC在HSV(Hue-Satura-tion-Value)或HIS(Hue-Saturation-Intensity)色彩空间的H通道中紧密地分布于一个小范围内。本文通过训练得到DC的HSV直方图模型,模型的具体参数在视频分析过程中逐帧自适应地学习。这种DC分割算法有效、鲁棒,其根基如下:
1) 在一帧以场地为主要背景的视频图像中,大比例的DC像素足以用来进行估计DC分布并进行分割。
2) 本文的DC模型是从大量足球视频片段(“04-05赛季欧洲冠军杯最佳进球”和“2006世界百大进球”)中得到的统计结果。
图1给出了一些足球比赛视频帧的DC分割结果。其中从左至右3列分别对应于特写、中景和远景镜头。
将DC像素标为1、非DC像素标为0得到二值的DC掩膜矩阵MDC(t)。FDC1(t)定义为MDC(t)中的DC像素比例特征。如果FDC1(t)>0控制工程网版权所有,将从二值掩膜矩阵MDC(t)中提取2个中层特征FDC2(t)和FDC3(t)。FDC2(t)主要