自适应高斯混合模型球场检测算法及其在体育视频分析中的应用

维普资讯 http://www.cqvip.com 计算机研究与发展　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　ＩＳＳＮ　１０００—１２３９／ＣＮ　１１—１７７７／ＴＰ　４３（７）：１２０７～１２１５，２００６　自适应高斯混合模型球场检测算法及其在体育视频分析中的应用　刘　扬　黄庆明　高　文　。（北京大学信息科学技术学院（１ｉｕｙ＠ｖｉｌａｂ．ｈｉｔ．ｅｄｕ．ｃｎ）　叶齐祥　（哈尔滨工业大学计算机科学与技术学院　哈尔滨　１５０００１）　（中国科学院研究生院　北京　１０００８０）　北京　１００８７１）　Ｐｌａｙｆｉｅｌｄ　Ｄｅｔｅｃｔｉｏｎ　Ｕｓｉｎｇ　Ａｄａｐｔｉｖｅ　ＧＭＭ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎ　ｉｎ　Ｓｐｏｒｔｓ　Ｖｉｄｅｏ　Ａｎａｌｙｓｉｓ　Ｌｉｕ　Ｙａｎｇ　，Ｈｕａｎｇ　Ｑｉｎｇｍｉｎｇ　，Ｇａｏ　Ｗｅｎ　，ａｎｄ　Ｙｅ　Ｑｉｘｉａｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈ　ｏ　曙ｙ，　２（Ｇｒａｄｕａｔｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｃｎｃｅｓ，　（Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉ　ｎｇ　１０００８０）　，Ｐｅｋｉ　ｇ【　ｗ＂ｉｔｙ，Ｂｅｉｊｉ　ｇ　１００８７１）　ｒｂｉ　１５０００１）　Ａｂｓｔｒａｃｔ　Ｐｌａｙｆｉｅｌｄ　ｄｅｔｅｃｔｉｏｎ　ｉｓ　ａ　ｋｅｙ　ｓｔｅｐ　ｉｎ　ｓｐｏｒｔｓ　ｖｉｄｅｏ　ｃｏｎｔｅｎｔ　ａｎａｌｙｓｉｓｗｈｉｌｅ　ｔｈｅ　ｐｌａｙｆｉｅｌｄ　ｐｒｅｓｅｎｔｓ　，ｄｉｆｆｅｒｅｎｔ　ｃｏｌｏｒｓ　ｉｎ　ｂｒｏａｄｃａｓｔ　ｖｉｄｅｏ　ａｓ　ａ　ｒｅｓｕｌｔ　ｏｆ　ｉｌｌｕｍｉｎａｔｉｏｎ　ｖａｒｉａｔｉｏｎ　ｃａｕｓｅｄ　ｂｙ　ｄｉｆｆｅｒｅｎｔ　ｃａｍｅｒａｓ　ａｎｄ　ｄｉｆｆｅｒｅｎｔ　ｓｈｏｏｔｉｎｇ　ａｎｇｌｅｓ，ｅｔｃ．Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｅ　ｐｒｏｂｌｅｍ，ａｄａｐｔｉｖｅ　ＧＭＭ　ｉｓ　ｅｘｐｌｏｉｔｅｄ　ｔｏ　ｄｅｔｅｃｔ　ｐｌａｙｆｉｅｌｄＴｈｅ　．ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｆｉｒｓｔ　ｓｅｌｅｃｔｓ　ｓａｍｐｌｅｓ　ｉｎ　ａ　ｖｉｄｅｏ　ｃｌｉｐ　ｒａｎｄｏｍｌｙ　ａｎｄ　ｅｘｔｒａｃｔｓ　ｔｈｅ　ｄｏｍｉｎａｎｔ　ｃｏｌｏｒ　ｉｎ　ｔｈｅ　ｈｉｓｔｏｇｒａｍ　ａｕｔｏｍａｔｉｃａｌｌｙ；ｔｈｅｎ　ｔｈｅ　ｄｏｍｉｎａｎｔ　ｃｏｌｏｒ　ｉｓ　ｍｏｄｅｌｅｄ　ｂｙ　ＧＭＭ　ａｐｐｒｏｘｉｍａｔｅｌｙ．Ｔｏ　ａｄａｐｔ　ｔｈｅ　ｍｏｄｅ１　ｔｏ　ｔｈｅ　ｐｌａｙｆｉｅｌｄ　ｃｏｌｏｒ　ｖａｒｉａｔｉｏｎ，ｔｈｅ　ｍｏｄｅｌ’Ｓ　ｐａｒａｍｅｔｅｒｓ　ａｒｅ　ｕｐｄａｔｅｄ　ｂｙ　ｉｎｃｒｅｍｅｎｔａｌ　ＥＭ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｐｌａｙｆｉｅｌｄ　ｄｅｔｅｃｔｉｏｎ．Ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｐｌａｙｆｉｅｌｄ’８　ｄｅｔｅｃｔｉｏｎ　ｒｅｓｕｌｔ，ａ　ｓｉｍｐｌｅ　ａｎｄ　ｅｆｆｅｃｔｉｖｅ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｃｌａｓｓｉｆｙ　ｔｈｅ　ｓｃｅｎｅ　ｉｎ　ｓｏｃｃｅｒ　ｖｉｄｅｏ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｐｌａｙｆｉｅｌｄ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｒｅｇｉｏｎ　ｉｎ　ａ　ｆｒａｍｅＥｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍｓ　ａｒｅ　ｅｆｆｅｃｔｉｖｅ．　Ｋｅｙ　ｗｏｒｄｓ　ｐｌａｙｆｉｅｌｄ　ｄｅｔｅｃｔｉｏｎ；ａｄａｐｔｉｖｅ　ＧＭＭ；ｉｎｃｒｅｍｅｎｔａｌ　ＥＭ；ｓｏｃｃｅｒ　ｖｉｄｅｏ；ｓｃｅｎｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　．　摘要球场检测在体育视频内容分析中有着重要作用．为了克服由于不同光照、不同相机、不同拍摄　角度造成球场颜色的非均一性问题，提出了一种基于自适应高斯混合模型（ａｄａｐｔｉｖｅ　Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ，ＧＭＭ）的球场检测算法．该算法首先从视频中任意抽取一些图像，并自动分析这些图像的主要　颜色，从中找到主颜色的近似分布，然后，利用ＧＭＭ拟合主要颜色分布．为提高模型的适应能力，在球　场检测过程中，利用＂３前－ＧＭＭ球场检测结果和增量期望最大（ｉｎｃｒｅｍｅｎｔａｌ　ｅｘｐｅｃｔａｔｉｏｎ　ｍａｘｉｍｕｍ．　ＩＥＭ）算法不断更新模型参数，从而得到更加准确的参数估计，并用于后续图像中球场和非球场像素进　行分类．最后，根据球场区域在图像中的分布，对足球比赛场景进行分类．实验证明，提出的算法具有良　好的性能．　关键词球场检测；自适应高斯混合模型；增量期望最大算法；足球视频；场景分类　中图法分类号ＴＰ３９１．４１　引　口　问含有精彩场面或重要事件的体育视频片断，近年　来许多研究人员投入到体育视频内容分析这个研究　领域．球场检测对体育视频内容分析具有非常重要　的作用．例如，体育视频场景分类、对象（包括球、球员　体育节目拥有大量的观众．为了能够快捷地访　收稿日期：２００５　０３　２３；修回日期：２００６　Ｏ１　１０　基金项目：中国科学院百人计划基金项目（ｍ２０４１）；北京市自然科学基金项目（４０６３０４１）　维普资讯 http://www.cqvip.com 计算机研究与发展２００６，４３（７）　和标线等）检测，以及运动视频结构分析等都非常依　赖于球场检测结果．因此，球场检测引起了研究人　员的重视．　据合成的广播视频中这种现象经常遇到，因此需要　模型参数能够在运行过程中适当调整．　综合以上因素，我们提出了用高斯混合模型　（ＧＭＭ）对球场颜色进行建模，并利用增量期望最大　Ｌｕｏ等人…１利用事先设定的绿色球场在ＨＳＩ空　间分布区域来检测球场，这种方法虽然能够较好地　检测到球场区域，但也有很大的局限性．因为不同　（ＩＥＭ）算法自适应地调整参数．本方法的主要特点　是：①ＧＭＭ可以更准确地描述球场颜色，尤其是当　球场上颜色不一致，或存在大量噪声时，此方法的概　的体育比赛球场颜色是不同的，即便都是足球比赛，　各个球场的颜色也是不尽相同的．Ｅｋｉｎ等人Ｌ２　Ｊ首次　率描述能力更强．②由于ＩＥＭ算法的采用，能够使模　对球场检测的算法进行了比较详细的介绍．在其工　型不断地适应视频中球场颜色的变化．③ＩＥＭ是一　作中，作者采用两个颜色空间（可以从ＨＳＩ，ＲＧＢ，　种在线学习方法，系统无需保留数量巨大的样本点．　ＹＣｂＣ　等颜色空间选择），一个作为基本颜色空问，　本文将球场检测算法应用到足球视频分析当　另一个作为控制空间，起到对前者控制和补充的作　中，利用球场检测的结果，将视频中的镜头分为场内　用．在基本颜色空间中，利用球场的颜色均值和阈　场景和场外场景．对于场内场景，本文提出通过对　值来检测球场像素．作为本文的前期工作，Ｊｉａｎｇ［３ｌ　图像中球场区域上下边缘点的拟合，进一步将此类　和Ｗａｎｇ　４　等人采用了高斯混合模型检测球场区　场景分为特写和中远景场面，并利用上边缘拟合直　域，但它们都无法自适应调整模型参数．　线的斜率检测球门附近区域．　球场检测在体育视频分析中起到了举足轻重的　本文所阐述的算法，是“体育视频摘要和内容丰　作用．Ｘｉｅ等人　，　利用主颜色信息分析足球视频结　富系统”项目（ｓｐｏｒｔｓ　ｖｉｄｅｏ　ｓｕｍｍａｒｉｚａｔｉｏｎ　ａｎｄ　ｅｎｒｉｃｈｍｅｎｔ　构．Ｅｋｉｎ等人　７　Ｊ利用球场检测结果对体育视频中的　ｓｙｓｔｅｍ，ＳＰＩＳＥＳ）中的基本技术．更多的信息可以从　镜头进行分类．文献［８～１０］通过利用场地检测结　以下网址得到：ｈｔｔｐ：／／ｗｗｗ．ｊｄ１．ａｅ．ｃｎ／ｅｎ／ｐｒｏｊｅｃｔ／　果，进一步检测视频图像中的运动目标，包括球员和　ｍｒｈｏｍｅｐａｇｅ／ｉｎｄｅｘ．ｈｔｍ．　球．Ａｓｓｆａｌｇ等人　１　则在球场检测基础上，对足球视　频进行了语义层次分析，自动提取精彩片断．　２基于自适应高斯混合模型的球场检测　本文采用了自适应高斯混合模型来对球场颜色　进行建模，采用此方法是基于如下考虑：　本节首先介绍了基于自适应高斯混合模型　１）一块球场上可能包含不止一种颜色．例如足　（ａｄａｐｔｉｖｅ　Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ，ＡＧＭＭ）的球场　球球场上可能具有条纹图案，还有一些球场上的球　检测算法的系统框架，然后详细介绍了框架中的各　门区域附近由于频繁踩踏已经呈现出土地颜色．　个部分．　２）同一块球场在不同相机、不同光照、不同拍　２．１系统框架　摄角度中呈现的颜色不一致．而在由多相机拍摄数　图１给出了基于ＡＧＭＭ的球场检测算法框架．　Ｆｉｇ．１　Ｔｈｅ　ｆｒａｍｅｗｏｒｋ　ｏｆ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｐｌａｙｆｉｅｌｄ　ｄｅｔｅｃｔｉｏｎ　ｓｙｓｔｅｍ　图１球场检测系统框架图　维普资讯 http://www.cqvip.com 刘　扬等：自适应高斯混合模型球场检测算法及其在体育视频分析中的应用　１２０９　其流程为：首先通过检测直方图中的主颜色区域，初　始化ＧＭＭ的参数，然后利用后处理得到场地区域　上的条纹草坪），并含有噪声；另外，由于拍摄角度、　光照以及不同相机拍摄的影像，广播节目中的球场　颜色会不断变化，这就要求算法采用的颜色模型应　像素，通过增量ＥＭ算法来修正ＧＭＭ的参数．以　下各小节详细介绍系统流程中每一个步骤．　２．２初始样本选择　通过观察可以发现，在有球场的体育比赛节目　中，一段视频图像的颜色主要分布在颜色空间中的　几个比较密集区域．基于这一特点，本算法在颜色　该能够描述复杂的概率分布，同时能够随着视频中　球场颜色的变化不断调整其参数．采用ＩＥＭ算法　更新参数的自适应高斯混合模型具有这样的特点．　１）高斯混合模型　高斯混合模型Ｐ是由多个高斯函数Ｐ。，Ｐ２，…，　直方图中寻找一个数值普遍较大的密集区域，并将　其作为球场颜色的大致分布区域．　算法抽取视频序列的前几分钟图片颜色数据，　并计算所有这些像素在Ｃｂ　Ｃｒ颜色空间中的颜色直　方图Ｈ　．选择ＣｈＣ　颜色空间基于如下两点考虑：　①当前流行的视频压缩标准（如ＭＰＥＧ和Ｈ．２６Ｌ）　都采用该颜色空间，这样就可以减少颜色空间转换　带来的计算资源消耗；②去掉了亮度信息的ＣｂＣ　能　够较好地描述球场区域的颜色特性，减小阴影、灯光　等对亮度敏感的因素对检测结果的影响．　算法１描述了在ＣｂＣ　空间中检测主要颜色区　域的过程．　需要指出的是，本算法在ＣｂＣ　颜色空间直方图　中寻找了两次峰值附近的连通区域．这样做的目的　是为了避免“直方图中某一颜色的数值很大，但与其　连通的区域所覆盖的像素数目很少”的情况．因为　在体育视频中，球场像素必然具有很大的比例，像素　数目很少的区域内的像素不可能是球场像素，所以　舍弃Ｓｕｍ，和Ｓｕｍ２中的较小者所对应的区域（这　种现象通常是视频编解码过程造成的）．　算法１．颜色空间中主颜色区域检测　１）在Ｈ１中确定最大峰值点位置Ｐ１；　２）寻找与Ｐ　四连通的点（ｂｉｎ）且其值大于Ｓ×　Ｖａｌｕｅ（Ｐ．）．计算连通区域内所有点（ｂｉｎ）的值的总　和Ｓｕｍ．，从原直方图中去掉此连通区域，余下部分　记为Ｈ，．其中，Ｓ是比例系数，本文中设为０．０５．　３）在Ｈ２中进行步骤１）和步骤２）操作，令Ｈ２　中与最大峰值点Ｐ，连通的区域的点（ｂｉｎ）的值的总　和为Ｓｕｍ２．　４）返回Ｓｕｍ　和Ｓｕｍ２中的较大者所对应的　连通区域，作为球场颜色大致分布区域．　算法１的第４）步返回的区域被认为是球场颜　色分布的大体区域，但这一区域通常是不准确的，而　且有可能有很多球场像素颜色没有被包括进来．基　于这一考虑，下一小节提出用ＩＥＭ来在线学习模型　参数．　２．３模型参数的自适应调整　如第１节所述，球场颜色可能不均一（如足球场　Ｐ　线性组合而成．如式（１）所示：　Ｐ＝　ｔｒｉｐ　，其中　１　Ａ‘ｘ　前‘　…　上，　ｅｘｐ（～÷（　一，ｌ　）　（暑）一　（　一，ｌ　））　ａｎｄ∑丌　＝１．　每个高斯函数由参数集９　决定，包括均值向量　和协方差矩阵　．ｄ是样本点ｘ的维数．／ｌ＂　是每个　高斯函数的权重，ｋ是高斯项个数．集合Ｄ＝｛／ｒｉ，０　Ｊ　ｉ＝１，…，ｋ｝包含了所有的未知参数，它们属于某个　参数空间．通常，人们用批处理的ＥＭ算法（ＥＭ　ｏｆ　ｂａｔｃｈ　ｖｅｒｓｉｏｎ，ＢＥＭ）估计这一组参数Ｄ．本文采用　了有３个高斯项的混合模型，其中两个用来拟合球　场颜色，另一个高斯项用来拟合球场上的噪声（例　如，球场草皮不好时的土地颜色）．　２）自适应高斯混合模型　为了更准确地估计视频流中球场的颜色分布，　本文使用ＩＥＭ算法在线调整ＧＭＭ的参数．如文献　［１２］指出的那样，ＩＥＭ更适合处理样本点是陆续到　达的情况，这正是视频分析中经常遇到的情况．以　统计学的观点，ＥＭ算法中的Ｅ和Ｍ步，可以看成　是共同最大化某一个函数，这个函数如式（２）所描　述，ＩＥＭ算法和ＢＥＭ算法都可以从这个函数推导　出来．　Ｆ（Ｐ，Ｄ）＝Ｅｐ［１ｎＰ（Ｙ，ｚ　Ｊ　Ｄ）］＋Ｈ（Ｐ），（２）　其中Ｈ（Ｐ）＝一Ｅｒ，［１ｎＪ）（Ｙ）］是分布Ｐ的熵，　［・］　是・在分布Ｐ下的期望．式（２）中Ｙ是隐含随机变量　ｙ的取值，在高斯混合模型中对应于各个正态分布　的权重．ｚ是可观测随机变量ｘ的取值，对应于像　素值．Ｄ是模型参数．　对于ＢＥＭ，它的Ｅ步和Ｍ步可以用方程（２）表　达成如下形式，其中ｔ为时间步．　ｆＥ步：设置卢（　’为卢，并使Ｆ（卢，Ｄ（Ｈ’）最大；　【Ｍ：设置Ｄ【ｆ）为Ｄ，并使Ｆ（Ｐ“），Ｄ）最大．　维普资讯 http://www.cqvip.com 计算机研究与发展２００６，４３（７）　给定一些独立的观测样本　＝（　ｌ，　２，…，　），　以及它们的隐含信息Ｙ＝（Ｙｌ，Ｙ２，…，Ｙ　），函数Ｆ　可以写成如下形式：　～、、　～　２．４增量训练数据的选择　根据式（４），在线更新模型参数的关键问题是样　本的选择．首先利用当前参数Ｄ　将图像像素二值　化为球场和非球场像素，并利用形态学滤波＿ｌ　（用　Ｆ（Ｐ，Ｄ）＝　Ｆ　（Ｐ　，Ｄ），　３×３的模板对二值图像进行开运算和闭运算）得到　其中，　（Ｐ　，０）＝　．［１ｎＰ（Ｙｉ，　ｌ　Ｄ）］＋Ｈ（Ｐ　）．　（３）　球场区域．球场区域的像素将作为增量训练数据，　参加模型参数更新运算，从而使模型能够逐渐学习　到球场上的所有像素在不同相机、不同视角和不同　ＩＥＭ即采用了式（３）这个结构．即当每个样本　执行一次Ｅ步，就执行一次Ｍ步，而不必等所有的　数据都参与Ｅ步计算以后，再执行Ｍ步．也就是　说，每个样本对分布Ｐ带来的影响，都会很快的在　Ｍ步体现，从而实现了在线更新参数．如果ｘ和ｙ　的联合分布是指数形式的，那么在Ｅ步中可以计算　一个充分统计量，Ｍ步则计算在这个统计量下Ｄ的　最大似然．令在ＩＥＭ中用Ｓ　（Ｙ　，　）来表示第　个　样本点的统计量，其Ｅ步和Ｍ步可以表达如下：　Ｅ步：选择第ｉ个样本点，　使ｊｒ　：　～，如果Ｊ≠ｉ，　使ｊｒ　＝　．［Ｓ　（Ｙ　，　）］，其中Ｐ　（Ｙ　）＝Ｐ（Ｙ　ｌ　０　一　），　使　＝ｊｒ　一　一　：一　＋　．　Ｍ步：使Ｄ　为Ｄ，Ｄ为ｓ　下的最大似然．　依据ＩＥＭ，自适应高斯混合模的迭代过程如下：　齐　＝　＋　＝＿Ｔ（　（∞女ｌ　ＸＮ＋１）一　），　＝ｌｉ　＋　———————一　ｔ　ＸＮ＋　一　ｌ—ｌｌ　），，　∑　（∞　Ｉ　）　（４）　¨＝　＋　生　（（　Ｎ＋　一应　）．　∑　（∞　ｌ　）　（　Ｎ＋ｌ一应　）。ｒ一主　），　其中，ｋ：１，２，３，　（∞　ｌ　）：掣　．　ＰｔＸｉ　从式（４）可以看到，每个新样本的加入都会对模　型参数产生影响，从而使模型在运行中能够不断地　逼近真实分布．算法本身没有过多增加运算量，因　为在像素标记过程中，　（　；０女）和　（　）都已经计　Ｎ＋ｌ　算了，算法无需重新计算．式∑　（∞女ｌ　）则可以　被记录下来，并不断累加．增加的计算只是（　＋．一　）（　Ｎ＋ｌ一　）　，对于２维的ｃｂｃ　像素值，有４次　乘法运算．　光照下的颜色分布．图２给出了示意图．　Ｆｉｇ．２　Ｉｎｃｒｅｍｅｎｔａｌ　ｔｒａｉｎｉｎｇ　ｄａｔａ．（ａ）Ｔｈｅ　ｃｉｒｄｅｓ　ａｒｅ　ｎｏｉｓｅ　ｒｅｇｉｏｎｓ　ａｎｄ（ｂ）ｉｓ　ｔｈｅ　ｒｅｓｕｌｔ　ａｆｔｅｒ　ｍｏｒｐｈｏｌｏｇｉｃａｌ　ｐｒｏｃｅｓｓｉｎｇ，　ａｎｄ　ｔｈｅ　ｐｉｘｅｌｓ　ｉｎ　ｔｈｅ　ｃｉｒｄｅｓ　ａｒｅ　ｕｓｅｄ　ａｓ　ｉｎｃｒｅｍｅｎｔａｌ　ｔｒａｉｎｉｎｇ　ｄａｔａ．　图２增量训练集．（ａ）圆圈表示噪声．经形态学滤波处　理后它们被去除；（ｂ）处理后的图像，圆圈内的像素作为　增量训练集合　２．５对参数漂移的处理　与所有的自适应系统一样，在参数调整过程中　可能会造成估计得到的参数向远离真实值的方向漂　移．本算法中采用如下机制判断是否产生漂移，每　隔３０ｓ用初始参数和当前参数同时进行球场检测．　设这两组模型参数在同一帧图像中检测到的球场颜　色像素比例分别是Ｒｉ和Ｒ　，如果他们都大于阈值　丁ｄ，并且ｌ　Ｒｉ—Ｒ　ｌ大于阈值丁　，这时把模型当前参　数Ｄ　恢复为初始参数０ｉ，其中Ｔｄ＝０．５，Ｔ　＝　０．１．前者保证一帧图像中含有足够多的球场像素　才判断模型参数是否漂移，后者则要求模型的初始　参数和当前参数在检测结果上不应该差别很大．　３球场检测在足球视频分析中的应用　球场检测算法在足球视频分析中有着重要作　用，本节利用足球球场检测的结果对足球比赛节目　中的场景进行分类，包括：将足球视频序列分为场外　场景、场内场景；场内场景又分为特写和全局场景；　对于全局场景，又进一步检测球门附近区域，为下一　步语义事件检测（如检测射门）提供线索．图３描述　了场景分类过程．　维普资讯 http://www.cqvip.com 刘　扬等：自适应高斯混合模型球场检测算法及其在体育视频分析中的应用　■■曩一一　Ｆｉｇ．３　Ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｓｃｅｎｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　图３场景分类过程　３．１球场内和球场外的判别　视频的精彩片断多发生在球门区域附近，所以从全　当一幅图像中球场区域的比例小于一定比例　局场景中进一步找到球门区域可以压缩掉大量的比　（本文取０．０５）时，应判别为场外区域．通常这类镜　赛过程，为生成摘要提供帮助．　头用来描写观众席和教练席，同时也对应着非比赛　本文提出用直线拟合球场区域在图像中的上边　片断．　缘和下边缘，并根据拟合线内非球场区域比例和拟　３．２球场内场景的分类　合线的斜率分类场内特写、球门区域和非球门区域．　对于由上一步判别为球场内的场景，又进一步　其过程如下：　被分为含有球场区域的特写场景和全局场景．后者　１）球场边界检测和拟合　通常是视频流主要组成部分，数量巨大．由于足球　图４（ａ）和图４（ｂ）分别描述了中远场景和场内　一，　：　Ｊ‘　ｔ　一一一一　Ｐ￣　Ｓ一一一一Ｌ、　，　＿？一一一一一一一一一一｛　（ｂ）　Ｆｉｇ．４　Ｔｈｅ　ｅｘｔｒａｃｔｅｄ　ｂｒｉｍｓ　ｏｆ　ｔｈｅ　ｐｌａｙｆｉｅｌｄ　ｆｒｏｍ　ｉｍａｇｅｓ．（ａ）Ｔｈｅ　ｃａｓｅ　ｏｆ　ｇｌｏｂａｌ　ｖｉｅｗ；ａｎｄ（ｂ）Ｔｈｅ　ｃａｓｅ　ｏｆ　ａ　ｃｌｏｓｅ—ｕｐ　ｆｏｒ　ａ　ｐｌａｙｅｒ、　图４　图像中球场边缘提取．（ａ）中远场景；（ｂ）背景为球场的特写　维普资讯 http://www.cqvip.com 计算机研究与发展２００６，４３（７）　特写镜头中的球场边缘拟合过程．其中第１列为原　值为±０．１．图５给出球门区域呈现的几种模式．图　６给出了一些在实验中得到的结果．　始图像，第２列为球场检测后的二值图像，第３列为　检测到的边缘点．其过程是，首先用垂直图像的射　线从上向下、从左到右扫描二值图像，将每一列中碰　到的第１个球场像素点作为一个上边缘点　ｕ　，则可　以得到上边缘点集｛　，…，　，ｍ≤图像宽度｝．同　４实验及结果分析　为了检验本文提出的算法性能，我们在实际数　据上进行了大量测试．这些数据录自于中央电视台　理，如果射线从下向上扫描图像，则可以得到下边缘　点集｛ｅ　ｂ０ＩＩ　，…，　“　，　≤图像宽度｝．此时，分别　体育频道和北京电视台体育频道，包括足球、羽毛　用两条直线拟合这两个集合，得到两条直线Ｙ　＝　Ｋ　ｚ＋Ｂ　，ｉ＝１，２．第４列为得到的拟合直线．　２）场内特写和全局场景分类　从图４（ａ）和图４（ｂ）的最后一列图中可以看到，　两条拟合直线和图像的边构成一个封闭区域，设　ＭＡ为封闭区域内最大连通的非球场区域面积，Ａ　为这个封闭区域的面积．如果　Ａ　＞Ｔ　，　则认为是场内特写，否则为全局场景，因为全局场景　中，球员和球在图像中所占区域很小．本文中Ｔ　设　置为０．２５．　３）球门区域检测　对于全局场景，由于球门区域在主相机拍摄的图　像中呈现出图５所示的模型，则依据其上边缘的拟合　直线斜率Ｋ　判断左右球门区域，判断准则如下：　ｆ左侧球门区域，　Ｋ≥Ｔ　，　｝右侧球门区域，　Ｋ≤丁　其中丁ｌ　ｆ　和Ｔ咄ｈ　是判断左右两个球门区域的两个　阈值，在两者之间被认为是中间区域，本文中采用的　臣　ｉ　Ｆｉｇ．５　Ｆｏｕｒ　ｇｅｎｅｒａｌ　ｐａｔｔｅｒｎｓ　ｏｆ　ｇｏａｌ　ａｒｏＭｔ　ａｐｐｅａｒ　ｉｎ　ｓｏｃｃｅｒ　ｖｉｄｅｏ（Ｆｒｏｍ　ｌｅｆｔ　ｔｏ　ｒｉｇｈｔ：ｌｅｆｔ—ｕｐ，ｌｅｆｔ—ｂｏｔｔｏｍ，ｒｉｇｈｔ—　ｂｏｔｔｏｍ　ａｎｄ　ｒｉｇｈｔ—ｕｐ　ｐｏｓｉｔｉｏｎｓ　ｉｎ　ｔｈｅ　ｃｏｕｒｔ）．　图５球门附近区域在主相机中呈现出的模式（前两个　为左侧，后两个为右侧）　Ｆｉｇ．６　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｏｆ　ｐｌａｙｆｉｅｌｄ　ｒｅｇｉｏｎ．　图６球场区域分类结果　球、篮球、网球等比赛，总长度超过２０ｈ．　４．１　自适应高斯混合模型的检测结果　为了能够量化评价算法，作者手工标注了部分　视频片断，包括３段足球以及１段篮球、１段羽毛　球、１段网球，每段视频均匀采样了２０帧图像．表１　给出了高斯混合模型、自适应高斯混合模型以及直　方图方法对球场检测的准确率．从中可以看到，利　用自适应高斯混合模型进行球场检测取得了更好的　结果．其中，精度定义为　焙富一生垂　个　腹～　＃全部像素个数　扬堡塞　韭　堡塞　全　‘　Ｔａｂｌｅ　１　Ｔｈｅ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｄｅｔｅｃｔｉｏｎ　Ａｃｃｕｒａｃｙ　ｏｆ　Ｄｉｆｆｅｒｅｎｔ　Ｍｅｔｈｏｄｓ　表１检测结果的精度比较　％　图７给出了在一图像序列中的球场检测结果　（没有进行滤波处理）．其中第１列是图像序列，第２　列是用高斯混合模型检测的结果，第３列是用自适　应高斯混合模型检测的结果；时间轴是从上到下．　从图中可以看到，基于自适应高斯混合模型的球场　检测取得了更好的效果．这是因为在系统运行过程　中其不断地修正模型参数，使模型可以更好地描述　整个视频流中球场颜色分布．　图８给出了基于自适应高斯混合模型的球场检　测算法在不同体育视频中的检测效果图，包括篮球、　羽毛球、网球以及球场非常差的视频．其中第３行　给出了球场上有阴影以及比赛场地比较差的情况下　的检测结果．　维普资讯 http://www.cqvip.com 刘　扬等：自适应高斯混合模型球场检测算法及其在体育视频分析中的应用　１２１３　Ｆｉｒｓｔ　ｃｏｌｕｍｎ：ｏｒｉｇｉｎａｌ　ｉｍａｇｅｓ．Ｒｅｓｕｌｔｓ　ｄｅｔｅｃｔｅｄ　ｂｙ　ＧＭＭ　ａｎｄ　ａｄａｐｔｉｖｅ　ＧＭＭ　ａｒｅ　ｉｎ　ｔｈｅ　ｓｅｃｏｎｄ　ａｎｄ　ｔｈｅ　ｔｈｉｒｄ　ｃｏｌｕｍｎ（ｗｉｔｈｏｕｔ　ｐｏｓｔ　ｐｒｏｃｅｓｓｉｎｇ）　Ｆｉｇ．７　Ｒｅｓｕｌｔｓ　ｃｏｍｐａｒｉｓｏｎ．　图７基于高斯混合模型和基于自适应高斯混合模型的球场检测方法的结果对比　Ｆｉｇ．８　Ｔｈｅ　ｄｅｔｅｃｔｉｏｎ　ｒｅｓｕｌｔｓ　ｂｙ　ａｄａｐｔｉｖｅ　ＧＭＭ　ｉｎ　ｄｉｆｆｅｒｅｎｔ　ｓｐｏｒｔｓ　ｖｉｄｅｏｓ．　图８　自适应高斯混合模型在不同体育视频中的球场检测结果（未经过滤波处理）　维普资讯 http://www.cqvip.com １２１４　计算机研究与发展２００６，４３（７）　４．２足球视频场景分类实验　从实验结果上可以看到，本文第３节中提出的　在基于自适应高斯混合模型的球场检测结果　上，对第３节中提出的足球视频场景分类方法进行　了性能测试．测试数据来自于２００４年欧洲杯上的６　场比赛，共有近８１０ｍｉｎ的视频节目．表２给出了在　６场比赛上的分类结果的查全率和准确率，它们分　别定义为　足球视频场景分类方法是有效的，而且它可以非常　容易地扩展到曲棍球等其他体育项目的视频分析．　５结论及今后工作　本文首先提出了一个基于自适应高斯混合模型　的球场检测算法．它的最大特点是通过利用增量期　查全率＝　，　望最大算法（ＩＥＭ），在系统运行过程中，对高斯混合　查准率：　麓　．　模型的参数不断调整．这种方法至少带来了如下　优点：　Ｔａｂｌｅ　２　Ｓｃｅｎｅ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｆｏｒ　Ｓｏｃｃｅｒ　Ｖｉｄｅｏ　１）在线完善模型，使其适应视频流中球场颜色　（ｒ　ｉｓ　ｔｈｅ　ｒｅｃａｌｌ　ａｎｄ　Ｐ　ｉｓ　ｐｒｅｃｉｓｉｏｎ）　变化；　表２足球视频场景分类结果（ｒ表示查全率，Ｐ表示查准率）　２）学习过程中无需保留训练样本，节省了存储　％　空间．　Ｓｃｅｎｅ　ｗｉｔｈｏｕｔ　Ｃｌｏｓｅ　ｕｐ　Ｇｌｏｂａｌ　Ｖｉｅｗ　Ｇｏａｌ　ａｒｅａ　Ｍａｒｃｈ　实验表明，本算法框架是可行的，而且相对于传　ｐｌａｙｆｉｅｌｄ（ｒ／ｐ）　（ｒｉｐ）　（ｒ／Ｐ）　（ｒ／ｐ）　统方法取得了更好的结果．　其次，本文提出的足球场景分类方法，有效地利　用了球场区域在图像中的分布，方法简单有效．　在很多体育比赛中，由于太阳和灯光的照射，造　成球场上留下球员的影子或者看台的影子，这给依　赖于球场信息进行分析视频的方法带来不良影响　（如图９所示）．我们未来的工作就是要结合颜色模　型和区域分析，解决球场检测中的阴影问题．　Ｆｉｇ．９　Ｔｈｅ　ｕｎｓｏｌｖｅｄ　ｐｒｏｂｌｅｍ：ｓｈａｄｏｗ．　图９　尚未解决的严重阴影球场　ｓｅｍａｎｔｉｃ　ｃｏｌｏｒｓ　ｉｎ　ｓｐｏｒｔｓ　ｖｉｄｅｏ［Ｃ］．ＩＥＥＥ　Ｉｎｔ’１　Ｃｏｎｆ．Ａｃｏｕｓｔｉｃｓ　参　考　文　献　ｓＰ。。ｃｈ，ａｎｄ　ｓｉｇｎａ１　Ｐｒｏｃｅｓｓｉｎｇ，Ｑｕｅｂｅｃ，Ｃａｎａｄａ，２００４　５　Ｌ．Ｘ．Ｘｉｅ，Ｐ．Ｘｕ，Ｓ．一Ｆ．Ｃｈａｎｇ，ｅｌ　ａ１．Ｓｔｒｕｃｔｕｒｅ　ａｎａｌｙｓｉｓ　ｏｆ　ｓｏｃｃｅｒ　ｖｉｄｅｏ　ｗｉｔｈ　ｄｏｍａｉｎ　ｋｎｏｗｌｅｄｇｅ　ａｎｄ　ｈｉｄｄｅｎ　ｍａｒｋｏｖ　ｍｏｄｅｌｓ　Ｍ．Ｌｕｏ，Ｙ．Ｆ．Ｍａ，Ｈ．Ｊ．Ｚｈａｎｇ．Ｐｙｒａｍｉｄ　ｗｉｓｅ　ｓｔｒｕｃｔｕｒｉｎｇ　ｆｏｒ　［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，２００４，２５（７）：７６７～７７５　ｓｏｃｃｅｒ　ｈｉｇｈｌｉｇｈｔ　ｅｘｔｒａｃｔｉｏｎ［Ｃ］．ＩＥＥＥ　Ｐａｃｉｆｉｃ—Ｒｉｍ　Ｃｏｎｆ．　６　Ｐ．Ｘｕ，Ｌ．Ｘｉｅ，Ｓ．Ｆ．Ｃｈａｎｇ，ｅｌ　ａ１．Ａｌｇｏｒｉｔｈｍｓ　ａｎｄ　ｓｙｓｔｅｍｓ　ｆｏｒ　Ｍｕｌｔｉｍｅｄｉａ，Ｓｉｎｇａｐｏｒｅ，２００３　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｓｔｒｕｃｔｕｒｅ　ａｎａｌｙｓｉｓ　ｉｎ　ｓｏｃｃｅｒ　ｖｉｄｅｏ［Ｃ］．ＩＥＥＥ　２　Ａ．Ｅｋｉｎ，Ａ．Ｍ．Ｔｅｋａｌｐ．Ｒｏｂｕｓｔ　ｄｏｍｉｎａｎｔ　ｃｏｌｏｒ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｉｎｔ’１　Ｃｏｎｆ．Ｍｕｌｔｉｍｅｄｉａ　ａｎｄ　Ｅｘｐｏ，Ｔｏｋｙｏ，Ｊａｐａｎ，２００１　ｃｏｌｏｒ－ｂａｓｅｄ　ａｐｐｌｉｃａｔｉｏｎ　ｆｏｒ　ｓｐｏｒｔｓ　ｖｉｄｅｏ［Ｃ］．ＩＥＥＥ　Ｉｎｔ’１　Ｃｏｎｆ．　７　Ａ．Ｅｋｉｎ，Ａ．Ｍ．Ｔｅｋａｌｐ．Ｓｈｏｔ　ｔｙｐｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｂｙ　ｄｏｍｉｎａｎｔ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，２００３　ｃｏｌｏｒ　ｆｏｒ　ｓｐｏｒｔｓ　ｖｉｄｅｏ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｃ］．ＩＥＥＥ　Ｓ．Ｑ．Ｊｉａｎｇ，Ｑ．Ｘ．Ｙｅ，Ｗ．Ｇａｏ．Ａ　ｎｅｗ　ｍｅｔｈｏｄ　ｔｏ　ｓｅｇｍｅｎｔ　Ｉｎｔ’１　Ｃｏｎｆ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，Ｈｏｎｇ　ｐｌａｙｆｉｅｌｄ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎｓ　ｉｎ　ｍａｔｃｈ　ａｎａｌｙｓｉｓ　ｉｎ　ｓｐｏｒｔｓ　ｖｉｄｅｏ［Ｃ］．　Ｋｏｎｇ，２００３　ＡＣＭ　Ｍｕｌｔｉｍｅｄｉａ，Ｎｅｗ　Ｙｏｒｋ，ＮＹ，２００４　８　Ｏ．Ｕｔｓｕｍｉ，Ｋ．Ｍｉｕｒａ，Ｉ．Ｉｄｅ，ｅｌ　ａ１．Ａｎ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ　ｍｅｔｈｏｄ　４　Ｌ．Ｗａｎｇ，Ｂ．Ｙ．Ｚｅｎｇ，Ｓ．Ｌｉｎ，ｅｌ　ａ１．Ａｕｔｏｍａｔｉｃ　ｅｘｔｒａｃｔｉｏｎ　ｏｆ　ｆｏｒ　ｄｅｓｃｒｉｂｉｎｇ　ｓｏｃｃｅｒ　ｇａｍｅｓ　ｆｒｏｍ　ｖｉｄｅｏ［Ｃ］．ＩＥＥＥ　Ｉｎｔ’ｌ　Ｃｏｎｆ．　维普资讯 http://www.cqvip.com 刘　扬等：自适应高斯混合模型球场检测算法及其在体育视频分析中的应用　１２１５　Ｍｕｌｔｉｍｅｄｉａ　ａｎｄ　Ｅｘｐｏ．Ｌａｕｓａｎｎｅ，Ｓｗｉｔｚｅｒｌａｎｄ，２００２　９　Ｘ．Ｙｕ，Ｑ．Ｔｉａｎ，Ｋ．Ｗ．Ｗａｎ．Ａ　ｎｏｖｅｌ　ｂａｒ　ｄｅｔｅｃｔｉｏｎ　ｆｒａｍｅｗｏｒｋ　ｆｏｒ　ｒｅａｌ　ｓｏｃｃｅｒ　ｖｉｄｅｏ［Ｃ］．ＩＥＥＥ　Ｉｎｔ’ｌ　Ｃｏｎｆ．Ｍｕｌｔｉｍｅｄｉａ　ａｎｄ　Ｅｘｐｏ，Ｂａｌｔｉｍｏｒｅ，ＵＳＡ，２００３　ｌ０　Ｄ．Ｙｏｗ．Ｂ．Ｌ．Ｙｅｏ，Ｍ．Ｙｅｕｎｇ，ｅｔ　ａ１．Ａｎａｌｙｓｉｓ　ａｎｄ　ｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　ｓｏｃｃｅｒ　ｈｉｇｈｌｉｇｈｔｓ　ｆｒｏｍ　ｄｉｇｉｔａｌ　ｖｉｄｅｏ［Ｃ］．Ａｓｉａｎ　Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，Ｓｉｎｇａｐｏｒｅ，１９９５　ｌ１　Ｊ．Ａｓｓｆａｌｇ，Ｍ．Ｂｅｒｔｉｎｉ，Ｃ．Ｃｏｌｏｍｂｏ，ｅｔ　ａ１．Ｓｅｍａｎｔｉｃ　ａｎｎｏｔａｔｉｏｎ　ｏｆ　ｓ０ｃｃｅｒ　ｖｉｄｅｏｓ：　Ａｕｔｏｍａｔｉｃ　ｈｉｇｈｌｉｇｈｔｓ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ［Ｊ］．　ｏｍｐｕｔｅｒ　ＶｉＣｓｉｏｎ　ａｎｄ　Ｉｍａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｇ，２００３，９２（２／３）：２８５　ｎ——３０５　ｌ２　Ｒ．Ｍ．Ｎｅａ１．Ｇ．Ｅ．Ｈｉｎｔｏｎ．Ａ　ｎｅｗ　ｖｉｅｗ　ｏｆ　ｔｈｅ　ＥＭ　ａｌｇｏｒｉｔｈｍ　ｔｈａｔ　ｉｕｓｔｉｆｉｅｓ　ｉｎｃｒｅｍｅｎｔａｌ　ａｎｄ　ｏｔｈｅｒ　ｖａｒｉａｎｔｓ［Ｇ］．Ｉｎ：Ｌｅａｒｎｉｎｇ　ｉｎ　Ｇｒａｐｈｉｃａｌ　Ｍｏｄｅｌｓ．　Ｃａｍｂｒｉｄｇｅ，　ＭＡ：　Ｋｌｕｗｅｒ　Ａｃａｄｅｍｉｃ　Ｐｕｂｌｉｓｈｅｒｓ，１９９８．３５５～３６８　１３　Ｚｈａｎｇ　Ｙｕｊｉｎ．Ｉｍａｇｅ　Ｅｎｇｉｎｅｅｒｉｎｇ：Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　Ａｎａｌｙｓｉｓ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，ｓｅｎｉｏｒ　ｍｅｍｂｅｒ　ｏｆ　ＣＣＦ．Ｈｉｓ　ｍａｉｎ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｍｕｌｔｉｍｅｄｉａ　ｄａｔａ　ｃｏｍｐｒｅｓｓｉｏｎ，　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ，ｍｕｌｔｉｍｏｄａｌ　ｉｎｔｅｒｆａｃａ，ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ　ａｎｄ　ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ．　［Ｍ］．Ｂｅｉｊｉｇ：Ｔｓｉｎｇｈｕａ　Ｕｎｉｎｖｅｒｓｉｔｙ　Ｐｒｅｓｓ，１９９９．１７９～１８０（ｉｎ　Ｃｈｉｎｅｓｅ）　（章毓晋．图像工程（上册）图像处理和分析［Ｍ］．北京：清华　大学出版社，１９９９．１７９～１８０）　Ｌｉｕ　Ｙａｎｇ，ｂｏｒｎ　ｉｎ　１９７６．Ｒｅｃｅｉｖｅｄ　ｔｈｅ　Ｂ．Ａ’　ｓ　ａｎｄ　Ｍ．Ａ’ｓ　ｄｅｇｒｅｅｓ　ｉｎ　ｃｏｍｐｕｔｅｒ　ｓｃｉｅｎｃｅ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｙ　ｆｒｏｍ　Ｈａｒｂｉｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，ｉｎ　１９９９　ａｎｄ　２００１　ｒｅｓｐｅｃｔｉｖｅｌｙ，　高文，１９５６年生，博士，教授，博士生导师，中国计算机学会　高级会员，主要研究方向为多媒体数据压缩、图像处理、计算　机视觉、多模式接口、人工智能和虚拟现实．　ｗｈｅｒｅ　ｈｅ　ｉｓ　ｃｕｒｒｅｎｔｌｙ　ｗｏｒｋｉｎｇ　ｔｏｗａｒｄｓ　Ｐｈ．Ｄ．ｄｅｇｒｅｅ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，　Ｙｅ　Ｑｉｘｉａｎｇ．ｂｏｒｎ　ｉｎ　１９７８．Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ　ｏｆ　ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，　ｔｈｅ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ．Ｈｉｓ　ｍａｉｎ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ　ａｎｄ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ．　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ａｒｅ　ｉｎ　ｔｈｅ　ａｒｅａｓ　ｏｆ　ｉｍａｇｅ　刘扬，１９７６年生，博士研究生，主要研究方向为图像处理、计　算机视觉、机器学习．　ｐｒｏｃｅｓｓｉｎｇ，ｍｕｌｔｉｍｅｄｉａ　ａｐｐｌｉｃａｔｉｏｎ．　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　叶齐祥，１９７８年生，博士研究生，主要研究方向为图像处理、　模式识别和多媒体应用技术．　Ｒｅｓｅａｒｃｈ　Ｂａｃｋｇｒｏｕｎｄ　０ｖｅｒ　ｔｈｅ　ｐａｓｔ　ｄｅｃａｄｅ，ｗｅ　ｈａｖｅ　ｓｅｅｎ　ｔｈｅ　ｅｘｐｌｏｓｉｖｅ　ｇｒｏｗｔｈ　ｉｎ　ｔｈｅ　ａｍｏｕｎｔ　ｏｆ　ａｖａｉｌａｂｌｅ　ｍｕｌｔｉｍｅｄｉａ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｎ　ｏｕｒ　ｄａｉｌｙ　ｌｉｖｅｓ．　Ｔｈｉｓ　ｔｒｅｎｄ　ｎｅｃｅｓｓｉｔａｔｅｓ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｃｏｎｔｅｎｔ—ｂａｓｅｄ　ｖｉｄｅｏ　ｉｎｄｅｘｉｎｇ　ａｎｄ　ｒｅｔｒｉｅｖａｌ　ｔｅｃｈｎｉｑｕｅｓ．Ｓｉｎｃｅ　ｈｕｍａｎｓ　ｔｅｎｄ　ｔｏ　ｕｓｅ　ｈｉｇｈ　ｌｅｖｅｌ　ｓｅｍａｎｔｉｃ　ｃｏｎｃｅｐｔｓ　ｗｈｅｎ　ｑｕｅｒｙｉｎｇ　ａｎｄ　ｂｒｏｗｓｉｎｇ　ｍｕｌｔｉｍｅｄｉａ　ｄａｔａｂａｓｅｓ，ｉｔ　ｉｓ　ｃｒｉｔｉｃａｌ　ｔｏ　ｄｅｖｅｌｏｐ　ｔｅｃｈｎｉｑｕｅｓ　ｆｏｒ　ｓｅｍａｎｔｉｃ　ｖｉｄｅｏ　ａｎａｌｙｓｉｓ．　Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，ｅｘｔｅｎｓｉｖｅ　ｒｅｓｅａｒｃｈ　ｅｆｆｏｒｔｓ　ｈａｖｅ　ｂｅｅｎ　ｄｅｖｏｔｅｄ　ｔｏ　ｓｐｏｒｔｓ　ｖｉｄｅｏ　ｃｏｎｔｅｎｔ　ａｎａｌｙｓｉｓ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎｓ　ｄｕｅ　ｔｏ　ｔｈｅｉｒ　ｗｉｄｅ　ｖｉｅｗｅｒ　ｓｈｉｐ　ａｎｄ　ｈｉｇｈ　ｃｏｍｍｅｒｃｉａｌ　ｐｏｔｅｎｔｉａｌｓ．Ｔｅｃｈｎｏｌｏｇｉｅｓ　ａｎｄ　ｐｒｏｔｏｔｙｐｅｓ　ｈａｖｅ　ｂｅｅｎ　ｄｅｖｅｌｏｐｅｄ　ｔｏ　ａｕｔｏｍａｔｉｃａｌｌｙ　ｏｒ　ｓｅｍｉ—ａｕｔｏｍａｔｉｃａｌｌｙ　ａｎａｌｙｚｅ　ｓｐｏｒｔｓ　ｖｉｄｅｏ　ｃｏｎｔｅｎｔ，ｅｘｔｒａｃｔ　ｓｅｍａｎｔｉｃ　ｅｖｅｎｔｓ　ｏｒ　ｈｉｇｈｌｉｇｈｔｓ，ｉｎｔｅｌｌｉｇｅｎｔｌｙ　ａｄａｐｔ，ｅｎｈａｎｃｅ　ａｎｄ　ｐｅｒｓｏｎａｌｉｚｅ　ｔｈｅ　ｃｏｎｔｅｎｔ　ｔｏ　ｍｅｅｔ　ｕｓｅｒｓ’　ｐｒｅｆｅｒｅｎｃｅｓ　ａｎｄ　ｎｅｔｗｏｒｋ／ｄｅｖｉｃｅ　ｃａｐａｂｉｌｉｔｉｓ．Ｍａｎｙ　ｔｅｅｃｈｎｉｑｕｅｓ　ｈａｖｅ　ｂｅｅｎ　ｄｅｖｅｌｏｐｅｄ　ａｎｄ　ｕｓｅｄ　ｉｎ　ｂｒｏａｄｃａｓｔｉｎｇ　ｖｉｄｅｏ　ａｎａｌｙｓｉｓ　ｅｎｈａｎｃｅｍｅｎｔ　ｓｕｃｈ　ａｓ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｔｒａｃｋｉｎｇ，３Ｄ　ｖｉｒｔｕａｌ　ｓｐｏｒｔｓ　ｅｖｅｎｔｓ　ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｓｃｅｎｅ　ａｎａｌｙｓｉｓ，ａｕｄｉｏ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｅｖｅｎｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｓｕｍｍａｒｉｚａｔｉｏｎ，ｅｔｃ．