20120812-自动图像标注技术综述.docx

Forpersonaluseonlyinstudyandresearch;mercialuse自动图像标注技术综述摘要现代,有越来越多的图片可以利用。然而,普通用户如何找到一张需要的图片仍然是一个非常具有挑战性的任务。在过去的20年中,出现了大量关注图像检索领域的研究者。通常,在这个领域中的研究者主要关注基于内容的图像检索。然而最近的研究表明在基于内容的图像检索和人类对于图像语义的理解之间仍然存在非常大的偏差。因此,在这个领域的研究逐渐转变成解决低层图像特征和高层语义特征之间的鸿沟。桥接语义鸿沟的通常通过自动图像注释(AIA)方法,这种方法使用机器学****技术提取语义特征。本文中,主要关注图像检索并且提供关于自动图像标注技术的综述,分析了各种AIA方法的特点,包括特征提取以及语义学****并且详细描述了主要的方法。在结论中展示了各种AIA方法,并且提供了未来的研究方向。1绪言得益于数字技术的长足发展,现代社会创造并存储了大量的视觉数据。现在,视觉数据已经像文字数据一样常见,所以急需一种高效的工具对数据进行检索。在过去的20年中,研究者对图像检索(IR)技术进行了大量的研究。通常来说,IR研究可以被分为三种主要方法。第一种方法是传统的基于文本的标注。在这种方法中,图像通过人类手工标注并且使用与传统文本检索相同的方式进行检索[9,10,15,16]。然而,在现实中,不可能对巨量的图像数据进行手工标注。并且,人工标注更加主观和模糊。第二种方法主要是基于内容的图像检索(CBIR),这种方法通过低层的内容特征比如:颜色、形状、纹理[11-13,41-47]对图像进行自动索引以及检索。然而最近的研究表明,在低层次的内容特征和人类用于理解图像的语义概念之间存在着巨大的鸿沟。另外,由于需要用户提供检索使用的图像,CBIR系统不适合普通用户进行图像检索。第三种图像检索的方法是自动图像标注(AIA),这样可以通过文本检索[17-40,115,116]的方式来进行图像检索。AIA技术的主要思想是从大量的图像样本中自动获取语义概念模型,并且使用这个标注图像。当图像被语义标签标注后,则可以通过关键词来检索图像,这样的检索方式与文本检索相同。AIA的主要特征是可以提供基于图像内容的关键词搜索,具有了基于文本的检索以及CBIR的优点。在CBIR研究领域中,已经有了大量的调研文献[2-7,127],并且Liu等人在文献[1]中给出了广义语义信息检索技术的调研。然而,以上文献都对AIA技术给出足够的重视。在本文中,主要将关注点集中在新兴的IR技术的发展上,对以上文献进行一定的补充。特别的,本文关注AIA技术的两个方面,特征提取以及语义学****标注。 本文主要组织结构如下:第二章描述了图像分割和低层次特征提取。第三章,详细讨论了使用机器学****技术几种AIA技术。第四章总结了整篇综述并给出了结论。2特征抽取以及图像表示在图像分类以及检索中,图像通常被表示成低层次特征集。由于图片通常使用松散的像素阵列表示,语义理解的第一步需要从这些像素中高效且有效地提取视觉特征。合适的特征表示能够极大地语义学****技术的性能。通常现有的图像检索技术使用基于全局或者是基于区域的图像特征,但是未来的图像检索发展方向是使用基于区域的特征。基于区域的特征提取需要先进行图像分割而基于全局的特征提取仅仅需要直接从整个图片计算全局特征。本文首先简要综述在AIA技术中使用的图像分割算法。然后详细讨论了不同的特征提取技术。。分割算法将整幅图像分割成具有相似特征的区域。在文献中,描述多种分割方法包括:基于网格、基于聚类、基于边缘、基于模型、基于图以及基于区域增长的方法。本章对在AIA技术中应用的图像分割算法进行简单的综述。如果需要更加详细的分割方法综述,读者可以参照文献[128]。由于自动图像分割任务非常困难,许多方法利用基于网格的方法将图像粗略分割成多个图像块[18,20,23,23-27,29,59,67],然后从这些图像块中提取视觉特征。基于图像块的方法只需要非常少量的计算;然而这种简单的方法不能描述好图像中的语义模块。单个图像块通常会包含两个视觉上不同的物体。而且这种方法很难定义图像块的大小,因此,区域特征通常不会非常准确。如果使用得当,这种方法可以在一些特定领域中应用例如医疗图像分类[14]。聚类算法,例如K-means聚类方法通常将像素聚类成不同的簇,每个簇定义一个区域。在大多数情况下,首先将一幅图像分割成4*4像素大小的图像块,为每一块分别提取颜色和/或纹理特征。然后,利用K-means算法对具有相同特征的图像块进行聚类。一个区域由同一簇中的图像块组成。这种方法的主要问题是需要通过启发式的方法预先定义分割数。不合适的K值可能得出糟糕的结果。另外一