多媒体信息检索-课件（PPT讲稿）.ppt

多媒体信息检索 102131387 庄子匀概念?多媒体检索是一种基于内容特征的检索( CBR : content-based retrieval )。?基于内容的检索是对媒体对象的内容及上下文语义环境进行检索,如图像中的颜色、纹理、形状,视频中的镜头、场景、镜头的运动,声音中的音调、响度、音色等。?基于内容的检索突破了传统的基于文本检索技术的局限,直接对图像、视频、音频内容进行分析,抽取特征和语义,利用这些内容特征建立索引并进行检索。在这一检索过程中,它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,是多种技术的合成。检索过程用户需求媒体资源内容查询内容索引匹配分类文本检索多媒体检索图像检索视频检索音频检索基于文本的检索?人工建立元数据标引, 本质类似于纯文本信息本质类似于纯文本信息检索检索??普及程度: 普及程度: 是现行网络检索系统中的主流方式。??检索方式: 检索方式: 信息分类、扩展名、关键词??优势:实现原理相对简单,技术成熟优势:实现原理相对简单,技术成熟??劣势:具有主观性,仁者见仁、智者见智;多劣势:具有主观性,仁者见仁、智者见智;多媒体信息的多媒体信息的多维性,人工描述难以穷尽维性,人工描述难以穷尽?? Google Google 图片搜索、音乐搜索与视频搜索, 图片搜索、音乐搜索与视频搜索, Yahoo Yahoo 音乐搜索与图片搜索, 音乐搜索与图片搜索, Yahoo Video Yahoo Video Search Search , ,百度百度 mp3 mp3 、图片与视频搜索、图片与视频搜索普通搜索引擎?搜索图片、图像?格式: image: 文件名?功能:检索含有指定文件名图像的所有网页。?搜索多媒体信息?格式: media: text ?功能:检索文件的名字中含有指定文字的多媒体信息基于内容的信息检索? Content-Based Retrieval ?一种新的检索技术,是对多媒体对象的内容及上下文语义环境进行检索??原理:提取原理:提取特征并进行量化,表示成向量空间,建立索引库,将用户提问转化成向量,并与已有信息的向量空间进行相似度匹配计算。??常用多媒体文件特征: 常用多媒体文件特征: ①①图像: 图像: 颜色、纹理及时空关系等②②视频: 视频: 对象运动特征、颜色和光线变化等③③音频: 音频: 时域、频域、时频、短时帧和音频特征等特征等??普及程度: 普及程度: 局限在较小的数据集合上,大多只是实验室研究成果基于内容的图像检索?分析图像的内容?提取其颜色、形状、纹理,以及对象空间关系等信息?建立图像的特征索引 QBIC ? Query By Image Content ? http:// . / ? IBM Almaden 研究中心开发的第一个商用基于内容的图像及视频检索系统?提供对静止图像及视频信息基于内容的检索手段?系统结构及所用技术对后来的视频检索有深远的影响