多媒体信息检索技术［PPT课件］.ppt

多媒体信息检索技术与方法
基于内容的图像检索技术
基于文本的信息检索方法
多媒体检索概念理解
多媒体检索是一种基于内容特征的检索(CBR:content-based retrieval)。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进行检索,如图像中的颜色、纹理、形状,视频中的镜头、场景、镜头的运动,声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限,直接对图像、视频、音频内容进行分析,抽取特征和语义,利用这些内容特征建立索引并进行检索。在这一检索过程中,它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,是多种技术的合成。
多媒体检索技术与方法
多媒体检索的特点
(1) 相似性检索:CBR采用一种近似匹配(或局部匹配)的方法和技术逐步求精来获得查询和检索结果,摒弃了传统的精确匹配技术,避免了因采用传统检索方法所带来的不确定性。
(2) 直接从内容中提取信息线索:CBR直接对文本、图像、视频、音频进行分析,从中抽取内容特征,然后利用这些内容特征建立索引并进行检索。
(3) 满足用户多层次的检索要求:CBR检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据,如文本、图像、音频、视频等;特征库包含用户输入的特征和预处理自动提取的内容特征;知识库包含领域知识和通用知识,其中的知识表达可以更换,以适应各种不同领域的应用要求。
(4) 大型数据库(集)的快速检索:CBR往往拥有数量巨大、种类繁多的多媒体数据库,能够实现对多媒体信息的快速检索。
多媒体检索技术与方法
基于内容的多媒体信息检索体系结构
媒体数据
特征提取
目标标识
媒体库
特征库
知识库
知识辅助
用户
查询接口
检索引擎
索引/过滤
数据库特征
提取子系统
数据库查询
子系统
多媒体检索技术与方法
多媒体信息检索过程
用户需求
媒体资源
内容查询
内容索引
匹配
多媒体检索技术与方法
*基于内容的图像检索工作原理
图像特征库
数字图像源
用户
相关反馈
图像检索
特征提取
图像索引
多媒体检索技术与方法
基于内容的图像索引技术:
图像特征
提取技术
颜色特征
纹理特征
形状特征
图
像
索
引
主
要
技
术
颜色直方图、颜色矩
颜色集、颜色聚合向量
、颜色相关图
Tamura纹理特征
自回归纹理模型
基于小波变换的纹理特征
傅里叶性状描述符
形状无关矩
其他形状特征
空间关系特征
基于图像分割的方法
基于图像子块方法
多媒体检索技术与方法
图像颜色特征
颜色特征是在图像检索中应用最为广泛的视觉特征,主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外,与其他特征相比,颜色特征计算简单,同时对图像本身的尺寸、方向、视角的依赖性较小,具有较好的紧致性。
多媒体检索技术与方法