多媒体信息检索 PPT课件.ppt

多媒体信息检索
102131387
庄子匀
概念
多媒体检索是一种基于内容特征的检索(CBR:content-based retrieval)。
基于内容的检索是对媒体对象的内容及上下文语义环境进行检索,如图像中的颜色、纹理、形状,视频中的镜头、场景、镜头的运动,声音中的音调、响度、音色等。
基于内容的检索突破了传统的基于文本检索技术的局限,直接对图像、视频、音频内容进行分析,抽取特征和语义,利用这些内容特征建立索引并进行检索。在这一检索过程中,它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,是多种技术的合成。
体系结构
媒体数据
特征提取
目标标识
媒体库
特征库
知识库
知识辅助
用户
查询接口
检索引擎
索引/过滤
数据库特征
提取子系统
数据库查询
子系统
检索过程
用户需求
媒体资源
内容查询
内容索引
匹配
分类
文本检索
多媒体检索
图像检索
视频检索
音频检索
基于文本的检索
人工建立元数据标引,本质类似于纯文本信息检索
普及程度:是现行网络检索系统中的主流方式。
检索方式:信息分类、扩展名、关键词
优势:实现原理相对简单,技术成熟
劣势:具有主观性,仁者见仁、智者见智;多媒体信息的多维性,人工描述难以穷尽
Google 图片搜索、音乐搜索与视频搜索,Yahoo 音乐搜索与图片搜索,Yahoo Video Search,百度mp3、图片与视频搜索
普通搜索引擎
搜索图片、图像
格式:image:文件名
功能:检索含有指定文件名图像的所有网页。
搜索多媒体信息
格式:media: text
功能:检索文件的名字中含有指定文字的多媒体信息
基于内容的信息检索
Content-Based Retrieval
一种新的检索技术,是对多媒体对象的内容及上下文语义环境进行检索
原理:提取特征并进行量化,表示成向量空间,建立索引库,将用户提问转化成向量,并与已有信息的向量空间进行相似度匹配计算。
常用多媒体文件特征:
①图像:颜色、纹理及时空关系等
②视频:对象运动特征、颜色和光线变化等
③音频:时域、频域、时频、短时帧和音频特征等
普及程度:局限在较小的数据集合上,大多只是实验室研究成果
基于内容的图像检索
分析图像的内容
提取其颜色、形状、纹理,以及对象空间关系等信息
建立图像的特征索引
QBIC
Query By Image Content
./
IBM Almaden研究中心开发的第一个商用基于内容的图像及视频检索系统
提供对静止图像及视频信息基于内容的检索手段
系统结构及所用技术对后来的视频检索有深远的影响