多媒体信息检索.ppt

多媒体信息检索
Outline
多媒体信息
图像信息检索
音频信息检索
视频信息检索
Flash文件检索
多媒体信息
按照国际电信联盟ITU-T 建议的定义,媒体可以有感觉媒体、表示媒体、表现媒体、存储媒体和传输媒体等多种媒体类型。
当前多媒体中重点讨论的是感觉媒体和表示媒体,即声音、图形、图像、文字、视频和动画等信息载体及其各种编码形式。
随着信息技术的发展,人类已经能够将文字、声音、图像等信息按照相互的内在联系组织在一起,形成新的信息集合,全面表征事物形态,这就是多媒体信息。
多媒体信息的种类和文件格式
图形与图像文件通常混称为图片文件。
(1)图片的特性
①分辨率
图片文件都要在计算机的显示器屏幕上显示出来,显示器是用均匀排列的像素来显示画面的,因此文件也是由许多的像素来组成。一张图片其横行的像素个数和竖列的像素个数便决定了该图片的大小。如800×600,1024×768
②颜色数
通常,图片颜色数的可能的取值有:2色(这时图片只有黑白两色)、16色、256色、16位增强色(共216即65536种颜色)、24仿真彩色(共224即16777216种颜色)等。自然图片的颜色数越多,图片的视觉效果就越好。

(2)图片文件的格式类型
①位图
位图是由许多个像素点组成的图片,相应的图片文件记录了图形或图像的每一个像素点的位置及代表该像素颜色的数值等信息。根据有无压缩或压缩的方法等,该类型的图片文件又分为许多种格式,如:.bmp图、.tif图、.gif图、.jpg图
②矢量图
矢量图是计算机通过数学运算而产生的图形,而不是像位图那样逐点描述的,因此,该图形所占容量很小,而且它的显示效果不受大小或显示器分辨率的影响。
矢量图的文件格式视生成它的软件的不同而不同。矢量图形格式也很多,如Adobe Illustrator的*.AI、*.EPS和SVG、AutoCAD的*.dwg和dxf、Corel DRAW的*.cdr、windows标准图元文件*.wmf和增强型图元文件*.emf等等。

(1)波形音频
波形音频是从真实的声音录制并数字化后而得到的一种声音文件,这样的一个过程称为声音采样。采样频率越高,录制的声音效果就越好,需要花费的代价是声音文件需要的存储空间加大了。波形音频文件常见的格式有: Wave文件(*.wav) 、MPEG音频文件(.mp1/.mp2/.mp3)、RealAudio文件(ra/.rm/.ram) 、WMA(.wma)格式。
(2)MIDI音乐
MIDI是乐器数字接口(Musical Instuments Digital Interface)的英文缩写,是数字音乐/电子合成乐器的统一的国际标准。
MIDI音乐是利用电子合成技术来模拟各种乐器音效的方法生成,它并不对声音进行采样和量化,记录的也不是声音本身,它只是像记录乐谱一样将每个音符记录为一个类似乐谱符号的数字,并且规定了各种音调的混合发音,最后通过合成器将这些数字转化为对应的音效进而组合成为音乐播出。
MIDI文件的数据量要比波形音频文件小得多,可用于满足播放较长时间的音乐需要。
MIDI音乐毕竟是电子合成模拟的,其声音效果远不如真实乐器的效果,而且回放的质量受声卡的影响比较大。
(1)数字视频的几个概念
帧:数字视频利用人的眼睛的视觉暂留原理,将一系列顺序排列的静态画面连续播放,从而产生动态效果,其中的每一个画面就是该视频文件的一帧。
压缩与解压缩
全运动播放
播放速度在30帧/s以上,播放的效果才不会感到跳跃和闪烁,这样的播放速度即所谓全运动播放。
全屏幕播放
视频的播放满足画面大小为640 x 480以上、颜色在256色以上,即可以在整个显示器屏禁区域播放,而不仅仅是在一个小窗口播放,即为全屏幕播放。

(2)数字视频文件格式
①动画文件
动画文件指由相互关联的若干帧静止图象所组成的图象序列,这些静止图象连续播放便形成一组动画,通常用来完成简单的动态过程演示;该类型的图片文件又分为许多种格式,如:GIF文件——.GIF
②影像文件
主要指那些包含了实时的音频、视频信息的多媒体文件,其多媒体信息通常来源于视频输入设备,由于同时包含了大量的音频、视频信息。如AVI文件(.AVI ) 、QuickTime文件(.MOV/.QT )、MPEG文件(.MPEG/.MPG/.DAT )、RealVideo文件(.RM )。

首先对多媒体进行人工分析并抽取反映该多媒体物理性和内容特征的关键词,然后对这些关键词进行文字著录或标引,建立类似于文本文献的标引著录数据库,从而将对多媒体信息检索转变成对上述关键词的检索。