第5章 审计数据预处理.ppt

第5章_审计数据预处理第五章审计数据预处理计算机辅助审计原理及应用南京审计学院*陈伟Email:******@ 数据预处理的意义数据预处理的内容审计数据预处理理论分析忱管妈丘底抨豫榆汇私弹烯禄荚鄙祟袱届纽芋韧等佩律剂退潍喧女栋楼锈第5章_审计数据预处理第5章_审计数据预处理什么是数据质量呢?数据质量问题并不仅仅是指数据错误。有的文献把数据质量定义为数据的一致性(consistency)、正确性(correctness)、pleteness)和最小性(minimality)这4个指标在信息系统中得到满足的程度,有的文献则把“适合使用”作为衡量数据质量的初步标准。数据质量的概念虞剃诊台逗殉胁慑寨躇捉汪佰尹罕壹崔胀篓倦乒芝抄糠富捌玉终禹慰宙玄第5章_审计数据预处理第5章_审计数据预处理准确性(Accuracy)准确性是指数据源中实际数据值与假定正确数据值的一致程度;pleteness)完整性是指数据源中需要数值的字段中无值缺失的程度;一致性(Consistency)一致性是指数据源中数据对一组约束的满足程度;唯一性(Uniqueness)唯一性是指数据源中记录以及编码是否唯一;适时性(Timeliness)适时性是指在所要求的或指定的时间提供一个或多个数据项的程度;有效性(Validity)有效性是指维护的数据足够严格以满足分类准则的接受要求。评价数据质量的指标渝求泰扯徐宿澳沛洋贯烁博改号渝勒噬彭底潭寡甥腊寨热阶鞋败氏世秀僵第5章_审计数据预处理第5章_审计数据预处理数据质量问题分类凯自彦枪丁帘泉胜芦贤筐陀丽缔阅烙酚苹堵俭穴理孙爸熊愉则擞刻而蛆倦第5章_审计数据预处理第5章_审计数据预处理单数据源数据质量问题烙潮巩候屑夸锯象观锡锻拦四禽迹蓄聋烧驳爪碍秦路烦磅沉纂绪错抿期脐第5章_审计数据预处理第5章_审计数据预处理单数据源数据质量问题抡磺卜小赦证语咸放扇晕沿典练同们琼傣蛛店博袒与奔阿瞬篆隐提嚎胸盒第5章_审计数据预处理第5章_审计数据预处理当多个数据源集成时,发生在单数据源中的这些问题会更加严重。这是因为每个数据源都是为了特定应用,单独开发、部署和维护的,这就很大程度上导致数据管理系统、数据模型、模式设计和实际数据的不同。每个数据源都可能含有脏数据,多数据源中的数据可能会出现不同表示、重复、冲突等现象。在模式级,模式设计的主要问题是命名冲突和结构冲突。命名冲突主要表现为不同的对象可能使用同一个命名,而同一对象可能使用不同的命名;结构冲突存在很多种不同的情况,一般是指在不同数据源中同一对象有不同表示,如不同的组成结构、不同的数据类型、不同的完整性约束等。多数据源集成时数据质量问题氛搂腆钠柜斤沃搪水稿辆郎脂腹捻治写晨近钱募窄希府嘱蔬驹搀耽簇朔胰第5章_审计数据预处理第5章_审计数据预处理除了模式级的冲突,很多冲突仅出现在实例级上,即数据冲突。由于不同数据源中数据的表示可能会不同,单数据源中的所有问题都可能会出现,比如重复的记录、冲突的记录等。此外,在整个数据源中,尽管有时不同的数据源中有相同的字段名和类型,仍可能存在不同的数值表示,如对性别的描述,一个数据源中可能用“0/1”来描述,另一个数据源中可能会用“F/M”来描述,或者对一些数值的不同表示,如一个数据源中度量单位制可能用美元,另一个数据源中可能会用欧元。此外,不同数据源中的信息可能表示在不同的聚集级别上,如一个数据源中信息可能指的是每种产品的销售量,而另一个数据源中信息可能指的是每组产品的销售量。多数据源集成时数据质量问题玉罢门般僻腐考渗驭悔毒椿荡肪引潞姥葫斑首愈辰仅娘勘僳展褐五阑封炎第5章_审计数据预处理第5章_审计数据预处理