商务智能与数据挖掘第8章Web挖掘技术.ppt

第8章 Web挖掘技术
【教学目标与要求】
了解WEB数据挖掘的发展现状、分类及其流程
掌握WEB使用挖掘的过程和方法
理解WEB结构挖掘的数据源处理和算法
了解WEB内容挖掘的流程
Web数据挖掘流程
Web数据挖掘分类
WUM挖掘过程
WEB结构挖掘
WEB内容挖掘
目录


WEB挖掘继承了传统数据挖掘的过程,即数据收集、数据预处理、模式发现、模式分析及应用,但是WEB挖掘的各个过程与传统的数据挖掘又不全相同;Web挖掘是一项涉及Web技术、数据挖掘、计算机语言学、信息学等多个领域的综合技术
【导入案例】
Web站点上的数据有其自身的特点,主要的可以归纳为以下几点:
数据量巨大,动态性极强,并且增长速度惊人;
异构数据库环境,Web页面的结构比一般文本文件复杂很多,它可以支持多种媒体的表达;
半结构化的数据结构。
Web数据挖掘流程
Web数据挖掘分类
Web站点上的数据有其自身的特点,主要的可以归纳为以下几点:
数据量巨大,动态性极强,并且增长速度惊人;
异构数据库环境,Web页面的结构比一般文本文件复杂很多,它可以支持多种媒体的表达;
半结构化的数据结构。
Web数据挖掘分类
Web内容挖掘概述
(Information Retrival)的观点挖掘非结构化文档
(Database)的观点挖掘非结构化文档
Web结构挖掘概述
Web访问挖掘概述
Web数据挖掘分类
WUM挖掘过程
WUM数据预处理
预处理主要对用户访问日志进行数据清洗(Data Cleaning)、用户唯一性识别(User Identification)、用户会话识别(Identify User Session)、路径补充(pletion)和事务识别(transaction identification)等处理。
一、源数据收集
二、使用数据预处理
三、内容预处理
四、结构预处理
WUM挖掘过程
WUM模式发现
模式发现阶段就是利用挖掘算法挖掘出有效的、新颖的、潜在的、有用的及最终可以理解的信息和知识。可用于WUM的技术有统计分析、路径分析、关联规则、序列模式、分类、聚类以及依赖性建模等。
WUM模式分析
挖掘出来的用户行为模式(集合),需要合适的工具和技术对其进行分析、解释和可视化,从中筛选出有趣(有用)的模式,使之成为人们可以理解的知识,否则挖掘出来的模式将得不到很好的应用。对于大量挖掘出来的模式,也需要一种技术使用户可以方便地查询其想要的模式,从而使解释和分析更具有针对性。
WUM挖掘过程