大数据与数据.ppt

数据挖掘课程教学研讨
数据挖掘课程的目的
什么是数据挖掘
Wiki中的定义
the analysis step of the "Knowledge Discovery in Databases" process, or KDD
An interdisciplinary subfield puter science, is putational process of discovering patterns in large data sets
involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems.
The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.
Aside from the raw analysis step, it involves database and data management aspects, data pre-processing, model and inference considerations, interestingness metrics, complexity considerations, post-processing of discovered structures, visualization, and online updating.
*
数据库研究所
*
开设数据挖掘课程的目的
技术发展的趋势的需要
大数据和智能化是信息技术发展的新动力
技术发展路径
数据库->数据仓库->数据挖掘->大数据
数据挖掘技术已经成为很多应用领域的基本支撑技术
WEB数据分析
电子商务
生物信息学
金融数据分析
…
*
数据库研究所
*
开设数据挖掘课程的目的
数据分析类课程在计算机教学体系中的作用将逐渐增加
数据挖掘、机器学****br/>培养学生理论与应用相结合能力
培养学生应用基本的方法,提高解决实际的系统能力
数据挖掘课程的特点
入门容易
有深度
应用实例多
易于设计实验
*
数据库研究所
*
复旦大学数据挖掘课程的设置
复旦大学计算机科学技术学院基本情况
学生情况
120名本科生/年
150名研究生/年
教师情况
教学科研教师:100名左右
教学理念
强调数据基础
强调学生综合能力的培养
强调学生创新能力培养
复旦大学计算机科学技术学院基本情况
主要研究方向
媒体计算
数据库与数据科学
网络与信息安全
智能信息处理
人机接口和服务计算
理论计算机科学
软件工程与系统软件
*
数据库研究所
*
复旦大学数据挖掘课程的设置
总体目标
掌握大规模数据挖掘与分析的基本流程
掌握数据挖掘的基本算法
掌握对实际数据集进行挖掘的系统能力
算法设计
挖掘算法的内涵
参数设置
结果评估
…
了解数据挖掘的主要应用方向
为后续的课程做准备
*
数据库研究所
*
复旦大学数据挖掘课程的设置
*
数据库研究所
*
数据仓库与数据挖掘
WEB数据管理和数据挖掘
数据密集型计算
文本数据挖掘
…
高级数据挖掘技术
数据库系统
机器学****br/>生物信息学
多媒体数据处理
数据库新技术
数据仓库与数据挖掘
课程的教学目的
掌握数据仓库数据挖掘原理、技术和方法,掌握建立数据挖掘应用系统的方法,了解相关前沿的研究。
教学内容
数据挖掘、数据仓库的基本概念
数据仓库设计和应用
数据挖掘的基本技术
关联分析、分类分析、聚类分析、异常分析和演化分析等;联机分析处理OLAP技术;
数据挖掘应用系统开发
数据挖掘技术的新应用
数据挖掘软件发展
*
数据库研究所
*
高级数据挖掘
课程的教学目的
让学生掌握数据挖掘的基本概念、算法和高级技术;
将这些概念、算法和技术应用于实际问题。
教学内容
分类算法,
包括决策树(ID3, , SPRINT等)、基于规则的分类器(, RIPPLE等)、Naïve Bayes分类器和贝叶斯网络、最近邻分类器(kNN, Condensed kNN, DANN等)、支持向量机(SVM)、Ensemble方法(如AdaBoost, Bagging, Rain Forest等),以及模型选择(如MDL,work等)。
*
数据库研究所
*