大数据分析新编.ppt

——大数据引领我们走向数据智能化时代大数据分析大数据的定义理解什么是大数据大数据时代的背景 1 大数据的定义理解大数据的“ 4V ”特征 2大数据的构成 3 大数据时代的背景半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、 GPS 、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。全球每秒钟发送 百万封电子邮件,一分钟读一篇的话, 足够一个人昼夜不息的读 年…每天会有 万个小时的视频上传到 Youtube ,足够一个人昼夜不息的观看 年…推特上每天发布 5 千万条消息,假设 10 秒钟浏览一条信息, 这些消息足够一个人昼夜不息的浏览 16 年…每天亚马逊上将产生 百万笔订单…每个月网民在 Facebook 上要花费 7 千亿分钟,被移动互联网使用者发送和接收的数据高达 … Google 上每天需要处理 24PB 的数据…数据量增加 TB PBZB EB 根据 IDC 监测,人类产生的数据量正在呈指数级增长,大约每两年翻一番,这个速度在 2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。数据结构日趋复杂大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长?这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴?大数据时代正在来临…大数据时代的背景 20 世纪 90 年代,数据仓库之父的 Bill Inmon 就经常提及 Big Data 。 2011 年5月,在“云计算相遇大数据”为主题的 EMC World 2011 会议中, EMC 抛出了 Big Data 概念。大数据时代的背景体量 Volume 多样性 Variety 价值密度 Value 速度 Velocity 非结构化数据的超大规模和增长?占总数据量的 80~90% ?比结构化数据增长快 10倍到 50倍?是传统数据仓库的 10倍到 50倍非结构化数据的超大规模和增长?占总数据量的 80~90% ?比结构化数据增长快 10倍到 50倍?是传统数据仓库的 10倍到 50倍大数据的异构和多样性?很多不同形式(文本、图像、视频、机器数据) ?无模式或者模式不明显?不连贯的语法或句义大数据的异构和多样性?很多不同形式(文本、图像、视频、机器数据) ?无模式或者模式不明显?不连贯的语法或句义?大量的不相关信息?对未来趋势与模式的可预测分析?深度复杂分析(机器学****人工智能 Vs传统商务智能(咨询、报告等) ?大量的不相关信息?对未来趋势与模式的可预测分析?深度复杂分析(机器学****人工智能 Vs传统商务智能(咨询、报告等) 实时分析而非批量式分析?数据输入、处理与丢弃?立竿见影而非事后见效实时分析而非批量式分析?数据输入、处理与丢弃?立竿见影而非事后见效大数据的 4V 特征“大量化(Volume) 、多样化(Variety) 、快速化(Velocity) 、价值密度低( Value )”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。 Value 价值?挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息. ?价值密度低,是大数据的一个典型特征.? 2010 年海地地震,海地人散落在全国各地,援助人员为弄清该去哪里援助手忙脚乱。传统上,他们只能通过飞往灾区上空来查找需要援助的人群。?一些研究人员采取了一种不同的做法:他们开始跟踪海地人所持手机内部的 SIM 卡,由此判断出手机持有人所处的位置和行动方向。正如一份联合国(UN) 报告所述,此举帮助他们“准确地分析出了逾 60 万名海地人逃离太子港之后的目的地。”后来,当海地爆发霍乱疫情时,同一批研究人员再次通过追踪 SIM 卡把药品投放到正确的地点,阻止了疫情的蔓延。