云计算基础第9章云计算与大数据.pptx

第9章云计算与大数据
概述







大数据应用领域
概述 大数据的概念
什么是大数据?
1. 大数据是一个体量和数据类别特别大的数据集,无法用传统数据库工具对其内容进行抓取、管理和处理。
2. 大数据本质上和传统的数据本无差异,他们大多是结构化、半结构化或者非结构化的数据。只是因为他们的数量级增长太快,我们需要用全新的方式来计算这些数据。
概述 大数据的概念
大数据具有4V特点:
1. 规模大(volumes),这种规模可以从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。
(variety),可以是不同的数据格式,如文字、图片、视频等,可以是不同的数据类别,如人口数据,经济数据等,还可以有不同的数据来源,如互联网、传感器等。
(Velocity)。数据是不停地变化的,可以随着时间快速增加大量数据,也可以是在空间上不断移动变化的数据。
(Veracity)。也就是价值密度低,因为大数据本身也具有一些问题,比如高噪声,缺失值等问题,因此需要更加精细化地分析处理,才能取得更好的效果。
概述 大数据发展概况
1. 在全球七大重点领域内(包括教育、交通、消费、电力、能源、大健康以及金融),大数据的应用价值预计在32200-53900亿美元之间。
2. 我国大数据仍处于起步发展阶段,各地发展大数据积极性较高,行业应用得到快速推广,市场规模增速明显。
3. 面临挑战:
59%的数据是无效数据,
70%-85%的数据过于复杂,
85%的企业数据架构无法适应数据量和复杂性增长的需求,
98%的企业无法及时、准确地为业务提供正确的信息。
概述 大数据发展趋势
机器学****算法越来越重要
在分析领域内存计算应用更普遍
Hadoop的应用领域将更加广泛
预测分析业务激增,精准地预测未来可能放生的行为和事件
数据可视化技术方便数据检索与处理
物联网、云技术、大数据和网络安全深层融合
边缘计算技术兴起
概述 云计算与大数据的关系
:云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。大数据着眼于数据,云计算着眼于计算,数据是计算的对象。
:数据存储,数据处理和数据分析。
分布式数据挖掘
分布式处理
分布式数据库
云存储
虚拟化
如:Mahout
如:MapReduce,JobKeeper
如:HBase,数据立方
如:HDFS,cStor
如:VMare,OpenStack
SaaS
PaaS
IaaS
大数据的应用
:
主要是针对供需两方的,获取需方的个性化需求,帮助供方定准定位目标,然后依据需求提供产品,最终实现供需双方的最佳匹配。智能化的搜索引擎、精准营销、选址定位等。大概可以分为三类:
,比如智能化的搜索引擎,搜索同样的内容,每个人的结果都不同。或者是一些定制化的新闻服务,或者是网游等。
,现在已经比较常见的互联网营销,百度的推广,淘宝的网页推广等,或者是基于地理位置的信息推送,当人到达某个地方,会自动推送周边的消费设施等。
,包括零售店面的选址,或者是公共基础设施的选址。
大数据的应用可以概括为两个方向,一是精准化定制,二是预测。
大数据的应用
:
主要是围绕目标对象,基于它过去、未来的一些相关因素和数据分析,从而提前做出预警,或者是实时动态的优化。从具体的应用上,也大概可以分为三类:
,小到企业的运营决策,证券投资决策,医疗行业的临床诊疗支持,以及电子政务等。
,比如疫情预测,日常健康管理的疾病预测,设备设施的运营维护,公共安全,以及金融业的信用风险管理等。
,比如智能线路规划,实时定价等。
大数据的应用 大数据产业链
大数据产业链主要包括数据采集、数据存储、数据处理和数据应用等环节。
以数据产品为中心的纵向结构与以大数据技术为中心的横向结构结成一个"T"型价值链结构
大数据的应用 大数据核心技术
大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用。
数据应用门户
报表系统
自助取款
绩效考核
专题分析
监控预警
数据挖掘
实时API
工作流引擎
非结构转换
搜索引擎
推荐引擎
Oracle/MySql/DB2..