Oracle大数据解决方案.pdf

<Insert Picture Here>
Oracle Big Data Solution
大数据有大智慧

祁国辉
Oracle Sales Consultant manager
Why 大数据
•社交网络
• UGC
• Sensor
•物联网
•网络数据
• RFID
• CX
大数据之前世今生
大数据的胜利
•“我们要用数据去衡量这场竞选活动中的每一
件事情。”-- Obama竞选活动经理Jim Messina
•竞选总部任命Rayid Ghani为“首席科学家”
•Ghani和他的团队将试图挖掘选民在公开市场上
可得的行动、行为、支持偏向方面的大量数据,并
预计出选民的选举模式,这将使奥巴马竞选团队
的花费更加精确和有效率。
•新的大数据库能让竞选团队筹集到比他们曾预
料到的更多的资金
•“我们每天晚上都在运行66000次选举。每天早
上,我们都会得出数据处理结果,告诉我们赢得
这些州的机会在哪,从而我们去进行资源分配。”
•华盛顿那些基于直觉与经验决策的竞选人士的
优势在急剧下降,取而代之的是数量分析专家与
电脑程序员的工作
•新的互联网,新的候选人,新的操盘手,一场新
式的选举,创造出一个新媒体时代的总统。
大数据特点- 4个V
•巨大的数据量 Volume
•集中储存/集中计算已经无法处理巨大的数据量
•+,高峰每天几亿条
•仅一个百万家庭级别城市的智能电网每月可产生数十亿的智能电表数据
• 2015年全球移动终端产生的数据量将达到6300PB
•非结构化数据无固定格式变化多 Variety
•文本/图片/视频/文档等
•并发极高,增长速度很快 Velocity
•用户基数庞大/设备数量众多/实时海量/数据指数级别增长
•充分利用消息价值 Value
•单条数据本身并无太多价值,但庞大的数据量累积并隐藏了巨大的财富
• Volume, Variety, Veloctity, Value正是大数据的特
点,具有4V特性的数据称为大数据。
企业的数据金字塔
전략구분
组织决策层
• CXO
•决策层
•100+用户
组织内部员工
•一线员工
•企业中层
•10000+用户
消费者
•数字一代
•线上线下
•**********
+用户
一个大数据应用的例子
采集客户购物中心相关的微博,Facebook等评价
信息
전략구분
定时跟进促销效果,调整营销
策略
采集客户在购物中心的行进路线,定点定时推送手机广告和
优惠券
大数据提纯后的结果举例
43%的客户在缺货时,放弃全部购物,其中21%的客户会在网络上发布恶评。
48%的手机微博用户,使用推送到手机的折扣券,其中15%的客户在网络上传播
挑战解决方案전략구분
决策捕
获
•大数据的采集源甚至来自于企业数•需要解决从多种数据源获取数据的
据库,数据仓库和ERP系统,而非工具和能力
仅仅来自于机器和网络
•引入具有商业服务的Hadoop产品
•多达PB级的大数据如何处理? 和服务
•大数据如何与既有的数据仓库集成•解决Hadoop和DW/BI系统之间的
? 数据搬迁和集成
分组
•需要雇佣大量的Hadoop的开发者•减低高门槛的Map Reduce编程析织
?
•如何解决原有的BI工具与Hadoop 大数据处理的闭环
的结构的集成问题?
传统DW难以处理大数据
•大数据的4V特点: Volume, Variety, Veloctity, Value
•传统DW系统不适用于大数据的分析
•数据量过于庞大,集中存储/集中计算很难获得令人满意的效果
•绝大部分数据是垃圾,全部放入DW中是对资源的浪费
•传统DW在应对大数据的多样化格式上比较吃力
•需要革新性的技术手段
•海量数据“分而治之”------批量分布式并行计算Hadoop
•海量数据“灵活多变”------实时分布式高并发数据存取处理NoSQL
•海量数据“跨越鸿沟”------大数据超高速装载进数据库
架构变革- 传统数据仓库 vs Big Data
Moving central data puting puting distributed local data
+