浅谈大数据.docx

浅谈大数据去年三月,在北京举行的一场大数据产业推介会上,马云首次提出“人类正从 IT 时代走向 DT 时代”,并指出 DT(Data technology)时代利用数据处理技术,以服务大众、激发生产力为主。在变革过程中,IT 与 DT 不仅存在技术上的差异,在思想观念层面也有显着不同。IT(Information Technology)时代利用的是信息技术,以“我”为中心,强调自我控制、自我管理,而 DT 则充分挖掘数据资源,以“别人”为中心,不仅强调舒服的客户体验,而且也需要公开透明的游戏规则与行业环境。DT 时代的挑战和机遇,在于把互联网和传统行 业相结合。当然,在走向 DT 的过程中,无论是客户体验,还是互联网与传统行业的结合,数据无疑是争夺的重点资源,甚至可以说 Data 为王。那么什么是大数据呢?Garnter 给出的定义:大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[1] 中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的 4V 特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。下面我们从一个有趣的例子开始,1948 年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告 的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例 汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一 样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车 的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说: “我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。这个例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或者与我们关系不大。在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。第二层面是技术,技术是大数据价值体现的手段和前进的基石。将分别从云计算、分布式处理技术、存储技术和感知