大数据背景下的数据分析.doc

大数据背景下的数据分析
朱敏
云南省工会共青团妇联干部学校
X
关注成功!
加关注后您将方便地在我的关注中得到本文献的被引频次变化的通知!
新浪微博
腾讯微博
人人网
开心网
豆瓣网
网易微博
摘    要:
在大数据时代, 需要充分挖掘数据的隐藏价值, 对数据加强分析。为了完整正确地反映客观情况, 就必须在实事求是的原则下, 经过对大量的统计资料和数据进行加工制作和分析研究, 才能做出科学判断, 并编写成数据分析报告。
关键词:
大数据; 数据分析; 数据创新;
大数据开启了一次重大的时代转型, 现代信息系统让大数据成为可能。一个大规模生产、分享和应用数据的时代正在开启, 大数据将最终标志着“信息社会”名副其实, 庞大的人群和应用市场, 复杂性高、充满变化, 使中国成为世界上最复杂的大数据国家, 解决这种由大规模数据引发的问题, 探索以大数据为基础的解决方案, 是中国产业升级、效率提高的重要手段。
大数据的核心就是挖掘出庞大的数据库独有的价值。大数据的科学价值和社会价值正在体现在这里, 一方面, 对大数据的掌握程度可以转化为经济价值的来源;另一方面, 大数据已经撼动了世界的方方面面, 从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。数据分析可以帮助制定聪明的决策——它是把数据转化为信息的过程, 分析信息以得到见解, 并制定可以影响商业绩效的策略和行动计划。在大数据时代, 需要充分挖掘数据的隐藏价值, 对数据加强分析。
一、思维转变
如何准确分析大量数据对我们来说是一种挑战, 之前因为受存储、记录和分析工具的限制, 我们是收集少量数据进行分析。在数字化时代, 数据处理变得更加容易快捷, 我们能够在瞬间处理成千上万的数据。然而大数据背景下的数据分析需要思维进行转变。首先, 分析与某件事物相关联的所有数据, 而不是依靠分析少量的、随机的数据样本, 总结为要全体不要抽样;第二, 接受数据的纷繁复杂, 不再追求数据的精确性, 总结为要效率不要绝对精准;第三, 从思维上进行转变, 不再探求难以琢磨的因果关系, 转向关注事物间的关系, 总结为要相关不要因果。
二、大数据分析理念及方法
1、数据分析要引入统计学思想。
大数据背景下, 传统的抽样分析已经不适应大数据分析, 如果在大数据时代进行抽样分析就像在汽车时代骑马一样, 实际情况是“样本=总体”, 通过对数据网络之间的联系进行分析。随着数据挖掘技术的发展, 数据的获取自然会越来越容易, 但统计学作为从数据中读取信息的科学, 应该永远和获取数据的学问相伴相生。大数据的数据量巨大, 不能代表我们能观测到总体。有时候, 总体是可测的, 但更多时候, 总体从理论上是无法观测的。所以应该引入统计学思想, 帮我们从数据里还原出背后的真实。
2、大数据挖掘。
数据挖掘又叫数据库知识的发现, 它是一个从数据库中发现并提取隐含的、未知的有用数据。数据挖掘包括数据准备、数据挖掘以及结果解释和评价三个阶段。在数掘的整个处理过程中, 数据挖掘的分析方法是整个过程中最关键环节。伴随大数据管理和检索技术研究的进步, 数据挖掘技术将迎来巨大的发展机遇, 数据挖掘技术的应用也将更加广泛, 数据挖掘的工具也将更加强大。
3、数据分析流程。
因为大数据涉及区域广, 在行业