基于Hadoop的电商平台大数据挖掘研究.doc

基于Hadoop的电商平台大数据挖掘研究
李蓉蓉
广东科技学院
X
关注成功!
加关注后您将方便地在我的关注中得到本文献的被引频次变化的通知!
新浪微博
腾讯微博
人人网
开心网
豆瓣网
网易微博
摘    要:
针对电商平台大数据特点和电商平台的发展需求, 提出的基于Hadoop的电商平台大数据挖掘研究方案, 描述了云计算大数据存储技术, 构建了一种电商平台大数据挖掘框架, 对电商平台大数据挖掘过程进行分析, 探讨了几种数据挖掘算法。
关键词:
Hadoop; 大数据; 数据挖掘; 电子商务;
作者简介:李蓉蓉(1985-) , 女, 湖南桃江人, 硕士, 讲师, 研究方向:软件工程, Web应用开发。
收稿日期:2017-10-17
Received: 2017-10-17
1 基于云计算的大数据存储技术
Hadoop框架
Hadoop是一个分布式并行编程开源框架, 实现了Map Reduce计算模型, 允许在整个集群使用Map Reduce计算模型计算机的分布式环境存储并处理大数据, 可以实现上千台机器的扩展, 提供本地计算和存储。Map Reduce是云计算的核心计算模式, 是一种简化的编程模式, 运用分布式运算技术, 解决某类问题的开发模型。其可以自动分割问题, 分割成映射(Map) 和化简(Reduce) 方式。程序员可以借助Hadoop编写程序, 实现对海量数据的处理。此外, Hadoop还提供一个用来将数据存储或部署到各个计算节点上的分布式文件系统及分布式数据库。借助Hadoop框架及云计算核心技术Map Reduce可以很好的处理大规模数据, 可以将HDFS和HBase很好的融入到云计算框架中, 实现云计算的分布式、并行计算和存储[1]。
基于云计算的海量数据存储模型
根据海量数据的特性, 结合云计算技术, 提出基于云计算的海量数据存储模型, 如图1所示。该模型主要由主服务器机群和存储节点机群组成, 配合Map Reduce、HDFS和HBase等对海量数据资源的存取和控制。HDFS和HBase用来将数据存储或部署到各个计算节点上。Hadoop架构和Map Reduce调度和维护数据, 避免系统拥塞和故障。用户可以通过Hadoop架构直接存取节点进行交互操作。
图1 基于云计算的海量数据存储模型  下载原图
2 电商平台大数据挖掘框架
针对电商平台大数据特点, 数据挖掘为电商活动提供更有用的知识, 更精确的信息以及更及时的响应, 提出了一种电商平台大数据挖掘框架, 如图2所示。电商平台用户数据挖掘框架包括六层[2]。
图2 基于大数据电商平台大数据挖掘框架  下载原图
3 电商平台大数据挖掘流程
电商数据是电商平台的生命线之一。利用这些海量数据与其业务进行关联, 对用户的消费行为进行分析, 借助数据挖掘技术, 可以让平台更具有竞争性, 从而获取商业价值。大数据挖掘能够主动学****通过人工职能算法和机器学****方式整理和学****数据呢绒, 并且将学****的内容记忆到知识库中, 为下次学****提供基础, 吸收海量数据进行数据挖掘与分析。电商平台大数据挖掘流程如图3所示[3]。
图3 电商平台大数据挖掘流程  下载原图
从电商网站收集用户的数据, 包括浏览数据、消费数据