基于大数据的用户行为分析系统.pdf

专题
DIGITCW 技术
Special Technology
基于大数据的用户行为分析系统
应用等带来便利。
RDD，并进行求值的过程。最终，RDD 中的数据会分布
到集群中，实现并行化的操作执行。 3 关键技术
Hadoop 用户行为的数据采集
Hadoop 技术是基于分布式服务器集群对数据进行运 数据采集是该系统的基础内容，是数据分析的关键
算和分析的框架。包括 HDFS、MapReduce、Yarn 组件。 步骤。采集的用户行为数据质量，直接影响着用户行为
基于本文主要研究内容，着重对 MapReduce 组件进行介 分析结果的质量。在传统数据采集与应用的系统中，主
绍。首先， 组件是一种数据处理的编程模型，
MapReduce 要对用户的操作行为、浏览****惯行为等数据进行采集，
分为 ：Map、Reduce 两个阶段 [1]。
并通过第三方数据收集相关脚本信息。但这种方式存在
Clickhouse 一定的估算误差，导致用户行为倾向程度判定不精准 [2]。
Clickhouse 是一个列式数据库，建立该数据库的目 因此，本系统设计中，深度应用大数据技术，通过编写
的在于对数据进行快速的在线分析与处理 [2]。Clickhouse 代码，实现对用户的全量事件、指标的跟踪与分析。
数据库的优点包括 ：紧凑数据格式、数据压缩、数据存
用户行为的数据分析
储在磁盘、多核处理、支持分布式、支持部分 SQL、数