产品数据分析建模方案.docx

产品数据分析建模方案.docx产品数据分析建模方案
一、 概述
建设背景
对于企业在人才管理上的问题：不能有效的发现自己的人才储备 落后于行业的发展，在职员工可能存在上面异常的方面，更好的规划 薪酬范围，让员工在个人岗位上获得满足感。依据能力制定合理的薪 酬范围。依据行业画像，个人能力画像，提供分层数据，做决策展示。 项目经理对人才的选拔。
建设目标
通过建立大数据体系下的数据挖掘平台，分析业务数据，为我们 的客户提供更好的决策，并开发可视化模块，将结果展示给我们的客 户，并且确定经营方向，做好推广工作。
二、 需求分析
数据来源
主要的数据来源之一是现有的数据库数据，接通到大数据平台进 行分析，还有一部分外部数据，使用爬虫爬的数据，实时更新每日的 趋势展示，另外一部分从业者的信息，能否通过购买其它合作企业的 信息，满足分析需求。
数据提取整体思路，算法需求设计
行业信息展示的数据提取，主要是为了展示某职位在行业的各个 特征维度下的占比，比方说以地域来划分行业对当前职业的需求饼
图。某职位在每个行业的每日需求趋势。每个行业对某主要需求的职 位的技能词云统计。洞悉趋势
薪酬预测的数据，需要职位的分类信息，以及每个分类下的每日 整体数据，包括最大值，最小值，平均值。以预测这一部分数据为指 导，通过数据分析是手段，找到相关的特征信息，比方说，每日上线 的从业者，每日简历的更新次数，发布新需求的企业个数等等作为特 征，由数据挖掘工程师进行抽取。人才倾斜，造成竞争力处于行业底 层
客户画像展示将从业者对当前行业投递的简历信息聚合，进行多 维度的展示，并对聚集的数据，进行算法分层，提供一个标签输入栏， 输入标签数据，获得从业者在分层系统。客户当前的行业画像展示, 由人才构成图，工资趋势，行业的趋势，每年发布招聘的行业个数的 变化，新公司名称的个数。行业招的岗位分布情况。
三、建设方案
数据挖掘算法系统框架图参考
5VM LR KMwns G8DT 4 从 F
MLRunner
AALLeomer
TroinTask
AngtlPSClient
PSModelPod
PSVector
Angel* API
Spork-Oient
I Optimixer | Metric | Objective |
Model Vector Feature psFunc
Client
Core
Controller
Indexer
PSAgenf
\ Cache
(Network
\ j Storage
(RPC )
(RDMA )
1 ( Memory )(
Disk
J

PSServer
Updater J Q Protocol
Worker
Worker
Partiticner
产品的可视化原型展示
大数据算法模型平台架构
业务系统数据
实时类数据
互联网数据
（数据接入）
（爬取，内部数据）
（数据爬取）
数据采集
其它离线数据
（购买数据等• •）
实时数据处理
数据存储
离线数据处理
MySQL集群
MongoDB 集
群
HDFS
Hbase
JAVA, SCALA, PYTHON, R
集群服务节点规划
机器1
机器2
机器3
机器4
机器5
机器6
机器7
HDFS
NameNode
NameNode
DataNode
DataNode
DataNode
DataNode
YARN
Resource
Resource
Node
Node
Node
Node
ZOOKEPER
Zookeeper
Zookeeper
Zookeeper
Zookeeper
Zookeeper
Zookeeper
KAFKA
Kafka
Kafka
Kafka
Hbase
Master
Master
Master
Region
Region
Region
f 1 ume
F1 ume
F1 ume
F1 ume
F1 ume
h i ve
Hive
mysq 1
Mysq 1
spark
Spark
mongodb
mongodb
爬虫
Python
另外提供爬虫提取互联网数据方案。
四、算法实现举例
回归模型算法设计案例
薪酬回归预测算法构建案例（算法方案来自于携程赛十四个月出