基于文本数据的用户画像实践大纲用户画像概述大数据环境下的技术挑战基于文本数据的画像系统精益演进人工智能和自然语言处理技术明略用户画像实际效果用户画像概述•基于什么数据•能产生什么价值•常见数据和应用场景最简单的用户画像系统场景举例•某银行希望判断某客户是否“土豪”,决定是否发放黑卡实现方式•selectbalance,_infowhereid=‘**********’;•前端对接查询系统当数据变得更大存储•分布式存储(HDFS)•分布式数据仓库(Hive)计算•预先计算好复杂标签•NoSQL数据库提供查询(HBase)重新考虑场景场景举例•某银行希望针对“土豪”客户,批量发放黑卡实现方式•selectid,_infowherebalance>100000000andeducation<3;•前端对接查询系统当数据变得更大存储•源数据是如何组织的?计算•逐个用户进行计算vs逐个标签进行计算?•标签预期如何分布?明略的选择明略服务客户特点•全国性客户为主,用户量在十亿量级•需求多样,标签数量在2000左右•数据较为稀疏技术选择•按用户组织数据技术挑战:标签组合反查场景举例•余额大于100万•教育程度初中以下•居住在北京市朝阳区•有高端会所消费•……需求分级:数量需求,列表需求应对方案基准方案•扫描全表:10分钟量级•建立查询缓存针对数量需求的优化•扫描抽样表:1秒量级•预建cube:划定n个标签的范围,组合最多m个标签,预先计算好各种组合的计数
基于文本数据的用户画像实践ppt课件 来自淘豆网www.taodocs.com转载请标明出处.