大数据背景的变频兴趣变化推荐算法研究.doc

大数据背景的变频兴趣变化推荐算法研究
摘 要:现有的适应兴趣变化的协同过滤算法不能反应用户兴趣变化的频率,对即时热点也不足够敏感。同时,因为计算量大,不适应大数据场景。为此我们采用对时间分层的推荐模型结合热点权重函数,解决了模型
以上所描述的经典协同过滤推荐算法存在的不足之处在于,关注资源和用户之间的相似性,忽略了用户兴趣的动态变化。为此,为了突出用户近期访问资源的重要性,出现了基于时间加权的动态协同过滤推荐算法。
首先考虑用户的兴趣随时间不断变化。多数情况下,时间越久则访问的资源权重越低。因此,一个用户感兴趣的资源和用户近期的访问记录关系更大。为此可以考虑需要引入基于时间的数据权重函数来进行描述。
假设资源i对用户x的权重函数为:
其中,Dxi为用户x对资源i的访问时间与用户x最早访问某资源的时间间隔。Lx为用户x访问推荐系统的时间跨度或系统设置的可信时间间隔。α∈(0,1)成为权重增长指数。改变α的值,可以调整权重随访问时间的变化速度。观察可知,该函数随时间跨度增加而递减。
当然,根据生产环境中的工程需要,我们也可以设计别的算法对权重函数进行调整。 基于以上的权重函数,我们提出改进后的基于用户兴趣变化的协同过滤推荐模型。
推荐算法B:改进后适应用户兴趣变化的协同过滤推荐模型
输入项:用户x;用户已访问资源集Ix;资源的邻近集合M;
输出项:用户x的Top-N资源集P。
算法步骤:
Step1. 读取M,得到M的K近邻数据集Ni={i1,i2,…,in},合并后获得数据集C;
Step2. 从C中删除Ix中已有的资源,得到候选的推荐数据集合Cx;
Step3. 利用公式1,计算权重函数W(x,i);
Step4. 对于资源j∈Cx,推荐度:
,取资源的Top-N得到用户x的推荐资源集P。
这种算法能比较有效解决动态兴趣变化情况下的推荐准确性,但同时也带来了新的问题。
首先,用户的兴趣变化和时间的对应时间函数很难模拟。不论是用户访问资源的频率,还是用户兴趣的变化频率,在某个较长时间周期内,都具有很大的不确定性。
其次,资源本身随时间的热度变化对用户的访问****惯造成的影响,干扰了推荐准确性。
第三,算法模型进一步复杂,计算过程耗费系统资源,大数据背景下很多场景不适用或性能表现不佳。
第四,用户的兴趣变化并没有规律性,访问资源的****惯也和个人****惯有很大关联。较冷门的、或用户****惯无关但又可能是用户需要的资源得不到有效推荐。
以上这几种缺点,都导致类似算法在生产环境中的使用受到限制。
改进的基于时间的变频协同过滤模型
基于对算法B的分析,我们考虑对以往的算法进行改进。
首先,我们考虑系统内资源的自关联关系,即资源本身与其它资源的关联度或推荐度。考虑到各種相似度算法计算的复杂性,我们在计算这些关联度的时候,不使用任何的资源相似性推荐算法。仅根据资源的“绑定程度”来进行统计。
例如,某个用户访问资源i的同时访问了一次资源j,或者某个用户购买了一次商品i的同时,购买了商品j,则我们认为i和j的关联度为1。这种关联关系在生产环境中极其容易获取,往往格式化存储于用户访问记录或者购物表单中。统计在某个特定的时间段T内,这些资源的关联关系,可以得到所有用户在访问系统资源i的时候,i对应的资源集合Ct。
考虑到在电子商务推荐的环境下,每个用户的访问资源往往多个。假设平台用户集合为Ix,考察因此我们可以统计在有限时长T内,资源被不同用户i访问的集合Ci。则平台在有限时长T内,其用户集合I(x,t)访问的资源集合Ct=∑i∈I(x,t)Ci。汇总该集合,则产生以下的推荐算法。
推荐算法C:自适应时间-兴趣变化的协同过滤模型
输入项:用户x ;有限时间T内用户已访问资源集Ix;有限时间T内用户集合I(x,t)访问资源的集合Ct;
输出项:用户x的Top-N资源集P。
算法步骤:
Step1. 读取Ct,遍历Ix,得到Ct基于用户x的K近邻数据集Ni={i1,i2,…,in},合并后获得数据集C;
Step2. 遍历Ix,去除C中重复元素;
Step3. 统计C中资源访问频次,选取Top-N1,形成候选资源集Cx;
Step4. 对于资源 j∈Cx,按照公式1计算推荐度:
,取资源的Top-N得到用户x的推荐资源集P。其中N1远大于N。
与以往的算法相比,这种算法