个性化推荐系统

本文详细介绍了个性化推荐系统的工作原理,包括分布式服务器架构、数据获取与存储、离线及在线模型训练、实时标签计算、规则设定以及推荐逻辑。重点讨论了如何利用redis、mysql、kafka和sparkstreaming进行数据处理,以及xgboost模型在在线模型训练中的应用。此外,还阐述了冷启动策略和推荐排序模型的构建。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、个性化推荐系统的推荐引擎:其实就是很简单的一个java web代码,但是响应达到毫秒级,为什么这么快?
(1)服务器分布式:请求经过5台ALB(负载均衡服务器),然后分发到40台BLU(响应服务器)进行处理
(2)服务器取数是到redis取,redis是基于内存的,所以取出来很快
2、个性化推荐中涉及到数据挖掘,机器学习那一块的,是指离线模型,准实时模型和在线模型:
根据用户的行为特征(浏览行为和指标):训练出模型:比如rfh模型:
客户uid|tfh|跟他拥有同样爱好的也浏览过这个offer|优先级1
客户uid|tfh|跟他拥有同样爱好的也浏览过这个offer|优先级2
训练模型,就是根据个推的点击日志,和TD的指标数据,利用Python进行训练,训练成一种.pmml文件
这种训练好的模型,就加载到redis,然后根据管理端设定的规则,将模型里面的offer推荐出去
3、实时标签
比如人对基金产品的偏好标签,是根据kafka里面该产品实时的浏览,点击,交易等数据,以及离线平台加工到redis的背景数据(历史浏览,点击等行为),根据各个行为设置的权重,根据公式求出这个基金产品对于这个人的得分,这个得分就可以看成一个标签。然后模型就可以根据这个产品的这些标签,结合历史数据,对这个产品进行评分
4、离线模型:离线模型推荐的产品就是根据协同过滤,规则关联等算法得到的,这个过程即召回。离线模型主要是推荐基金产品
5、规则:如果某个客户有某个标签,就去推某条offer。这就是规则。即:if(客户满足某个条件)then(给他推某某个产品)
6、redis+mysql是内存+磁盘关系的一个映射,mysql放在磁盘,redis放在内存。web应用每次只访问redis,如果没有找到的数据,才去访问Mysql。 查询先查redis没有再去查mysql,新增或修改直接操作mysql然后更新redis
7、个推推荐逻辑:
(1)offer:当请求进来后,去redis拿我们加载进去的用户画像指标。就会首先运行栏位上面的绑定的规则(比如:如果资产大于20,就推某个offer),判断这个客户是否满足规则条件,满足的话就给他推这个offer。其中规则推offer用的是

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值