cjl的博客

数据分析概念总结APrirori算法： 通过分析购物篮中的商品集合，找出商品之间的关联关系。利用这种隐性关联关系，商家就可以强化这类购买行为，从而提升销售额。商业智能 BI、数据仓库 DW、数据挖掘 DM 三者之间的关系预测用户购物行为属于商业智能，即Business Intelligence，缩写是 BI他们积累的顾客的消费行为习惯会存储在数据仓库中，即Data Warehouse，缩写DW通过对个体进行消费行为分析总结出来的规律属于数据挖掘，即Data Mining，缩写是 DM

个性化电商广告推荐系统1. 数据介绍2. 项目实现分析2.1 数据概况2.2 业务流程3. 预处理behavior_log数据集3.1 创建spark session3.2 读取文件并修改schema3.3 查看数据情况3.4 透视表操作3.5 把btag中的操作转化为打分3.6 根据用户对类目偏好打分训练ALS模型3.7 ALS模型预测 初步存储到redis中4. 分析处理raw_sample数据集4.1 加载数据并修改schema4.2 查看数据情况4.3 广告展示位进行热度编码4.4 根据时间戳划分

Spark Sql 和DataFrame总结Spark Sql总结1. Spark SQL概述2. DataFrame2.1 DataFrame概述2.2 DataFrame vs RDD 区别2.3 Pandas DataFrame vs Spark DataFrame3. DataFrame 操作3.1 创建DataFrame3.1.1 从RDD创建DataFrame3.1.2 从CSV文件创建DataFrame3.1.3连接数据库3.1.4 读取json数据3.2 DataFrame操作3.3 综合

sqoop+HBase 总结1. sqoop 介绍2. HBase介绍3. 面向列数据库3.1 HBase 与 传统关系数据库的区别3.2 Hive 和 Hbase区别3.3 Hbase 和 传统关系型数据库区别4. Hbase 数据模型5. HBase基础架构1. sqoop 介绍作用 数据交换工具 可以实现 数据在mysql oracle<==> hdfs之间互相传递原理 通过写sqoop 命令 把sqoop命令翻译成mapreduce 通过mapreduce连接各种数据源

推荐系统总结一1. 什么是推荐系统2. 推荐系统实验方法2.1 离线实验2.2 用户调查2.3 在线实验3.评测指标3.1 用户满意度3.2 预测准确度3.3 覆盖率3.4 多样性3.5 新颖性3.6 惊喜度3.7 信任度3.8 实时性3.9 健壮性3.10 商业目标3.11 总结3.12、评测维度1. 什么是推荐系统在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战:作为信息消费者，如何从大量信息中找到自己感兴趣的信息是一件非常困难的事情;作为信息生产者， 如何让自己生产的信息脱颖而出，

聚类算法聚类算法分类：粗聚类、细聚类一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中计算样本和样本之间的相似性，一般使用欧式距离sklearn.cluster.KMeans(n_clusters=8)参数:n_clusters:开始的聚类中心数量k-means其实包含两层内容：k – 选几个中心店means – 均值计算流程随机设置K个特征空间内的点作为初始的聚类中心对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记

小白之通俗易懂的贝叶斯定理贝叶斯定理的产生以及意义什么是贝叶斯定理？贝叶斯定理的应用案例贝叶斯定理套路生活中的贝叶斯思维转载自：https://mp.weixin.qq.com/s/lR3eeSWYHJDAJ9kJUzXc7w贝叶斯定理的产生以及意义1、贝叶斯定理的产生来源英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。而这篇论文是在他死后才由他的一位朋友发表出来的。在这篇论文中，他为了解决一个“逆向概率”问题，而提出了贝叶斯定理。在贝叶斯写

基于ml-latest-small的基于TF-IDF的特征提取词向量词向量用向量来表示词语可以表示语义层面的含义如果用word2vec模型创建的词向量，两个词向量相似度比较高，说明这两个词是近义词词向量作用把含义相近的判断转换成向量的相似度计算使用gensim Word2Vec模块训练词向量模型sentences = list(movie_profile[‘profile’].values) #准备所有用来训练词向量模型的文本model = gensim.models.Word2Vec(s

基于ml-latest-small的基于TF-IDF的特征提取基于内容推荐流程基于内容推荐流程建立物品画像数据来源：用户打tag 和 电影的分类值根据tf-idf的结果 为每部电影筛选出top-n（td-idf较大）个关键词电影id-关键词-关键词权重建立倒排索引通过关键词找到电影遍历 电影id-关键词-关键词权重 读取每一个关键词，用关键词作为key [(关键词对应电影id，tfidf)]作为value 保存到dict中用户画像看用户看过电影（打过分的），到电影的id-

推荐系统之基于矩阵分解的CF算法实现案例数据来源：https://www.kaggle.com/shubhammehta21/movie-lens-small-latest-dataset源码详见：https://gitee.com/chenjialun16/recommendation_system

基于ml-latest-small的交替最小二乘法优化电影推荐案例交替最小二乘法优化、python

基于ml-latest-small的梯度下降baseline损失数据来源：movie-lens-small-latest-dataset推荐系统、baseline损失、实验、案例

基于协同过滤的电影推荐-案例数据来源：movie-lens-small-latest-dataset推荐系统、协同过滤、实验、案例

推荐系统推荐算法架构推荐模型构建流程协同过滤推荐算法(Collaborative Filtering)杰卡德相似度&余弦相似度&皮尔逊相关系数推荐算法架构召回阶段(海选)召回决定了最终推荐结果的天花板常用算法:协用过滤(基于用户基于物品的)基于内容(根据用户行为总结出自己的偏好，根据偏好通过文本挖掘技术，找到内容上相似的商品)基于隐语义排序阶段召回决定了最终推荐结果的天花板,排序逼近这个极限，决定了最终的推荐效果CTR预估(点击率预估使用LR算法)估计用户是否

协同过滤推荐算法简单代码实现（皮尔逊相关系数）点击查看源码

协同过滤推荐算法简单代码实现（jaccard）基于用户、商品协同过滤推荐算法简单代码实现