- 博客(262)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 搜索推荐整理（一）---推荐相关技术
排序模型： FM -> DeepWide -> DCN -> LHUC -> DIN -> SIM损失函数： pointwise -> pairwise -> listwise召回： 离散空间 & 语义空间 多目标： MMOE -> ESMM -> PLE去偏： 偏差分类 -> 去偏方法 多样化：MMR 多样性算法 -> MMR 多样性算法评估指标：冷启动： E&E: 在FM中的特征 与其他特征的交叉时，特征 使用的都是同一个隐向量 。而FFM将特征按照事先的规则分为多个场(Fiel
2025-03-15 12:11:44
1073
转载 大模型系列(七)---A Survey on Large Language Models for Recommendation
prompt tuning和instruction tuning的区别主要是，prompt tuning的训练任务是一个特定的任务，而instruction tuning的训练任务是多个任务。比如，“Zero-shot recommendation as languagemodeling”挖掘电影推荐任务的提示，“Large language models arezero-shot rankers for recommender systems”提出了两个提升序列推荐能力的提示方法。
2025-05-08 16:46:55
55
原创 大模型系列（五）--- GPT3: Language Models are Few-Shot Learners
Zero-shot的概念很诱人，但是别说人工智能了，哪怕是我们人，去学习一个任务也是需要样本的，只不过人看两三个例子就可以学会一件事了，而机器却往往需要大量的标注样本去fine-tune。GPT模型指出，如果用Transformer的解码器和大量的无标签样本去预训练一个语言模型，然后在子任务上提供少量的标注样本做微调，就可以很大的提高模型的性能。GPT2则是更往前走了一步，说在子任务上不去提供任何相关的训练样本，而是直接用足够大的预训练模型去理解自然语言表达的要求，并基于此做预测。
2025-05-07 16:08:09
438
原创 大模型系列（四）--- GPT2: Language Models are Unsupervised Multitask Learners
GPT-2 在最后一个自注意力层后增加层归一化（Layer Normalization, LN）主要与其架构调整和训练稳定性优化密切相关，具体原因如下：输出分布稳定性增强深层模型中，最后一层自注意力输出的激活值可能因参数累积出现分布偏移。额外添加的 LN 通过对输出的均值和方差进行归一化，使后续前馈层或生成阶段的输入分布更稳定，缓解梯度异常（如梯度爆炸），提升模型收敛效率24。生成阶段的动态控制语言模型的生成过程具有自回归特性，各时间步的输出需具备可控的数值范围。
2025-05-07 15:27:48
1224
原创 大模型系列（三）--- GPT1: Improving Language Understanding by Generative Pre-Training
论文链接：点评：首次将Transformer的decoder部分引入无监督训练且引入了辅助训练目标，文章证明无监督训练对后续的有监督训练效果有很大的帮助。自然语言理解涵盖了一系列广泛且多样化的任务，包括文本蕴含推理、问答系统、语义相似度评估以及文档分类等。尽管大规模未标注文本语料库资源丰富，但针对这些特定任务进行学习所需的标注数据却相对稀缺，这使得基于判别式训练的模型难以取得理想性能。
2025-05-06 17:48:49
472
转载 搜索推荐整理（二）---搜索相关技术
搜推广或搜广推，意思是指搜索、推荐、广告，是、机器学习的主航道，是商业变现最成熟的渠道，同时也是最内卷的行业。三者本质上都是在满足用户需求，但因为场景不同，导致有各自区别和侧重点。共性上看： 三者做法都分为召回+排序+的三个阶段；从区别上看搜索因为用户给定了查询query更侧重用户意图理解，广告需要商家投流出价因此限定在商家投流广告的候选集内，而推荐相对约束最小候选集最大因而技术自由度也最高。从产品体验上说，搜索是用户主动，围绕用户搜索Query的明确需求；而推荐是被动的，需求相对不明确。
2025-05-05 12:43:04
227
原创 供应链算法整理（二）--- 智能补货
供应链业务的目标价值是：优化货品的供给、销售提供支撑，以降低成本，提高时效、收益，最终提升用户体验。基于目标价值，整体的算法模块分为：智能选品、智能预测、品仓铺货、智能补货、智能调拨、仓网路由、快递分配、智能定价。因此整体物流供应链算法的目标是提升周转率，提升动销率，降低在架率。本文重点讨论智能补货算法： 智能补货分为补货时间选择、补调决策、仓网路由决策。
2025-05-04 22:49:31
462
原创 供应链算法整理（一）--- 销量预估
在供应链管理领域有较多的预估场景，例如送达时长预估、销量预估、用电量预估。特别的在智能供应链领域，销量和库存的管理的智能化也依赖销量预估，因此在本文我们整理了 销量预估的算法详细的技术方案。时间序列预测在最近两年内发生了巨大的变化，尤其是在kaiming的MAE出现以后，现在时间序列的模型也可以用类似MAE的方法进行无监督的预训练。Makridakis M-Competitions系列（分别称为M4和M5）分别在2018年和2020年举办（M6也在今年举办了）。
2025-05-02 23:58:42
754
原创 营销定价系列（一）--- 商品定价技术
个人在工作中不仅是完成业务需求，实现方案同时也需要注意个人能力的提升，个人能力的提升又分为业务、技术和软素质三个方向。业务上需要了解当前业务的现状问题，不同问题的优先级和时间上当前和未来的阶段重点；技术上需要了解不同方案的选型对比，整体技术方案的技术深度广度（深度包含公式推导 -> 技术原理的证明 -> 技术细节的推挖掘->新技术论文的关注度；广度包含不同的技术路线对比，为什么选择这个技术路线？
2025-04-29 00:27:00
973
原创 大模型系列（二）---Attention is All you Need阅读笔记
2. self attention 和 multi head attention。4. positional encoding 和 word embedding。1. Transformer结构。
2025-03-30 23:35:07
312
原创 不同编程语言对比
3. 内存管理和对象模型：Python中一切都是对象，每个对象都需要维护引用计数，这增加了额外的开销。调度由Go语言的运行时进行（GMP模型），调度策略灵活高效，能够轻松创建大量Goroutines而不会造成显著的性能问题。：虽然Python在数据分析、机器学习和自动化等领域有广泛应用，但在需要极致性能的领域，如高性能计算、实时系统和嵌入式开发，Python可能不是最佳选择。不同语言之间进行对比，可以从多个角度考量，包括但不限于语言特性、性能、并发支持、标准库、社区支持、生态系统以及学习曲线等。
2025-03-20 15:15:37
337
原创 leetCode 解法集锦
博弈（对手转化为当前、位运算，计算两者之差)求和：前缀和+字典；同时保留最大值和最小值，求和最终计算。决策数字到可选+1，然后是倍数。原地存储(原地取反)、字符串处理。同时保留正序列和负序列，迭代计算。递归、动态规划、位运算去重。
2023-11-09 18:08:25
277
转载 神经网络深度学习（七）排序推荐进阶pairwise/listwise损失函数
pairwise 方法通过考虑两两文档之间的相关度来进行排序，有一定进步。
2022-09-19 00:52:42
4689
转载 NLP基础知识整理
目录一、生成模型 VS 判别模型一、生成模型 VS 判别模型从概率分布的角度考虑，对于一堆样本数据，每个均有特征Xi对应分类标记yi。生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。数据要求：生成模型需要的数据量比较大，能够较好地估计概率密度；而判别模型对数据样本量的要求没有那么多。https://blog.csdn..
2021-06-20 01:15:23
1434
转载 NLP概览---NLP 学习
1. 什么是NLP自然语言处理 (Natural Language Processing) 是人工智能（AI）的一个子领域。**自然语言处理是研究在人与人交互中以及在人与计算机交互中的语言问题的一门学科。**为了建设和完善语言模型，自然语言处理建立计算框架，提出相应的方法来不断的完善设计各种实用系统，并探讨这些实用系统的评测方法。2. NLP主要研究方向**信息抽取：**从给定文本中抽取重要的信息，比如时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来，就是要了解.
2021-03-19 00:49:02
1005
原创 机器学习基础知识（五）--- FTRL一路走来，从LR -＞ SGD -＞ TG -＞ FOBOS -＞ RDA -＞ FTRL
在线学习算法FTRL
2016-05-02 19:32:34
43532
16
原创 机器学习基础知识（四）--- 从gbdt到xgboost
gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛新开发的Boosting库。它是一个大规模、分布式的通用Gradient Boosting（GBDT）库，它
2016-04-09 19:34:15
32605
5
原创 JAVA练级之路（一）--- JAVA环境配置
一、JAVA环境配置： 1. jdk 1.7 安装： 2. maven安装： 3. idea安装 4. scala环境配置 二、使用idea创建工程 http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363
2016-01-17 23:46:44
858
原创 C++编程（四）--- 代码规范
1、变量命名规范作用域命名规范前缀说明无局部变量m_类成员变量（member）sm_类的静态成员变量s_静态变量g_全局变量sg_全局静态变量HttpFile *_pi
2016-01-17 23:16:10
1048
原创 机器学习基础知识（三）--- spark学习笔记
Scala是一门多范式的编程语言，一种类似java的编程语言[1]，设计初衷是实现可伸缩的语言[2]、并集成面向对象编程和函数式编程的各种特性。
2016-01-04 11:34:55
1484
原创 查询纠错、查询提示与意图识别
今天我们动手实现了一个查询纠错和查询提示的代码： 1. trie树代码如下：def build_trietree(root, str1): p=root; for i in range(0, len(str1)): if( p.has_key(str1[i]) ): p = p[str1[i]]; pri
2015-11-29 00:47:12
1685
原创 C++编程 （三）--- 深入C++后台开发
搞了很久搜索了，可是做的很多都是业务逻辑和PM的需求，也没有高大上的技术，我也认真总结和实践了一些深入的技术。总的来说C++后台开发深入一些的有网络编程、多线程编程、进程/线程同步/通信和调度、动态链接库使用、常用的框架的深入阅读和理解、常用的运行时程序问题排查（内存泄露、无法响应新的请求）、分布式系统的使用、高并发系统优化。所以本文一共分为如下九个部分：一、网络编程二、多线程编程三、
2015-10-28 18:11:12
11924
原创 机器学习（二）--- 分类算法详解
感觉狼厂有些把机器学习和数据挖掘神话了，机器学习、数据挖掘的能力其实是有边界的。机器学习、数据挖掘永远是给大公司的业务锦上添花的东西，它可以帮助公司赚更多的钱，却不能帮助公司在与其他公司的竞争中取得领先优势，所以小公司招聘数据挖掘/机器学习不是为了装逼就是在自寻死路。可是相比JAVA和C++语言开发来说，机器学习/数据挖掘确实是新一些老人占的坑少一些，而且可以经常接触一些新的东西。还是赶紧再次抓住机
2015-09-20 15:47:04
72409
4
原创 算法知识分类集锦
本文中作者收集了基础的算法题目，并对他们进行分类整理。仔细思考常用算法，发现它们的考察知识点也是固定的，常用的知识点有：组合数学、线性规划、概率论、数论、动态规划、空间换时间、递推等思想。所以本文的目录如下：一、组合数学题目二、线性规划题目三、概率论题目四、动态规划题目五、空间换时间题目六、递推找规律题目七、利用已有算法特性的题目一、组合数学面试题目
2015-09-03 13:40:07
1422
Modelsim6.5 license
2010-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人