深度学习
关注
分享
扫一扫
文章平均质量分 95
深度学习相关理论基础
静静的喝酒
静静的生活就好
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
langchain学习笔记之基于RAG实现文档问答
本节将介绍使用langchain基于RAG的文档问答以及具体实现方法。原创 2025-02-21 05:13:27 · 981 阅读 · 0 评论 -
langchain学习笔记之消息存储在内存中的实现方法
本节将介绍langchain将历史消息存储在内存中的实现方法。原创 2025-02-16 23:40:46 · 930 阅读 · 0 评论 -
langchain学习笔记之langserve服务部署
本节将介绍LangServe服务部署原创 2025-02-14 04:04:49 · 1566 阅读 · 0 评论 -
langchain学习笔记之小样本提示词Few-shot Prompt Template
本节将介绍通过小样本提示词(Few-shot Prompt Templates)进行提示词追加的方法。原创 2025-02-12 00:08:31 · 1415 阅读 · 0 评论 -
深度学习笔记之BERT(五)TinyBERT
上一节介绍了DistilBERT模型，本节将继续介绍优化性更强的知识蒸馏BERT模型——TinyBERT模型。原创 2024-12-08 03:25:11 · 2040 阅读 · 0 评论 -
深度学习笔记之BERT(四)DistilBERT
本节将介绍一种参数、消耗计算资源少的BERT改进模型——DistilBERT模型。原创 2024-12-07 15:34:58 · 1415 阅读 · 0 评论 -
深度学习笔记之BERT(三)RoBERTa
本节将介绍一种基于BERT改进优化的预训练方法——RoBERTa原创 2024-11-27 00:41:07 · 1115 阅读 · 0 评论 -
深度学习笔记之BERT(二)BERT精简变体:ALBERT
上一节从Word2vec上下文信息的局限性角度出发，介绍了BERT是如何优化这一问题的，以及BERT的训练策略。本节将介绍BERT的一种精简变体：ALBERT。原创 2024-11-22 00:53:54 · 1061 阅读 · 0 评论 -
深度学习笔记之BERT(一)BERT的基本认识
从本节开始，将介绍BERT系列模型以及其常见的变种形式，主要以逻辑认识为主；并将过去的关于Transformer的相关内容结合起来，形成通顺逻辑即可原创 2024-10-31 17:23:06 · 748 阅读 · 0 评论 -
深度学习笔记之优化算法(八)Adam算法的简单认识
上一节介绍了基于Nesterov动量与RMSProp的融合算法，本节将介绍《深度学习(花书)》P187 8.5自适应学习率算法中的最后一个算法：Adam算法。原创 2023-10-11 20:44:26 · 904 阅读 · 0 评论 -
深度学习笔记之优化算法(七)总结与延伸：使用Nesterov动量的RMSProp算法
上一节介绍了RMSProp算法，本节在其基础上进行延伸，介绍基于Nesterov动量的RMSProp算法。原创 2023-10-11 14:39:11 · 728 阅读 · 0 评论 -
深度学习笔记之优化算法(六)RMSprop算法的简单认识
上一节对AdaGrad算法进行了简单认识，本节将介绍RMSProp方法。原创 2023-10-10 18:40:39 · 540 阅读 · 0 评论 -
深度学习笔记之优化算法(五)AdaGrad算法的简单认识
上一节对Nesterov动量法进行了简单认识，本节将介绍AdaGrad方法。原创 2023-10-09 18:58:06 · 661 阅读 · 0 评论 -
深度学习笔记之优化算法(四)Nesterov动量方法的简单认识
上一节对动量法进行了简单认识，本节将介绍Nesterov动量方法。原创 2023-10-08 18:56:00 · 3016 阅读 · 0 评论 -
深度学习笔记之优化算法(三)动量法的简单认识
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。原创 2023-10-07 19:57:57 · 826 阅读 · 0 评论 -
深度学习笔记之优化算法(二)随机梯度下降
本节将介绍随机梯度下降(Stochastic Gradient Descent,SGD)原创 2023-09-28 11:37:54 · 452 阅读 · 0 评论 -
深度学习笔记之优化算法(一)铺垫：梯度下降法VS最速下降法
从本节开始，将介绍深度学习中常见的优化算法。在介绍随机梯度下降之前，将针对最速下降法与梯度下降法之间差异性做一些说明。原创 2023-09-19 18:08:03 · 564 阅读 · 1 评论 -
机器学习笔记之最优化理论与算法(十二)无约束优化问题——共轭梯度法
上一节主要介绍了共轭方向法的重要特征以及相关证明，本节将介绍共轭方向法的代表算法——共轭梯度法。原创 2023-09-13 13:44:34 · 1182 阅读 · 0 评论 -
机器学习笔记自最优化理论与方法(十一)无约束优化问题——关于共轭方向法重要特征的相关证明
上一节介绍了共轭方向法的朴素思想与几何意义。本节将继续介绍共轭方向法的重要特征以及相关证明。原创 2023-09-12 16:14:52 · 679 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍
本节将介绍共轭梯度法，并重点介绍共轭方向法的逻辑与几何意义。原创 2023-09-10 22:06:08 · 1158 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(九)无约束优化问题——常用求解方法(下)
上一节介绍了牛顿法、拟牛顿法。本节将继续以拟牛顿法为基础，介绍DFP,BFGS方法。原创 2023-09-07 19:16:31 · 555 阅读 · 1 评论 -
机器学习笔记之最优化理论与方法(八)无约束优化问题——常用求解方法(中)
本节将继续介绍无约束优化问题的常用求解方法，包括牛顿法、拟牛顿法。原创 2023-09-07 12:16:44 · 948 阅读 · 0 评论 -
机器学习笔记之优化算法(二十)牛顿法与正则化
本节我们介绍经典牛顿法在训练神经网络过程中的迭代步骤，并介绍正则化在牛顿法中的使用逻辑。原创 2023-08-25 20:44:35 · 1385 阅读 · 0 评论 -
机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析
上一节整体介绍了经典牛顿法，并讨论了其更新方向Pk是否为下降方向。本节将对经典牛顿法在迭代过程中的收敛性进行分析。原创 2023-08-22 19:27:00 · 2723 阅读 · 1 评论 -
机器学习笔记之优化算法(十八)经典牛顿法
本节将介绍优化算法——经典牛顿法(Newton Method)。原创 2023-08-21 20:34:16 · 1565 阅读 · 1 评论 -
机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析
上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q-线性收敛。本节将介绍在更强的条件下：函数f(⋅)在其定义域内二阶可微，梯度下降法在f(⋅)上的收敛速度存在什么样的结论。原创 2023-08-21 17:20:01 · 1265 阅读 · 0 评论 -
机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明
本节将介绍：梯度下降法在强凸函数上的收敛性，以及证明过程。原创 2023-08-20 22:03:38 · 2662 阅读 · 0 评论 -
机器学习笔记之优化算法(十五)Baillon Haddad Theorem简单认识
本节将简单认识Baillon Haddad Theorem(白老爹定理)，并提供相关证明。原创 2023-08-18 17:33:38 · 1344 阅读 · 0 评论 -
机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性
本节将介绍梯度下降法在凸函数上的收敛性。原创 2023-08-11 18:20:45 · 1788 阅读 · 1 评论 -
机器学习笔记之优化算法(十三)关于二次上界引理
本节将介绍二次上界的具体作用以及它的证明过程。原创 2023-08-11 11:54:16 · 2205 阅读 · 0 评论 -
机器学习笔记之优化算法(十二)梯度下降法：凸函数VS强凸函数
本节将介绍凸函数/严格凸函数/强凸函数以及它们之间的联系(补梯度下降法：总体介绍中的坑)。原创 2023-08-09 19:11:42 · 2906 阅读 · 0 评论 -
机器学习笔记之优化算法(十一)凸函数铺垫：梯度与方向导数
本节作为介绍凸函数的铺垫，简单介绍方向导数与梯度。原创 2023-08-07 19:48:45 · 1018 阅读 · 0 评论 -
机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍
从本节开始，将介绍梯度下降法(Gradient Descent,GD)。原创 2023-08-05 17:32:05 · 1003 阅读 · 0 评论 -
机器学习笔记之优化算法(九)收敛速度的简单认识
本节对收敛速度简单介绍。原创 2023-08-03 18:41:27 · 5275 阅读 · 0 评论 -
机器学习笔记之优化算法(八)简单认识Wolfe Condition的收敛性证明
上一节介绍了非精确搜索方法——Wolfe准则。本节将简单认识：Wolfe准则的收敛性证明。原创 2023-08-03 11:47:51 · 1939 阅读 · 0 评论 -
机器学习笔记之优化算法(七)线搜索方法(步长角度；非精确搜索；Wolfe Condition)
上一节介绍了Glodstein准则(Glodstein Condition)及其弊端。本节将针对该弊端，介绍Wolfe准则(Wolfe Condition)。原创 2023-08-02 13:55:57 · 1773 阅读 · 1 评论 -
机器学习笔记之优化算法(六)线搜索方法(步长角度；非精确搜索；Glodstein Condition)
上一节介绍了Armijo准则(Armijo Condition)，本节将继续介绍Glodstein准则(Glodstein Condition)。原创 2023-08-01 15:11:01 · 1533 阅读 · 3 评论 -
机器学习笔记之优化算法(五)线搜索方法(步长角度；非精确搜索；Armijo Condition)
本节介绍Armijo Condition。原创 2023-07-31 18:01:16 · 1924 阅读 · 0 评论 -
机器学习笔记之优化算法(四)线搜索方法(步长角度；非精确搜索)
上一节介绍了从精确搜索的步长角度观察了线搜索方法，本节将从非精确搜索的步长角度重新观察线搜索方法。原创 2023-07-30 15:52:05 · 1848 阅读 · 0 评论 -
机器学习笔记之优化算法(三)线搜索方法(步长角度；精确搜索)
上一节介绍了从方向角度认识线搜索方法，本节继续介绍：从步长角度认识线搜索方法。原创 2023-07-28 19:05:26 · 1785 阅读 · 0 评论