自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

Tonney007的博客

  • 博客(5)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 常见优化器(2025)

本文系统梳理了深度学习中常见的优化器算法，从基础的SGD到当前先进的Muon优化器。首先介绍了梯度下降的基本原理，然后依次分析了SGD、Momentum、AdaGrad、RMSprop、Adam等优化器的数学公式、优缺点及适用场景。特别详细讨论了AdamW对Adam的改进，以及GaLore、APOLLO等新型优化器通过低秩分解、随机投影等技术降低显存占用的方法。最后介绍了Muon优化器采用梯度正交化的创新思路。文章展现了优化器算法从简单梯度下降到自适应学习、内存优化、正交化处理的发展脉络。

2025-08-06 18:18:06 625

原创 word2vec/fasttext

word2vec、fasttext简单汇总

2023-10-07 12:09:14 196 2

原创 大模型对比

大模型对比

2023-10-07 11:43:41 568 2

原创 激活函数汇总

激活函数汇总

2023-10-07 10:55:26 769 2

原创 优化器汇总

优化器汇总

2023-10-07 10:52:10 115 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除