- 博客(19)
- 收藏
- 关注
RSS订阅原创 人人都能看懂的RL-PPO理论知识
在去年的这个时候，我以deepspeed-chat的代码为例，解读了rlhf运作的流程。当时写这篇文章的目的，主要是想让读者在没有强化学习知识的情况下，能从直觉上快速理解这份代码，以便上手训练和修改。由于这篇文章侧重“直觉”上的解读，因此有很多描述不严谨的地方。所以去年我就想接着敲一篇比较严谨的介绍强化学习理论的文章（策略梯度->actor-critic -> PPO），但是由于敲公式真得太累了，所以一直delay到今天。所以今天这篇文章就来做这件事，我的主要参考资料是Sutton的这本强化学习导论(htt
2025-04-29 10:10:06
803
原创 终于有人总结了图神经网络
注意到图数据和其他类型数据的不同，图数据中的每一个节点可以通过边的关系利用其他节点的信息。在图级别的任务当中，当前的很多方法是将所有的节点嵌入进行全局池化，忽略了图中可能存在的任何层级结构，这对于图的分类任务来说尤其成问题，因为其目标是预测整个图的标签。为了解决GNN聚合邻居节点的时候没有考虑到不同的邻居节点重要性不同的问题，GAT借鉴了Transformer的idea，引入masked self-attention机制，在计算图中的每个节点的表示的时候，会根据邻居节点特征的不同来为其分配不同的权值。
2025-04-28 10:58:59
1963
原创 强化学习算法——强化学习中的 Transformer
Transformer 架构席卷深度学习领域已不是什么秘密。在自然语言处理、时间序列预测和计算机视觉任务等领域，Transformer 的应用场景非常广泛，几乎几乎无所不能。强化学习是深度学习中 Transformer 应用较慢的一个领域。尽管这种情况正在迅速改变，但它在深度学习领域一直是一个顽固分子。在这篇综述中，我将重点探讨 Transformer 在这个深度学习子领域中的优缺点，并讨论目前基于Transformer 的强化学习的成功案例。2 强化学习简介该图展示了训练强化学习代理的高级流程。代理从环境
2025-04-27 10:21:01
398
原创 【深度学习】深入浅出卷积神经网络及实现！
卷积神经网络CNN是深度学习中的基础知识。本文对CNN的基础原理及常见的CNN网络进行了详细解读，并介绍了Pytorch构建深度网络的流程。最后，以阿里天池零基础入门CV赛事为学习实践，对Pytorch构建CNN模型进行实现。
2025-04-26 09:57:31
788
原创 复旦大学妙用电催化快速无损检测金属疲劳
为了进一步推广这种无损疲劳检测方法，研究人员选择了面心立方的金属银（Ag）、铝（Al）和体心立方的金属铁（Fe）作为不同的疲劳模型，对其进行高周疲劳循环实验得到不同种类的疲劳金属，为每种金属选择了特定的电催化反应，以揭示它们的电化学疲劳行为。为了理解金属疲劳的微观起源，研究人员通过高周疲劳循环实验，对退火的Cu(100)箔施加了1200万次固定幅度的弯曲，根据Cu箔的几何形状和位移的幅度，计算得到施加了最大0.18%的应变，得到了具有高密度位错的完全疲劳的Cu(F-Cu)。金属疲劳空间分布的电催化热图。
2025-04-25 17:05:36
447
原创 深度学习必须掌握的五大算法模型
理解其设计哲学与适用边界，是开发具备产业价值AI系统的关键基石。未来，算法融合与创新将成为突破现有范式的主要方向，例如将Transformer架构引入强化学习，或将GAN与物理引擎结合等跨界探索。在深度学习技术日新月异的今天，掌握具有里程碑意义的五大核心算法架构，是突破技术瓶颈与拓展应用场景的关键。核心机制：通过多层级联的卷积核在输入矩阵上执行滑动窗口运算，形成特征响应图谱。√ 参数复用机制显著降低计算复杂度（相比全连接网络可减少90%以上参数量）× 二次复杂度自注意力计算（序列长度n→O(n²)）
2025-04-24 16:39:49
395
原创 自然语言处理：从传统到深度学习的全面解析
如果特定的单词出现在相似的上下文中，它们的嵌入将是相似的。最新的人工智能模型正在解锁这些领域，以分析输入文本的含义并生成有意义的、富有冲击力（你懂的）的输出。主题模型的输入是文档的集合，输出是主题列表，该列表定义了每个主题的单词以及文档中每个主题的分配比例。他们的目的是输出邮件是垃圾邮件的概率。大多数传统的机器学习技术都是基于特征（通常是描述文档与包含该文档的语料库相关的数字），这些特征由词袋、TF-IDF 或通用特征工程（例如文档长度）创建、单词极性和元数据（例如，如果文本具有关联的标签或分数）。
2025-04-23 09:49:01
625
原创 代码实战：YOLOv5实现钢材表面缺陷检测
目前，基于已经在各个工业领域广泛取代人工视觉检测，包括3C、汽车、家电、机械制造、半导体电子、化工、制药、航空航天、轻工等行业。许多基于深度学习的缺陷检测方法也被广泛应用于各种工业场景。本文的代码实战，是基于YOLOv5目标检测算法，在NEU表面缺陷数据集上实现钢材表面缺陷检测。要求Python>=3.7.0，PyTorch>=1.7。
2025-04-22 17:45:05
1727
原创 神经网络：智能的基石
神经网络通常由输入层、隐藏层和输出层组成。输入层负责接收外部数据，就像我们的眼睛接收图像信息、耳朵接收声音信息一样。隐藏层是神经网络的 “大脑”，它包含多个神经元，对输入数据进行复杂的特征提取和变换，将原始数据转化为更抽象、更有意义的表示。输出层则根据隐藏层的处理结果，给出最终的预测或决策，比如在图像识别任务中，输出层会告诉我们图像中物体的类别。为了更好地理解神经网络的工作原理，我们可以把它想象成一个厨师制作美食的过程。输入层就像是各种食材，比如蔬菜、肉类、调料等，它们被送入厨房（隐藏层）。
2025-04-21 11:24:44
792
原创 我用28张图入门了深度学习！
然后分割训练、开发和测试集，并预期可能到达的优化水平。ReLU：可以理解为阈值激活（spiking model 的特例，类似生物神经的工作方式），该函数很常用，基本是默认选择的激活函数，优点是不会导致训练缓慢的问题，并且由于激活值为零的节点不会参与反向传播，该函数还有稀疏化网络的效果。右边：深度网络的特点是需要大量的训练数据和计算资源，其中涉及大量的矩阵运算，可以在 GPU 上并行执行，还包含了大量的超参数，例如学习率、迭代次数、隐藏层数、激活函数选择、学习率调整方案、批尺寸大小、正则化方法等。
2025-04-19 10:33:40
591
原创 神经网络模型层数越多，模型的泛化能力越好吗？
神经网络的层数（深度）是模型复杂性的核心参数，直接影响其表示能力与泛化性能。本文从理论、实验和实际应用角度分析层数与泛化能力的关系，指出层数增加并不必然导致泛化能力提升，而是需要平衡模型容量、数据规模与正则化策略。通过经典案例与最新研究，揭示深度学习的优化难题与泛化机制，为实践提供指导。
2025-04-18 11:14:24
809
原创 这次终于能把神经网络学习原理搞清楚了！
好的，总结一下，我们现在明白了我们总是想要最小化成本函数（在上面的案例中是MSE），以及如何使用梯度下降来获取使MSE最小化的权重和偏置项的最优值。在我们的小例子中，我们有10个数据点（这非常不现实，通常我们有数十万个数据点），并且我们试图优化9个参数（这个数字可能非常高，取决于架构的复杂性）。现在，如果我们想要计算MSE关于偏置的导数，我们将使用称为链式法则的东西，这是微积分的一个非常重要的部分，它利用了上述三个关键信息。但是，如果最优的MSE值是100，那怎么办呢？
2025-04-17 17:38:12
501
原创 大型高并发与高可用的三层缓存架构总结
对于高并发架构，毫无疑问缓存是最重要的一环，对于大量的高并发，可以采用三层缓存架构来实现，nginx+redis+ehcachenginx对于中间件nginx常用来做流量的分发，同时nginx本身也有自己的缓存（容量有限），我们可以用来缓存热点数据，让用户的请求直接走缓存并返回，减少流向服务器的流量一.模板引擎通常我们可以配合使用freemaker/velocity等模板引擎来抗住大量的请求1.小...
2018-01-31 19:32:56
1323
原创 听听八年阿里架构师怎样讲述Dubbo和Spring Cloud微服务架构吧
微服务架构是互联网很热门的话题，是互联网技术发展的必然结果。它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。虽然微服务架构没有公认的技术标准和规范或者草案，但业界已经有一些很有影响力的开源微服务架构框架提供了微服务的关键思路，例如Dubbo和Spring Cloud。各大互联网公司也有自研的微服务框架，但其模式都于这二者相差不大。微服务主要的优势如下：1、降...
2018-01-26 17:03:40
82861
2
原创 今天聊聊美团Java应用的GC优化，架构师必须知道的一些事情
当Java程序性能达不到既定目标，且其他优化手段都已经穷尽时，通常需要调整垃圾回收器来进一步提高性能，称为GC优化。但GC算法复杂，影响GC性能的参数众多，且参数调整又依赖于应用各自的特点，这些因素很大程度上增加了GC优化的难度。即便如此，GC调优也不是无章可循，仍然有一些通用的思考方法。主要包括如下内容： 优化前准备: 简单回顾JVM相关知识、介绍GC优化的一些通用策略。 优化方法: 介绍调...
2018-01-16 17:58:55
727
原创 资深阿里程序猿深入讲解微服务架构在阿里的演化，越深入，越开心
关于 AliwareAliware 是阿里巴巴中间件技术品牌，包含 5 个中间件产品，主要是：EDAS、DRDS、MQ、ARMS、CSB。Aliware 从 2007 年开始，经历了 8 年多的双 11 大促，每次大促都能使产品体系更上一个台阶。像 JStorm、Dubbo、Rocketmq 等等一系列的开源产品，无论在 GitHub 还是 Apache 这些顶级项目上，都是非常火的项目。服务化缘...
2018-01-11 18:07:57
785
原创 在阿里“救了八年火”的程序猿，这样讲述大型项目架构演进过程
高大上的淘宝架构上面是一些安全体系系统，如数据安全体系、应用安全体系、前端安全体系等。中间是业务运营服务系统，如会员服务、商品服务、店铺服务、交易服务等。还有共享业务，如分布式数据层、数据分析服务、配置服务、数据搜索服务等。最下面呢，是中间件服务，如MQS即队列服务，OCS即缓存服务等。图中也有一些看不到，例如高可用的一个体现，实现双机房容灾和异地机房单元化部署，为淘宝业务提供稳定、高效和易于维护...
2018-01-09 21:03:40
334
原创 支付宝架构师眼里的高并发架构
前言高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。服务器架构业务从发展的初期...
2018-01-05 17:11:47
481
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人