变分推断（Variational Inference）v.s. 马尔可夫链蒙特卡洛（MCMC）

学习笔记

https://www.bilibili.com/video/BV1Gs4y157BU?spm_id_from=333.788.recommend_more_video.-1&vd_source=7dace3632125a1ef7fd32c285eb2fbac

动机变分推断（Variational Inference, VI）是贝叶斯近似推断方法中的一大类方法，将后验推断问题巧妙地转化为优化问题进行求解，相比另一大类方法马尔可夫...

从本节开始，将介绍马尔可夫链蒙特卡洛方法(Markov Chain Monte Carlo,MCMC)

在机器学习和数据科学中，推断（Inference）指的是使用已训练好的模型对新数据进行预测或分类的过程。推断方法通常分为精确推断和近似推断两类：精确推断：精确推断（例如贝叶斯推断）可以准确计算出后验分布。然而，当模型变得复杂或数据量增大时，精确计算后验概率分布往往变得不可行，因为这需要对高维空间进行积分，这在计算上往往是不可行的。近似推断：为了解决精确推断的计算瓶颈，引入了近似推断方法。其中常见的方法包括马尔可夫链蒙特卡洛（MCMC）方法和变分推断（Variational Inference, VI）

刘浚嘉：PR：机器人学的概率方法学习路径​zhuanlan.zhihu.comPR 采样分章 第二节：马尔可夫链蒙特卡洛 MCMCPaper | 1970在许多实例中，我们希望采用蒙特卡罗方法，然而往往又不存在一种简单的方法可以直接从目标分布 中精确采样或者一个好的（方差较小的）重要采样分布 q(x)。在这种情况下，为了从分布 中近似采样，我们引入了一种称为马尔可夫链（Markov Chain）...

贝叶斯变分推断 论文

上一节介绍了随机梯度变分推断(Stochastic Gradient Variational Inference,SGVI)。本节将介绍SGVI求解过程中遇到的问题，并针对为题介绍一种处理方法——重参数化技巧。

上一节介绍了使用马尔可夫链蒙特卡洛方法(MCMC)处理波尔兹曼机模型参数梯度求解过程中概率分布不可求的问题，本节将介绍变分推断方法处理梯度问题。

这次实验最大的收获是：与其在规则里“猜”爬虫长什么样，不如把判断逻辑外置到一个能持续学习的边缘节点。群联的清洗中心提供了实时封禁 API，让我们可以把模型结果直接落地，而不用改一行业务代码——这比传统“先打日志、再人工加黑名单”的节奏快了整整一个量级。

在本文中，我们提出了一种统一的预训练方法 UniSpeech，用于结合有标签与无标签数据进行语音表征学习，其中监督的音素 CTC 学习与具备音素感知的对比式自监督学习以多任务学习的方式联合进行。由此得到的表征能够捕捉与音素结构更相关的信息，并提升跨语言与跨领域的泛化能力。我们在公共的 CommonVoice 数据集上评估了 UniSpeech 在跨语言表征学习中的有效性。

本文记录了基于HuggingFace Transformers最新master分支对Qwen2模型的学习过程。主要内容包括：1) 开发环境搭建（Python 3.11、PyTorch CPU版）；2) 模型测试代码实现，通过调参创建轻量级配置；3) 核心架构分析，包括分词编码、DecoderLayer处理流程（RMSNorm归一化、自注意力机制、前馈网络）和分组查询注意力机制；4) Qwen2的三大优化点：RMSNorm计算优化、RoPE位置编码和GQA注意力机制；5) 开发中遇到的版本依赖问题及解决方法。

我在cmd一直更新不了pip 一直说错误。我扭头去anaconda成功。

图灵以。

机器学习-KNN 算法实战指南：从原理到超参数优化

SGLang，即 Structured Generation Language for LLMs，用于大语言模型的结构化生成语言，是 Stanford & Berkeley 团队推出的大模型推理引擎，优势是高吞吐 + 可编程。

【代码】网络安全技术-防止网络攻击。