qiy_icbc的博客

最近发现一件很有趣的知识：PSI属于散度家族，其核心原理是通过分箱后的KL散度衡量两个分布的差异，是散度理论在变量分布稳定性分析中的具体应用。它利用对数差异和加权求和，量化实际分布与预期分布的漂移程度，是模型监控中检测数据分布变化的重要工具。

多层感知机（Multilayer Perceptron, MLP）被归类为**非参数模型**（或更准确地说，**半参数模型**或**灵活参数模型**），这一分类的核心在于统计学习中对“参数模型”和“非参数模型”的定义差异，而非简单取决于是否存在可学习的权重参数。

在二分类问题中，已知预测概率（如逻辑回归、神经网络输出的概率值）时，阈值的选择直接影响分类结果（正/负样本判定）。到甲方做POC时，作为外部的技术人员并不懂它的业务，这时需要先从理论上给出阈值。ROC曲线上**切线与对角线（斜率1）平行的点**，是**约登指数最大的点**，也是几何上离对角线最远的“拐点”（切点）。

关系网络特征是以图的方式表达，而模型算法的输入是变量表达（离散的或连续的），那么，图谱表达的方式是否要转化为特征向量才能作为模型算法的输入?那又如何转化?将关系网络（图谱）转化为模型算法可处理的输入（如特征向量）通常是必要的，因为大多数传统机器学习模型（如线性回归、神经网络）无法直接处理图结构数据。

机器学习中的特征向量也是由一组有序的数值组成，例如在一个预测某个人是否会购买某商品的模型中，特征向量可能是[年龄, 收入, 消费频率]等有序的数值组合，每个元素代表了被描述对象的一个特征，这与数学中用向量表示一个点或一个物理量等在本质上是一致的，都是通过一组有序数值来进行量化表示。但向量空间并不强制要求坐标轴为正交，只要满足向量空间的八条公理（包括加法交换律、加法结合律、存在零向量、存在负向量、数乘结合律、数乘分配律等），就可以定义为向量空间，坐标轴可以是任意线性无关的向量组。

**原始数据不是特征向量**，需通过特征工程（清洗、转换、提取）生成模型可输入的数值型特征向量。 **特征维度无需强制正交**，仅在线性模型或降维场景下需要考虑正交性；对于LightGBM等树模型，特征相关性不影响模型效果，重点在于特征的预测能力，而非数学正交性。

在大模型训练中，训练数据中重复出现错误或偏见信息，导致模型生成时倾向于这些内容。在大模型训练语境下，“谎言重复一千遍就是真理”这句话可从**数据分布、统计学习机制、认知偏差映射**三个维度理解，本质上反映了训练数据特性对模型输出的决定性影响

GRU（门控循环单元）、LSTM（长短期记忆网络）、RNN（循环神经网络）均为处理序列数据的神经网络模型，它们之间存在着紧密的联系与明显的差异。

XGBoost是GBDT的“工程化增强版”，在保持Boosting核心思想的同时，通过数学优化（二阶导数、正则化）和工程优化（并行化、分布式）大幅提升了模型的效率和效果，成为当前结构化数据建模的首选工具。GBDT则作为基础算法，适合学习Boosting原理或小规模场景快速验证。实际应用中，XGBoost凭借其全面优势，已在绝大多数场景中取代传统GBDT。

SVM（支持向量机）算法是用于解决二分类问题的，它在样本空间（高维空间）中找一个最优超平面，使得两类数据点中离超平面最近的点（称为支持向量）到超平面的距离最大。对于极少数“坏样本”的二分类场景，我们可以换个思路：将所有样本视为一类（而不是二类），而将极少数“坏样本”视为这一类的异常。这样，用于二分类的SVM就可以改造为用于一分类的One-Class SVM和SVDD。

*Lift**可评估规则和模型的效果，也可用于特征的分箱：通过特征分箱并计算每箱的Lift值，是一种常用的特征评价和筛选方法。

机器学习中的特征工程是提升模型性能的关键环节，根据特征的生成方式和复杂度，可将其分为以下三个层次：从初级到高级，包括原始特征、业务公式生成的特征，以及算法生成的特征。

处理样本不平衡问题的方法主要分为**数据层面**和**算法层面**两类

特征工程的核心目标是**通过数据预处理、特征构造和优化，提升模型的性能、可解释性和泛化能力**。

SHAP（Shapley Additive exPlanations）和IV值（Information Value，信息价值）都是机器学习中用于评估特征对结果贡献的指标，但它们在原理、特点和应用场景等方面存在一些区别

WOE编码是业务逻辑与统计建模的结合，适合强业务导向的场景； One-Hot编码是数据驱动的特征工程，适合追求模型性能的场景。

分箱（Binning）是将连续型或离散型特征转化为区间型变量的过程，其核心目标是提升模型效果和解释性，

有一对是用面积AUC（Area Under the Curve）做评价的：**ROC AUC**与**PR AUC**本文我们对**ROC AUC**与**PR AUC**进行多维度对比分析

评分卡模型是一种广泛应用于信用评分、风险管理、市场营销等领域的统计模型。它通过将客户的各项特征（如年龄、收入、信用历史等）转化为分数，最终汇总为一个总评分，用于评估客户的信用风险或其他行为倾向。评分卡模型（Scorecard Model）及其特征工程中常用到：分箱（Binning）和证据权重WOE（Weight of Evidence）。

特征变量的信息值（Information Value, IV）及其它评估一个特征变量的重要性和区分能力的指标，常用于特征工程，帮助判断某个特征是否适合用于模型构建。

**RFM分析技术**是一种用于客户价值分析的营销工具，通过评估客户的购买行为来识别最有价值的客户。RFM代表三个关键指标。

核密度估计（Kernel Density Estimation, KDE）是一种非参数统计方法，用于估计随机变量的概率密度函数。它通过将每个数据点周围的核函数叠加，生成平滑的密度曲线。

：**量子近似优化算法（QAOA）可以在量子模拟器上运行**，即使没有实际的量子计算机硬件。量子模拟器是在经典计算机上运行的软件工具，能够模拟量子计算机的行为，包括量子比特的状态演化、量子门操作和量子测量等。

Spearman 秩相关系数是一种强大的工具，适用于衡量两个变量之间的单调关系，尤其在数据不满足线性或正态分布假设时。它的应用场景广泛，包括模型验证、性能评估、数据一致性分析、社会科学研究和生物医学研究等。通过使用 Spearman 秩相关系数，可以更全面地理解变量之间的关系，并为决策提供支持

- **方差**：用于衡量单组数据的离散程度，反映数据点与均值的偏离。- **均方差**：用于衡量预测值与实际值的差异，反映预测模型的准确性。

在高考成绩处理中，原始分通常需要通过一定的转换方法得到汇总分（最终成绩），以便更公平地比较和评价考生的成绩，本文谈到的公式可用于指标评价

“Declarative data-parallel operators”与“MapReduce”在数据处理和并行计算领域具有不同的特点和适用场景。它们之间的关系是相辅相成、相互补充的，而不是相互替代的。在实际应用中，应根据具体的需求和场景选择合适的工具或方法。

递推式与迭代式各自具有独特的特点和适用场景，在解决问题时需要根据具体问题选择合适的算法思想。

SOTA不仅仅是指单一的技术或算法，而是指在某一领域内，经过实践验证，被认为是最有效、最先进的解决方案。PPO旨在改进和简化以前的策略梯度算法，如TRPO（Trust Region Policy Optimization，信任域策略优化），它通过几个关键的技术创新提高了训练的稳定性和效率。PPO是一种用于训练代理的“on-policy”算法，它直接学习和更新当前策略，而不是从过去的经验中学习。ReFramework 是机器人流程自动化（RPA）领域中的一个常用框架

BSP模型把并行计算抽象为多个模块，包括处理器集合、发送消息的全局通讯网络、各处理器间的路障同步机制。其并行计算的基本执行单元是超级步（Super Step）。一个BSP程序包含多个超级步，每个超级步由本地计算、全局通信和路障同步三个阶段组成。这三个阶段是严格串行的，即所有处理机本地计算结束后统一进行通讯过程，最后执行同步阶段。Subgraph-centric模型关注图中的子图结构，并以子图作为图计算的基本单位。这种模型允许开发者以子图为中心进行编程，从而更直观地处理和分析图数据。文中推荐了一些学习书藉。

联合概率可分解为条件概率的连乘，若每个因子都是同底的指数形式，则可转化为指数相加，由此引导我们对模型提出有利于计算的假设。通过团的分解及团上的势函数定义概率，而团的势可以定义成同底的指数形式。

周志华西瓜书《机器学习》习题提示——第16章

周志华西瓜书《机器学习》习题提示——第15章

周志华西瓜书《机器学习》习题提示——第14章

周志华西瓜书《机器学习》习题提示——第13章

周志华西瓜书《机器学习》习题提示——第12章

周志华西瓜书《机器学习》习题提示——第11章

周志华西瓜书《机器学习》习题提示——第10章

周志华西瓜书《机器学习》习题提示——第9章

周志华西瓜书《机器学习》习题提示——第8章