CDA-LevelⅡ【数据分析模型】

数据分析与机器学习模型方法解析

原创已于 2024-03-11 08:56:23 修改 · 1.5k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#数据分析 #机器学习 #数据挖掘

于 2024-03-09 12:26:36 首次发布

CDA LEVEL Ⅱ 专栏收录该内容

1 篇文章

订阅专栏

该博客围绕数据分析与机器学习展开，介绍了主成分分析、因子分析、回归学习、分类分析、聚类分析等模型方法，包括计算步骤、适用变量类型、经典假设等内容，还阐述了一手与二手数据区别，最后给出相关题目及答案。

一首数据与二手数据的区别在于他们来源的直接性和处理方式的不同：

一手数据（Primary Data）：直接获取的数据，没有经过加工或者第三方传递。这些数据可以通过多种方式收集，如传统调研中的问卷测评、小组访谈、面对面沟通，或者是互联网时代用户直接填写的个人信息数据以及平台的行为数据等。一首数据通常与收集者直接相关，如搭建网站、组织的获得、开展的调研等；
- 优点：针对性强、及时性和可信度更高、排除干扰因素；
- 缺点：成本高、易受误差影响
二手数据（Secondary Data）：是指通过第三方或者现有的数据资料获取的数据。这些数据可能包括国家统计局数据、知名文献中罗列的数据等。二手数据相对于一手数据来说，来源渠道更加多样化，任何会产出数据相关信息的第三方机构都可以i作为来源渠道。二手数据成本较低，更容易获取，但是可用性可能不如一手数据。二手数据是一手数据采集的基础，为实地调查创造条件，使得师弟调查更准确、更可靠。
- 优点：收集速度快且成本低；客观性高和广泛性；时效性，反应历史或趋势研究价值；
- 缺点：相关性差；时效性不够；变量指标的契合性问题

主成分分析

主成分分析的计算步骤

主成分芬妮下是一种常见的数据降维方法，其计算步骤如下：

数据标准化：将原始数据进行标准化处理，使得每个变量的均值为0，方差为1；
计算样本协方差矩阵或相关数据矩阵：根据样本数据计算协方差矩阵或相关系数矩阵；
特征值分解：对协方差矩阵或相关系数矩阵进行特征值分解，得到特征值和特征向量；
选择主成分：根据特征值大小，选择前k个主成分。通常选取的主成分个数k可以根据累计贡献率和特征值大小来确定；
计算主成分：将原始数据映射到主成分上，得到新的数据集合，每个变量对应一个主成分；
解释主成分：根据主成分的特征向量，解释每个主成分代表的意义，理解数据降维后的含义。

主成分分析的基础内容

主成分分析（Principal Component Analysis，PCA）的假设和模型设置如下：

假设：

假设变量之间存在线性关系
假设变量的方差不同
假设各变量之间不存在完全的共线性（即变量之间存在一定程度的独立性）
假设数据符合正太分布或接近正态分布

模型设置：

确定主成分的个数，通常通过特征值分析和累计方差贡献率分析来确定；
根据主成分个数，运用线性代数方法求解主成分；
利用主成分系数，计算每个样本在不同主成分上的得分；
分析主成分的解释，并对主成分进行旋转和解释；

需要注意的是，PCA是一种基于样本协方差矩阵的无监督学习方法，因此对数据的可信度和有效性有一定要求。同时，PCA的结果也需要经过科学的解释和分析，才能得到有意义的结论和应用。

适用于主成分分析的变量度量类型

定量变量（连续型）：如身高、体重、收入等数值型变量
定量二元变量：如是否吸烟、是否结婚等二元型数值变量
定性变量（分类型）：如性别、种族、婚姻状态等分类变量
定序变量：如受教育程度、职位级别等顺序型分类变量

因子分析模型

在因子分析模型中，需要设置以下几个参数：

因子数目：决定了模型中的因子个数，可以根据实际情况进行选择；
因子旋转方法：用于将因子旋转到一个更可解释的位置上，以便于进一步分析。常用的方法包括最大旋转法、斜交旋转法等；
因子载荷估计方法：用于估计每个变量与因子之间的关系。常用的方法包括主成分分析、最大似然方法、加权最小二乘法等；
原始数据处理方法：如果原始数据存在缺失值、异常值等问题，需要先进行数据清洗和预处理；
因子的命名和解释：根据因子的载荷和变量的含义，对因子进行命名和解释，以便于后续分析。

以上参数设置需要根据具体研究问题和数据特点进行调整和选择。

因子分析的变量度量类型

定距变量：如温度、时间等，可以进行加减运算，但没有绝对零点；
定比变量：如重量、长度等，具有绝对零点，可进行任何数据运算，包括乘除；
顺序变量：如评分、等级等，有顺序关系但没有固定的数值，通常可以将其转化为数值；
名义变量：如性别、国籍等，便是分类，通常可将其转化为虚拟变量。

回归学习模型

线性回归的综合应用

线性回归是一种常见的机器学习算法，它可以被广泛应用于各种场景，如下：

房价预测：通过分析历史房价数据和房屋特征（如地理位置、房屋面积、房间数量等），可以建立一个线性回归模型来预测未来房价。
销售预测：通过分析历史销售数据和市场特征（例如经济情况、竞争对手数量和市场份额等），可以建立一个线性回归模型来预测未来销售额。
财务预测：通过分析历史财务数据和市场特征（例如利润率、销售额等），可以建立一个线性回归模型来预测未来的财务表现；
医疗预测：通过分析患者的个人信息、病史和检查结果数据，可以建立一个线性回归模型来预测患者的疾病风险和治疗效果等；
交通预测：通过分析历史交通数据和交通状况（例如拥堵程度、交通信号灯状况等），可以建立一个线性回归模型来预测未来交通情况，从而帮助规划交通路线和优化交通流量。

线性回归6个经典假设

线性模型假设：线性回归模型是基于假设因变量与自变量之间存在的线性关系的
不存在共线性（独立性）假设：自变量之间不存在高度相关性，即不存在共线性问题；
残差期望为0（无内生性）假设：模型的残差项的期望值为0，这意味着模型中的任何遗漏变量并不影响模型的预测能力，也就是说，没有内生性问题；
同方差假设：对于任何给定的自变量，残差的方差相等，即残差具有同方差性；
正态性假设：残差符合正太分布，即误差是随机的，不会呈现任何系统性的模式；
随机抽样假设：观测数据是从一个总体中随机抽取的，即每个观测值对于总体是独立的。

分类变量

查看分类变量的取值范围：分类变量通常包括不同的类别或者标签，需要先查看该变脸改的取值范围，以便后续分析；
统计每个分类变量的频数和频率：对于分类变量，我们需要了解每个类别的频数和频率，以衡量每个类别在样本中所占的比例。可以通过绘制频率分布表、柱状图等方式来展示；
进行分类变量的编码：在一些模型建立和分析中，需要使用分类变量进行分析，但是计算机往往不能直接处理分类变量，因此需要将其编码成数字形式。可以采用哑变量编码、标签编码等方法；
进行分类变量的特征工程：当变量为分类变量时，我们可以进行一些特征工程，例如对某些类别进行合并或删除，以提高变量的区分度和预测能力
分析分类变量与其他变量之间的关系：可以通过交叉分析、卡方检验等方法，来了解分类变量和其他变量之间的关系，进一步探查分类变量对预测目标的影响；

预测性建模和解释性建模的区别

预测性建模：通常是为了解决一个具体的问题或预测未来的趋势而创建的模型。例如，通过使用历史销售数据来预测未来的销售额，或使用股票价格数据来预测未来市场趋势。预测性建模的目标是创建一个高准确性的模型，以便可以做出最佳的预测决策；
解释性建模：理解模型中的关键因素和变量之间的互相作用。这种建模同工厂被用于研究学术或者科学问题，以及在政策制定和决策制定方面进行决策。解释性建模的目标是创建一个能够清楚的解释模型的结果和结论的模型，以便可以帮助人们更好的解释数据和现象。

虽然预测性建模和解释性建模有着不同的目标，但他们之间存在一定的联系。预测性建模通常需要对数据进行深入分析，以了解数据中的模式和关系。这种分析通常需要使用解释性建模的方法来解释数据。同样，解释性建模通常需要将模型用于实际问题中，从而需要进行预测性建模来预测实际情况下的结果。

客户价值分析

基本步骤

定义研究目标：明确需要了解的问题和目标，例如客户需求、满意度、忠诚度等
确定研究方法：根据研究目标，选择适当的研究方法，例如调查问卷、深度访谈、焦点小组讨论等；
客户分群：将客户根据行为、偏好、价值等因素划分为不同的群体，以便更好的了解其需求和特点；
客户细分：在每个客户群体中进一步细分客户，如购买频率、消费金额、购买渠道等，以便更好的了解其需求和行为
进行调查分析：通过调查和分析客户数据，了解客户的需求、满意度、期望等，发现客户痛点和机会，提高客户价值提供依据；
制定客户价值策略：根据客户价值分析结果，制定相应的策略，如提高服务质量、增加产品分类、优化营销策略等，以提升客户价值。

分类分析

卡方检验计算公式

X² = Σ [ (Oi - Ei)² / Ei ]

其中， X²为卡方值； Oi为实际观察值； Ei为期望值，由样本数据计算而来； Σ为求和符号。

二分类逻辑回归的计算公式

hθ(x)=g(θTx)=1+e−θTx1

其中，hθ(x)表示预测的概率，g(z) 是逻辑函数（也称为sigmoid函数），x xx 是输入特征向量，θ \thetaθ 是模型参数向量。

聚类分析

聚类算法是无监督学习中最常用的方法之一，它的目标是将数据集划分为若干个不同的组或簇。不同的聚类算法基于不同的假设和方法，因此具有不同的特点，以下是常见的聚类算法特点：

K均值聚类：一种基于举例度量的聚类算法，通过将数据点分配到最近的k个簇中，来构建簇。该算法的优点是简单易懂，计算速度快，适用于大规模数据集。但是，该算法对初始簇中心的选择非常敏感，可能会收敛到局部最优解。
层次聚类：一种逐步合并或分裂簇的算法，形成一个层次结构。可以选择自底向上（聚合）或自顶向下（分裂）地构建层次结构。该算法地优点是可以生成不同地簇数，不需要预先制定聚类数，同时可以看到层次结构。但是，该算法对于大规模数据集地计算开销较大，同时合并或分裂决策可能会导致局部最优解。
密度聚类：一种基于样本间密度地聚类算法，通过寻找高密度区域来确认簇。该算法特别适合于处理具有不同密度和形状地簇。但是，该算法对于噪声和维数灾难地数据集容易出现偏差，但需要手动制定密度阈值和邻域大小等参数；
谱聚类：是一种基于图论地聚类算法，通过计算样本地拉普拉斯矩阵，将数据投影到低维空间，然后使用其他聚类方法来划分簇。该算法可以处理非线性可分地数据，且对噪声具有一定地鲁棒性。但是，该算法有较高地计算复杂度，并且需要进行特定地特征变换和簇数地选择
DBSCAN聚类：一种基于密度的聚类算法，它通过将样本点分为核心点、边界点和噪声点，来确定簇。该算法可以自动确定簇的数量，且对噪声和密度变化敏感。但是，该算法对于高维数据和不同密度的数据集可能会失效，并且需要手动调整参数。