机器学习中的一些常用概念

数学

1. 傅里叶级数：任何周期函数分解成一堆正弦与余弦函数。
2. 傅里叶变换：非周期函数分解成一堆正弦与余弦函数（带复数的多项式）。
3. 离散傅里叶变换

概率方面的知识

1. 极大似然估计
2. EM算法感性认知
3. EM算法，可能还是不太好理解，这个算法就是比较难。简单来说EM算法就是通过先假设模型参数，然后算出概率，再根据概率用极大似然估计优化模型参数，重复上述步骤，直到收敛。
4. 先验概率和后验概率
5. 先验分布、后验分布、似然函数
6. 核密度估计，用来估计未知的密度函数，属于非参数检验方法之一
7. KL散度（用来衡量两个概率分布之间的差异或相似性的指标）

优化算法

1. 优化算法合集
2. 禁忌搜索
3. 遗传算法

数据集

1. SMOTE算法，过采样，处理不平衡数据
2. 数据增强，基于现有数据，生成一些新数据
3. 如何解决兼具类不平衡，类别较多的多分类，样本不足的问题？

特征工程

1. PCA
2. KPCA
3. relief及reliefF算法，特征选择
4. 用遗传算法做特征选择
5. t-SNE（降维用的）

聚类

1. DBSCAN，DBSCAN
2. K-means及一些变种、Canopy聚类算法

机器学习算法 / 模型

1. 随机森林，随机森林2
2. 梯度提升树1，梯度提升树2
3. XGBoost1，XGBoost2
4. 磷虾群算法（KH算法）
5. 特征递归消除（RFE） 、RFECV（交叉验证的特征递归消除）
6. SVM-RFE
7. 交叉验证
8. 贝叶斯网络1、贝叶斯网络2
9. 多层感知机，其实就是人工神经网络
10. 极限学习机
11. stacking集成学习

深度学习算法 / 模型

1. CNN，注意不要用Chrome浏览器打开，因为可能图片无法加载。
2. 生成对抗网络（GAN）、生成对抗网络pytorch
3. RNN
4. 自编码器
5. 变分自编码器1，变分自编码器2是个生成模型
6. attention机制
7. transformer，transformer，transformer举例
8. CBOW
9. Skip-gram，Skip-gram使用负样本的原因，代码实现
10. 预训练和bert，transformer实现
11. nlp新宠prompt
12. 图神经网络GNN/GCN，b站教程，自己的理解
13. 知识图谱与图神经网络
14. 路径签名path signature