李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN

李宏毅《深度学习》笔记（一） 一、机器学习介绍 1.人工智能、机器学习、深度学习的概念区分 人工智能（Artificial Intelligence）：这是一个很广泛的概念，这个词在1950年就有了。这个词意味着一个人类长远以来的目标，希望机器可以跟人一样的聪明，因此人工智能是我们想要达成的目标。 机器学习（Machine Leaning）：而对于如何实现人工智能？人们希望让机器能够像人一样去学习。因此机器学习是想要达成目标的手段，希望机器通过学习方式，让机器跟人一样聪明。 深度学习（Deep Lear

李宏毅机器学习笔记1.机器学习简介1.1 机器学习项目流程1.1.1 找到未知函数1.1.2 定义训练损失函数1.1.3 优化2.机器学习攻略指南（实现一个好的模型）2.1 判断训练集loss过大还是过小2.1.1 如果train loss过大，如何判断是model bias还是optimize issue2.1.2 model bias解决方法2.1.3 Optimization issue解决方法2.1.4 Optimization优化器训练技巧：Batch与Momentum2.2 判断测试集loss过

从Ng那里跑路来学NLP了，之前其实ML入门听的就是宝可梦捕获大师（×）的课，目前计划是，本博文作为上面链接所示课程的笔记记录。听完之后会找个项目练一练，然后去听一些更新的技术的介绍，再找个项目练一练。

课程流程图 Regression(回归) 要找的函数的输出是一个数值（scalar）。例如：PM2.5数值预测 Classification(分类) 二分类 输出只有两个类： RNN中输入句子，输出是正面还是负面 多分类 有多个输出类：从多个已知类中输出一个。 CNN中图像分类 Generation（生成） 生成句子或图片： Supervised Learning 给机器输入带标签的数据...

文章目录1. Deep LearningBrief Introduction of Deep Learning（P12）Backpropagation（P13）Tips for Training DNN（P14）Why Deep-（P15）PyTorch Tutorial（P16） 1. Deep Learning Brief Introduction of Deep Learning（P12） 首先，李宏毅老师介绍了深度学习的发展历程，以及在Google上搜索Deep Learning的结果。 实际上

参数，表示蓝色function的个数。i 越大说明红色curve转折点越多，越逼近真实曲线。将上图的蓝框式子用图展开表示：其中r为x的线性组合，激活函数输入前的形式。r 的三个长表达式可以用矩阵简化成一个式子：图底部的颜色小方块。注意形状代表矩阵格式。所以虚线框和红框内容等价。都是为了计算 r = b+wx计算出r1，r2，r3后，分别通过sigmoid function，得到a1，a2，a3。直接用 a =σ（r）表示。

李宏毅机器学习课程笔记，持续更新~1. Convolutional Neural Network2. Recurrent Neural Network3. Graph Neural Network4. Generative Adversarial Network5. Auto-encoder6. Transformer7. ELMO, BERT, GPT1. Transfer Learning2. Anomaly Detection3. Attack Machine Learning Models4. Ex

李宏毅机器学习笔记（一） 本次学习的资源为B站上2017年李宏毅老师的网课视频。 机器学习的目标 机器学习的目标实际上是通过 training data 找到一个函数，使该函数拥有根据某些输入而输出的能力。类似于给出一些日期来预测pm2.5指数等。这种输出是根据训练的 data 决定的，从而表现出机器具有某种学习的能力。 机器学习的三步骤 Step 1:Model 首先要有一个model，这个mo...

1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...

1.回归 (1) Loss function ： 预测值与真实值的差 (2)Optimization question：w的更新策略为什么如上所示？ 机器学习的训练基本步骤： 定义函数拟合data->定义损失函数并训练->优化损失函数以确定拟合的函数的未知参数 （3）讨论：linear mode与nonlinear function(model) linear model is too simple， it can't solve compli...

通过这门课，学会了逻辑回归的基础知识、逻辑回归不用均方误差的原因、生成式模型与判别式模型的区别、将二分类问题延伸到了多分类问题、逻辑回归的限制性等知识。