吴恩达深度学习知识点总结（复习）

逻辑回归

1、逻辑回归为什么不采用平方损失？
因为平方损失是一个非凸函数，利用梯度下降容易陷入局部最优
2、sigmoid函数的导数

3、逻辑回归参数更新过程
逻辑回归损失（交叉熵损失）和平方损失，计算得到的梯度dw和db是一的，dw=x（A-Y），db=A-Y，如果借助向量运算，同时计算m个样本，那么梯度需要对m求平均。在编码时，还需要考虑维度信息，如转置。。

浅层神经网络

1、为什么要使用非线性的激活函数？
如果使用线性激活函数，那么就只能进行线性变换，有再多的隐含层都是无用的，因为多次线性变换的结果与一次线性变换结果几乎没有区别，那么多个隐含层相当于浪费。。。
机器学习里也有用线性函数做激活函数的，那就是线性回归。
2、神经网络的反向传播公式：（一个隐含层）
注意：手推BP算法时，需要注意以下几点：

• 在吴恩达课程中，最后的输出层的dz = A - Y；
• 样本个数设为1还是n，如果设为n，涉及到求dw和db是需要除以n求平均，另外，样本数n会影响到b的维度，所以需要用sum先对n个b求和再求平均，但是w的维度只与每层神经元个数有关，所以不需要sum求和，只需要求平均；
• 注意是矩阵乘积还是向量乘积；