一起躺躺躺的博客

就跟着代码的顺序说问题。

用作自己记录参考知乎：优化器(Optimizer) - 知乎 (zhihu.com)1.什么是优化器？2.有哪些优化器？3.优化算法的选择与使用策略参考资料：梯度下降（Gradient Descent）小结 - 刘建平Pinard - 博客园 (cnblogs.com)一个框架看懂优化算法之异同 SGD/AdaGrad/Adam - 知乎 (zhihu.com)一文弄懂神经网络中的反向传播法——BackPropagation - Charlotte77 -

通过函数与0的距离来衡量函数的复杂度。但是怎么精确的确定一个函数和0之间的举例呢？没有一个正确答案。一种简单的方法是通过线性函数中的权重向量的某个范数来度量其复杂性，例如。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。将原来的训练目标*最小化训练标签上的预测损失*，调整为*最小化预测损失和惩罚项之和*。现在，如果我们的权重向量增长的太大，我们的学习算法可能会更集中于最小化权重范数。这正是我们想要的。在线性回归中，我们的损失函数为下式x（i）为样本i的特.

我们用球队成员脚趾的平均数量，胜负记录，粉丝数目来预测球队的胜负概率，模型的图像表示如下输入：toes=8.5，wlrec=0.65，nfans=1.2有了三个输入，要有与之对应的三个权重，之所以叫权重是因为这个数值直接影响与之对应的输入对输出的影响，权重越大，与其对应的输入对输出的影响越大，这是显而易见的。模型代码如下：weights = [0.1,0.2,0] #权重def neural_network(intput,weights): pred = w_sum

推荐阅读《深度学习图解》这本书，美国安德鲁·特拉斯克写的，推荐它最主要的原因就是门槛低。![这本书导读部分的原话](https://img-blog.csdnimg.cn/6fbc603a8da343cd8c647c57008be836.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAd2VpeGluXzU3NzAyNTI0,size_20,color_FFFFFF,t_70,g_se,x_1...

首先你要知道神经网络是什么，简单地说，一个神经网络就是，你给一个输入信息，他反馈一个输出信息，就像人的神经细胞一样。都知道现在的神经网络有很多层堆叠，我们需要先从单层学起计算机没有人的细胞聪明，他会的就是计算，给他一个输入，他来给出一个输出，输出怎么形成的，通过计算，这个计算的过程是什么样的就是我们需要学习的内容。单层的神经网络很简单，就是输出=输入*权重为什么叫权重，后面会讲到，在这里先不做说明单输入单输出的单层神经网络就是一个乘法算式，输入*权重=输出我们用球队球员的平均脚趾数目