人工智能之神经网络没那么神奇，一文看懂

神经网络与反向流传（看重头脑，如非须要只管即便不提数学公式）

基于神经网络的进修算法是一种俭朴的生物仿生学头脑。与最早的飞机设计一样，试图模仿鸟类的飞举措作来发明飞行器。神经网络算法试图模仿人脑的运作模式。神经元是神经体系的最小单元，它是一种特别的细胞如下图，树突可以看作是神经原细胞的输入，而轴突则可以视为神经元细胞的输出。轴突会毗连到其他神经元细胞的树突从而形成明晰一个非常庞大的网络。这里提示了一个很深刻的哲学头脑，简洁元素的的简洁毗连，可以实现非常庞大功效。全部庞大的神经网络的根本原始模子源自于此。怎样用数学模子来表达呢？我们可以用输入向量的重量代表树突，权重代表树突毗连的强度，全部输入与强度和到达一个阈值则会激活轴突向下通报一个型号，以是可以用一个阈值函数来表达轴突通报历程。这个阈值函数便是家人们耳熟能详的sigmod函数，为什么是这个函数呢？由于它起到了一个门路函数的作用，同时连结了一连性。sigmod的函数有许多情势，用1/1+e(-x)情势，完满是由于后续盘算的方便性。巨大的发觉许多都是科学家在家勤学不辍猜出来的，以是爱因斯坦说他发觉了相对论不是由于他有多巨大，而是他与题目待的够久，有了灵感。

图1 神经元布局表示图

神经网络数学模子搭建好了今后，怎样求其毗连的权重（参数）酿成了非常难的题目，直到反向流传算法被应用到这内里。用两个神经元的毗连可以表示最简洁的神经网络，包罗w1,w2两个参数的练习。根本头脑是求抱负输出与现实练习数据的差（性能函数)作为优化工具，指示参数调解的偏向（也便是我们常说的梯度偏向），梯度偏向也便是性能函数与w1,w2两个参数的偏导数。反向流传算同构链式求导规则的推导，并完婚了simod函数的特性使得每层神经元的参数只与上层输入、本层的输出相干，从而使盘算由全局盘算酿成结果部盘算，从而使得逐层练习参数成为大概。

神经网络看上去很棒，但应用起来有几个地方必要细致：1、神经网络素质上是函数拟合，无法证明它比其他要领更好，以是不是神药应用需岑寂；2、神经网络的输入必要预处置惩罚表现题目的素质，这个关键还没有处置惩罚太好；3、神经网络会显现过拟合征象，也就对练习样本拟合的很好，但对测试样本成效欠安；4、参数的步长选择更多的是履历性的，假如步长过长则会孕育发生正反馈引起效果震动，这个步调会比力花时间去调参。