神经网络

人工神经网络（ANN），也可以简称为神经网络（NN），是由相互连接的小单元层组成，这些小单元被称为节点，它们执行数学运算以检测数据中的模式。

NN算法是以模仿人类神经元的工作方式构建的。

定义

在我们深入讨论之前，以下是我们在讨论神经网络（NNs）时将使用的一些关键术语。

神经元——这是NN的基本构件。它接收加权值，执行数学计算并输出结果。它也被称为单元、节点或感知器。

输入——这是传递给神经元的数据/值。

深度神经网络（DNN）——这是一种具有多个隐藏层（输入（第一层）和输出（最后一层）之间的层）的人工智能神经网络。

权重——这些值解释了任何两个神经元之间连接的强度（重要程度）。

偏置——这是一个常数值，它会被加到输入值和相应权重的乘积之和上。它用于加速或延迟给定节点的激活。

激活函数——这是一个用于在NN系统中引入非线性现象的函数。这一属性将允许网络学习更复杂的模式。

注：权重和偏置是NN中可训练的参数，即网络通过调整这些参数来学习模式，以获得最佳预测。

人工神经元——单个神经元的数学运算

人工神经元接收带有权重的输入值（可以有多个）。

在节点内部，加权输入被加总，并应用激活函数以获得结果。

节点的输出被传递到其他节点，或者在网络最后一层的情况下，该输出就是网络的总体输出。

具有 n 个输入值的人工神经元

如上所示的单个神经元执行以下数学运算：

公式 1

在这个等式中，发生了四件事——输入与相应的权重相乘并相加，将偏置加到结果中，然后应用激活函数g，以便神经元的输出为g(w·x+b)。

神经网络设计

神经网络（NN）由多层堆叠的神经元组成。

对于n维输入，第一层（也称为输入层）将有n个节点，而t维的最终/输出层将有t个神经单元。

所有中间层都被称为隐藏层，而网络中的层数决定了模型的深度。

下图显示了一个3–4–4–1的神经网络。

一个具有 3 个输入特征的神经网络，两个各有 4 个节点的隐藏层和一值输出。节点之间是密集连接的--每个节点都与上一层的所有神经元相连。每个连接都有权重，权重表示任意两个节点之间的连接强度。除输入层的节点外，每个节点都执行等式 1 所描述的计算。

简化示例

让我们用一个简单的例子来说明单个神经元是如何工作的。

在这个例子中，我们假设有3个输入值和一个为0的偏置。

人工神经网络的 3 个输入值分别为 2、1、-4，权重分别为 0.8、0.12 和 0.3。在这个例子中的偏差设置为 0。

在这个例子中，我们将考虑一个常用的激活函数，称为sigmoid函数（我们将在系列的后续部分中全面讨论激活函数）。

Sigmoid函数（f(x)）及其导数（f’(x)）。Sigmoid函数f(x)可以将任何实数x压缩到（0,1）的范围内。

这是sigmoid函数的图像。请注意，当x的值小于-5或大于5时，f(x)分别趋近于0和1。

如前所述，神经元内部发生了四件事。

首先，通过将输入值与相应的权重相乘来对输入值进行加权。

第一步：对输入值进行加权。

接下来，将加权输入求和，然后加上偏置，

第二步：对加权输入求和并计算偏差

最后，在上述结果上应用sigmoid激活函数。

第三步：应用sigmoid函数。

神经元的输出是0.627，如果给定的神经元位于隐藏层，则该输出成为下一个神经元（们）的输入。

另一方面，如果这个值是最后一层的输出，那么它可以被解释为模型的最终预测（它可以被视为给定类的概率）。

重要提示：为了简化与神经元进行的数学运算，我们可以使用更紧凑的矩阵形式来表示前两个操作。

在这种情况下，输入值向量和权重向量之间的点积运算将非常有用。

如前所述，人工神经元的操作，即神经网络的基本构建块，是受到人类大脑工作方式的启发。

生物神经元和人工神经元之间的联系

生物大脑中的神经系统由两类细胞组成：神经元和胶质细胞。

胶质细胞为神经系统提供支持功能。

具体来说，这些细胞的任务是维持体内平衡，形成隔绝神经的髓鞘，并参与信号传输。

神经元由细胞体、轴突和树突组成。树突是作为神经元的输入部分的突起。

它接收来自其他神经元的电化学信息，并将这些信息传播到细胞体。

另一方面，轴突是神经元的延长部分，将信息从细胞体传输到其他神经元、腺体和肌肉。

轴突在称为轴突丘的锥形突起处连接到细胞体。轴突丘负责汇总抑制和兴奋信号，如果总和超过某个阈值，神经元就会发出信号（称为动作电位）。

两个神经元在突触处连接。突触位于第一个神经元的轴突终末和第二个神经元的树突上。

生物神经元（左）和人工神经元（右）。

人工神经元

人工神经元（也称为单元或节点）在结构和功能上模仿生物神经元（在宽泛的意义上——见下一条注释）。

人工神经元接收几个输入值（类似于生物神经元中的树突），并为它们分配权重（类似于突触的作用）。

在节点内部，对加权输入进行求和，并应用激活函数来获得结果。

此操作与生物神经元中细胞体和轴突丘的作用相匹配。

节点的输出被传递到其他单元——这一操作模仿了电化学信息从一个神经元传递到另一个神经元或神经系统的其他部分的过程。