当前位置: eg娱乐 > eg平台 > 正文

人造神经元_

作者:admin 发布:2018-10-11 01:15 | 点击数:
取决于所使用的特定模型,它们可以被称为半线性单元,Nv神经元,二元神经元,线性阈值函数或McCulloch-Pitts(MCP)神经元。 其中w是突触权重向量,x是输入向量。 第k个神经元的输出是: 使用线性阈值函数的一个重要且开创性的人工神经网络是Frank Rosenblatt开发的感知器。该模型已经考虑到神经元中更加灵活的权重值,并被用于具有自适应能力的机器中。 Bernard Widrow在1960年介绍了将阈值表示为一个偏差项 - 见ADALINE。  (phi)是传递函数。 人造神经元被设计为模仿其生物对应物的各个方面。 简单的人造神经元,如McCulloch-Pitts模型,有时被描述为“漫画模型”,因为它们旨在反映一个或多个神经生理学观察,但不考虑现实主义[2]。 一个非常简单的非线性函数,逻辑函数(如逻辑函数)也具有易于计算的导数,这在计算网络中的权重更新时可能很重要。它因此使得网络在数学上更容易操作,并且对于需要最小化其模拟的计算负荷的早期计算机科学家具有吸引力。它以前在多层感知器中常见。然而,最近的研究表明S形神经元的效率低于矫正的线性神经元。原因在于反向传播算法计算出的梯度倾向于随着激活通过S形神经元层传播而逐渐减小,使得使用多层S形神经元优化神经网络变得困难。 请参阅:线性变换,谐波分析,线性滤波器,小波,主成分分析,独立分量分析,解卷积。 人造神经元是被认为是神经网络生物神经元模型的数学函数。人造神经元是人造神经网络中的基本单元。人造神经元接受一个或多个输入(表示神经树突上的兴奋性突触后电位和抑制性突触后电位)并将它们相加以产生输出(或激活,表示神经元的沿着其轴突传递的动作电位)通常,每个输入是分开加权的,并且该总和通过称为激活函数或传递函数的非线性函数[需要澄清]传递函数通常具有S形形状,但是它们也可以采取其他非线性函数的形式,分段线性函数或阶跃函数,它们通常也是单调递增的,连续的,可微分的和有界的,阈值函数启发了被称为阈值逻辑的构建逻辑门;适用于构建类似于脑处理的逻辑电路,例如,例如忆阻器已被广泛用于近来开发这种逻辑。[1] 在20世纪80年代后期,当对神经网络的研究重新获得了强度时,开始考虑具有更连续形状的神经元。区分激活功能的可能性允许直接使用梯度下降和其他优化算法来调整权重。神经网络也开始被用作一般函数逼近模型。最常见的称为反向传播的训练算法已经被重新发现了几次,但它的第一个发展可以追溯到Paul Werbos的工作[8] [9]。 人工神经元传递函数不应该与线性系统的传递函数混淆。 输出类似于生物神经元的轴突,其值通过突触传播到下一层的输入。它也可能退出系统,可能作为输出向量的一部分。 哪里 第一个人造神经元是1943年由Warren McCulloch和Walter Pitts首次提出的阈值逻辑单元(TLU)或线性阈值单元[6]。该模型专门针对作为大脑中“神经网络”的计算模型[7]。作为传递函数,它使用了一个阈值,相当于使用Heaviside阶跃函数。最初,只考虑了一个简单的模型,其中包含二进制输入和输出,对可能的权重有一些限制,以及更灵活的阈值。从一开始就已经注意到,任何布尔函数都可以通过这些设备的网络来实现,从实际上可以实现AND和OR函数,并以分离或联合的标准形式使用它们这一事实很容易看出。研究人员很快意识到,通过神经元反馈的循环网络可以定义带有记忆的动力学系统,但是大多数研究集中于(并且仍然)严格前馈网络,因为它们存在较小的难度。 然而,与大多数人造神经元不同,生物神经元以离散的脉冲发射。每次体细胞内的电势达到某个阈值时,脉冲就会沿着轴突传播。这种脉冲可以转化为连续值。轴突触发的速率(每秒激活等)直接转换为相邻单元将信号离子引入其中的速率。生物神经元发出的速度越快,附近的神经元越快积聚电位(或失去电位,这取决于与发射的神经元相连的树突的“加权”)。这种转换允许计算机科学家和数学家使用可以输出不同值(通常从-1到1)的人造神经元来模拟生物神经网络。 以下是采用布尔输入(true或false)的单个TLU的简单伪代码实现,并在激活时返回单个布尔输出。使用了一个面向对象的模型。没有定义培训方法,因为存在多种方法。如果使用纯功能模型,则下面的类TLU将被替换为具有输入参数阈值,权重和返回布尔值的输入的函数TLU。 神经元的传递函数被选择为具有许多增强或简化含有神经元的网络的特性。例如,关键的是,任何使用线性传递函数的多层感知器都有一个等效的单层网络[需要引用];因此需要非线性函数来获得多层网络的优点。 这个功能被用于感知器中,并且经常出现在许多其他模型中。它通过超平面执行输入空间的划分。它在网络的最后一层中特别有用,用于执行输入的二进制分类。它可以通过为权值分配较大的值而从其他S形函数近似。 它没有像这样的学习过程。其传递函数权重被计算并且阈值被预先确定。 该传递函数的输出y是二进制的,取决于输入是否满足指定的阈值θ。如果激活满足阈值,则发送“信号”,即输出设置为1。 在下面,u在所有情况下都指向神经元的所有输入的加权和,即对于n个输入, {\\ displaystyle \\ varphi} 研究表明,一元编码用于负责鸟类生产的神经回路。[3] [4]生物网络中一元的使用大概是由于编码固有的简单性。另一个促成因素可能是一元编码提供了一定程度的纠错。[5] 对于给定的人造神经元,让m 1个输入信号x0到xm和权重w0到wm。通常,x0输入被赋值为 1,这使得它是wk0 = bk的偏置输入。这只剩下m个神经元的实际输入:从x1到xm。 在这种情况下,输出单位只是其输入加偏置项的加权总和。许多这样的线性神经元执行输入向量的线性变换。这通常在网络的第一层中更有用。基于线性模型存在许多分析工具,例如谐波分析,并且它们都可以用于具有该线性神经元的神经网络。偏差项允许我们对数据进行仿射变换。 φ

Powered by eg娱乐 @2018 RSS地图 html地图

Copyright 站群系统 © 2012-2013 365建站器 版权所有