近年来，"深度进修"AI模型经常被吹嘘为"像大脑一般工作"，因为它们由模拟生物大脑的人工神经元构成。然而，从神经科学家的角度来看，深度进修神经元和生物神经元之间的差别是浩瀚且分歧的。
本文将首先描述生物神经元的一些要害特征，以及若何简化它们以获得深度进修神经元。然后我们将推想这些差别若何对深度进修收集施加限制，以及若何朝着更实际的生物神经元模型的偏向成长，如我们今朝所知道的那样。生物神经元
典型的生物神经元是单个细胞，每个细胞由细胞主体和从该体延伸的很多卷须构成。身体或体细胞容纳用于维持根基细胞功能和能量加工的机械（例如，含有DNA的细胞核，以及用于构建卵白质和加工糖和氧的细胞器）。有两种类型的卷须：树突，从其他神经元领受信息并将其带到细胞体；轴突，从细胞体发送信息到其他神经元。
从发射神经元到领受神经元的信息传输大略由三个阶段构成。首先，发射神经元发生空间和时间限制的电脉冲或尖峰，其沿着神经元的轴突（和轴突分支）从细胞体行进到轴突的末尾。经由突触将传递神经元的轴突末尾"保持"到领受神经元的树突。尖峰导致传递神经元的突触释放化学物质或神经递质，它们经由扩散在两个神经元之间短距离流传。
当神经递质分子与受体连系时，接管神经元上的特化受体识别（连系）特定的神经递质，并启动很多细胞事件（大多数在本文中被忽略）。个中一个事件是细胞通道的开放，它激发另一个电波，此次经由领受神经元的树突流传到它的细胞体（这或者是一个尖峰的形式，但平日这个波在空间上扩散比尖峰更多 - 基于轴突的流传 - 想想水被推入管道中。是以，来自一个神经元的信息能够传输到另一个神经元。当神经元从多个发射神经元领受到多个兴奋性尖峰时，该电能在神经元的细胞体内累积，若是在短时间内储蓄了充沛的能量，神经元将发生其自身的外向尖峰，并将它们转发给其他神经元。
为了懂得从生物神经元到深度进修神经元的建模，还有三个方面需要商议。
速度编码
突触强度
兴奋和按捺性流传速度编码
仅领受少量兴奋性尖峰的神经元将发生并发送其自身的少量尖峰（若是有的话）。若是统一神经元领受到很多兴奋性尖峰，它将（平日）发送本身的很多尖峰。固然生物神经元中的尖峰具有显着的时间特征，然则在深度进修神经元中时间差别率是"恍惚的"。对于给定的时间单元单子，深度进修神经元的尖峰运动透露为多个尖峰（整数）或更典型地，平均尖峰速度（浮点数）。
在这个设计的例子中，视觉系统中的三个神经元领受来自眼睛中三组颜色敏感锥体细胞之一的间接输入。是以，每个神经元对特定波长的光具有最大响应，而且尖峰运动被申报为平均尖峰速度（归一化为[0,1]）。是以，输入波长由三个神经元的集体尖峰率"编码"。
然而，请注重，在生物神经元中，信息以个别或多个神经元中的尖峰的相对时间编码，而不光仅是在个别神经元尖峰速度中。是以，在深度进修神经元中不存在这种类型的信息编码和传输。其影响将鄙人面进一步商议。突触强度并非所有尖峰都是平等的。当流传的尖峰达到轴突末尾时，最终在领受神经元的树突中发生的电能量取决于插入的突触的强度。这种强度反映了很多潜在的生理身分，包罗可用于在传递神经元中释放的神经递质的量和接管神经元上的神经递质受体的数量。
无论若何，在深度进修神经元中，突触强度由单个浮点数透露，而且平日被称为突触的权重。兴奋性和按捺性神经递质
到今朝为止，我们只考虑了兴奋性神经传递。在这种情形下，从发射神经元领受的尖峰增加了领受神经元也会显现尖峰的或者性。这是因为受体神经元上活化受体的特别性质。固然过于简洁化，但人们能够将神经递质及其受体分为兴奋类和按捺类类。当按捺性神经递质与按捺性受体连系时，接管神经元中树突的电能削减而不是增加。平日，神经元具有兴奋性和按捺性神经递质的受体，然则能够仅释放（传递）一类或另一类。
在哺乳动物皮层中，与按捺神经元（每个尖峰释放神经递质GABA）比拟，存在更多的兴奋性神经元（其与每个尖峰释放神经递质谷氨酸）。尽管如斯，这些按捺性神经元对于增加领受神经元的信息选择性，封闭神经元对于信息路由以及防止癫痫运动（收集中很多神经元的杂沓发射）非常主要。
在深度进修收集中，兴奋性和按捺性神经元（离别仅具有兴奋性或按捺性神经递质的神经元）之间没有区别。所有神经元的输出运动都大于零，它是模型按捺的突触。许可突触的权重为负，在这种情形下，来自发射神经元的输入导致领受神经元的输出削减。深度进修神经元
如上所述，能够组装生物神经元的简化模型以在深度进修模型中形成定型神经元。
深度进修神经元领受来自其他神经元的输入或激活。激活是生物神经元尖峰的速度编码透露。
激活乘以突触权重。这些权重是生物神经元中突触强度的模型，也是模型按捺性传递的模型，因为权重能够取负值。
将加权激活相加在一路，对在生物神经元的细胞体中发生的累积过程进行建模。
将误差项加到总和上，模拟神经元的一样敏感性。
最后，乞降值由激活函数整形 - 平日限制最小或最大输出值（或两者），例如S形函数。这模拟了生物神经元的固有最小尖峰速度（零）或最大速度（因为发生尖峰的生理机制中的细节）。
推进人工智能
时间编码深度进修依靠于基于速度的编码，个中每个神经元的激活是单个数值，其模拟响应于给定刺激的平均尖峰速度（来自其他神经元或来自外部刺激）。集体组收集的单个层内尖峰率值平日被组织为数字向量，而且该载体被称为透露外部刺激。
基于速度的神经编码的表达性远低于基于多个神经元上的尖峰之间的相对时间的神经代码（透露）或者的表达。作为生物学中存在这种类型代码的一个简洁例子，考虑听觉系统。当声波达到我们的耳朵时，我们的大脑处理它们以确定发生声音的动物，物体或现象的类型，还估量声音来自的偏向（内陆化））。确定声音位置的一种体式是基于以下事实：来自右侧的声音将首先达到右耳，然后是左耳。接近右耳和左耳的听觉神经元示意出反映这种声学准时差别的尖峰准时。因为这种时间编码，听觉神经元位于更靠内侧（接近身体中线）领受来自两耳四周的神经元的输入而且对声音的位置具有选择性。
声信息经由外耳进入大脑，并经由摆布耳蜗（图像中的螺旋）转换为听觉神经中的尖峰。方位角位置的感知部门地由耳朵处的声音达到时间差决意，其被编码为大脑左侧与右侧的听觉神经元中的尖峰的时间差别。身体中线四周的听觉神经元群对该时间编码敏感，而且选择性地响应入射声音的感知位置（方位角，仰角）。
更一样地，考虑单个神经元领受来自此外两个神经元的输入的简洁示例，每个神经元发送沟通的输入：在100ms内平均距离（在时间上）的短的N系列兴奋性尖峰。在其他前提沟通的情形下，这将在领受神经元中发生一些刻板的回响。相反，若是个中一个输入神经元在前20毫秒（100毫秒距离）内发出悉数尖峰，而另一个输入神经元在最后20毫秒内发送了所有尖峰，则领受神经元的响应是或者会有光鲜的分歧。是以，即使输入神经元的尖峰率在每个场景中沟通（10N尖峰/秒），时间编码也是完全分歧的，而且领受神经元的响应也或者非常分歧。主要的，使用时间码时或者存在很多输入 - 输出组合，即使输入尖峰的数量很少，不变或两者兼而有之。这就是我们所说的更具示意力的编码方案。关于AI，行使时间编码的模型能够想象为执行比具有沟通数量的神经元的深度进修模型更复杂的义务。
考虑从一个神经元领受输入的神经元。上图透露来自输入神经元的三个示例性尖峰序列（尖峰被描画为垂直线）。在像深度进修如许的基于速度的编码模型下，领受神经元的输出在每个例子中都是沟通的（因为输入在每种情形下都是沟通的：3个尖峰/时间单元单子）。在时间编码的情形下，对于每个示例，输出能够是分歧的，从而适应更具示意力的AI模型。
除了示意力之外，尖峰时间的差别能够许可模型经由模拟生物学的那些来进修 - 例如，突触的尖峰准时依靠性可塑性（STDP）。与深度进修中使用的梯度下降（反向流传）方式比拟，这种进修能够在内陆和有效地实现。按捺神经元
基于我们对生物学和深度进修神经元的简洁描述，兴奋性和按捺性神经元之间的区别能够经由深度进修神经元来模拟。即，能够简洁地经由确保其深度进修等效物对其轴突与其投射的神经元的树突之间的所有突触权重具有负值来模拟生物按捺神经元。相反，当模拟生物兴奋性神经元时，这种突触应始终具有正重量。然而，若是只需要所有突触都是正值（或者经由在每次练习迭代后对权重应用ReLU函数），练习和实现将更轻易，并使用激活函数发生按捺的负（正）值（兴奋性）神经元。手艺旁白：在任何一种情形下，因为权重的零值梯度等于零，或者存在额外的练习挑战。与激活函数中的ReLU非线性分歧，我们不克依靠随机梯度下降（随机选择的样本批次）来将权重值推离零。
为什么人们想要按捺性神经元呢？为什么不像在当前的深度进修模型中那样在突触水平而不是神经元水平上实施按捺？这是不确定的，但一种或者性是使用显性按捺神经元有助于约束整体参数空间，同时许可促进快速进修的子收集构造的演变或成长。
在生物系统中，大脑不消进修任何输入 - 输出关系，或执行任何或者的尖峰序列。我们生活在一个具有固定物理定律的世界中，其物种的个别成员具有很多配合的物种熟行为特征，无需明确进修。所以，限制收集的或者电路保持和动态运动等同于限制练习方式必需搜刮的解决方案空间。鉴于此，推进AI的一种方式是使用和搜刮兴奋性和按捺性神经元的规范子收集构造的方式，其能够在更传统的模型练习时代模块化地组装成更大的收集（例如，经由梯度下降的监视进修）。
按捺性神经元的另一个潜在优点，与方才提到的构造化规范电路的使用相关，是按捺性神经元能够有效地"封闭"大量神经元，这些神经元对于处理给定样本或义务是不需要的，从而节约能量需求（假设硬件设计行使这种情形）。此外，若是收集构造合理，这能够促进这种收集中的 - 从概念上携带来自神经元的，该其提取到用该信息执行特定子义务的神经元。例如，将初级可视信息（像素，线或弧）路由到提取对象标识的区域，确定相对对象位置的区域，或两者。基于低能量尖峰的硬件
更大的生物实际主义能够使人工智能受益的另一种体式不是经由扩展的根基能力自己，而是经由提高能源效率。人脑仅消费约 - 相当于现代紧凑型荧光灯胆 - 同时供应，比甚至耗能型深度进修模型更多的认知能力。即使除了这些节能之外没有对深度进修神经元做出任何其他基本性改变，行使约1000 亿个神经元和具有如斯低能量要求的100-1000 万亿个突触（粗略估量）的能力或者是光鲜的提拔AI功能。或许，当前模型能够以能源成本的一小部门运行，从而能够在边缘轻松实施，因为处理能够在内陆完成，而不是无线传输原始数据到云进行处理（无线传输是一个值得注重的能量消费）。
相对于传统较量硬件，生物神经元的能量效率很大水平上归因于这些神经元的两个特征。
首先，生物神经元仅传输短脉冲的模拟能量（尖峰）而不是维持很多透露单个浮点或整数的位。在传统硬件中，除非使用更慢类型的存储器（非RAM），不然这些位需要持续的能量流来维持0或1状况。
其次，记忆与生物神经元中的处理位于统一位置。也就是说，突触强度是收集的历久记忆（轮回保持能够连结短期记忆），它们介入处理（尖峰加权和传输），而且非常接近处理的其他方面（细胞体内的能量储蓄）。比拟之下，传统硬件按期将位从RAM传输四处理器 - 相当长的距离和相当大的能量消费。
很多研究实验室和私营公司正致力于斥地可以供应这些优势的新型硬件。瞻望各不沟通，但我们或者会在十年内看到可行的，贸易化的现成。值得注重的是，迄今为止基于深度进修神经元略微不足。然而，一旦相关硬件的可用性变得显着，行使更多神经元的能力以及将进入基于尖峰的算法的研究量的增加或者会扭转这种状况。结论
在我们看来，深度进修模型和生物大脑之间的相似性近年来被很多媒体文章强调了。尽管如斯，神经科学家和很多人工智能研究人员都清楚地意识到这些差别，而且正在起劲为AI模型带来更大的神经实际性，进展超越我们或者正在向前迈进的。
我们忽略了生物学和深度进修神经元之间的很多其他差别，这些差别或者注释了哺乳动物智力与当前AI之间的伟大差别。
