人工神经网络是一种无处不在的机器学习模型，可以通过训练来完成许多任务，之所以如此称呼，是因为它们的架构受到生物神经元处理人脑信息的方式的启发。
大约六年前，科学家发现了一种新型的更强大的神经网络模型，称为变压器。这些模型可以实现前所未有的性能，例如通过以接近人类的准确性根据提示生成文本。例如，变压器是ChatGPT和Bard等人工智能系统的基础。虽然非常有效，但变形金刚也很神秘：与其他受大脑启发的神经网络模型不同，目前尚不清楚如何使用生物组件构建它们。
现在，来自麻省理工学院、麻省理工学院-IBM沃森人工智能实验室和哈佛医学院的研究人员提出了一个假设，可以解释如何使用大脑中的生物元素构建变压器。他们认为，由神经元和其他称为星形胶质细胞的脑细胞组成的生物网络可以执行与变压器相同的核心计算。
最近的研究表明，星形胶质细胞是大脑中丰富的非神经元细胞，可以与神经元进行交流，并在一些生理过程中发挥作用，例如调节血流。但科学家们仍然对这些细胞的计算功能缺乏清晰的了解。
通过本周发表在《美国国家科学院院刊》上的这项新研究，研究人员从计算角度探讨了星形胶质细胞在大脑中发挥的作用，并制作了一个数学模型，展示了如何将它们与神经元一起使用构建一个生物学上合理的变压器。
他们的假设提供了一些见解，可以激发未来对人脑如何运作的神经科学研究。同时，它可以帮助机器学习研究人员解释为什么Transformer在各种复杂任务中如此成功。
“大脑远远优于我们开发的最好的人工神经网络，但我们并不真正知道大脑是如何工作的。思考生物硬件和大规模人工智能网络之间的联系具有科学价值。这是人工智能的神经科学和神经科学的人工智能。”麻省理工学院-IBM沃森人工智能实验室的研究人员、该研究论文的高级作者DmitryKrotov说道。
与Krotov一起撰写该论文的还有麻省理工学院脑与认知科学系的博士后LeoKozachkov;KseniaV.Kastanenka，哈佛医学院神经生物学助理教授，马萨诸塞州综合研究所助理研究员。
生物学上的不可能变得合理
Transformer的运行方式与其他神经网络模型不同。例如，经过自然语言处理训练的循环神经网络会将句子中的每个单词与由先前单词确定的内部状态进行比较。另一方面，变压器会立即比较句子中的所有单词以生成预测，这个过程称为自注意力。
克罗托夫解释说，为了让自我注意力发挥作用，变压器必须以某种形式的记忆保存所有单词，但由于神经元的交流方式，这在生物学上似乎是不可能的。
然而，几年前，研究一种略有不同类型的机器学习模型(称为密集关联记忆)的科学家意识到，这种自我注意机制可能发生在大脑中，但前提是至少三个神经元之间存在通信。
“我突然想到了数字3，因为神经科学中已知这些称为星形胶质细胞的细胞(不是神经元)与神经元形成三向连接，即所谓的三方突触，”科扎奇科夫说。
当两个神经元进行通信时，突触前神经元会通过突触发送称为神经递质的化学物质，将其连接到突触后神经元。有时，星形胶质细胞也是相连的——它在突触周围包裹着一条又长又细的触手，形成一个三部分的突触。一个星形胶质细胞可以形成数百万个三方突触。
星形胶质细胞收集一些流经突触连接的神经递质。在某些时候，星形胶质细胞可以向神经元发出信号。因为星形胶质细胞的运作时间比神经元长得多——它们通过缓慢升高然后降低钙反应来产生信号——这些细胞可以保存并整合从神经元传递给它们的信息。克罗托夫说，通过这种方式，星形胶质细胞可以形成一种记忆缓冲区。
“如果你从这个角度考虑，那么星形胶质细胞对于我们在变压器内部执行注意力操作所需的精确计算来说是非常自然的，”他补充道。
建立神经元-星形胶质细胞网络
有了这种洞察力，研究人员形成了他们的假设：星形胶质细胞可以在Transformer的计算方式中发挥作用。然后，他们着手建立神经元-星形胶质细胞网络的数学模型，该模型将像变压器一样运行。
他们采用了构成变压器的核心数学知识，并根据对文献的深入研究和神经科学家合作者的指导，开发了星形胶质细胞和神经元在大脑中进行通信时的简单生物物理模型。
然后，他们以某种方式组合这些模型，直到得出描述变压器自注意力的神经元-星形胶质细胞网络方程。
“有时，我们发现我们想要实现的某些事情无法合理地实现。因此，我们必须考虑解决方法。论文中的一些内容非常仔细地近似了Transformer架构，以便能够匹配以一种生物学上合理的方式，”科扎奇科夫说。
通过分析，研究人员表明，他们的生物物理神经元-星形胶质细胞网络理论上与变压器相匹配。此外，他们通过将图像和文本段落输入变压器模型并将响应与模拟神经元星形胶质细胞网络的响应进行比较来进行数值模拟。两人都以类似的方式回应提示，证实了他们的理论模型。
研究人员的下一步是从理论到实践的飞跃。他们希望将模型的预测与生物实验中观察到的预测进行比较，并利用这些知识来完善——或者可能反驳——他们的假设。
此外，他们的研究的一个启示是，星形胶质细胞可能参与长期记忆，因为网络需要存储信息以便将来能够对其采取行动。克罗托夫说，更多的研究可以进一步研究这个想法。
“由于多种原因，星形胶质细胞对于认知和行为极其重要，它们的运作方式与神经元根本不同。我对这篇论文最大的希望是它能够催化一系列针对神经胶质细胞的计算神经科学研究，特别是神经胶质细胞的研究。”，星形胶质细胞，”科扎奇科夫补充道。