转摘迷人又恼人的大脑，人类对大脑的致敬之 —— IBM TrueNorth芯片 (一)
本文经授权转载自微信公众号“开源类脑”
开源类脑: openneuromorphic.cn
前言
故事的背景还要追溯到2008年，美国国防部研究机构DARPA大笔一挥给了IBM 500万美金，让其去做“类脑自适应可塑性可扩展电子系统”这个项目，英文名Systems of Neuromorphic Adaptive Plastic Scalable Electronics，简称SyNapse。而后DARPA又不断给这个项目投钱，最后一共投入7千6百万美金，现折合人民币约5.5亿。
SyNapse这个简称正好是突触的意思，基本上类脑领域大家喜欢的词放了一大半，充分说明取名字在科研领域也是非常重要的 :)
这个项目是类脑领域非常知名的项目，其中影响力最大的一个科研产出就是TrueNorth芯片。包含4096个计算核，采用的是三星的28纳米制程，54亿个晶体管，功耗65毫瓦，同样级别的英特尔芯片，功耗是1000倍。在本篇文章中，笔者就将深入介绍它的设计。
我们为什么想要模拟大脑？
如果读者朋友们曾看过任何关于类脑计算的视频、论文、文章，可能会注意到一句类似的话：“大脑在进行认知、智能任务时比任何AI机器都要强大，但它的功率只有20瓦！”。
大脑中的神经元通过脉冲来互相通信，这些脉冲是从一个神经元传播到另一个神经元的短暂电压脉冲。平均的脉冲频率约为每秒1-10次（即每100毫秒一个脉冲至1秒一个脉冲），大脑中的脉冲又非常稀疏，同时发送脉冲的神经元不足1%。
大脑是如何做到这一点的？有几个主要原因：
1.神经元之间的三维连接。 在目前主流的芯片制造中，我们只能在二维平面中放置晶体管、电路和组件。但是在大脑里，我们可以利用整个三维空间。这使得哺乳动物大脑的每个神经元可以达到约一万个突触连接。
2.复杂的计算与稀疏的通信结合。 神经元复杂的动力学运算能够捕捉和处理丰富的时空信息，而其稀疏的信息传输机制有助于减少不必要的计算和能源消耗。这种独特的结合使得大脑在保持高度智能处理的同时，能够以高度并行和低功耗的方式运作。
3.极低功耗的计算。 通过数千年的进化，最节能的“大脑”演化出来，或许这是因为在没有食物时，消耗较少能量生存的个体更有可能生存下来。大脑的功率密度估计为每平方厘米10毫瓦，而现代数字芯片很容易就达到每平方厘米100瓦。
功耗低这一点对于芯片设计非常重要，大家都体会过笔记本电脑和手机发烫的状况。半导体消耗功率会产生热量，这个热量必须要扩散，不然会影响半导体正常工作，缩短使用寿命。
随着晶体管尺寸的缩小，其单位面积内耗散的功率增加，微小的电流泄漏在数十亿个晶体管共同作用下，累积的热量显著，而半导体材料具有固有的热阻和热容，这限制了热扩散能力。当晶体管快速切换时，会在局部区域生成大量热量，而硅的热导率不足以迅速将热量扩散到芯片的冷却界面。晶体管的切换速度受温度影响，温度越高，晶体管内部载流子的迁移率下降，从而降低了晶体管的速度。
因此，过热不仅影响芯片的即时性能，也可能限制达到更高操作频率的能力。这导致了现在的芯片需要复杂的散热设计，包括使用散热片、风扇、液体冷却系统等，这不仅增加了设备的成本和复杂性，也限制了设备设计的灵活性和移动端的可能性。
这一系列原因也是为什么大家如此关注超导这个技术，2023年下半年因为LK-99材料可能实现室温超导，这个热点直接点燃了大家的激情，成为全球科技圈的“顶流”，多次上热搜。如果真的实现室温超导，就芯片这一个领域的发展都不可估量。
大脑约1000亿的神经元，每个神经元连接1000到10000个突触，这么复杂的神经网络以三维的方式连接却没有听说有发热散热问题，这也是我们想要学习模拟的。
所以，IBM决定尝试用TrueNorth来模拟大脑，这是一款包含4096个计算核、100万个神经元和2.56亿个突触的芯片。
如果要读者朋友们来设计一颗模拟大脑的芯片，我们应该从哪里着手？模拟大脑，短短四个字，其实有点摸不着头脑，什么叫模拟大脑，模拟什么？什么层面模拟？我们手里只有一些半导体，脑里有脑干小脑额叶顶叶颞叶枕叶海马体杏仁核等等。
不说将大脑里的这么多个部分模拟，就说将大脑皮层切开看到的这六层结构，如下图显示的由外向内依次为 1. Molecular分子层、2. External granular外颗粒层、3. External pyramidal外锥体层、4. Internal granular内颗粒层、5. Internal pyramidal内锥体层、6. Multiform多形层，我们要完全模拟都并不容易。
美国工程院院士、神经科学家Jeff Hawkins的千脑理论主要就是受这六层结构所启发，他认为大脑皮层怎么切都是这六层结构，说明大脑皮层由许多小的、独立的模块组成，每个模块都可以学习完整的概念，他的Hierarchical Temporal Memory (HTM)模型就是复制了这个结构的一些关键特征。
下图是一个分析大脑皮层这六层结构互相之间的信号传递的模型，看完已经头大了。
毕竟，人类大脑是已知的宇宙中最高级的智能形式，我们远远没到可以完全理解大脑的程度，我们也不可能完全造出一个跟大脑一样的存在，所以，大脑启发必然是一个很大很泛的概念。
但是，笔者认为，Engineering，工程学，本质就是从复杂混沌的自然现象中抽象出一些简单的规律和模式，这些规律和模式可以应用到我们的创造之中，足以解决一些实际的问题。
具体到芯片设计上，我们能从中获得哪些启发？读者朋友们不妨思考一下，TrueNorth已经给出了它的思考。
在下一章里，笔者将介绍TrueNorth设计的七个核心原则，其中有一些和主流芯片的设计逻辑已然非常不同。
TrueNorth芯片的七个原则
原则1：降低动态功耗 (Minimizing dynamic power)
动态功耗主要包括开关功耗（Switching Power）和短路功耗（Short-circuit Power）。
开关功耗是电路在开关的过程中对输出节点的负载电容充放电所消耗的功耗。开关指的是晶体管从开到关或者从关到开切换状态，每当状态切换时，与之相连的节点电容需要重新充电至新的电压级别，这个过程中消耗的能量转化为热能。短路功耗发生在晶体管由开到关或由关到开的过渡期间，这时PMOS和NMOS可能会同时处于导通状态，形成从VDD到GND的短路路径。
TrueNorth通过采用纯事件驱动 (event-driven)的架构降低动态功耗，这也就意味着，没有全局时钟持续使得所有电路处于“激活”状态，当电路没有“激活”的时候，晶体管也就没有在持续发生状态切换。
这个纯事件驱动的架构具体来说是“全局异步、局部同步”(Globally Asynchronous Locally Synchronous, GALS)，在同步的计算核 (core)中间有完全异步的互连结构。
如下图所示，“Locally synchronous module”就是局部同步单元，图中部的”Data”就是通过异步的“Handshake”握手协议进行通讯。
在GALS架构中，有一系列计算单元，它们通过全局时钟进行同步。计算单元中的局部时钟对于每个单元来说可以不同，因为每个单元可能以不同的速度运行。当两个不同的时钟域的计算单元需要通信时，它们之间的通信实际上是异步的，必须在他们之间实现握手协议，以保证全局的正确计算。
原则2：降低静态功耗 (Minimizing static power)：
静态功耗也被称为电流泄漏功耗（Leakage Power），是指集成电路没有活跃地切换状态，仍然会有一定的电力消耗。TrueNorth使用的是低功耗CMOS工艺，目标是降低静态功耗。技术节点是28纳米CMOS。
原则3：大规模并行性 (Maximizing Parallelism)：
由于大脑是一个大规模并行架构，拥有约1000亿个神经元，每个神经元大约有1万个突触，因此并行性是TrueNorth的关键特性：该芯片拥有100万个神经元和2.56亿个突触，包括4096个核心，每个计算核模拟256个神经元和6.4万个突触。
原则4：实时操作 (Real-time operation)：
Truenorth的实时意味着芯片的全局时钟同步为1毫秒，即神经元每毫秒更新状态或者发放脉冲一次。
原则5：可扩展设计 (Salability)：
架构是可扩展的，可以将多个计算核放在一起，并且由于时钟信号仅在计算核的互联结构中分布，所以现代VLSI数字电路的全局时钟信号偏斜问题不影响TrueNorth。
原则6：容错性 (Defect Tolerance)：
在设计中采用了冗余，特别是在存储电路中，以使芯片能够容忍缺陷。
原则7：软件和硬件之间的一对一对应 (Hardware–Software One-to-One Equivalence)：
芯片操作与使用IBM TrueNorth设计软件的操作一一对应。设计异步电路是一项非常困难的任务，因为基本没有可用于此类设计的VLSI电子设计自动化 (Electronic design automation, EDA)工具 (研究层面上，有耶鲁大学Rajit Manohar领导的的"异步VLSI和架构研究组"一直在开发异步VLSI EDA工具)。因此，TrueNorth的设计者决定对同步电路使用传统EDA工具设计，以及对异步互连结构使用定制设计工具和流程。
Terry Sejnowski，美国四院院士，人工智能领域先驱说过：“TrueNorth芯片就像第一个晶体管。”如果大家感兴趣的话，这是TrueNorth系列文章的第一篇，在后续的第二篇文章中，笔者将深入为读者朋友们介绍TrueNorth的芯片架构。
------Stay Tuned 未完待续------
参考文献：
1. Merolla, P. A., Arthur, J. V., Alvarez-Icaza, R., Cassidy, A. S., Sawada, J., Akopyan, F., ... & Modha, D. S. (2014). A million spiking-neuron integrated circuit with a scalable communication network and interface. Science, 345(6197), 668-673.
2. Akopyan, F., Sawada, J., Cassidy, A., Alvarez-Icaza, R., Arthur, J., Merolla, P., ... & Modha, D. S. (2015). Truenorth: Design and tool flow of a 65 mw 1 million neuron programmable neurosynaptic chip. IEEE transactions on computer-aided design of integrated circuits and systems, 34(10), 1537-1557.
审校：师心铭
【来源】微信订阅号/公众号[开源类脑] 广东
【作者/编者】周芃
【原文】https://mp.weixin.qq.com/s/BW-ZsSysjy5guxcjVAqhwQ
【声明】转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本社区联系，我们将及时更正、删除，谢谢。