k8凯发官网"|用硅模拟人脑进度条走到了180
浏览： 次 发布时间：2024-09-06 06:26:33
据统计■▷•，仅训练GPT-3就耗电10GWh◁○，相当于欧洲6000人一年的用电量-▪▲▼◁★，而随着AI应用的普及◁•，推理能耗更是难以估量▽◆★◆。
比如基于时序脉冲编码的SNN脉冲神经网络k8凯发官网■□"▼□◆○=，就是一个很有前景的方向=◁=。SNN能更好地捕捉时空信息的动态变化◇-◆-◁，有望在语音★▷■▽▲、视觉等时序数据的处理上取得突破□□★…。
Loihi 2还应用了众多类脑计算原理◆▼-•，如异步（asynchronous）-▽★▪•、基于事件的脉冲神经网络（SNNs）▷◆☆●，以及不断变化的稀疏连接△•，以实现能效比和性能的数量级提升▷□…。
一个潜在的应用场景是组合优化•■-▽。宋继强透露◇○，他们发现用神经拟态计算去求解一些大规模规划等特定问题时▼■◆，相比传统方案●▼-△，能耗可以降低约3000倍▲○▷。
只需要几块芯片就能搞定了▪▽。INT8精度运算的能效比达到了15 TOPS/W-==•◆•。总之•▪▼◇…，这不是传统意义上拼峰值算力的那种AI芯片◇▪-○△•，封装在一个六机架的数据中心机箱中-●▷。
此外■★◆▲●，神经拟态系统天然适合进行持续学习和片上学习▼□■◁，这也是当前深度学习系统的一大短板▷◇-★△▼。
对于这些独特的技术◇=□◇…•，我们联系到英特尔研究院副总裁▽□◆…•、英特尔中国研究院院长宋继强■◆•-▼，询问了更多细节◁••。
来自英特尔实验室的Hala Point规模已接近人脑的1/80•★☆，让这一构想离现实更近了一步◁▽•○-☆。
在算法和应用层面○☆□◁…，Hala Point不是专门为当前主流的深度学习模型设计的（但经过修改也能跑）◆•。它更适合去探索一些全新的▲○▲□■=，受生物学启发的学习范式▷□◁…□。
社区中大约一半的应用探索是用于机器人○▪、无人机◇◆■▷。避免了大量的无效能耗◆◁★☆。由1152个Loihi 2处理器组成=◁◁，
宋继强借用人类大脑分区来解释=☆，相当于一个人的嗅觉▪▼、视觉▲○、触觉等可以同时工作-★▽•▷，但并不需要同步=▽▷▽●。
反观人脑=…▽▷▼■，凭借860亿个神经元○○△•，每秒能完成上万亿次运算●▪-▷◇，功耗却不到20Wk8凯发官网▽◇○▪▲"△=●•▪◆。
如此一来Hala Point系统工作时是稀疏计算•▪▲◇○△，又有点像现在主流大模型都会用的MoE专家混合架构★-★▼。
整个系统支持分布在140544个神经形态处理内核上的多达11▷★.5亿个神经元和1280亿个突触□•，最大功耗为2600瓦◆=▲=。
所以Hala Point系统追求的不是极致性能•▪▲，它更大的价值在于-△•□，以一种前所未有的规模▪△……，验证了神经拟态计算的可行性和优势◇▽。
宋继强还介绍了英特尔的神经拟态研究社区INRC…★，已有包括全球学校◇▪★•▼、企业和研究机构的200多成员加入☆…★。
Hala Point还包括2300多个嵌入式x86处理器▽☆，用于辅助计算□◇◇○。
执行AI推理负载和处理优化问题时▲◆，速度比常规CPU和GPU架构快50倍-△●，同时能耗降低了100倍•…●。
Loihi 2芯片采用Intel 4工艺制造■★○==●，每个芯片有128个核心●…◆◁…◁。每个芯片包含多达100万个数字神经元和1□◇△-.2亿个突触★▼，采用存算一体设计▪▽◇▪=，打破了冯诺依曼架构的瓶颈▼★■。
在Loihi芯片和Hala Point系统的介绍中▲▼•▼，很少出现其他芯片强调的…◇…“频率=▪☆…”□◆◆•、▼•“主频-▪”这样的参数◆■-•□•。
用于仿生脉冲神经网络模型时•☆…□，能够以比人脑快20倍的实时速度运行其全部11◆▪□.5亿个神经元□◆。
全部塞进一个微波炉大小的机箱——就成了世界上最大的神经拟态系统■●☆•，而且这类应用并不需要Hala Point这么大的系统△•△◆△◆，运行传统深度神经网络时▲▽◁▪…，这得益于其稀疏计算的特性•☆◁，能效比高才是Hala Point系统最大的优势☆•▼◁◁。从这个角度看●-★=▷！英特尔Hala Point◁▷◇▲…。神经拟态系统或许能在物流=▪•■、智慧交通等领域•▷•▪”另辟蹊径-◁▲…☆△”◆▽？