近日,在光电信息学院低功耗与智能集成电路研究室学习的2017级本科生吴加隽同学在国际集成电路著名会议IEEE亚洲固态电路会议(IEEE Asian Solid State Circuit Conference,简称A-SSCC)上发表题目为“An Energy-efficient Multi-core Restricted Boltzmann Machine Processor with On-chip Bio-plausible Learning and Reconfigurable Sparsity”的高能效、片上学习的类脑神经网络多核处理器论文。IEEE A-SSCC是国际著名集成电路学会IEEE固态电路分会直接资助的旗下四大旗舰国际会议之一,也是光电信息学院集成电路研究方向A类会议。这也是学校第一次由本科生以第一作者的身份在该会议上发表口头报告论文。
该论文提出了一种基于受限玻尔兹曼机(Restricted Boltzmann Machine, 简称RBM)类脑学习算法的高能效硬件处理器(如图1所示)。选取的算法相比传统RBM学习算法,能以更少的迭代次数和运算量来达到更好的学习性能。同时,该算法反映了大脑的脉冲时序依赖可塑性(Spiking-Timing-Dependent-Plasticity,简称STDP)机制,具有生物可似性。除此之外,论文提出的多核架构充分利用了RBM模型中存在的大量稀疏性以及局部学习机制,引入异步多核计算和局部存储,显著提升了处理器的能量效率和吞吐率。这项工作的合作单位为新加坡科技设计大学、新加坡国立大学和南洋理工大学。
图1 类脑神经网络多核处理器架构及其STDP学习机制
机器学习模型中的稀疏性一直是硬件加速领域的重点研究对象,以受限玻尔兹曼机为代表的神经网络传统机器学习模型,拥有大量的输入稀疏和权重稀疏特性。该论文提出了预生成地址和异步累加的方案,高效地跳过了稀疏特性带来的所有零值,显著提高了处理器的能效和吞吐率。同时,由于RBM的训练包含前向生成和反向重构两个阶段,论文引入了转置存储来加速前向和反向阶段的权重读取。在未来,吴加隽同学会在低功耗与智能集成电路研究室将会继续致力于RBM处理器的ASIC专用芯片实现,完成存内计算(Computing in Memory)、局部同步全局异步(GALS)机制,并寻找系统级的映射和数据调度优化,探索并部署RBM处理器的杀手级应用。
图2 与英特尔电路实验室和新竹交通大学工作的比较表、FPGA演示平台
该论文的第一作者吴加隽,为华中科技大学光电信息学院集成1703班本科生。他在大三上学期,加入光电信息学院王超研究员课题组低功耗与智能集成电路研究室,开始探索科研道路。在一年多的科研经历里,吴加隽在基于神经网络的类神经形态(Neuromorphic)人工智能加速器芯片设计和基于3D ToF传感器的“感算一体”智能传感器电路方向进行深入钻研,积累了一定的成果。吴加隽在2020年初,于寒假期间前往新加坡科技设计大学(SUTD)和新加坡科技研究院(A*STAR)进行访问交流,了解AI算法、智能硬件的顶尖研究进展,丰富了研究视野。在2020年暑假,他又前往珠海澳门大学科技研究院进行为期两个月的实习,在澳门大学微电子学院和混合模拟集成电路国家重点实验室的冼世荣(Sai-Weng Sin)教授指导下,探索智能传感器和模拟计算智能电路领域。丰富的科研与交流经历,使得吴加隽在新冠疫情下仍克服无法返校的困难,完成了这项工作的研究,并被A-SSCC会议接收,参加了线上汇报与讨论。
图3吴加隽同学在新加坡科研院和澳门大学珠研院进行交流学习
图4吴加隽同学参加线上进行口头报告
吴加隽同学加入的低功耗与智能集成电路研究室,为学院王超研究员加入华中科技大学集成电路工程系后组建,一年多以来,王超老师坚持在学术科研与工程应用两方面齐头并进,指导研究室全体成员在低功耗集成电路和智能集成电路领域取得了实质性突破,并先后获得国家自然科学基金类脑神经网络芯片、国家重点研发计划智能机器人芯片的项目资助。在王超老师和所有同学的努力下,研究室的研究初具成果。尽管上半年受新冠疫情影响,研究室的同学们仍克服诸多困难,取得多个方向的突破。除A-SSCC会议以外,王超研究员课题组今年在其他两项集成电路和机器人领域的国家会议上发表了三篇论文,申请了一项国家发明专利,并有一篇电路与系统顶级期刊论文在审。