论文网
首页 理科毕业计算机毕业正文

光子脉冲神经网络研究历程与展望

  • 投稿
  • 更新时间2022-12-02
  • 阅读量33次
  • 评分0

摘    要:人工神经网络学科的发展推动信息处理技术的进步,目前,被称为第三代人工神经网络的脉冲神经网络以其更具生物可解释性,更适合人工神经网络硬件实现的优势受到业界的广泛关注,并已成功应用于模式识别,医学成像,智能控制等多个领域。受制于“后摩尔时代”电子芯片的制程不断接近极限以及冯·诺依曼体系“存算分离”带来的性能瓶颈,低时延、低能耗、高带宽、高并行性的光子计算方案应用于脉冲神经网络的硬件实现成为信息处理领域多学科融合的热门课题。介绍了光子脉冲神经网络的起源,利用光学器件的特性实现神经元的行为和突触连接强度的变化进而实现脉冲神经网络的研究历程和多种实现方案,总结了光子脉冲神经网络目前存在的瓶颈和挑战,展望了光子脉冲神经网络的未来发展趋势。


关键词:信息处理;人工神经网络;光子脉冲神经网络;光子计算;光学器件;


Research History and Prospect of Photonic Spiking Neural Networks

KE Te ZHU Ying

XIAOXi HU Xiao

State Key Laboratory of Optical Communication Technologies and Networks, China Information

Communication Technologies Group Corporation


Abstract:Spiking neural networks (SNN), due to its biological interpretability, has sucessfully realized many applications in aritificial intelligence. Photonic SNN, benifitted in the low power, low latency, high bandwidth, and high parallism, is a promising platform to acclearate SNN processing. Here, we briefly introduce the SNN working and learning schemes, and the software and electrical hardware realizations. We focus on developmental milestones of photonic SNNs based on semiconductor optical amplifiers, electrical absorbing modulator, saturable absorber, micro rings, etc. Finally, we analyze the challenges and perspectives of photonic SNNs.


Keyword:information processing; artificial neural network; photonic spiking neural network; photonic computing; optical device;


0 引言

人工神经网络(Artificial Neural Networks, ANN)是一种运算模型,用以对生物神经系统结构和功能进行抽象和模拟,在信息处理和模式识别等领域发挥着重要作用[1]。现代神经科学的实验表明,视觉、听觉等许多生物神经系统都采用神经元发放脉冲的时间来编码信息[2,3],脉冲信号在神经系统中的运动是大脑可以进行思维的基础[4]。因此,根据现代神经科学的最新研究成果,更具生物可解释性的第三代人工神经网络——脉冲神经网络(Spiking Neural Networks, SNN)应运而生。脉冲神经网络具有计算量小,对噪声鲁棒性强的优势,其应用已涉及信息处理的各个领域且取得了很大进展。脉冲神经网络适合于硬件实现,近十年来随着光学器件技术和工艺的进步,结合光学优势克服电学瓶颈的光子脉冲神经网络正逐步取得发展。


本文介绍脉冲神经元的建模机制,脉冲神经网络的学习机制和软硬件实现,重点介绍光子脉冲神经网络基于不同光学器件的实现方案,进而对光子脉冲神经网络的发展进行总结与展望。


1 脉冲神经网络

生物神经元具有对内外刺激做出响应的能力,脉冲神经元模仿生物神经元的工作模式。图1a所示为一个生物神经元通过大量的树突接受其他神经元的轴突发放的各不相同的动作电位,即脉冲序列,并对它们进行整合从而使得轴突发放一定时间间隔的输出脉冲序列,该输出脉冲序列又成为与之连接的下一个神经元的输入脉冲序列。真实的生物神经元形态和动力学特征十分复杂,对其进行高维建模则很难进行数学分析,不利于大规模脉冲神经网络的组网和研究,因此,研究者对脉冲神经元建立了状态变量微分方程模型并对其进行简化并提出多种较大影响的脉冲神经元模型[5,6,7,8,9,10,11,12,13,14,15,16],图1b所示的泄露积分发放(Leaky Integrate-and-Fire, LIF)神经元模型是目前普遍公认的在生物真实性和实现简化性方面取得最佳平衡效果的神经元模型[17],长期以来在包括光子脉冲神经网络的神经计算领域得到了广泛的应用。


脉冲神经元的连接构成了SNN,在SNN的学习机制方面,通常认为具有两种学习机制:一、在无标签数据的情况下进行无监督训练,二、在标签数据的情况下进行监督训练。在无监督学习中,脉冲时序依赖可塑性(Spike-Timing-Dependent Plasticity, STDP)算法与生物学习机制密切相关[18,19,20] ,是一种基于突触前脉冲和突触后脉冲的时序来调整神经元之间连接强度的机制[21,22,23,24],图1c所示当突触前脉冲先于突触后脉冲发放()时,神经元连接强度增强,反之神经元连接强度减弱,神经元连接强度变化()的绝对值与脉冲发放时间差()成反比。在监督学习中,目前比较著名的监督学习算法有SpikeProp[25]、Tempotron[26]、ReSuMe[27]、SWAT[28]、Chronotron[29]、SPAN[30]和PSD[31],这些监督学习算法主要基于梯度下降、STDP机制或脉冲序列卷积[32]。


在基于软件实现SNN方面,北京大学信息科学技术学院数字媒体所媒体学习组和鹏城实验室联合开发了SpikingJelly框架。这是一个基于PyTorch使用脉冲神经网络进行深度学习的框架,已应用于物体检测任务并实现了较好的效果[33]。此外,Jason K. Eshraghian团队[34]开发的脉冲神经网络深度学习框架snnTorch亦被深度学习界广泛使用。但使用上述框架在GPU等通用硬件上对数据集进行训练时,数据集的“0-1”脉冲序列编码被GPU等通用硬件当作普通实值进行矩阵运算,从而无法体现脉冲神经网络的优势。


在基于硬件实现SNN方面,具有代表性的成果包括:英国曼彻斯特大学的SpiNNaker[35]、德国海伦堡大学的HiCANN[36]、美国斯坦福大学的Neurogrid[37]、IBM公司的True-North[38]、Intel公司的Loihi[39]、我国浙江大学的Darwin[40]以及清华大学的Tianjic[41],以上神经形态的硬件实现摒弃冯·诺依曼架构而采用存算一体的方式并结合脉冲神经网络设计,实现学习、感知、推理、预测的人工智能行为。然而,受限于电子瓶颈以及摩尔定律的放缓,电子类脑硬件难以进一步提高脉冲神经网络的计算速度和能效[42]。


2 光子脉冲神经网络

相较于传统电子计算芯片面临制程接近摩尔定律极限所带来的瓶颈和约束,光具有高带宽、高速率、低延时和低功耗的优良特性,因而利用光的上述优势集成光子脉冲神经网络,进而实现学习、感知、推理、预测等功能,已成为当今信息处理领域多学科融合的热门方向,国内外的多个研究团队开展了深入研究并已取得较为丰富的成果。以下本文将介绍多种光子脉冲神经网络,按照实现器件分类,包括半导体光放大器(Semiconductor Optical Amplifier, SOA)实现方案、电吸收调制器(Electro Absorption Modulator, EAM)实现方案、激光器实现方案、微环实现方案,以及其他实现方案。


2.1 半导体光放大器(SOA)实现方案

2009年,美国普林斯顿大学Mable P. Fok研究团队[43]首次提出了光子LIF神经元,开辟了光子脉冲神经网络的研究领域。经过多次完善,2011年该团队设计了图2所示的实验来实现基于SOA的光子LIF神经元[44],该实验的核心思想是建立SOA载流子密度变化和LIF神经元膜电位变化之间的对应关系来实现光子LIF神经元。图2所示输入脉冲经可调光衰(variable attenuator, G)进行加权和可调延时线(variable delay line, T)进行延时后通过50/50耦合器耦合形成一路输入信号(图2A所示),输入信号与波长为λ1的采样脉冲同步进入SOA。由于采样脉冲的能量很小,因此它对SOA增益的影响相比输入信号忽略不计。由于SOA内部的交叉增益调制(Cross Gain Modulation,XGM),输入信号会导致SOA的增益突然下降,SOA输出的采样脉冲(图2B所示)能量随之降低;随后SOA的增益逐渐恢复,采样脉冲的输出功率也逐渐提升(Integrator)。SOA输出处的带通光谱滤波器使得只有波长为λ1的采样脉冲经掺铒光纤放大器(Erbium Doped Fiber Amplifier, EDFA)放大和偏振控制器(Polarization Controller, PC)后输出至由长度为10.5m的高掺杂GeO2(HD)非线性光纤所构成的阈值判决器1(Thresholder 1),阈值判决器1对低于设定阈值的光信号进行过滤从而输出清晰的脉冲序列,紧接着的太赫兹光非对称解复用器(Teraherz Optical Asymmetric Demultiplexer, TOAD)对阈值判决器1的输出(图2C所示)进行反转(Inverter),阈值判决器1的输出脉冲作为TOAD的控制信号,在该控制信号所制造的转换窗口内波长为λ2的采样脉冲作为TOAD的输出信号从而实现信号的反转。TODA的反转作用实现了光信号的恢复,使得输出波长完全独立于输入波长。此外,由于对信号的反转会带来一定程度的信号劣化,在神经网络的传播过程中这种劣化会积累进而导致类脑计算错误,从而在TODA的输出端对光信号进行第二次阈值处理(Thresholder 2)。


上述的实验虽然实现了基于SOA的光子LIF神经元模型,但两个阈值判决器使得LIF神经元模型的实现过于复杂和昂贵,且没有实现对神经元的抑制性输入。针对上述的两个问题,该研究团队提出了图3所示的基于SOA的对称光子神经元结构[44]。该结构包含两个SOA,SOA1接收兴奋性输入(Excitatory inputs),SOA2接收抑制性输入(Inhibitory inputs)的同时接收SOA1的输出。基于SOA的对称光子神经元的输出可以视为单独兴奋性输入和单独抑制性输入结果的叠加,当且仅当兴奋性输入存在而抑制性输入不存在时,基于SOA的对称光子神经元才发放脉冲。


基于SOA的光子脉冲神经元性能受载流子生存时间和脉冲发放后恢复时间的影响,现代SOA的载流子生存时间可低至10ps,恢复时间可低至25ps,实验所用SOA的恢复时间从小于100ps到近似500ps,可输出皮秒级脉宽。


与此同时,国内也有北京大学、西安电子科技大学等高校展开了相关研究。2015年,北京大学赵建业教授团队[45]进行了基于SOA的光子STDP的实验,图4a所示的锁模激光器(Mode-Locked Laser, MLL)作为脉冲源,其输出光经两个带通滤波器输出波长为λ1和λ2的光并分别被用作突触前脉冲和突触后脉冲,两束光之间的相对时延由一个可变光延迟线控制(Optical Delay Line, ODL),突触前脉冲和突触后脉冲由一个90/10的光耦合器(Coupler, C)分开,分开形成的强脉冲作为信号脉冲,弱脉冲作为探测脉冲,突触前探测脉冲和突触后信号脉冲进入SOA1,突触前信号脉冲和突触后探测脉冲进行SOA2,信号脉冲进入SOA之前,通过电流注入对应于载流子密度的SOA增益被保持在一个常数值,信号脉冲进入SOA之后,载流子密度由于受激发射而下降,这个持续数皮秒的过程被称为增益饱和。脉冲通过后,表征SOA增益的载流子密度将由来源于外部电流注入的载流子而恢复,一般恢复时间将持续几百皮秒,增益恢复的动态特性可以由探测脉冲采样,探测脉冲通过光带通滤波器从SOA的输出提取,然后通过光电探测器(PhotoDetector, PD)探测。如果探测脉冲在信号脉冲到来之前进入SOA(图4b Ⅱ、图5b Ⅲ所示),那么探测信号被正常放大且不被载流子损耗所影响,如果探测脉冲在信号脉冲之后的几百ps以内到达SOA(图4b Ⅰ、图5b Ⅳ所示),那么此时探测信号的输出功率将弱于正常放大的功率,SOA1构成图4b的波形,SOA2构成图4c的波形,SOA1构成的波形和SOA2构成的波形相减之后形成图4d所示的STDP特征。该团队所用锁模激光器脉冲发放频率为100MHz,因此脉冲发放间隔为10ns,远大于实验所用SOA的恢复时间25ps,突触前脉冲和突触后脉冲的相对时延在-400ps至400ps之间可调。


2021年,西安电子科技大学项水英教授团队[46]提出利用垂直腔半导体光放大器(Vertical-Cavity Semiconductor Optical Amplifier, VCSOA)对上述实验进行改进,相比于传统的平面SOA,VCSOA所需的偏置电流和输入功率都更低。


2.2 电吸收调制器(EAM)实现方案

2012年,美国普林斯顿大学Mable P. Fok研究团队[47]提出了一种混合模/数的光子脉冲神经元,并首次利用EAM构建光子脉冲神经元。图5所示该光子脉冲神经元由一个作为积分器(Integrator)的EAM,一个基于四波混频(Four-WaveMixing, FWM)的异步脉冲源发生器,以及一个基于高锗掺杂非线性环路镜(Ge-doped NLM)的阈值判决器组成。图5(i)所示波长为1550.12nm的N路输入信号(Input)进行加权(Weight, W)和延时(Time delay, T)并由图5(ii)所示的光耦合器进行耦合。图5(iii)所示少部分混合信号通过FWM构成脉冲光源,一个分布反馈式激光器二极管(Laser Diode, LD)发出1547.21nm的连续波光信号作为FWM的泵浦,当输入信号和泵浦同时存在时FWM发生,由此新产生的1544.3nm波长的光信号构成了脉冲光源。图5(iv)所示混合信号和脉冲光源的发光进入EAM,输入信号的能量积累于EAM,EAM的输出表征脉冲源的强度。EAM的输出脉冲进入图5(v)所示的阈值判决器,阈值判决器滤除低于阈值的弱脉冲,高于阈值的强脉冲则以图5(vi)所示的阈值输出。该研究团队的成果使得神经元的输出不再受限于脉冲源的采样速率,实现了神经元的异步响应。信号在EAM的累积基于负偏置EAM的有限交叉调制恢复时间,负偏置越大相应的恢复时间越低。该团队所用EAM负偏置最大可调至-3V,相应恢复时间最低可为约10ps,产生50ps的累积窗口进而实现皮秒级的脉宽。


2013年,该研究团队利用具有饱和吸收体的EAM和SOA完成了STDP的皮秒级实现[48]。图6(a)所示突触前脉冲(Pre-synaptic spike)和突触后脉冲(Post-synaptic spike)分离,突触前脉冲绝大部分进入EAM,突触后脉冲绝大部分进入SOA。图6b(Ⅰ)所示当突触后脉冲先于突触前脉冲发放时,突触后脉冲进入SOA导致SOA增益的迅速下降,如果突触前脉冲紧随突触后脉冲到来,那么SOA的输出功率会最低,反之如果突触前脉冲的发放时间远在突触后脉冲发放时间之后,那么随着时间的增加SOA的增益会逐渐恢复,SOA的输出功率也会增加,此时对于EAM,图6c(Ⅲ)所示由于EAM反向偏压的存在,在突触前强脉冲到来之前EAM无法对突触后弱脉冲进行饱和吸收,导致EAM的输出功率很低。图6b(Ⅱ)所示当突触前脉冲先于突触后脉冲发放时,突触弱脉冲不会导致SOA增益下降,因此输出功率保持不变,对于EAM,图6c(Ⅳ)所示当突触后脉冲紧随突触前脉冲到来时,强烈的饱和吸收作用于突触后脉冲导致EAM输出强脉冲,由于反向偏压的存在EAM的吸收逐渐建立,导致突触后脉冲的输出功率逐渐降低。将图6(Ⅰ- Ⅳ)所实现的效果线性叠加即可实现基于SOA和EAM的光子STDP(STDP output),实验所用突触前脉冲和突触后脉冲的功率都为10dBm及约5ps的脉宽,相对时延在-300ps至300ps之间可调。


2.3 激光器实现方案

2.3.1分布反馈式(Distributed FeedBack, DFB)激光器实现方案

2013年美国普林斯顿大学Mitchell A. Nahmias团队[49]首次提出利用嵌入(Saturable Absorber, SA)的DFB激光器(DFB-SA)和光电探测器来模拟LIF神经元模型。图7a所示该模型主要由三个部分组成:两个光电探测器和一个激光器,光电探测器接收的兴奋性输入(excitatory input)和抑制性输入(inhibitory input)综合作用产生可以调制激光器增益模块(Gain)载流子注入的输入电流(input current)并通过可饱和吸收体(SA)输出光脉冲(output)。DFB-SA作为阈值判决器和脉冲生成器其行为类似于真实的生物神经元轴突。图7b所示输入脉冲(Input spikes)作用于光电探测器产生的电流扰动调制增益,足够的兴奋积累导致脉冲的发放(Output spikes),紧随而来的是一个短暂的不应期,与此伴随的是增益载流子浓度(Gain carrier density)的下降和可饱和吸收体载流子浓度(SA carrier density)的上升。2015年,该研究团队继续对上述实验进行扩展[50],图7c所示通过波分复用(Wavelength Division Multiplexing, WDM)技术多路输入脉冲在同一波导(WDM Waveguide)传播,通过一组可调光谱滤波器(Spectral Filter Bank)对不同波长的脉冲信号在光域进行兴奋加权(excitatory weight bank)或抑制加权(inhibitory weight bank)后再次集成在同一波导进入平衡光电探测器(Balanced Photodetector)。WDM技术的使用实现了神经元的多路输入进而可实现光子脉冲神经元的大规模片上集成。2020年,该团队进一步将基于DFB-SA的LIF神经元模型集成到Ⅲ-Ⅴ族光子集成电路[51]。


2020年,我国上海交通大学邹卫文教授团队[52]使用分布反馈式激光二极管(Distributed FeedBack Laser Diode, DFB-LD)实现基于单波长的光子STDP,图8a所示输入波形(Input)由任意波形发生器(Arbitrary Waveform Generator, AWG)提供,DFB-LD由一个具有150kHz外部调制带宽的激光二极管控制器驱动,随后的可调光衰(Variable Optical Attenuator, VOA)用于调整平衡光电探测器(Balanced PhotoDetector, B-PD)的输入光功率,最后由一个示波器(Oscilloscope, OSC)监控输出信号。图8bc所示低幅度的脉冲为突触前脉冲,高幅度的脉冲为突触后脉冲。图8b所示当突触后脉冲先于突触前脉冲发放时,B-PD的输出(Output)有两个波峰,两个波峰幅度之差(Peak difference, peak2-peak1)构成了图8d所示的STDP曲线的部分。图8c所示当突触前脉冲先于突触后脉冲发放时,B-PD的输出(Output)有一个波峰,该波峰的幅度(Largest peak, peak2)构成了图8d所示的STDP曲线的部分。图8e所示当突触后脉冲幅度上升时STDP曲线随之整体上升。图8f所示突触前脉冲幅度上升时,STDP曲线的部分保持稳定而的部分会下降,因此可以将突触前脉冲和突触后脉冲的幅度作为可调参数来调节STDP曲线。


2.3.2嵌入石墨烯可饱和吸收体(Graphene Saturable Absorption, GSA)的可激发激光器实现方案

2013年美国普林斯顿大学Bhavin J. Shastri等人[53]首次提出基于石墨烯可饱和吸收体的可激发激光器实现光子脉冲神经元。该团队进行了图9a所示的实验,波长为980nm的泵浦光经由一个980/1550nm的WDM耦合器进入掺铒光纤(Erbium Doped Fiber, EDF)以保持其载流子浓度,用以放大通过1480/1550nm的WDM耦合器进入环路的兴奋性脉冲。隔离器(Isolator, ISO)确保激光器中光信号的单向传输。激光器的脉冲通过一个80/20的耦合器(Coupler)输出。图9b所示的结果验证了当有足够的兴奋性光(蓝色)输入石墨烯增益区提升了载流子浓度后,环路将激射出脉冲(红色)。


2016年,该团队在前期实现石墨烯可激发激光器作为LIF神经元的基础上实现了简单时间模式检测任务[54],图10所示两个石墨烯可激发激光器(Excitable Laser)级联,输入为一对时间间隔为∆t的脉冲(Inputs),脉冲经过第一个激光器后通过数千米长的单模光纤(Single Mode Fiber, SMF)产生延时(Delay, τ),当∆t≈τ时第二个激光器发放脉冲(Output),两个激光器之间通过一个光电探测器而非直接的光输入用以调制激光驱动器(Laser Driver, LD),这种光电探测器驱动架构有利于大规模片上神经网络的实现。与此同时,该团队还实现了基于石墨烯可激发激光器的LIF神经元实现反馈回路。图11所示通过作为延时单元的SMF将输出反馈给输入,电加权单元W控制光电探测器的调制深度,用以根据是否高于阈值来提供全响应或无响应。脉冲可以在反馈回路中循环传播。反馈回路的实现表明基于石墨烯可激发激光器的LIF神经元具备多级联和信息记忆的能力,这种能力是实现多层神经网络进而实现更为复杂的信息处理任务的基础。


2018年,该团队在前期实现基于石墨烯可激发激光器的LIF神经元基础上对实验进行了进一步的改进[55],图12所示AWG1调制一个1480nm的LD来生成兴奋性输入(Excitatory Input),AWG2调制一个980nm的LD来生成抑制性输入(Inhibitory Input),此时的EDF没有额外的泵浦输入。实验表明兴奋性输入会导致脉冲输出,当抑制性输入在时间上先于兴奋性输入且逐渐接近兴奋性输入时,脉冲输出逐渐被压制到0。


2.3.3垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser, VCSEL)实现方案

2013年,美国普林斯顿大学Mitchell A. Nahmias团队[56]首次提出嵌入SA的VCSEL(VCSEL-SA)光子脉冲神经元,并从理论上提出这种低功耗,小面积,便于大规模集成的嵌入SA的可激发激光器具有LIF神经元的动力学行为。图13所示来自光纤系统(Optical Fiber)的多路输入波长(λ1,λ2...λk)信号通过光栅耦合器耦合向下进入VCSEL-SA(Input),不同波长的光信号各自产生兴奋或抑制激励,波长为λ0的激励脉冲沿VCSEL-SA朝上输出(Output)。2015年,该团队进一步通过SPICE分析从理论上提出了基于VCSEL-SA的光子脉冲神经元等价电路模型[57],并在此基础上进一步验证了该等价电路模型的脉冲发放神经元动力学特性。2017年我国西南大学邓涛团队[58]设计实验验证了两个互连的VCSEL之间可以实现可控的脉冲传输。


2019年,西安电子科技大学项水英教授团队从理论上提出利用VCSEL和VCSOA设计双层光子SNN以实现基于无监督算法的任意脉冲模式识别[59],图14a所示嵌入可饱和吸收体的VCSEL构成LIF神经元(VCSEL1,VCSEL2...VCSELn),突触连接权重(W1,W2...Wn)通过由前所述基于VCSOA实现的STDP阵列(STDP ARRAY)进行调整。图14b所示为神经网络仿真学习过程,时空脉冲发放时刻固定(、),训练过程中噪声脉冲发放时刻随机(),突触后神经元的脉冲发放时刻()逐渐收敛到首脉冲发放时刻,图14c所示随着学习的进行突触后脉冲发放时刻(Post-Synaptic Spike Timing, PST)、突触连接权重()逐渐收敛到固定值,PST与目标脉冲发放时刻之差sdm逐渐收敛到0,由此验证了基于光子STDP的学习规则对噪声的鲁棒性,同时该团队还验证了由于噪声脉冲发放时刻具有随机性因此实际需要更多的学习周期以达到收敛,更多的突触前神经元、VCSOA的输入波长接近谐振腔的谐振波长以及提升学习速率有利于提升神经网络的性能,VCSOA更高的偏置电流亦有利于提升神经网络的性能但要考虑平衡功耗。


2021年,该团队在上述工作的基础上,进一步提出基于VCSEL-SA和VCSOA的光子SNN实现监督学习分类任务[60]。图15所示“0-9”为待识别的十种输入模式(Input Patterns)并在实际训练时对输入模式加上噪声后进行时空编码构成输入层(Input layer)神经元(PRE1, PRE2...PRE-IN)的输入,每种输入模式由20*20的像素所构成,监督信号(Teacher signal)为目标脉冲,神经网络的训练由基于STDP和anti-STDP规则的ReSuMe算法来执行。输入层神经元的输入、监督信号以及由输出层神经元输出构成的脉冲反馈(Spike feedback)共同作用通过上述算法训练神经元的连接权重()。输出随着训练的进行输出层(Output layer)神经元(POST1,POST2...POST-O)脉冲发放时刻会逐步收敛,最终实现根据输出层神经元的脉冲发放时刻识别对应的输入模式。


同年该团队在传统权重学习基础上引入突触延时可塑性实现了基于VCSEL-SA的光子SNN[61]、实现了基于VCSEL-SA的二进制卷积光子SNN[62]、实现了利用基于VCSEL-SA的光子SNN实现数独求解器[63],2022年,该团队实现基于VCSEL-SA的光子SNN用于运动识别和方向识别[64]以及基于VCSEL-SA的多层光子SNN[65]。


2.3.4其他激光器实现方案

2011年,比利时布鲁塞尔自由大学W. Coomans团队[69]提出基于半导体环形激光器的光子脉冲神经元,并从理论上提出通过光注入触发脉冲在可激发非对称的半导体环形激光器内部触发脉冲的可能性。


2013年,葡萄牙阿尔加维大学Bruno Romeira团队[70]提出包含了由纳米级双势垒量子肼共振隧道二极管所驱动的激光二极管组成光电集成电路在1550nm工作波长条件下生成纳秒级光脉冲的能力,2022年,英国斯特拉斯克莱德大学Matěj Hejda团队[71]进一步提出了基于共振隧道二极管的光子SNN在时空脉冲模式分类任务中实现了94%的分类准确率。


2013年,比利时根特大学Koen Alexander团队[72]提出基于微盘激光器的光子脉冲神经元,同年该团队从理论上验证了微盘激光器可以对来自其他微盘激光器的兴奋性脉冲做出响应[73]。


2014年,法国巴黎第七大学R. Braive团队[74]提出基于嵌入SA的微柱激光器具有神经元的兴奋性行为,验证了在单脉冲扰动下激光器可以产生亚纳秒的响应脉冲并分析了激光器泵浦偏置的作用、双脉冲激发条件下激光器的绝对和相对不应期,以及由载流子动态特性所调制的抑制动态。2019年,同样来自该机构的Venkata Anirudh Pammi团队[75]继续验证了单个和耦合的微柱激光器的计算能力以及通过可调时延和脉冲碰撞来执行时间模式识别。


2016年,希腊雅典国立卡波蒂斯坦大学Charis Mesaritakis团队[76]提出一种半导体量子点被动锁模激光器来实现神经元的兴奋性和抑制性行为,这种实现仅需简单地调整激光器内置SA的反转电压而无须使用复杂的电光转换结构。2019年,同样来自该机构的George Sarantoglou团队[77]验证了半导体量子点被动锁模激光器具有将兴奋性信号和抑制性信号分别在各自波段内进行光脉冲编码来实现真正的抑制性神经元的能力。


2022年我国西安电子科技大学项水英教授团队[78]提出基于SA的法布里佩罗激光器来实现光子脉冲神经元并通过实验验证了其具有时间积分、门限判决、脉冲生成以及不应期的LIF神经元特性并进一步提出通过时分复用脉冲编码来实现基于光子SNN的模式识别任务。


2.4 全光微环谐振器实现方案

2012年,比利时根特大学T. Van Vaerenbergh团队[79]从理论上验证了当输入波长接近微环谐振器共振波长时足够高的输入功率会加热微环,由此产生的热光效应会形成双稳态性能。此外由于光可以产生改变折射率系数的自由载流子,因此高品质系数的微环甚至可以自激发脉冲。微环的这种双稳态性能和可以自激发脉冲的能力使得绝缘硅上微环可以实现脉冲神经元的特性。2013年,该团队继续从理论上验证了微环的动态特性可以用于设置脉冲在级联的两个微环间传播的时延用以实现SNN的训练算法,为基于微环谐振器的更大规模SNN的实现奠定了基础[80]。


2018年,美国普渡大学Indranil Chakraborty团队[81]提出基于顶部嵌入相变材料Ge2Sb2Te5(GST)的微环谐振器作为光子脉冲神经元,图16a所示为其结构,初始状态的GST为晶态(Crystalline),满足谐振条件的“写”脉冲从INPUT端口耦合进入环形波导作用于GST导致其晶度降低非晶化提升(Increasing Degree of Amorphization)最终到达非晶态(Amorphous),相应地在“读”阶段随着GST晶度的降低谐振光波从THROUGH端口导出的比例相对降低而从“DROP”端口导出的光波相对提高,图16b所示为DROP端口(DROP PORT)的传输特性,这种仅改变GST的晶度即可控制光波传输比例的机制构成了“积分-发放”脉冲神经元模型。在此基础上该团队进一步将两个嵌入GST(GST Element)的微环谐振器组合成一个可同时接受正输入(Positive Weighted Sum)和负输入(Negative Weighted Sum)的单个神经元(图16c所示),输入脉冲通过两个微环谐振器的“DROP”端口和“THROUGH”端口分别进行正积分(Positive Integration)和负积分(Negative Integration),通过移相器ɸ形成的合成脉冲的幅度为两者之差,神经元膜电位的积分(Membrane Potential)与合成脉冲的幅度成比例。脉冲的发放由图16c的“发放单元(FIRING UNIT)”来执行,该结构包含一个光放大器(Amplifier),一个环形器(Circulator, C),以及一个顶部嵌入初始状态为晶态的GST的矩形波导(Rect Waveguide)。对嵌入GST的矩形波导而言,当GST处于晶态(非晶态)时,其传输率较低(高)。对积分单元(INTEGRATION UNIT)和发放单元而言,“读”“写”周期逐次循环进行,在神经元积分单元的“写”周期内,“读”脉冲通过发放单元。另一方面,在神经元积分单元的“读”周期内,“读”脉冲依次通过微环谐振器和放大器后形成的脉冲(Pamp)写入位于发放单元嵌入于波导的GST。环形器用于引导进入和离开矩形波导的脉冲。当位于积分单元的GST处于初始晶态时,光放大器的输出不足以使矩形波导内的GST非晶化,因此此时的脉冲无法通过矩形波导,然而,在若干“写”脉冲的作用下膜电位的积分超过阈值后光放大器的输出足以使矩形波导内的GST非晶化进而可以实现脉冲的发放(Output)。一旦神经元实现发放,“复位”脉冲将会传递,使得神经元恢复初始状态。该团队利用这种同时包含积分单元和发放单元的光子脉冲神经元构建了三层全连接的SNN用以对MINIST数据集进行训练,实现了98.06%的识别准确率。


2019年,德国明斯特大学J. Feldmann团队[82]提出并制造出集成可塑突触(Plastic synapses)的全光脉冲神经网络。图17所示神经元之间突触连接的权重通过集成于光波导(Waveguide)顶部的PCM胞体(PCM cell)来改变,多路不同波长(λ1,λ2...λN)的输入加权(Weighting)后经微环谐振器以及WDM集成于单波导(WDM multiplexer, MUX)后进入Sum环形谐振器(Ring resonator),足够的功率将导致Sum环形谐振器输出脉冲(Output),以上的过程同样构成了“积分-发放”的脉冲神经元模型。通过调整上述所述单个神经元的输入权重即可实现最简单的基于监督学习与非监督学习的模式识别任务,进一步地集成多个上述神经元构成多层脉冲神经网络可实现更为复杂的模式识别任务。


2022年,美国普林斯顿大学Aashu Jha团队从理论上验证了一种图18所示的CMOS兼容的集成石墨烯硅基微环谐振器光子脉冲神经元[83],该团队从理论上验证了石墨烯的克尔效应和饱和吸收可以提升神经元的非线性效应。


同年西安电子科技大学项水英教授团队提出一种基于Add-Drop型微环谐振器的光子脉冲神经元[84],图19所示的基于Add-Drop型微环谐振器的光子脉冲神经元的动力学模型表现为“共振-发放”,这种光子脉冲神经元没有明确的脉冲发放阈值门限,任意强度的光扰动(Optical perturbation)输入在光泵浦(Optical pump)的作用下即可产生一个输出脉冲(Output),这种特性对于光时序编码脉冲神经网络是重要的实现机制。同时,该团队还验证了这种Add-Drop型微环谐振器在突触强脉冲的作用下对随后到来的弱脉冲产生强烈的非线性效应,由此实现了光子STDP。此外Add-Drop型微环谐振器还具有权重配置的功能,Add-Drop型微环谐振器具有较大的热光系数使得温度的变化和折射率的变化有着近似线性的关系,折射率的变化进一步导致共振波长的变化,最终导致drop端口的输出发生变化,产生权重在[0,1]范围内可调的效果。基于以上成果该团队实现了基于Add-Drop型微环谐振器的光子脉冲神经元构成的神经网络,采用基于权重的ReSuMe延时学习算法进行脉冲序列学习并实现了收敛,同时该团队还验证了初始权重,门限功率,学习速率对神经网络性能有影响,对其进行合理的设置有助于提升网络性能。


2.5 其他实现方案

除上述方案之外,2020年我国西南大学吴加贵研究院团队[86]提出基于硅基光子微腔的光子脉冲神经元,验证了微驱动谐振器的调制效应可以生成神经形态光脉冲。同年我国上海交通大学苏翼凯教授团队[87]提出基于无源微谐振器的光子脉冲神经元,该团队利用微谐振器的非线性特征来实现脉冲神经元,并表现出了脉冲神经元的激发门限特性、不应期特性和级联特性。2021年波兰华沙大学K. Tyszka团队[88]通过实验验证了在激子极化激元的脉冲非共振激发状态下半导体微腔具有LIF神经元的行为。


2.6 小结

本节主要介绍了目前光子脉冲神经网络的实现方案,大致可分为SOA实现方案、EAM实现方案、激光器实现方案、微环实现方案,以及其他实现方案。基于SOA和EML的光子神经元为早期的实现方案,技术成熟但SOA和EML存在体积较大难以集成的问题。基于激光器实现光子脉冲神经网络的方案众多,但总体来看还是受制于“光-电-光”的转换效率,且从大规模集成的角度来看激光器的体积仍然偏大。基于相变材料和微环谐振器的方案是近年的研究趋势,微环谐振器体积小容易集成,但受制于微环谐振器的控制难度和相变材料的寿命,该方案仍待进一步完善与优化。


3 总结与展望

脉冲神经网络的硬件化是实现其强大智能算力的重要途径,同时光具有高速、低功耗、大带宽等特性,因此光脉冲神经网络具有比生物大脑快千万倍乃至十亿倍的运算速度和推理能力的潜力。本文简述了脉冲神经网络的原理、数学模型、训练方法、软件算法,以及电学硬件实现,并介绍了光子脉冲神经网络近十多年的发展,分析比较国内外多个科研团队方案的优劣。总体来看,由于人类对神经科学和类脑机制的研究还总体处于初始阶段,因此现阶段光子脉冲神经网络的理论模型和训练算法仍与真实生物神经元的运行机制存在较大差异;其次,现阶段光子脉冲神经网络的物理实现还主要以单个分离光学器件实现神经元和突触为主,整体网络的性能探索和研究多基于仿真,实现真正的大规模集成光子脉冲神经网络还需克服器件体积大、加工难度高,以及不同功能的光学器件难以耦合等各种难题;最后,现阶段光子脉冲神经网络的训练和控制仍然要通过电子芯片来实现,这也使得光子脉冲神经网络的整体性能将仍然受限于电学硬件的瓶颈。


综上,光子脉冲神经网络涉及人工智能、计算科学、光电集成等多个领域,需要从底层的材料器件,中间的系统架构,到上层的算法实现来进行多层次、跨领域的交叉研究和发展。未来,随着光子技术的不断进步与突破,光子脉冲神经网络的实现有望往大规模、集成化、可编程、低功耗、低成本的方向演进,越来越多地适用于数据中心、自动驾驶等复杂场景。


参考文献

[1] HAYKIN S S.Neural Networks and Learning Machines[M].Upper Saddle River:Pearson Education, 2009.

[2] ENGEL A K,KONIG P,KREITER A K,et al.Temporal coding in the visual cortex:new vistas on integration in the nervous system[J].Trends in Neurosciences, 1992, 15(6):218-226.

[3] MCANALLY K I,STEIN J F.Auditory temporal coding in dyslexia[J].Proceedings of the Royal Society of London B:Biological Sciences, 1996, 263(1373):961-965.

[4] LESTIENNE R.Spike timing,synchronization and information processing on the sensory side of the central nervous system[J].Progress in Neurobiology, 2001, 65(6):545-591.

[5] HODGKIN A L,HUXLEY A F.Currents carried by sodium and potassium ions through the membrane of the giant axon of Loligo[J].Journal of Physiology, 1952, 116(4):449-472.

[6] HODGKIN A L,HUXLEY A F.A quantitative description of membrane current and its application to conduction and excitation in nerve[J].Bulletin of Mathematical Biology, 1990, 52(1):25-71.

[7] MORRIS C,LECAR H.Voltage oscillations in the barnacle giant muscle fiber[J].Biophysical Journal, 1981, 35(1):193-213.

[8] FITZHUGH R.Impulses and physiological states in theoretical models of nerve membrane[J]. Biophysical Journal, 1961, 1(6):445-466.

[9] NAGUMO J,ARIMOTO S,YOSHIZAWA S.An active pulse transmission line simulating nerve axon[J].Proceedings of the Institute of Radio Engineers, 1962, 50(10):2061-2070.

[10] ROSE R M,HINDMARSH J L.The assembly of ionic currents in a thalamic neuron Ⅰ.the three-dimensional model[J].Proceedings of the Royal Society of London B:Biological Sciences, 1989, 237(1288):267-288.

[11] ROSE R M,HINDMARSH J L.The assembly of ionic currents in a thalamic neuron Ⅱ.the three-dimensional model[J].Proceedings of the Royal Society of London B:Biological Sciences, 1989, 237(1288):289-312.

[12] ROSE R M,HINDMARSH J L.The assembly of ionic currents in a thalamic neuron Ⅲ.the three-dimensional model[J].Proceedings of the Royal Society of London B:Biological Sciences, 1989, 237(1288):313-334.

[13] IZHIKEVICH E M.Simple model of spiking neurons[J].IEEE Transactions on Neural Networks, 2004, 14(6):1569-1572.

[14] LAPICQUE L.Recherches quantitatives sur L'excitation electrique des nerfs traitee comme une polarisation[J].Journal of Physiology and Pathololgy, 1907, 9:620-635.

[15] IZHIKEVICH E M.Resonance and selective communication via bursts in neurons having subthreshold oscillations[J].BioSystems, 2002, 67(1-3):95-102.

[16] IZHIKEVICH E M.Resonate-and-fire neurons[J].Neural Networks, 2001, 14(6-7):883-894.

[17] Maass, Wolfgang, and Christopher M. Bishop, eds.Pulsed neural networks[M].Cambridge, USA:MIT press, 2001.

[18] Masquelier,Timothée,Guyonneau R.Competitive STDP-based spike pattern learning[J]. Neural Computation , 2009, 21(5):1259-1268.

[19] Peter U,Diehl,et al.Unsupervised learning of digit recognition using spike-timing-dependent plasticity[J].Frontiers in Computational Neuroscience, 2015,9:99-103.

[20] Ferré Paul,Franck M,Thorpe S J.Unsupervised feature learning with winner-takes-all based STDP[J].Frontiers in Computational Neuroscience, 2018,12:24-32.

[21] Bi G Q,Poo M M.Synaptic modifications in cultured hippocampal neurons:dependence on spike timing,synaptic strength,and postsynaptic cell type[J].Journal of Neuroscience, 2012, 18(24):10464-10472.

[22] Bi G Q,Poo M M.Synaptic modification by correlated activity:hebb's postulate revisited[J].Annual Review of Neuroscience, 2001, 24(24):139-166.

[23] Morrison A,Diesmann M,Gerstner W.Phenomenological models of synaptic plasticity based on spike timing[J].Biological Cybernetics, 2008, 98(6):459-478.

[24] Masquelier,Timothée,Thorpe,et al.Unsupervised Learning of Visual Features through Spike Timing Dependent Plasticity[J].PLoS Computational Biology, 2007, 3(2):31-38.

[25] Bohte S M,Kok J N,Han La Poutré.Error-backpropagation in temporally encoded networks of spiking neurons[J].Neurocomputing, 2000, 48(1-4):17-37.

[26] Gütig R, Sompolinsky H. The tempotron: a neuron that learns spike timing–based decisions[J]. Nature neuroscience, 2006, 9(3): 420-428.

[27] Ponulak F, Kasiński A. Supervised learning in spiking neural networks with ReSuMe: sequence learning, classification, and spike shifting[J]. Neural computation, 2010, 22(2): 467-510.

[28] Wade J J, McDaid L J, Santos J A, et al. SWAT: A spiking neural network training algorithm for classification problems[J]. IEEE Transactions on Neural Networks, 2010, 21(11): 1817-1830.

[29] Florian R. The chronotron: a neuron that learns to fire temporally-precise spike patterns[J]. Nature Precedings, 2010: 1-1.

[30] Mohemmed A, Schliebs S, Matsuda S, et al. Span: Spike pattern association neuron for learning spatio-temporal spike patterns[J]. International journal of neural systems, 2012, 22(04): 1250012.

[31] Yu Q, Tang H, Tan K C, et al. Precise-Spike-Driven synaptic plasticity: Learning hetero-association of spatiotemporal spike patterns[J]. PLoS ONE, 2013, 8(11): e78318.

[32] Taherkhani A, Belatreche A, Li Y, et al. A supervised learning algorithm for learning precise timing of multiple spikes in multilayer spiking neural networks[J]. IEEE transactions on neural networks and learning systems, 2018, 29(11): 5394-5407.

[33] Cordone L, Miramond B, Thierion P. Object Detection with Spiking Neural Networks on Automotive Event Data[J]. arXiv preprint arXiv:2205.04339, 2022.

[34] Eshraghian J K, Ward M, Neftci E, et al. Training spiking neural networks using lessons from deep learning[J]. arXiv preprint arXiv:2109.12894, 2021.

[35] Furber S B, Lester D R, Plana L A, et al. Overview of the SpiNNaker system architecture[J]. IEEE transactions on computers, 2012, 62(12): 2454-2467.

[36] Schemmel J, Brüderle D, Grübl A, et al. A wafer-scale neuromorphic hardware system for large-scale neural modeling[C]//2010 IEEE International Symposium on Circuits and Systems (ISCAS). Paris, France:IEEE, 2010: 1947-1950.

[37] Benjamin B V, Gao P, McQuinn E, et al. Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations[J]. Proceedings of the IEEE, 2014, 102(5): 699-716.

[38] Akopyan F, Sawada J, Cassidy A, et al. Truenorth: Design and tool flow of a 65 mw 1 million neuron programmable neurosynaptic chip[J]. IEEE transactions on computer-aided design of integrated circuits and systems, 2015, 34(10): 1537-1557.

[39] Davies M, Srinivasa N, Lin T H, et al. Loihi: A neuromorphic manycore processor with on-chip learning[J]. Ieee Micro, 2018, 38(1): 82-99.

[40] Ma D, Shen J, Gu Z, et al. Darwin: A neuromorphic hardware co-processor based on spiking neural networks[J]. Journal of Systems Architecture, 2017, 77: 43-51.

[41] Pei J, Deng L, Song S, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J]. Nature, 2019, 572(7767): 106-111.

[42] 项水英, 宋紫薇, 高爽, 等. 光神经形态计算研究进展与展望 (特邀)[J]. 光子学报, 2021, 50(10): 1020001.

[43] Rosenbluth D, Kravtsov K, Fok M P, et al. A high performance photonic pulse processing device[J]. Optics express, 2009, 17(25): 22767-22772.

[44] Kravtsov Konstantin S,Fok Mable P,Prucnal Paul R,Rosenbluth David. Ultrafast all-optical implementation of a leaky integrate-and-fire neuron.[J]. Optics express,2011,19(3).

[45] Ren Q, Zhang Y, Wang R, et al. Optical spike-timing-dependent plasticity with weight-dependent learning window and reward modulation[J]. Optics express, 2015, 23(19): 25247-25258.

[46] Tian T, Ni M, Guangqiong W, et al. Theoretical investigation of weight-dependent optical spike timing dependent plasticity based on VCSOA[C]//Journal of Physics: Conference Series.Guangzhou, China: IOP Publishing, 2021, 1792(1): 012037.

[47] Fok M P, Tian Y, Rosenbluth D, et al. Asynchronous spiking photonic neuron for lightwave neuromorphic signal processing[J]. Optics letters, 2012, 37(16): 3309-3311.

[48] Fok M P, Tian Y, Rosenbluth D, et al. Pulse lead/lag timing detection for adaptive feedback and control based on optical spike-timing-dependent plasticity[J]. Optics letters, 2013, 38(4): 419-421.

[49] Nahmias M A, Tait A N, Shastri B J, et al. An evanescent hybrid silicon laser neuron[C]// 2013 IEEE Photonics Conference. Bellevue, WA, USA:IEEE, 2013: 93-94.

[50] Nahmias M A, Tait A N, Shastri B J, et al. Excitable laser processing network node in hybrid silicon: analysis and simulation[J]. Optics express, 2015, 23(20): 26800-26813.

[51] Nahmias M A, Peng H T, de Lima T F, et al. A laser spiking neuron in a photonic integrated circuit[J]. arXiv preprint arXiv:2012.08516, 2020.

[52] Ma B, Zou W. Demonstration of a distributed feedback laser diode working as a graded-potential-signaling photonic neuron and its application to neuromorphic information processing[J]. Science China Information Sciences, 2020, 63(6): 1-8.

[53] Shastri B J, Nahmias M A, Tait A N, et al. Graphene excitable laser for photonic spike processing[C]//2013 IEEE Photonics Conference. Bellevue, WA, USA:IEEE, 2013: 1-2.

[54] Shastri B J, Nahmias M A, Tait A N, et al. Spike processing with a graphene excitable laser[J]. Scientific reports, 2016, 6(1): 1-12.

[55] Ma P Y, Shastri B J, De Lima T F, et al. Simultaneous excitatory and inhibitory dynamics in an excitable laser[J]. Optics Letters, 2018, 43(15): 3802-3805.

[56] Nahmias M A, Shastri B J, Tait A N, et al. A leaky integrate-and-fire laser neuron for ultrafast cognitive computing[J]. IEEE journal of selected topics in quantum electronics, 2013, 19(5): 1-12.

[57] Shastri B J, Nahmias M A, Tait A N, et al. SIMPEL: Circuit model for photonic spike processing laser neurons[J]. Optics express, 2015, 23(6): 8029-8044.

[58] Deng T, Robertson J, Hurtado A. Controlled propagation of spiking dynamics in vertical-cavity surface-emitting lasers: towards neuromorphic photonic networks[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2017, 23(6): 1-8.

[59] Xiang S, Zhang Y, Gong J, et al. STDP-based unsupervised spike pattern learning in a photonic spiking neural network with VCSELs and VCSOAs[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2019, 25(6): 1-9.

[60] Xiang S, Ren Z, Song Z, et al. Computing primitive of fully VCSEL-based all-optical spiking neural network for supervised learning and pattern classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(6): 2494-2505.

[61] Han Y, Xiang S, Ren Z, et al. Delay-weight plasticity-based supervised learning in optical spiking neural networks[J]. Photonics Research, 2021, 9(4): B119-B127.

[62] Zhang Y, Robertson J, Xiang S, et al. All-optical neuromorphic binary convolution with a spiking VCSEL neuron for image gradient magnitudes[J]. Photonics Research, 2021, 9(5): B201-B209.

[63] Gao S, Xiang S, Song Z, et al. All-optical Sudoku solver with photonic spiking neural network[J]. Optics Communications, 2021, 495: 127068.

[64] Gao S, Xiang S Y, Song Z W, et al. Motion detection and direction recognition in a photonic spiking neural network consisting of VCSELs-SA[J]. Optics Express, 2022, 30(18): 31701-31713.

[65] Fu C, Xiang S, Han Y, et al.Multilayer Photonic Spiking Neural Networks: Generalized Supervised Learning Algorithm and Network Optimization[J].Photonics, 2022, 9(4):217.

[66] Thacker H D, Luo Y, Shi J, et al. Flip-chip integrated silicon photonic bridge chips for sub-picojoule per bit optical links[C]//2010 Proceedings 60th Electronic Components and Technology Conference (ECTC). Las Vegas, NV, USA:IEEE, 2010: 240-246.

[67] Hurtado A, Schires K, Henning I D, et al. Investigation of vertical cavity surface emitting laser dynamics for neuromorphic photonic systems[J]. Applied Physics Letters, 2012, 100(10): 103703.

[68] Lee J H, Delbruck T, Pfeiffer M. Training deep spiking neural networks using backpropagation[J]. Frontiers in neuroscience, 2016, 10: 508.

[69] Coomans W, Gelens L, Beri S, et al. Solitary and coupled semiconductor ring lasers as optical spiking neurons[J]. Physical Review E, 2011, 84(3): 036209.

[70] Romeira B, Javaloyes J, Ironside C N, et al. Excitability and optical pulse generation in semiconductor lasers driven by resonant tunneling diode photo-detectors[J]. Optics express, 2013, 21(18): 20931-20940.

[71] Hejda M, Alanis J A, Ortega-Piwonka I, et al. Photonic spiking neural network with resonant tunnelling diode optoelectronic neurons[C]//CLEO: Science and Innovations. San Jose, California United States:Optica Publishing Group, 2022: SW5E. 1.

[72] Alexander K, Van Vaerenbergh T, Fiers M, et al. Excitability in optically injected microdisk lasers with phase controlled excitatory and inhibitory response[J]. Optics express, 2013, 21(22): 26182-26191.

[73] Van Vaerenbergh T, Alexander K, Dambre J, et al. Excitation transfer between optically injected microdisk lasers[J]. Optics Express, 2013, 21(23): 28922-28932.

[74] Selmi F, Braive R, Beaudoin G, et al. Relative refractory period in an excitable semiconductor laser[J]. Physical review letters, 2014, 112(18): 183902.

[75] Pammi V A, Alfaro-Bittner K, Clerc M G, et al. Photonic computing with single and coupled spiking micropillar lasers[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2019, 26(1): 1-7.

[76] Mesaritakis C, Kapsalis A, Bogris A, et al. Artificial neuron based on integrated semiconductor quantum dot mode-locked lasers[J]. Scientific reports, 2016, 6(1): 1-10.

[77] Sarantoglou G, Skontranis M, Mesaritakis C. All optical integrate and fire neuromorphic node based on single section quantum dot laser[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2019, 26(5): 1-10.

[78] Xiang S, Shi Y, Guo X, et al. Hardware-algorithm collaborative computing with photonic spiking neuron chip based on integrated Fabry-P\'erot laser with saturable absorber[J]. arXiv preprint arXiv:2204.08362, 2022.

[79] Van Vaerenbergh T, Fiers M, Vandoorne K, et al. Towards a photonics spiking neuron: excitability in a silicon-on-insulator microring[C]//2012 International symposium on Nonlinear Theory and its Applications (NOLTA-2012). Palma, Majorca, Spain:IEICE, 2012: 767-770.

[80] Van Vaerenbergh T, Fiers M, Bienstman P, et al. Towards integrated optical spiking neural networks: Delaying spikes on chip[C]//2013 Sixth" Rio De La Plata" Workshop on Laser Dynamics and Nonlinear Photonics. Montevideo, Uruguay:Ieee, 2013: 1-2.

[81] Chakraborty I, Saha G, Sengupta A, et al. Toward fast neural computing using all-photonic phase change spiking neurons[J]. Scientific reports, 2018, 8(1): 1-9.

[82] Feldmann J, Youngblood N, Wright C D, et al. All-optical spiking neurosynaptic networks with self-learning capabilities[J]. Nature, 2019, 569(7755): 208-214.

[83] Jha A, Huang C, Peng H T, et al. Photonic spiking neural networks and graphene-on-silicon spiking neurons[J]. Journal of Lightwave Technology, 2022, 40(9): 2901-2914.

[84] Han Y, Xiang S, Zhang Y, et al.An All-MRR-Based Photonic Spiking Neural Network for Spike Sequence Learning[J].Photonics, 2022, 9(2):120.

[85] Van Vaerenbergh T, Fiers M, Mechet P, et al. Cascadable excitability in microrings[J]. Optics express, 2012, 20(18): 20292-20308.

[86] Yang Y, Deng Y, Xiong X, et al. Neuron-Like Optical Spiking Generation Based on Silicon Microcavity[C]//2020 IEEE 20th International Conference on Communication Technology (ICCT).Nanning, China: IEEE, 2020: 970-974.

[87] Xiang J, Torchy A, Guo X, et al. All-optical spiking neuron based on passive microresonator[J]. Journal of Lightwave Technology, 2020, 38(15): 4019-4029.

[88] Tyszka K, Furman M, Mirek R, et al. Leaky Integrate-and-Fire Mechanism in Exciton-Polariton Condensates for Photonic Spiking Neurons[J]. arXiv preprint arXiv:2111.13123, 2021.