近日，中國科學(xué)院自動化所腦圖譜與類腦智能實驗室研究員李國齊與西安交通大學(xué)教授趙廣社合作，在IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）上，發(fā)表了題為Attention Spiking Neural Networks的研究論文。該工作將注意力機制融入百萬級規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)，在ImageNet-1K數(shù)據(jù)集上首次取得了與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相當?shù)男阅?，且理論能效為同等結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的31.8倍。這一方法在顯著提升任務(wù)性能的同時能夠大幅降低網(wǎng)絡(luò)能量消耗，為低功耗神經(jīng)形態(tài)系統(tǒng)的發(fā)展提供了新思路。 

近年來，以傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習在一些任務(wù)上展現(xiàn)出接近或超越人類的能力。在取得這些成就的同時，人類付出了海量的能耗代價。而人腦能夠以極低地能耗高效完成相同或更復(fù)雜的任務(wù)。如何使得機器智能像人腦一樣高效工作是科學(xué)家孜孜以求的目標?；诿}沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)計算提供了極具吸引力的傳統(tǒng)人工智能的低能耗替代方案。脈沖神經(jīng)元模擬了生物神經(jīng)元中的復(fù)雜時空動態(tài)，其表達能力在理論上強于現(xiàn)有的人工神經(jīng)元。同時，脈沖神經(jīng)元繼承了生物神經(jīng)元中的脈沖通信方式，這是脈沖神經(jīng)網(wǎng)絡(luò)實現(xiàn)低功耗的關(guān)鍵。一方面，在神經(jīng)形態(tài)系統(tǒng)中只需要執(zhí)行低能耗的突觸加法；另一方面，事件驅(qū)動特性使得只有脈沖神經(jīng)元發(fā)放脈沖時神經(jīng)形態(tài)系統(tǒng)才會觸發(fā)計算。因此，如何以低脈沖發(fā)放率實現(xiàn)高任務(wù)性能是神經(jīng)形態(tài)計算中的重要問題。人腦可以自然而有效地在復(fù)雜場景中找到重要信息，被稱為注意力機制。注意力機制被廣泛應(yīng)用于深度學(xué)習，并取得顯著效果。然而，在神經(jīng)形態(tài)計算領(lǐng)域的應(yīng)用仍頗具挑戰(zhàn)性。 

為了將注意力機制融入脈沖神經(jīng)網(wǎng)絡(luò)，需要考慮三個基礎(chǔ)問題。一是脈沖神經(jīng)網(wǎng)絡(luò)高能效的關(guān)鍵是以脈沖通信為基礎(chǔ)的事件驅(qū)動特性，注意力機制不能破壞這種特性。二是脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用場景廣泛，需要有多樣性的設(shè)計以保證其在各種場景中的有效性。三是二進制脈沖通信使深度脈沖神經(jīng)網(wǎng)絡(luò)易出現(xiàn)由梯度消失或爆炸帶來的性能退化問題，注意力機制的加入至少不應(yīng)加劇退化問題。 

人腦中注意力的功能實現(xiàn)主要體現(xiàn)在對不同腦區(qū)或神經(jīng)元脈沖發(fā)放的調(diào)節(jié)。受此啟發(fā)，該研究通過注意力機制來優(yōu)化脈沖神經(jīng)網(wǎng)絡(luò)內(nèi)部的膜電勢分布，關(guān)注重要特征并抑制不必要的特征，進而起到調(diào)節(jié)脈沖發(fā)放的作用。進一步，為了使注意力脈沖神經(jīng)網(wǎng)絡(luò)適應(yīng)于各種應(yīng)用場景，該研究融合了時間、通道和空間三個維度，以學(xué)習“何時”“什么”“哪里”為重。 

科研團隊在基于事件的動作識別數(shù)據(jù)集以及靜態(tài)圖像分類數(shù)據(jù)集ImageNet-1K上對提出的多維度注意力脈沖神經(jīng)網(wǎng)絡(luò)進行實驗。實驗表明，注意力模塊的加入幫助脈沖神經(jīng)網(wǎng)絡(luò)在性能上有顯著提升，網(wǎng)絡(luò)中的脈沖數(shù)量也能降低，從而降低模型能耗。在DVS128 Gait數(shù)據(jù)集上，多維度注意力模塊能夠使原始脈沖神經(jīng)網(wǎng)絡(luò)降低81.6%的脈沖發(fā)放，同時帶來4.7%的性能提升（表1）。在ImageNet-1K數(shù)據(jù)集上，注意力脈沖神經(jīng)網(wǎng)絡(luò)首次取得了與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相當?shù)男阅?，且理論能效為同等結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的31.8倍（表2）。  

該研究還提出了新的可視化方法用來分析為何所提出的注意力模塊能夠在降低脈沖發(fā)放的同時提升網(wǎng)絡(luò)性能。如圖4、圖5所示，加入了注意力機制的脈沖神經(jīng)網(wǎng)絡(luò)在專注重要信息的同時，能夠抑制不重要的背景噪聲信息（特征圖中的每個像素點代表一個神經(jīng)元發(fā)放率。顏色越紅代表發(fā)放率越大；越藍代表發(fā)放率越?。６谒械奶卣鲌D中，噪聲特征圖或神經(jīng)元中的脈沖發(fā)放率均較高。因此，抑制噪聲信息能夠顯著降低網(wǎng)絡(luò)中的脈沖發(fā)放。 

進一步，該研究通過塊動態(tài)等距理論證明將所提出的注意力模塊加入到深度脈沖神經(jīng)網(wǎng)絡(luò)中仍能實現(xiàn)動態(tài)等距。也就是說，注意力模塊在深度脈沖神經(jīng)網(wǎng)絡(luò)中不會引起性能退化。 

綜上，本工作探索了如何在脈沖神經(jīng)網(wǎng)絡(luò)中使用注意力機制，發(fā)現(xiàn)了通過將注意力機制作為輔助模塊插入到脈沖神經(jīng)網(wǎng)絡(luò)中能夠在大幅降低網(wǎng)絡(luò)脈沖發(fā)放的同時顯著提升任務(wù)性能。通過可視化原始和注意力脈沖神經(jīng)網(wǎng)絡(luò)的脈沖響應(yīng)可知，注意力機制可幫助原始網(wǎng)絡(luò)在專注重要信息的同時抑制噪聲信息，而噪聲通道或神經(jīng)元中包含大量的脈沖。因此，在基于脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)計算中，能夠?qū)崿F(xiàn)像人腦一樣以更低的能耗獲得更好的性能。 

研究工作得到北京市杰出青年科學(xué)基金、國家自然科學(xué)基金重點項目和聯(lián)合基金項目區(qū)域創(chuàng)新發(fā)展聯(lián)合基金等的支持。北京大學(xué)、清華大學(xué)的科研人員參與研究。