世界時(shí)訊：麻省理工學(xué)院的新模擬突觸比人腦中的突觸快100萬倍

可編程電阻器是模擬深度學(xué)習(xí)的關(guān)鍵構(gòu)件，就像晶體管是構(gòu)建數(shù)字處理器的核心元素一樣。通過在復(fù)雜的層中重復(fù)排列可編程電阻器，科學(xué)家可以創(chuàng)建一個(gè)模擬人造 “神經(jīng)元”和 “突觸 ”網(wǎng)絡(luò)，就像數(shù)字神經(jīng)網(wǎng)絡(luò)一樣執(zhí)行計(jì)算。然后這個(gè)網(wǎng)絡(luò)可以被訓(xùn)練來實(shí)現(xiàn)復(fù)雜的人工智能任務(wù)，如自然語言處理和圖像識(shí)別。

來自麻省理工學(xué)院的一個(gè)多學(xué)科研究小組著手挑戰(zhàn)他們之前開發(fā)的一種人類制造的模擬突觸的速度極限。他們?cè)谥圃爝^程中采用了一種實(shí)用的無機(jī)材料，使他們的設(shè)備運(yùn)行速度比以前的版本快100萬倍，這也比人腦中的突觸快約100萬倍。

此外，這種無機(jī)材料還使電阻的能效高得驚人。與他們?cè)缙诎姹镜脑O(shè)備中使用的材料不同，新材料與硅制造技術(shù)兼容。這一變化使得在納米尺度上制造器件成為可能，并可能為整合到深度學(xué)習(xí)應(yīng)用的商業(yè)計(jì)算硬件中鋪平道路。

(資料圖片僅供參考)

高級(jí)作者、麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系（EECS）的唐納教授Jesús A. del Alamo說：“憑借這一關(guān)鍵見解，以及我們?cè)贛IT.nano擁有的非常強(qiáng)大的納米制造技術(shù)，我們已經(jīng)能夠把這些碎片放在一起，并證明這些設(shè)備本質(zhì)上是非常快的，并在合理的電壓下運(yùn)行。這項(xiàng)工作確實(shí)把這些設(shè)備放在了一個(gè)點(diǎn)上，它們現(xiàn)在看起來真的很有希望在未來應(yīng)用?！?/p>

“該設(shè)備的工作機(jī)制是將最小的離子，即質(zhì)子，電化學(xué)地插入到絕緣氧化物中，以調(diào)節(jié)其電子傳導(dǎo)性。因?yàn)槲覀冋谑褂梅浅１〉脑O(shè)備，所以我們可以通過使用強(qiáng)電場來加速這個(gè)離子的運(yùn)動(dòng)，并將這些離子設(shè)備推向納秒級(jí)的操作制度，”資深作者、核科學(xué)與工程系和材料科學(xué)與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。

高級(jí)作者、巴特爾能源聯(lián)盟核科學(xué)與工程系教授和材料科學(xué)與工程系教授Ju Li說：“生物細(xì)胞中的動(dòng)作電位以毫秒的時(shí)間尺度上升和下降，因?yàn)榇蠹s0.1伏的電壓差受制于水的穩(wěn)定性。在這里，我們?cè)谝粋€(gè)特殊的納米級(jí)厚度的固體玻璃薄膜上施加高達(dá)10伏的電壓，該薄膜可以傳導(dǎo)質(zhì)子，而不會(huì)永久損壞它。而電場越強(qiáng)，離子設(shè)備就越快。”

這些可編程的電阻器極大地提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，同時(shí)極大地降低了進(jìn)行這種訓(xùn)練的成本和能量。這可以幫助研究人員更快地開發(fā)深度學(xué)習(xí)模型，然后將其應(yīng)用于自動(dòng)駕駛汽車、欺詐檢測或醫(yī)學(xué)圖像分析等用途。

“一旦你擁有一個(gè)模擬處理器，你將不再是在訓(xùn)練其他人正在研究的網(wǎng)絡(luò)。你將訓(xùn)練具有前所未有的復(fù)雜度的網(wǎng)絡(luò)，而這些網(wǎng)絡(luò)是其他人無法承擔(dān)的，因此大大超過了他們所有人。換句話說，這不是一輛更快的汽車，而是一艘航天器。”主要作者、麻省理工學(xué)院博士后Murat Onen 補(bǔ)充說。

共同作者包括材料科學(xué)與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。這項(xiàng)研究于7月28日發(fā)表在《科學(xué)》雜志上。

模擬深度學(xué)習(xí)比其數(shù)字同行更快、更節(jié)能，主要有兩個(gè)原因?！笆紫龋?jì)算是在內(nèi)存中進(jìn)行的，所以巨大的數(shù)據(jù)負(fù)載不會(huì)從內(nèi)存中來回傳輸?shù)教幚砥髦小?quot;模擬處理器還可以并行地進(jìn)行操作。如果矩陣大小擴(kuò)大，模擬處理器不需要更多時(shí)間來完成新的操作，因?yàn)樗械挠?jì)算都是同時(shí)進(jìn)行的。”

麻省理工學(xué)院新的模擬處理器技術(shù)的關(guān)鍵元素被稱為質(zhì)子可編程電阻。這些電阻器以納米為單位，排列成一個(gè)陣列，就像一個(gè)棋盤。

在人腦中，學(xué)習(xí)的發(fā)生是由于神經(jīng)元之間連接的加強(qiáng)和減弱，稱為突觸。深度神經(jīng)網(wǎng)絡(luò)長期以來一直采用這種策略，即通過訓(xùn)練算法對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行編程。在這個(gè)新的處理器的情況下，增加和減少質(zhì)子電阻的電導(dǎo)率可以實(shí)現(xiàn)模擬機(jī)器學(xué)習(xí)。

電導(dǎo)是由質(zhì)子的運(yùn)動(dòng)控制的。為了增加電導(dǎo)率，更多的質(zhì)子被推入電阻的一個(gè)通道，而為了減少電導(dǎo)率，質(zhì)子被取出來。這是用一種電解質(zhì)（類似于電池）來完成的，它可以傳導(dǎo)質(zhì)子，但阻止電子。

為了開發(fā)一種超快速和高能效的可編程質(zhì)子電阻，科學(xué)家們尋找了不同的電解質(zhì)材料。當(dāng)其他設(shè)備使用有機(jī)化合物時(shí)，Onen專注于無機(jī)的磷硅酸鹽玻璃（PSG）。

PSG基本上是二氧化硅，它是一種粉狀的干燥劑材料，在新家具包裝盒中的小袋子中發(fā)現(xiàn)，用于去除水分。它被研究為燃料電池在濕潤條件下的質(zhì)子導(dǎo)體。它也是用于硅加工的最著名的氧化物。為了制造PSG，在硅中加入極少量的磷，使其具有質(zhì)子傳導(dǎo)的特殊特性。

Onen假設(shè)，經(jīng)過優(yōu)化的PSG可以在室溫下具有很高的質(zhì)子傳導(dǎo)性，而不需要水，這將使它成為這種應(yīng)用的理想固體電解質(zhì)。他是對(duì)的。

PSG能夠?qū)崿F(xiàn)超快的質(zhì)子運(yùn)動(dòng)，因?yàn)樗写罅康募{米級(jí)孔隙，其表面為質(zhì)子擴(kuò)散提供了路徑。它還可以承受非常強(qiáng)大的脈沖電場。Onen解釋說，這一點(diǎn)很關(guān)鍵，因?yàn)橄蛟撛O(shè)備施加更多的電壓能使質(zhì)子以驚人的速度移動(dòng)。

“這個(gè)速度當(dāng)然令人驚訝。通常情況下，我們不會(huì)在設(shè)備上施加如此極端的電場，以避免將它們變成灰燼。但相反，質(zhì)子最終以巨大的速度在設(shè)備堆棧中穿梭，特別是與我們之前的速度相比，快了一百萬倍。由于質(zhì)子的體積小、質(zhì)量低，這種運(yùn)動(dòng)不會(huì)損害任何東西?！彼f：“這幾乎就像遠(yuǎn)距離傳輸?！?/p>

Li補(bǔ)充說：“納秒級(jí)的時(shí)間尺度意味著我們?cè)谌绱藰O端的場下，接近質(zhì)子的彈道甚至量子隧道系統(tǒng)?！?/p>

由于質(zhì)子不會(huì)損壞材料，該電阻可以運(yùn)行數(shù)百萬次而不發(fā)生故障。這種新的電解質(zhì)實(shí)現(xiàn)了可編程質(zhì)子電阻，比他們以前的設(shè)備快一百萬倍，并能在室溫下有效運(yùn)行，這對(duì)于將其納入計(jì)算硬件非常重要。

由于PSG的絕緣性能，當(dāng)質(zhì)子移動(dòng)時(shí)幾乎沒有電流通過該材料。Onen補(bǔ)充說，這使得該設(shè)備非常節(jié)能。del Alamo說，既然他們已經(jīng)證明了這些可編程電阻器的有效性，科學(xué)家們計(jì)劃重新設(shè)計(jì)它們以進(jìn)行大批量的生產(chǎn)。然后，他們可以研究電阻器陣列的特性，并擴(kuò)大其規(guī)模，以便將其嵌入系統(tǒng)中。

同時(shí)，他們計(jì)劃研究這些材料，以消除限制有效地將質(zhì)子轉(zhuǎn)移到電解質(zhì)、通過電解質(zhì)和從電解質(zhì)中轉(zhuǎn)移出來所需電壓的瓶頸。

“這些離子設(shè)備可以實(shí)現(xiàn)的另一個(gè)令人興奮的方向是高能效的硬件，以模擬神經(jīng)科學(xué)中推導(dǎo)出的神經(jīng)回路和突觸可塑性規(guī)則，超越模擬深度神經(jīng)網(wǎng)絡(luò)?！盰ildiz補(bǔ)充說：“我們已經(jīng)開始了與神經(jīng)科學(xué)的這種合作，得到了麻省理工學(xué)院探索智能的支持?！?/p>

“我們的合作對(duì)于未來的創(chuàng)新將是至關(guān)重要的。前進(jìn)的道路仍將是非常具有挑戰(zhàn)性的，但同時(shí)也是非常令人興奮的，” del Alamo說。

“嵌入反應(yīng)，如在鋰離子電池中發(fā)現(xiàn)的那些反應(yīng)，已經(jīng)被廣泛地探索用于存儲(chǔ)設(shè)備?！彼固垢４髮W(xué)材料科學(xué)與工程系副教授William Chueh說：“這項(xiàng)工作表明，基于質(zhì)子的存儲(chǔ)器件提供了令人印象深刻和令人驚訝的開關(guān)速度和持久性。它為一類新的存儲(chǔ)器件奠定了基礎(chǔ)，為深度學(xué)習(xí)算法提供動(dòng)力。”他沒有參與這項(xiàng)研究?！?/p>

“這項(xiàng)工作表明，在生物啟發(fā)的電阻記憶裝置方面取得了重大突破。這些全固態(tài)質(zhì)子設(shè)備基于質(zhì)子的精致原子級(jí)控制，類似于生物突觸，但速率快了幾個(gè)數(shù)量級(jí)，”沒有參與這項(xiàng)工作的卡內(nèi)基梅隆大學(xué)泰迪和威爾頓-霍金斯特聘教授兼材料科學(xué)和工程系主任Elizabeth Dickey說。“我贊揚(yáng)麻省理工學(xué)院的跨學(xué)科團(tuán)隊(duì)的這一令人興奮的發(fā)展，它將使未來一代的計(jì)算設(shè)備成為可能?！?/p>