據(jù)外媒報(bào)道，沙特阿拉伯阿卜杜拉國(guó)王科技大學(xué)（KAUST）的研究人員發(fā)現(xiàn)了一種能夠顯著提升訓(xùn)練速度的方法。通過(guò)觀察采用大型訓(xùn)練數(shù)據(jù)庫(kù)的分布式機(jī)器學(xué)習(xí)中產(chǎn)生結(jié)果零的頻率，可以顯著加快大型機(jī)器學(xué)習(xí)模型的訓(xùn)練速度。
計(jì)算機(jī)的1和0（圖片來(lái)源：techxplore.com）
AI模型通過(guò)在數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練來(lái)開(kāi)發(fā)“智能”，而此類數(shù)據(jù)庫(kù)都被事先標(biāo)記好，以告知模型如何區(qū)分不同輸入信息，然后再做出相應(yīng)的反應(yīng)。輸入的已標(biāo)記數(shù)據(jù)越多，該模型就越擅長(zhǎng)完成分配給它的任務(wù)。對(duì)于自動(dòng)駕駛汽車等復(fù)雜深度學(xué)習(xí)應(yīng)用而言，它們需要大量輸入的數(shù)據(jù)庫(kù)以及很長(zhǎng)的訓(xùn)練時(shí)間，即使采用了強(qiáng)大且昂貴的高度并行超級(jí)計(jì)算平臺(tái)也是如此。
在訓(xùn)練期間，小型的學(xué)習(xí)任務(wù)被分配給數(shù)十或數(shù)百個(gè)計(jì)算節(jié)點(diǎn)，然后在運(yùn)行下一個(gè)任務(wù)之前，這些計(jì)算節(jié)點(diǎn)會(huì)通過(guò)通信網(wǎng)絡(luò)分享結(jié)果。在此種并行計(jì)算任務(wù)中，計(jì)算量消耗最大的來(lái)源之一是每個(gè)模型步驟中計(jì)算節(jié)點(diǎn)之間的通信。
KAUST的研究人員表示：“在分布式深度學(xué)習(xí)中，通信是主要的性能瓶頸。隨著模型規(guī)模的迅速增長(zhǎng)，我們還看到在學(xué)習(xí)過(guò)程中產(chǎn)生零值的比例在增加，稱為稀疏性。我們的想法是利用此種稀疏性，通過(guò)只發(fā)送非零數(shù)據(jù)塊來(lái)盡可能提高有效帶寬的使用效率?！?BR> 基于KAUST早期研發(fā)的SwitchML方法，即通過(guò)在處理數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)交換機(jī)上運(yùn)行高效的聚合代碼來(lái)優(yōu)化節(jié)點(diǎn)間的通信，研究人員希望能夠通過(guò)識(shí)別結(jié)果零，并研發(fā)一種方法，以在不中斷并行計(jì)算過(guò)程中，同步減少傳輸，而進(jìn)一步優(yōu)化該方法。
研究人員表示：“確切地說(shuō)，如何利用稀疏性來(lái)加速分布式訓(xùn)練是一個(gè)具有挑戰(zhàn)性的問(wèn)題。所有的節(jié)點(diǎn)需要在同一時(shí)間內(nèi)處理同一個(gè)位置的數(shù)據(jù)塊，因此我們必須協(xié)調(diào)節(jié)點(diǎn)，以確保只聚合同一個(gè)位置的數(shù)據(jù)塊。為了克服這個(gè)問(wèn)題，我們打造了一個(gè)聚合程序以協(xié)調(diào)此類工作者，指導(dǎo)它們接下來(lái)發(fā)送哪個(gè)數(shù)據(jù)塊?！?BR> 該團(tuán)隊(duì)在一個(gè)由一組圖形處理單元（GPU）構(gòu)成的測(cè)試臺(tái)上展示了其OmniReduce方法，并且在典型深度學(xué)習(xí)任務(wù)中速度加快了7倍。
（轉(zhuǎn)載）
