利用算法自動設計神經(jīng)網(wǎng)絡是人工智能的新領域，但稱為神經(jīng)架構搜索（NAS）的技術非常昂貴。美國麻省理工學院開發(fā)一種新的NAS算法，可以直接學習針對目標硬件平臺的專門卷積神經(jīng)網(wǎng)絡。當在一個大型圖像數(shù)據(jù)集運行時，只需200 GPU小時，而谷歌開發(fā)的最佳NAS算法則需要4.8萬GPU小時來產(chǎn)生一個卷積神經(jīng)網(wǎng)絡。研究人員利用“路徑級二值化”與“路徑級修剪”相結合的技術，修剪整個路徑，剔除所有低概率路徑，只保留概率最高的路徑，最終完全改變神經(jīng)網(wǎng)絡的架構。算法針對特定硬件進行了優(yōu)化，效率大幅提高。這類新算法不會取代人類工程師，但可以減輕設計和改進神經(jīng)網(wǎng)絡所帶來的重復性繁瑣工作。
MIT電子工程和計算機科學助理教授Song Han表示：“在模型大小、推理延遲、準確性和模型容量之間存在各種各樣的權衡?！彼a充說：“（這些）加起來就是一個巨大的設計空間。以前，人們設計了基于啟發(fā)法的神經(jīng)網(wǎng)絡。神經(jīng)架構搜索試圖將這種勞動密集型的、基于啟發(fā)法的探索轉變?yōu)榛趯W習的、基于AI的設計空間探索。就像AI可以學習下圍棋一樣，AI也可以學習如何設計一個神經(jīng)網(wǎng)絡。”
就像在圍棋和國際象棋中獲勝的AI程序已經(jīng)向這些游戲的大師們教授新策略一樣，AI優(yōu)化的AI設計結果為AI神經(jīng)網(wǎng)絡設計提供了新的方法。
MIT的新算法加速了其開發(fā)的AI神經(jīng)網(wǎng)絡的類型為卷積神經(jīng)網(wǎng)絡 （CNN）。CNN通常是用于圖像識別程序的首選神經(jīng)網(wǎng)絡。除了圖像和視頻領域的應用外，CNN在自然語言處理和藥物發(fā)現(xiàn)等領域也有所應用。
MIT的Han指出，一旦他們的算法建立起最優(yōu)的CNN，所得到的系統(tǒng)很可能將圖像分類的速度提高到其他神經(jīng)架構搜索構建的AI的1.8倍。
Han的團隊能夠以如此驚人的速度精確定位最優(yōu)的CNN設計，得益于三個重要的想法。
首先，他們減少了運行神經(jīng)架構搜索的GPU的內存負載。一個標準的神經(jīng)結構搜索可以同時檢查網(wǎng)絡中神經(jīng)層之間所有可能的連接。相反，Han的團隊每次只在GPU的內存中保存一條路徑。這個技巧可以在僅使用十分之一內存空間的情況下對參數(shù)空間進行完整的搜索，從而使他們的搜索覆蓋更多的網(wǎng)絡配置，而不會耗盡芯片上的空間。
他們的第二個錦囊妙計是從已被丟棄的神經(jīng)網(wǎng)絡搜索中刪除整個路徑，這顯著加快了神經(jīng)網(wǎng)絡搜索的速度。（通常，神經(jīng)結構搜索只丟棄單個“神經(jīng)元”，刪除掉所有次優(yōu)的神經(jīng)網(wǎng)絡連接。）
第三個創(chuàng)新之處涉及使神經(jīng)網(wǎng)絡搜索意識到AI系統(tǒng)可能正在運行的每種類型硬件的延遲時間——無論是直接的CPU還是用于移動平臺的GPU加速系統(tǒng)。
令人驚訝的是，關于一些類型的圖像識別神經(jīng)網(wǎng)絡的傳統(tǒng)觀點是錯誤的。從某種意義上說，AI網(wǎng)絡設計師在設計主要運行在GPU系統(tǒng)上的網(wǎng)絡時，他們的想法仍然停留在CPU時代。
CNN在其圖像識別算法中使用過濾器，這些過濾器是由3×3、5×5或7×7像素組成的正方形網(wǎng)格。傳統(tǒng)上，很少使用7×7大小的過濾器，因為人們認為運行多層3×3過濾器比運行單個7×7過濾器更快。
然而，AI優(yōu)化的AI使用了相當數(shù)量的7×7過濾器——Han認為，這是當今大多數(shù)AI計算中GPU占主導地位的一個原因。
“我們發(fā)現(xiàn)，在GPU上運行多層7×7過濾器更容易，因為GPU具有很大的并行性，”Han說?！岸艺{用一個大型內核調用比調用幾個小型內核調用更有效?！?/p>
來源：網(wǎng)絡
