體系結(jié)構(gòu)如何加速人工智能?圖靈獎得主David Patterson為你解惑

　　導(dǎo)語：2020 WAIC·開發(fā)者日將于7月10日-11日線上舉辦。在主論壇上，圖靈獎得主David Patterson將帶來宗師課《體系結(jié)構(gòu)創(chuàng)新加速人工智能》。

　　人工智能已經(jīng)成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力，正在對世界經(jīng)濟(jì)、社會進(jìn)步和人類生活產(chǎn)生極其深刻的影響。

　　2020世界人工智能大會云端峰會致力于打造世界頂尖人工智能合作交流平臺，推動和主導(dǎo)人工智能產(chǎn)業(yè)和技術(shù)創(chuàng)新融合發(fā)展，大會將于7月9-11日在上海舉行，全程采用線上直播的形式。

　　世界人工智能大會開發(fā)者日(以下簡稱為WAIC·開發(fā)者日)云端峰會作為大會主題論壇及特色活動，是WAIC期間唯一面向AI開發(fā)者的專業(yè)活動，將成為人工智能領(lǐng)域年度最高規(guī)格、最專業(yè)、最具影響力的開發(fā)者盛會之一。本屆開發(fā)者日包含1場主論壇、多場分論壇、高峰對話、黑客松、Demoday、公開課等活動，為業(yè)界呈現(xiàn)最豐盛的人工智能技術(shù)分享盛宴。在活動期間，大會也將進(jìn)行上海白玉蘭開源開放研究院揭牌、發(fā)布《人工智能開源開放報(bào)告》、WAIC 云帆獎。

　　在今年的開發(fā)日主論壇上，機(jī)器之心聯(lián)合上海交通大學(xué)人工智能研究院邀請到多位重磅嘉賓，其中就包括2017年圖靈獎得主、計(jì)算機(jī)體系結(jié)構(gòu)宗師David Patterson。

　　屆時，他將帶來主題演講《體系結(jié)構(gòu)創(chuàng)新加速人工智能》(Architecture Innovation Accelerates Artificial Intelligence)。

2017圖靈獎得主、體系結(jié)構(gòu)巨擘 David Patterson

　　David A. Patterson自1977年進(jìn)入加州大學(xué)伯克利分校執(zhí)教以來，一直講授計(jì)算機(jī)體系結(jié)構(gòu)課程，擁有該校計(jì)算機(jī)科學(xué)Pardee講座教授職位。他因?yàn)榻虒W(xué)成果顯著而榮獲了加州大學(xué)的杰出教學(xué)獎、ACM的Karlstrom獎、IEEE的Mulligan教育獎?wù)潞捅究粕虒W(xué)獎。

　　因在RISC方面的貢獻(xiàn)而獲得了IEEE技術(shù)成就獎和ACM Eckert-Mauchly獎，他還因?yàn)樵赗AID方面的貢獻(xiàn)而分享了IEEE Johnson信息存儲獎，并與John Hennessy共同獲得了IEEE約翰?馮?諾依曼獎?wù)?、C & C獎金和2017圖靈獎。此外，Patterson還是美國藝術(shù)與科學(xué)院院士、美國計(jì)算機(jī)歷史博物館院士、ACM和IEEE會士。他還被選入美國國家工程院、美國國家科學(xué)院和硅谷工程名人堂。Patterson身為美國總統(tǒng)信息技術(shù)顧問委員會委員，同時也是伯克利電子工程與計(jì)算機(jī)科學(xué)系計(jì)算機(jī)科學(xué)分部主任、計(jì)算機(jī)研究協(xié)會主席和ACM主席。這一履歷使他榮獲了ACM和CRA頒發(fā)的杰出服務(wù)獎。

　　在加州大學(xué)伯克利分校，Patterson領(lǐng)導(dǎo)了RISCI的設(shè)計(jì)與實(shí)現(xiàn)工作，這可能是第一臺VLSI精簡指令集計(jì)算機(jī)，為商業(yè)SPARC體系結(jié)構(gòu)奠定了基礎(chǔ)。他曾是廉價磁盤冗余陣列(Redundant Arrays of Inexpensive Disks，RAID)項(xiàng)目的領(lǐng)導(dǎo)者之一，正是由于這一項(xiàng)目，才有了后來許多公司出品的可靠存儲系統(tǒng)。他還參與了工作站網(wǎng)絡(luò)(Network of Workstations，NOW)項(xiàng)目，因?yàn)檫@一項(xiàng)目而有了因特網(wǎng)公司使用的集群技術(shù)和后來的云計(jì)算。這些項(xiàng)目獲得了ACM頒發(fā)的三個論文獎。

　　作為“算法 機(jī)器 人類”(AMP)實(shí)驗(yàn)室和并行計(jì)算實(shí)驗(yàn)室的主管，他目前在這里開展自己的研究項(xiàng)目。AMP實(shí)驗(yàn)室的目標(biāo)是開發(fā)可擴(kuò)展的機(jī)器學(xué)習(xí)算法、適用于倉庫級計(jì)算機(jī)的編程模型、能夠快速洞悉云中海量數(shù)據(jù)的眾包(Crowd-Sourcing)工具。并行計(jì)算實(shí)驗(yàn)室的目標(biāo)是研發(fā)先進(jìn)技術(shù)，為并行個人移動設(shè)備提供可擴(kuò)展、可移植、方便快捷的效率軟件。

　　此外，Patterson還與另一位圖靈獎得主John L. Hennessy合著計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)學(xué)科經(jīng)典著作《計(jì)算機(jī)體系結(jié)構(gòu)：量化研究方法》，這本書堪稱計(jì)算機(jī)體系結(jié)構(gòu)的「圣經(jīng)」，數(shù)代工程師和科學(xué)家采用和發(fā)揚(yáng)他們的理念。

體系結(jié)構(gòu)與AI

　　計(jì)算機(jī)體系結(jié)構(gòu)是程序員所看到的計(jì)算機(jī)的屬性，即計(jì)算機(jī)的邏輯結(jié)構(gòu)和功能特征，包括其各個硬部件和軟部件之間的相互關(guān)系。

　　對計(jì)算機(jī)系統(tǒng)設(shè)計(jì)者而言，計(jì)算機(jī)體系結(jié)構(gòu)是指研究計(jì)算機(jī)的基本設(shè)計(jì)思想和由此產(chǎn)生的邏輯結(jié)構(gòu);對程序設(shè)計(jì)者而言，則是指對系統(tǒng)的功能描述(如指令集、編制方式等)。

　　David A. Patterson和John L. Hennessy在《計(jì)算機(jī)體系結(jié)構(gòu)：量化研究方法》(第5版)前言中寫道：

　　這個學(xué)科不是令人昏昏欲睡、百無一用的紙版模型。絕對不是!這是一個受到人們熱切關(guān)注的學(xué)科，需要在市場競爭力與成本、性能、能耗之間作好權(quán)衡，從事這個學(xué)科既可能導(dǎo)致可怕的失敗，也可能帶來顯赫的成功。

　　眾所周知，近期人工智能的飛速發(fā)展離不開海量數(shù)據(jù)和算力提升，而算力是承載和推動人工 智能走向?qū)嶋H應(yīng)用的基礎(chǔ)平臺和決定性力量。

　　計(jì)算機(jī)體系結(jié)構(gòu)的進(jìn)步正是滿足算力需求的必經(jīng)之路。同時，人工智能的發(fā)展也重塑了體系結(jié)構(gòu)的設(shè)計(jì)過程。

　　人工智能的特點(diǎn)對算力提出了不同于以往的新要求，傳統(tǒng)的面向通用計(jì)算負(fù)載的CPU架構(gòu)無法完全滿足海量數(shù)據(jù)的并 行計(jì)算需求，以異構(gòu)計(jì)算、加速計(jì)算、可編程計(jì)算等為代表的新的計(jì)算技術(shù)和架構(gòu)更適合人工智能的并行計(jì)算需求，得到了快速的發(fā)展。

　　此外，在摩爾定律逐漸失效和深度學(xué)習(xí)算力需求如無底洞般膨脹的今天，深度學(xué)習(xí)研究者們也在思考：能否改進(jìn)算法以使其更適應(yīng)計(jì)算硬件?能否幫助優(yōu)化系統(tǒng)配置?

　　在《黃金時代》論文里，Jeff Dean和 David Patterson以谷歌開發(fā)的兩代機(jī)器學(xué)習(xí) ASIC(用于加速推理的 TPUv1 和用于加速訓(xùn)練的 TPUv2)為例，介紹了設(shè)計(jì)專用硬件的思路。

　　進(jìn)行硬件設(shè)計(jì)要著眼于至少 5 年后的模型：現(xiàn)在開始一款 ASIC 的設(shè)計(jì)，它大約可以在 2 年后投入使用，而一款專用硬件至少需要能夠保持 3 年的競爭力才有價值。Jeff Dean和 David Patterson介紹了，在這樣的前提下，設(shè)計(jì)深度學(xué)習(xí)專用硬件需要考慮的問題。

　　從他們關(guān)于硬件結(jié)構(gòu)和人工智能發(fā)展的探討中，我們可以得出以下見解：「當(dāng)下，想要朝通用人工智能的道路上前行，研究者、工程師、體系結(jié)構(gòu)設(shè)計(jì)者，這些身份一個都不能少」。

　　2019年David Patterson與John Hennessy 合作發(fā)表了文章《計(jì)算機(jī)架構(gòu)的新黃金時代》，完整介紹了計(jì)算機(jī)芯片的發(fā)展歷程，以及所有架構(gòu)的未來趨勢。

　　這篇文章的最后寫道「架構(gòu)設(shè)計(jì)者必須意識到軟件創(chuàng)新也能激勵架構(gòu)發(fā)展，而提高硬件/軟件界面的抽象水平會帶來創(chuàng)新的機(jī)會，市場最終會解決計(jì)算機(jī)架構(gòu)的爭論」。

　　他們預(yù)言：「未來十年，將會有一場新計(jì)算機(jī)架構(gòu)的寒武紀(jì)爆炸，這對業(yè)界和學(xué)界的架構(gòu)師們來說將是激動人心的時刻?！?/FONT>