siemens x
大數(shù)據(jù)

以“東數(shù)西算”為契機(jī) 解決算力面臨的三大問(wèn)題和挑戰(zhàn)

2025China.cn   2022年03月24日

  2021年5月24日,國(guó)家發(fā)展改革委、中央網(wǎng)信辦、工業(yè)和信息化部、國(guó)家能源局聯(lián)合發(fā)布《全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》,明確提出布局建設(shè)全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn),加快實(shí)施“東數(shù)西算”工程。緊隨之,四部委又分別于2021年12月20日和2022年2月7日正式復(fù)函同意京津冀、長(zhǎng)三角、粵港澳大灣區(qū)、成渝、內(nèi)蒙古、貴州、甘肅、寧夏等地啟動(dòng)建設(shè)國(guó)家算力網(wǎng)絡(luò)樞紐節(jié)點(diǎn)。至此,“東數(shù)西算”工程全面進(jìn)入建設(shè)期。

  顧名思義,“東數(shù)西算”工程就是把東部地區(qū)的非實(shí)時(shí)算力需求以及大量生產(chǎn)生活數(shù)據(jù)輸送到西部地區(qū)的數(shù)據(jù)中心進(jìn)行存儲(chǔ)、計(jì)算并反饋。在其上則是希望構(gòu)建更綠色、更平衡和更高效的國(guó)家算力網(wǎng)絡(luò)體系,以滿足新時(shí)代各行各業(yè)數(shù)字化轉(zhuǎn)型、數(shù)字技術(shù)與生活場(chǎng)景加速融合所帶來(lái)的海量計(jì)算、傳輸、存儲(chǔ)需求,最大化實(shí)現(xiàn)數(shù)據(jù)中心產(chǎn)業(yè)綠色集約發(fā)展,推動(dòng)資源統(tǒng)籌利用和西部數(shù)字經(jīng)濟(jì)建設(shè)。可以預(yù)見(jiàn),“東數(shù)西算”工程未來(lái)將發(fā)揮與眾所周知的“南水北調(diào)”工程(建設(shè)國(guó)家高品質(zhì)水網(wǎng))和“西電東送”工程(建設(shè)國(guó)家高品質(zhì)電網(wǎng))相似重要作用和價(jià)值,并與西部發(fā)展、生態(tài)文明建設(shè)和雙碳戰(zhàn)略等當(dāng)前重大國(guó)策休戚相關(guān),同步發(fā)展。

  從整體上,“東數(shù)西算”工程將圍繞“五個(gè)一體化”的工程目標(biāo)建設(shè):

  網(wǎng)絡(luò)一體化。圍繞集群建設(shè)數(shù)據(jù)中心直連網(wǎng),建立合理網(wǎng)絡(luò)結(jié)算機(jī)制,增大網(wǎng)絡(luò)帶寬,提高傳輸速度,降低傳輸費(fèi)用。圍繞集群穩(wěn)妥有序推進(jìn)新型互聯(lián)網(wǎng)交換中心、互聯(lián)網(wǎng)骨干直連點(diǎn)建設(shè)。

  能源一體化。圍繞集群建設(shè)數(shù)據(jù)中心直連網(wǎng),建立合理網(wǎng)絡(luò)結(jié)算機(jī)制,增大網(wǎng)絡(luò)帶寬,提高傳輸速度,降低傳輸費(fèi)用。圍繞集群穩(wěn)妥有序推進(jìn)新型互聯(lián)網(wǎng)交換中心、互聯(lián)網(wǎng)骨干直連點(diǎn)建設(shè)。

  算力一體化。在集群和城區(qū)內(nèi)部的兩級(jí)算力布局下,推動(dòng)各行業(yè)數(shù)據(jù)中心加強(qiáng)一體化聯(lián)通調(diào)度,促進(jìn)多云之間、云和數(shù)據(jù)中心之間、云和網(wǎng)絡(luò)之間的資源聯(lián)動(dòng),構(gòu)建算力服務(wù)資源池。

  數(shù)據(jù)一體化。建設(shè)數(shù)據(jù)共享開(kāi)放、政企數(shù)據(jù)融合應(yīng)用等數(shù)據(jù)流通共性設(shè)施平臺(tái)。試驗(yàn)多方安全計(jì)算、區(qū)塊鏈、隱私計(jì)算、數(shù)據(jù)沙箱等技術(shù)模式,構(gòu)建數(shù)據(jù)可信流通環(huán)境。

  應(yīng)用一體化。開(kāi)展一體化城市數(shù)據(jù)大腦建設(shè),選擇公共衛(wèi)生、自然災(zāi)害、市場(chǎng)監(jiān)管等突發(fā)應(yīng)急場(chǎng)景,試驗(yàn)開(kāi)展“數(shù)據(jù)靶場(chǎng)”建設(shè),探索不同應(yīng)急狀態(tài)下的數(shù)據(jù)利用規(guī)則和協(xié)同機(jī)制。

  回顧以往,建設(shè)國(guó)家級(jí)超級(jí)計(jì)算中心與基礎(chǔ)服務(wù)環(huán)境,我國(guó)已經(jīng)有了超過(guò)十年的積累,取得了令世界矚目的成就;在超大型數(shù)據(jù)中心和云計(jì)算平臺(tái)的建設(shè)上,一些基礎(chǔ)電信運(yùn)營(yíng)商、云服務(wù)商也積累了大量經(jīng)驗(yàn),在該領(lǐng)域已進(jìn)入國(guó)際先進(jìn)行列。但對(duì)照“東數(shù)西算”的預(yù)設(shè)目標(biāo),面對(duì)更廣域、更多方參與和更高品質(zhì)要求下的數(shù)據(jù)和應(yīng)用流動(dòng)場(chǎng)景,現(xiàn)有的技術(shù)儲(chǔ)備、工程建設(shè)水平、市場(chǎng)化等方面仍舊面臨著大量挑戰(zhàn)。

  從筆者視角,“東數(shù)西算”工程能夠從以下三個(gè)方面發(fā)力,解決遇到的問(wèn)題和挑戰(zhàn)。

  一、通過(guò)“東數(shù)西算”解決算力分布式使用面臨的挑戰(zhàn)。

  “東數(shù)西算”工程最為顯著特點(diǎn)就是提出了算力聯(lián)接網(wǎng)絡(luò),異地算力與網(wǎng)絡(luò)協(xié)同工作的實(shí)現(xiàn)思路。這種思路希望突破傳統(tǒng)計(jì)算與數(shù)據(jù)中心算力提供服務(wù)的限制,在目前已經(jīng)取得廣泛成功的大數(shù)據(jù)中心和云計(jì)算平臺(tái)上實(shí)現(xiàn)廣域擴(kuò)展和頂層優(yōu)化。然而,算力資源傳統(tǒng)上來(lái)自計(jì)算與數(shù)據(jù)中心的內(nèi)部資源且集中部署和管理,要滿足算力一體化需求,需要算力的無(wú)縫分布式使用,業(yè)界目前還沒(méi)有成熟可靠的解決方案。計(jì)算的實(shí)施是建立在數(shù)據(jù)之上的,算力的流動(dòng)首先應(yīng)完成高效的數(shù)據(jù)流動(dòng),需要更加完善和先進(jìn)的數(shù)據(jù)平臺(tái)、服務(wù)與相關(guān)制度。技術(shù)層面,可以借鑒和發(fā)展數(shù)據(jù)網(wǎng)格、數(shù)據(jù)中心網(wǎng)絡(luò)、廣域與分布式文件系統(tǒng)的技術(shù)經(jīng)驗(yàn),融合新型存儲(chǔ)介質(zhì)與體系架構(gòu),推動(dòng)新一代分布式數(shù)據(jù)訪問(wèn)協(xié)議、存儲(chǔ)系統(tǒng)和基礎(chǔ)軟件(分布式數(shù)據(jù)庫(kù)、分布式文件系統(tǒng))的演進(jìn)。政策層面,則應(yīng)進(jìn)一步加快推動(dòng)數(shù)據(jù)要素市場(chǎng)制度建設(shè),推動(dòng)數(shù)據(jù)市場(chǎng)化交易模式的落地。

  二、通過(guò)“東數(shù)西算”解決算力交付方式面臨的困境。

  在云服務(wù)中,算力是作為一種IaaS資源被使用與管理。但是單一的云平臺(tái)調(diào)度范圍(區(qū)域)有限,過(guò)大的管理調(diào)度范圍將導(dǎo)致云業(yè)務(wù)交付無(wú)法確保的服務(wù)質(zhì)量。無(wú)論是采用資源交付還是云服務(wù)交付都面臨困難。前者需要一體化的資源管理平臺(tái),實(shí)現(xiàn)起來(lái)相對(duì)簡(jiǎn)單,對(duì)用戶要求高;后者需要統(tǒng)一的云服務(wù)平臺(tái),實(shí)現(xiàn)起來(lái)將引入更多的服務(wù)因素,難度更大。在這方面的探索上,超算互聯(lián)網(wǎng)正開(kāi)展一些初步工作?!笆奈濉背跗诰蛦?dòng)了“國(guó)家高性能計(jì)算環(huán)境的領(lǐng)域應(yīng)用平臺(tái)及服務(wù)體系”項(xiàng)目,構(gòu)建高速網(wǎng)絡(luò)連接無(wú)錫、廣州、北京、天津、深圳、長(zhǎng)沙、青島等地的多個(gè)國(guó)家級(jí)超算中心,集成與研發(fā)跨超算資源管理環(huán)境、共性應(yīng)用函數(shù)庫(kù)與工具軟件,建立復(fù)雜力學(xué)體系與量子物理體系、生物與材料、環(huán)境治理與災(zāi)害防治三個(gè)重點(diǎn)領(lǐng)域的應(yīng)用資源集成與服務(wù)集成,探索跨中心的超算社區(qū)運(yùn)行機(jī)制與快速響應(yīng)與協(xié)同機(jī)制??绮煌?jì)算架構(gòu)之間的應(yīng)用有效部署仍是該項(xiàng)目面臨的挑戰(zhàn)和亟需完成的技術(shù)突破。同時(shí),算力本身存在著位置分散、能力各異和動(dòng)態(tài)變化的特征,導(dǎo)致算力存在度量困難,從而影響構(gòu)建算力使用的結(jié)算體系,進(jìn)一步損害產(chǎn)業(yè)運(yùn)轉(zhuǎn)。因此,做好算力感知、算力建模及算力評(píng)估首當(dāng)其沖,面向全網(wǎng)的算力資源(計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)),開(kāi)展對(duì)各類算力資源的狀態(tài)、動(dòng)態(tài)性及分布進(jìn)行分析、度量以及建模,實(shí)現(xiàn)基于干擾分析的算力資源評(píng)估,作為算力資源發(fā)現(xiàn)、交易、調(diào)度的依據(jù)。

  三、通過(guò)“東數(shù)西算”解決算力使用面臨的安全問(wèn)題。

  數(shù)據(jù)信息傳輸過(guò)程中,物理設(shè)施、網(wǎng)絡(luò)安全、應(yīng)用安全、數(shù)據(jù)安全和信息安全等方面可能會(huì)面臨多重風(fēng)險(xiǎn)。而“東數(shù)西算”工程實(shí)現(xiàn)的算力資源開(kāi)放使用則面臨著更多的信息安全問(wèn)題,算力資源在從申請(qǐng)、使用再到結(jié)算清退,過(guò)程中至少跨越使用方和供給方的邊界,一旦有風(fēng)險(xiǎn),不僅導(dǎo)致算力使用方出現(xiàn)漏洞,也會(huì)引發(fā)算力供給方的隱患,從而給整個(gè)算網(wǎng)資源體系帶來(lái)風(fēng)險(xiǎn)。因此,如何在數(shù)據(jù)開(kāi)放共享、大范圍多方融合應(yīng)用的需求和場(chǎng)景下實(shí)現(xiàn)端到端的安全,需要技術(shù)突破和政策制定等多方面努力,例如:采用和部署內(nèi)生安全的基礎(chǔ)設(shè)施,合理規(guī)劃網(wǎng)絡(luò)的安全區(qū)域以及不同區(qū)域之間的訪問(wèn)權(quán)限,試驗(yàn)多方安全計(jì)算、區(qū)塊鏈、隱私計(jì)算、數(shù)據(jù)沙箱等技術(shù)模式,做好網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)。

  算力設(shè)施是數(shù)字經(jīng)濟(jì)健康發(fā)展的底座,對(duì)推動(dòng)數(shù)字經(jīng)濟(jì)健康發(fā)展作用巨大。有數(shù)據(jù)顯示,算力指數(shù)平均每提高1個(gè)百分點(diǎn),數(shù)字經(jīng)濟(jì)和GDP將分別增長(zhǎng)0.33%和0.18%。算力網(wǎng)絡(luò)的技術(shù)理念已逐步在行業(yè)形成共識(shí)??梢灶A(yù)見(jiàn),“東數(shù)西算”工程將為我國(guó)以數(shù)據(jù)為中心的產(chǎn)業(yè)發(fā)展帶來(lái)新的契機(jī),并持續(xù)提升數(shù)據(jù)資產(chǎn)對(duì)于經(jīng)濟(jì)發(fā)展的貢獻(xiàn)度,帶動(dòng)廣大西部地區(qū)參與到智能化引導(dǎo)的數(shù)字經(jīng)濟(jì)浪潮當(dāng)中。盡管面臨上述的一系列挑戰(zhàn),隨著“東數(shù)西算”工程的逐步建設(shè),大數(shù)據(jù)、云計(jì)算、高性能計(jì)算技術(shù)、新一代網(wǎng)絡(luò)技術(shù)、端到端安全技術(shù),以及其相關(guān)產(chǎn)業(yè)和政策法規(guī)的快速進(jìn)步與完善,創(chuàng)新開(kāi)放的業(yè)態(tài)和場(chǎng)景不斷涌現(xiàn),未來(lái)將逐步實(shí)現(xiàn)網(wǎng)絡(luò)與計(jì)算的一體融合,有效賦能數(shù)字經(jīng)濟(jì)。(作者:鄭緯民 中國(guó)工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授)

(轉(zhuǎn)載)

標(biāo)簽:東數(shù)西算 我要反饋 
2024世界人工智能大會(huì)專題
即刻點(diǎn)擊并下載ABB資料,好禮贏不停~
優(yōu)傲機(jī)器人下載中心
西克
2024全景工博會(huì)
專題報(bào)道
2024 工博會(huì) | 直播探館 · 全景解讀
2024 工博會(huì) | 直播探館 · 全景解讀

第二十四屆中國(guó)工博會(huì)于9月24日至28日在國(guó)家會(huì)展中心(上海)舉行,展會(huì)以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]

2024世界人工智能大會(huì)
2024世界人工智能大會(huì)

WAIC 2024將于7月在上海舉行,論壇時(shí)間7月4日-6日,展覽時(shí)間7月4日-7日。WAIC 2024將圍繞“以共商促... [更多]

2024漢諾威工業(yè)博覽會(huì)專題
2024漢諾威工業(yè)博覽會(huì)專題

2024 漢諾威工業(yè)博覽會(huì)將于4月22 - 26日在德國(guó)漢諾威展覽中心舉行。作為全球首屈一指的工業(yè)貿(mào)易展覽會(huì),本屆展覽會(huì)... [更多]