編者按：
要滿足AI的巨大需求，讓AI成功的應用到千行百業(yè)，AI產(chǎn)業(yè)需要提供用得起、用得好、用得放心的軟硬件系統(tǒng)和解決方案。由于AI的強行業(yè)賦能屬性，AI產(chǎn)業(yè)要能夠和行業(yè)知識結合，促進真正的產(chǎn)業(yè)發(fā)展和生產(chǎn)力提升。當然，AI產(chǎn)業(yè)要真正產(chǎn)生價值，推動社會發(fā)展，面臨著很多的挑戰(zhàn)。
導語
如今，人工智能技術持續(xù)快速發(fā)展，在圖像識別、語音識別、語義理解等諸多特定領域已超過人類能力。從AI算法到產(chǎn)品化落地存在巨大的挑戰(zhàn)，概括來說有8個鴻溝仍需相關工作者跨越。
01
模型獲取
AI算法層出不窮，同一領域甚至同一主題都有大量算法產(chǎn)生，然而算法是否能夠適應或者如何適應具體的應用場景?首先，不同的行業(yè)數(shù)據(jù)導致模型的表現(xiàn)不同。訓練數(shù)據(jù)的不同會導致模型表現(xiàn)出現(xiàn)很大的差異。其次，模型對于不同場景也有適配性問題。那么，如何在層出不窮的模型里面選擇合適的模型，是很多開發(fā)者面臨的第一個挑戰(zhàn)。而進行大規(guī)模的模型測試篩選，則需要巨大的時間和算力成本。如何在大量個性化和碎片化的場景下快速獲得實際表現(xiàn)良好的模型，工作量巨大。若針對場景沉淀針對性的數(shù)據(jù)和算法，進行最優(yōu)的積累，形成行業(yè)最佳實踐，則可以在一定程度上緩解相關壓力。
02
數(shù)據(jù)準備
準備場景化行業(yè)數(shù)據(jù)存在比較大的挑戰(zhàn)，需要進行數(shù)據(jù)的采集、清洗、標注、增強等工作依據(jù)準確度需求的不同，數(shù)據(jù)量也不同。如何有針對性的設計數(shù)據(jù)處理流程，快速獲得高質(zhì)量的訓練數(shù)據(jù)，加速適配業(yè)務場景，是AI算法面向場景訓練需要解決的問題。最理想的數(shù)據(jù)集，不一定是最大的，而是能夠真實反映實際業(yè)務的數(shù)據(jù)分布，但覆蓋所有情況的數(shù)據(jù)集是不現(xiàn)實的，采集的樣本或多或少都有一定的局限性。如何避免人為的局限和錯誤，是AI數(shù)據(jù)準備必須要解決的問題。
03
模型訓練
在確保數(shù)據(jù)質(zhì)量之后，還要進行復雜的模型訓練，而對于模型參數(shù)的調(diào)整，經(jīng)常出現(xiàn)困難。復雜的訓練過程和調(diào)優(yōu)過程，將大量的傳統(tǒng)行業(yè)開發(fā)者擋在門外。同時，算法在業(yè)務場景內(nèi)的適應性測試和調(diào)整是復雜的。
04
準確度驗證
訓練好的模型在業(yè)務場景中的表現(xiàn)，需要在完整的業(yè)務體系中完成驗證。模型的泛化能力，通常在實際場景里會受到極大的挑戰(zhàn)。由于測試環(huán)境和實際環(huán)境的不同，傳感器數(shù)據(jù)會受到環(huán)境影響產(chǎn)生不同的分布，進而可能影響模型的表現(xiàn)能力。針對復雜環(huán)境進行適應性的精調(diào)，是阻礙算法快速落地的因素之一。尤其是某些難例，在訓練集沒有出現(xiàn)的情況，同樣會導致模型的泛化問題。
05
行業(yè)應用開發(fā)
AI算法具有強的行業(yè)屬性，必須作為行業(yè)應用的一部分，和行業(yè)知識結合，才能更好的發(fā)揮價值。AI算法所對應的模型需要接收各種輸入數(shù)據(jù)，并且由AI計算系統(tǒng)提供的各種形式的軟硬件環(huán)境來承載。不同的輸入數(shù)據(jù)類型、格式、速率、協(xié)議、接口形態(tài)等，都會對AI的應用開發(fā)系統(tǒng)產(chǎn)生整合要求。而面對多樣化數(shù)據(jù)所需要的多種處理架構，也會帶來異構算力整合的問題。
開發(fā)效率是影響AI在行業(yè)場景落地的重要因素之一。AI計算產(chǎn)業(yè)要能夠給開發(fā)者提供高效的開發(fā)體系和工具，提供完善的生態(tài)環(huán)境以及豐富的資源支持，尤其針對傳統(tǒng)行業(yè)的開發(fā)者，要能夠?qū)碗s的AI開發(fā)過程簡單化，從而使開發(fā)者更關注行業(yè)場景的問題解決，從而快速推進行業(yè)對AI系統(tǒng)的適配。
06
NPU性能優(yōu)化
應用性能是影響行業(yè)發(fā)展的重要問題。AI算力需要能夠真正的轉(zhuǎn)化為生產(chǎn)力，其實際的運行性能將決定系統(tǒng)最終的性價比和業(yè)務執(zhí)行能力。復雜的異構優(yōu)化體系，是計算系統(tǒng)所需要克服的挑戰(zhàn)。
07
業(yè)務流程監(jiān)控
如何確保AI系統(tǒng)在業(yè)務環(huán)境的持續(xù)準確高效運行，是行業(yè)應用所需要關注的問題。隨著業(yè)務場景和環(huán)境的變化，傳感器數(shù)據(jù)和環(huán)境數(shù)據(jù)會產(chǎn)生偏移，這些偏移對于行業(yè)AI應用的準確度會產(chǎn)生不可忽視的影響，尤其是高精度的場景。AI業(yè)務系統(tǒng)要求能夠及時發(fā)現(xiàn)這些準確度影響的問題和場景，并且能夠提供持續(xù)算法更新和增量學習等能力。
08
適配開發(fā)
面對不同的業(yè)務場景，通常需要以服務化和API的形式來封裝AI業(yè)務，為上層應用提供較好的接口。但是，由于場景的復雜性，開發(fā)和維護對應的API和服務是現(xiàn)實的挑戰(zhàn)。如何構建統(tǒng)一的服務架構和API封裝，以適配不同場景的實際業(yè)務化運行需求，同樣存在困難。部署AI計算系統(tǒng)到實際的業(yè)務系統(tǒng)中，也面臨著挑戰(zhàn)。不同的行業(yè)，所采用的操作系統(tǒng)、基礎軟件、通信系統(tǒng)、存儲系統(tǒng)等，都會出現(xiàn)差異，隨之帶來碎片化的解決方案，嚴重影響到應用開發(fā)的效率和成本。在差異化的軟硬件體系中，使用統(tǒng)一的應用開發(fā)體系，水平整合技術棧，增強對于底層系統(tǒng)的抽象能力，建立標準和統(tǒng)一的平臺及接口體系，也是AI行業(yè)應用開發(fā)的關鍵。所以，在設計具體場景的AI業(yè)務軟件系統(tǒng)時，所需要考慮的適應性、可裁剪性、可伸縮性等細節(jié)特性要成倍增加。同時在設計硬件方案時，需要考慮到各種嚴苛條件下，系統(tǒng)的可靠性、可服務性以及對整體軟硬件系統(tǒng)的性能影響。
結語
不難看出，當AI技術進階到行業(yè)深水區(qū)，需要使能更多場景和設備時，AI開發(fā)者面臨的將是一個規(guī)?；南到y(tǒng)性設計問題，而不再僅僅是單純的模型和業(yè)務軟件開發(fā)。
來源：IT168
編輯：阿里云研究中心
（轉(zhuǎn)載）
