工業(yè)機(jī)器人

人工智能:24年較廣泛的匯編

ainet.cn   2025年01月06日

1、基礎(chǔ)概念

1.1 基礎(chǔ)定義

大模型(Large Model,也稱(chēng)基礎(chǔ)模型,即 Foundation Model)是指容量較大,用于深度學(xué)習(xí)任務(wù)的模型,通常具有海量的參數(shù)和復(fù)雜的架構(gòu)。大模型具有更好的通用性、精度和效率,可以通過(guò)預(yù)訓(xùn)練或其他方式在大型數(shù)據(jù)集上進(jìn)行學(xué)習(xí),再通過(guò)微調(diào)高效地處理計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等復(fù)雜任務(wù)。隨著大模型技術(shù)的不斷發(fā)展,關(guān)于“大模型”的標(biāo)準(zhǔn)也不斷發(fā)生新的變化。早期,數(shù)百萬(wàn)或幾千萬(wàn)個(gè)參數(shù)的模型就被認(rèn)為是“大模型”。但現(xiàn)在,由于模型的參數(shù)量和計(jì)算復(fù)雜度都在不斷增加,數(shù)億甚至數(shù)十億個(gè)參數(shù)的模型也越來(lái)越多。

ChatGPT 對(duì)大模型的解釋更為通俗易懂,重點(diǎn)突出類(lèi)似人類(lèi)的歸 納和思考能力:大模型本質(zhì)上是一個(gè)使用海量數(shù)據(jù)訓(xùn)練而成的深度神經(jīng)網(wǎng)絡(luò)模型,其巨大的數(shù)據(jù)和參數(shù)規(guī)模,實(shí)現(xiàn)了智能的涌現(xiàn),展現(xiàn)出類(lèi)似人類(lèi)的智能。

業(yè)界把大模型通常分為通用大模型、行業(yè)大模型兩類(lèi)。行業(yè)大模型是指在特定行業(yè)領(lǐng)域應(yīng)用的大型語(yǔ)言模型。與通用大模型相比,行業(yè)大模型更加專(zhuān)注于某個(gè)特定的行業(yè),例如政務(wù)、金融、醫(yī)療、法律等。行業(yè)大模型通過(guò)在該行業(yè)的領(lǐng)域數(shù)據(jù)上進(jìn)行訓(xùn)練和優(yōu)化,可以更好地理解和處理該行業(yè)的專(zhuān)業(yè)術(shù)語(yǔ)、規(guī)范和語(yǔ)義。行業(yè)大模型的發(fā)展得益于大數(shù)據(jù)和深度學(xué)習(xí)等技術(shù)的進(jìn)步,以及對(duì)各個(gè)行業(yè)特定需求的理解。通過(guò)訓(xùn)練行業(yè)大模型,可以利用模型的語(yǔ)言理解和生成能力來(lái)解決該行業(yè)中的各種問(wèn)題。

1.2 常用名詞

大語(yǔ)言模型( Large Language Model):通常是具有大規(guī)模參數(shù)和計(jì)算能力的自然語(yǔ)言處理模型,例如 OpenAl 的 GPT-4 模型。這 些模型可以通過(guò)大量的數(shù)據(jù)和參數(shù)進(jìn)行訓(xùn)練 ,以生成人類(lèi)類(lèi)似的文本或回答自然語(yǔ)言的問(wèn)題。大型語(yǔ)言模型在自然語(yǔ)言處理、文本生成和智能對(duì)話(huà)等領(lǐng)域有廣泛應(yīng)用。

視覺(jué)大模型:視覺(jué)大模型是指具有千萬(wàn)級(jí)別或更多參數(shù)的神經(jīng)網(wǎng)絡(luò)模型,這些模型在計(jì)算機(jī)視覺(jué)領(lǐng)域中廣泛應(yīng)用。視覺(jué)大模型可以用于圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割等任務(wù),具有很高的準(zhǔn)確性和泛化能力。一般使用卷積神經(jīng)網(wǎng)絡(luò)( CNN)或可變形卷積神經(jīng)網(wǎng)絡(luò)(Transformers)進(jìn)行構(gòu)建。

多模態(tài)大模型:多模態(tài)大模型指的是將文本、圖像、視頻、音頻等多模態(tài)信息聯(lián)合起來(lái)進(jìn)行訓(xùn)練的模型。

涌現(xiàn)能力:在特定任務(wù)上,隨著模型規(guī)模提升,模型性能突然出現(xiàn)顯著提升,不再是通常的線(xiàn)性增長(zhǎng),而是呈指數(shù)級(jí)快速上漲,出現(xiàn)原來(lái)不具備的能力。

GPT( Generative Pretrained Transformer) :是基于深度學(xué)習(xí)技術(shù),用于自然語(yǔ)言處理的預(yù)訓(xùn)練模型。旨在生成自然語(yǔ)言文本并處理各種自然語(yǔ)言處理任務(wù),如文本生成翻譯、摘要等。它通常在單向生成的情況下使用,即根據(jù)給定的文本生成連貫的輸出。

ChatGPT: ChatGPT是人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具,專(zhuān)注于對(duì)話(huà)和交互式對(duì)話(huà)。它經(jīng)過(guò)特定的訓(xùn)練,以更好地處理多輪對(duì)話(huà)和上下文理解。ChatGPT 設(shè)計(jì)用于提供流暢、連貫和有趣的對(duì)話(huà)體驗(yàn),以響應(yīng)用戶(hù)的輸入并生成合適的回復(fù)。

AIGC(Artificial Intelligence Generated Content):指基于生成對(duì)抗網(wǎng)絡(luò)、大型預(yù)訓(xùn)練模型等人工智能的技術(shù)方法 ,通過(guò)已有數(shù)據(jù)的學(xué)習(xí)和識(shí)別,以適當(dāng)?shù)姆夯芰ι上嚓P(guān)內(nèi)容的技術(shù)。例如,通過(guò)輸入關(guān)鍵詞、描述或樣本,AIGC 可以生成與之相匹配的文章、圖像、音頻等。

1.3 相關(guān)特性

大模型很大程度依賴(lài)于人工智能本身的特征,除此之外還有許多自身獨(dú)特的特征,許多專(zhuān)家、學(xué)者從不同角度進(jìn)行了總結(jié)。本文在借鑒專(zhuān)家總結(jié)的基礎(chǔ)上,凝練出大模型的以下 5 個(gè)特征:

1)大規(guī)模:大模型包含數(shù)十億個(gè)參數(shù),模型大小可以達(dá)到數(shù)百GB 甚   至更大。巨大的模型規(guī)模使大模型具有強(qiáng)大的表達(dá)能力和學(xué)習(xí)能力。

2)高性能:大模型通常具有更強(qiáng)大的學(xué)習(xí)能力和泛化能力,能夠在各種任務(wù)上表現(xiàn)出色,包括自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等。

3)多任務(wù):大模型通常會(huì)一起學(xué)習(xí)多種不同的NLP 任務(wù),如機(jī)器翻  譯、文本摘要、問(wèn)答系統(tǒng)等。這可以使模型學(xué)習(xí)到更廣泛和泛化的語(yǔ)言理解能力。

4)大訓(xùn)練:大模型需要海量的數(shù)據(jù)來(lái)訓(xùn)練,通常在 TB 以上甚至 PB   級(jí)別的數(shù)據(jù)集。只有大量的數(shù)據(jù)才能發(fā)揮大模型的參數(shù)規(guī)模優(yōu)勢(shì)。

5)大資源:訓(xùn)練大模型通常需要數(shù)百甚至上千個(gè) GPU,以及大量的時(shí) 間,通常在幾周到幾個(gè)月。

1.4 產(chǎn)業(yè)分布

大模型產(chǎn)業(yè)按照上中下游可劃分為底層算力服務(wù)商、大模型建設(shè)商、以及行業(yè)解決方案提供商。

底層算力服務(wù)商:主要包括數(shù)據(jù)、網(wǎng)絡(luò)、訓(xùn)練工具、芯片等資源,其中英偉達(dá)單卡芯片支持完成百億參數(shù)級(jí)的模型訓(xùn)練工作,為大模型訓(xùn)練提供硬件基礎(chǔ);華為、百度、阿里、騰訊等大型企業(yè)開(kāi)發(fā)專(zhuān)有的網(wǎng)絡(luò)協(xié)議,并結(jié)合硬件和芯片,為訓(xùn)練提供高帶寬的網(wǎng)絡(luò)基礎(chǔ)。

通用大模型建設(shè)商:科技企業(yè)與研究機(jī)構(gòu)積極布局訓(xùn)練框架、模型庫(kù)、訓(xùn)練集和工具平臺(tái),不斷優(yōu)化算法和架構(gòu),加快大模型的訓(xùn)練部署,在搜索、對(duì)話(huà)、推薦等基礎(chǔ)功能方面已經(jīng)形成較為成熟的解決方案。

行業(yè)解決方案提供商:相關(guān)行業(yè)廠(chǎng)商可以針對(duì)相關(guān)需求進(jìn)行特定集的訓(xùn)練,從而使大模型工具能夠賦能復(fù)雜的政務(wù)場(chǎng)景,例如政務(wù)大模型、辦公協(xié)同大模型、智能助手、智能客服機(jī)器人、工業(yè)智能等。同時(shí),大模型在應(yīng)用過(guò)程中產(chǎn) 生的數(shù)據(jù)反哺給訓(xùn)練集 ,使大模型更加精準(zhǔn)有效。

1.5 政策引導(dǎo)

國(guó)家:早在 2017 年 , 國(guó)務(wù)院就發(fā)布了《新一代人工智能發(fā)展規(guī)劃》 ,強(qiáng)調(diào)人工智能是引領(lǐng)未來(lái)的戰(zhàn)略性技術(shù),要把人工智能發(fā)展放在國(guó)家戰(zhàn)略層面來(lái)系統(tǒng)布局,預(yù)計(jì)到 2025 年, 國(guó)家會(huì)“初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系,形成人工智能安全評(píng)估和管控能力”。近幾年,以 ChatGPT 為代表的生成式人工智能技術(shù)高速發(fā)展,但是這種技術(shù)在為社會(huì)帶來(lái)便利的同時(shí)也帶來(lái)了相關(guān)的法律風(fēng)險(xiǎn)。在此背景下,國(guó)家網(wǎng)信辦等七部門(mén)正式發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》(以下簡(jiǎn)稱(chēng)《辦法》),對(duì)生成式人工智能進(jìn)行專(zhuān)項(xiàng) 監(jiān)管,于 2023 年 8 月 15 日施行?!掇k法》從技術(shù)發(fā)展與治理、服務(wù)  規(guī)范、監(jiān)督檢查和法律責(zé)任等方面對(duì)生成式人工智能發(fā)展和應(yīng)用提出  指導(dǎo)和要求。

北京:2023 年 5 月,北京市政府印發(fā)《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》,針對(duì)提升算力資源統(tǒng)籌供給能力、提升高質(zhì)量數(shù)據(jù)要素供給能力、系統(tǒng)構(gòu)建大模型等通用人工智能技術(shù)體系、推動(dòng)通用人工智能技術(shù)創(chuàng)新場(chǎng)景應(yīng)用、探索營(yíng)造包容審慎的監(jiān)管環(huán)境五大方向,提出 21 項(xiàng)具體措施。同月印發(fā)《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實(shí)施方案( 2023-2025 年)》對(duì)本市人工智能發(fā)展戰(zhàn)略進(jìn)行系統(tǒng)部署和優(yōu)化,從突破關(guān)鍵技術(shù)、夯實(shí)底層基礎(chǔ)、構(gòu)建產(chǎn)業(yè)方陣、推動(dòng)場(chǎng)景建設(shè)、構(gòu)建創(chuàng)新生態(tài)五大方向進(jìn)行工作部署。

上海:為貫徹國(guó)家發(fā)展新一代人工智能的戰(zhàn)略部署 ,推動(dòng)上海大模型創(chuàng)新發(fā)展,2023 年 10 月,上海政府部門(mén)制定《上海市推動(dòng)人工智能大模型創(chuàng)新發(fā)展若干措施( 2023-2025 年) 》、《推動(dòng)區(qū)塊鏈、大模型技術(shù)賦能生產(chǎn)性互聯(lián)網(wǎng)服務(wù)平臺(tái)發(fā)展實(shí)施方案》等文件,從著力支持大模型創(chuàng)新能力、提升創(chuàng)新要素供給能級(jí)、推進(jìn)大模型創(chuàng)新應(yīng)用、營(yíng)造一流創(chuàng)新環(huán)境 4 個(gè)方面,制定了相關(guān)措施。

廣東:2023 年 11 月,廣東省政府發(fā)布《關(guān)于加快建設(shè)通用人工 智能產(chǎn)業(yè)創(chuàng)新引領(lǐng)地的實(shí)施意見(jiàn)》,到 2025 年,智能算力規(guī)模實(shí)現(xiàn)全國(guó)第一、全球領(lǐng)先 ,通用人工智能技術(shù)創(chuàng)新體系較為完備,人工智 能高水平應(yīng)用場(chǎng)景進(jìn)一步拓展,核心產(chǎn)業(yè)規(guī)模突破 3000 億元,企業(yè)  數(shù)量超 2000 家;2023 年 12 月,廣東省政務(wù)服務(wù)數(shù)據(jù)管理局印發(fā)《廣東省加快數(shù)字政府領(lǐng)域通用人工智能應(yīng)用工作方案》,將全面深化“數(shù)字政府 2.0”建設(shè)。

安徽:2023 年 10 月,安徽省政府印發(fā)《安徽省通用人工智能創(chuàng) 新發(fā)展三年行動(dòng)計(jì)劃( 2023—2025 年) 》 ,抓新一輪人工智能革命 機(jī)遇 ,依托大模型、大數(shù)據(jù)、大算力支持通用人工智能發(fā)展 ,推進(jìn)政府部門(mén)運(yùn)用人工智能技術(shù)改進(jìn)工作流程 ,健全多部門(mén)協(xié)同、扁平化管理機(jī)制 ,切實(shí)以高水平專(zhuān)業(yè)化能力更好推動(dòng)高質(zhì)量發(fā)展。

福建:2023 年 9 月,福建省政府印發(fā)《福建省促進(jìn)人工智能產(chǎn)業(yè)發(fā)展十條措施》 ,提出布局提升算力基礎(chǔ)、提供普惠算力服務(wù)、推動(dòng)數(shù)據(jù)開(kāi)放應(yīng)用、加強(qiáng) 關(guān)鍵技術(shù)攻關(guān)、支持企業(yè)做大做強(qiáng)、鼓勵(lì)企業(yè)入園集聚發(fā)展、推廣典 型應(yīng)用場(chǎng)景、 引進(jìn)領(lǐng)軍人才團(tuán)隊(duì)、豐富教育培訓(xùn)體系、營(yíng)造良好發(fā)展環(huán)境等十項(xiàng)措施。

省份

政策名稱(chēng)

印發(fā)單位

時(shí)間

國(guó)家

《“數(shù)據(jù)要素 X”三年行動(dòng)計(jì)劃(2024-2026 年)》

國(guó)家數(shù)據(jù)局

2023 年 12 月

《電子信息制造業(yè) 2023-2024 年穩(wěn)增長(zhǎng)行動(dòng)方 案》

工業(yè)和信息化部

2023 年 8 月

《生成式人工智能服務(wù)管理暫行辦法》

國(guó)家互聯(lián)網(wǎng)信息辦公室

2023 年 7 月

北京

《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng) 新策源地實(shí)施方案( 2023-2025 年)》

北京市人民政府

2023 年 5 月

《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》

北京市人民政府辦公廳

2023 年 5 月

《北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃》

北京市經(jīng)濟(jì)和信息化局、 市科委、中關(guān)村管委會(huì)、 市發(fā)展改革委

2023 年 5 月

《北京市促進(jìn)未來(lái)產(chǎn)業(yè)創(chuàng)新發(fā)展實(shí)施方案》

北京市人民政府辦公廳

2023 年 9 月

《人工智能算力券實(shí)施方案( 2023—2025 年)》

北京市經(jīng)濟(jì)和信息化局

2023 年 10 月

上海

《上海市推動(dòng)人工智能大模型創(chuàng)新發(fā)展若干措施 (2023-2025 年)》

市經(jīng)濟(jì)信息化委、市發(fā)展 改革委、市科委、市委網(wǎng) 信辦、市財(cái)政局

2023 年 11 月

《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》

上海市第十五屆人民代 表大會(huì)常務(wù)委員會(huì)

2022 年 10 月

《徐匯區(qū)關(guān)于支持人工智能大模型發(fā)展的若干意 見(jiàn)》

徐匯區(qū)科學(xué)技術(shù)委員會(huì)

2023 年 11 月

《推動(dòng)區(qū)塊鏈、大模型技術(shù)賦能生產(chǎn)性互聯(lián)網(wǎng)服務(wù) 平臺(tái)發(fā)展實(shí)施方案》

上海市經(jīng)濟(jì)和信息化委 員會(huì)

2023 年 10 月

廣東

《廣東省人民政府關(guān)于加快建設(shè)通用人工智能產(chǎn) 業(yè)創(chuàng)新引領(lǐng)地的實(shí)施意見(jiàn)》

廣東省人民政府

2023 年 11 月

《廣東省加快數(shù)字政府領(lǐng)域通用人工智能應(yīng)用工 作方案》

廣東省政務(wù)服務(wù)數(shù)據(jù)管 理局

2023 年 12 月

安徽

《安徽省通用人工智能創(chuàng)新發(fā)展三年行動(dòng)計(jì)劃 (2023—2025  年)》

安徽省科技廳

2023 年 10 月

《安徽省數(shù)字政府大模型場(chǎng)景應(yīng)用清單(第一批)》

安徽省數(shù)據(jù)資源局

2023 年 12 月

福建

《福建省促進(jìn)人工智能產(chǎn)業(yè)發(fā)展十條措施》

福建省人民政府

2023 年 9 月


1.6 市場(chǎng)規(guī)模

通過(guò)對(duì)市場(chǎng)規(guī)模數(shù)據(jù)的分析,能較為直觀地體現(xiàn)出企業(yè)對(duì)大模型應(yīng)用落地的熱情。大模型市場(chǎng)競(jìng)爭(zhēng)格局呈現(xiàn)百舸爭(zhēng)流之勢(shì),根據(jù)國(guó)際數(shù)據(jù)公司 IDC 預(yù)測(cè),全球 AI 計(jì)算市場(chǎng)規(guī)模將從 2022 的 195.0 億美元增長(zhǎng)到 2026 年的 346.6 億美元。其中,生成式 AI 計(jì)算市場(chǎng)規(guī)模將從 2022 年的 8.2 億美元增長(zhǎng)到 2026 年的 109.9 億美元。

同時(shí),IDC 對(duì)基于大模型的 AI 市場(chǎng)規(guī)模進(jìn)行了預(yù)測(cè),預(yù)計(jì)中國(guó)人工智能市場(chǎng)規(guī)模在 2023 年將超過(guò) 147 億美元,到 2026 年這一規(guī)模將超過(guò) 263 億美元,對(duì)于大模型,市場(chǎng)都抱有較強(qiáng)的期待和較樂(lè)觀的預(yù)期,各行業(yè)需求正大力推動(dòng) AI 的發(fā)展,將推動(dòng)市場(chǎng)的持續(xù)增長(zhǎng)。

1.7 生態(tài)布局

大模型產(chǎn)業(yè)生態(tài)涉及基礎(chǔ)設(shè)施、模型與工具以及行業(yè)應(yīng)用,各類(lèi)人工智能企業(yè)、研究機(jī)構(gòu)及硬件廠(chǎng)商已紛紛入局。報(bào)告從算力、數(shù)據(jù)、工具、應(yīng)用四個(gè)方面進(jìn)行產(chǎn)業(yè)生態(tài)分析。

算力:對(duì)于大模型的研發(fā)來(lái)說(shuō),最大的挑戰(zhàn)之一就是對(duì)龐大的算力基礎(chǔ)設(shè)施的需求?!吨袊?guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》(以下簡(jiǎn)稱(chēng)《報(bào)告》)從產(chǎn)業(yè)規(guī)模、行業(yè)算力變化、算力發(fā)展趨勢(shì)等多個(gè)維度,量化反映出人工智能算力正在加快成為創(chuàng)新力。從市場(chǎng)規(guī)??矗?023年我國(guó)人工智能算力市場(chǎng)規(guī)模將達(dá)到 664 億元 ,同比增長(zhǎng) 82.5%,人工智能算力需求快速增長(zhǎng)。從行業(yè)滲透率看,互聯(lián)網(wǎng)行業(yè)作為人工智  能技術(shù)應(yīng)用的主陣地居于首位,電信、金融和制造業(yè)排名靠前。從地區(qū)分布看,《報(bào)告》公布的城市人工智能算力排行中,北京、杭州、深圳、上海、蘇州排名前五,智算中心的建設(shè)是拉動(dòng)地區(qū)實(shí)現(xiàn)人工智能發(fā)展的重要驅(qū)動(dòng)力。從應(yīng)用場(chǎng)景看,知識(shí)管理、對(duì)話(huà)式應(yīng)用、代碼生成等是企業(yè)應(yīng)用人工智能的主要場(chǎng)景。目前, 67%的中國(guó)企業(yè)已經(jīng)開(kāi)始探索人工智能的應(yīng)用機(jī)會(huì)或已經(jīng)開(kāi)始進(jìn)行相關(guān)資金投入,中國(guó)的人工智能技術(shù)應(yīng)用已經(jīng)邁入加速階段。

數(shù)據(jù):我國(guó)有著大量?jī)?yōu)質(zhì)、結(jié)構(gòu)化的數(shù)據(jù)集。受益于移動(dòng)互聯(lián)網(wǎng) 時(shí)代積累的海量用戶(hù)、應(yīng)用和數(shù)據(jù),互聯(lián)網(wǎng)企業(yè)在自有數(shù)據(jù)上更具特色化和獨(dú)占性,疊加更強(qiáng)大的數(shù)據(jù)處理能力,從而能夠通過(guò)數(shù)據(jù)優(yōu)勢(shì)帶來(lái)模型訓(xùn)練成果的差異。例如, 阿里在研發(fā) M6(中文預(yù)訓(xùn)練模型)時(shí),構(gòu)建了最大的中文多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)集 M6-Corpus,包含超過(guò)1.9TB 圖像和292GB文本,涵蓋百科全書(shū)、網(wǎng)頁(yè)爬蟲(chóng)、問(wèn)答、論壇、產(chǎn)品說(shuō)明等數(shù)據(jù)來(lái)源,并設(shè)計(jì)了完善的清潔程序以確保數(shù)據(jù)質(zhì)量。百度ERNIE 模型的訓(xùn)練數(shù)據(jù)集中也運(yùn)用了大量百度百科、百度搜索以及百度知識(shí)圖譜等生態(tài)內(nèi)數(shù)據(jù),通過(guò)更高質(zhì)量的數(shù)據(jù)保障了模型的訓(xùn)練效果。

序號(hào)

數(shù)據(jù)集

來(lái)源

主要內(nèi)容

1

中文維基百科數(shù)據(jù)集

維基百科

維基百科中的中文文本數(shù)據(jù)

2

百度百科數(shù)據(jù)集

百度百科

百度百科中的中文文本數(shù)據(jù)

3

中文自然語(yǔ)言處理數(shù) 據(jù)集( CLUE)

CLUE

中文常用詞停用詞數(shù)據(jù)集、漢語(yǔ)拆字詞表、中文詞表、  人名語(yǔ)料庫(kù)、中文縮寫(xiě)數(shù)據(jù)庫(kù)、中文專(zhuān)業(yè)領(lǐng)域詞庫(kù)、 中文敏感詞庫(kù)、維基百科詞條(104 萬(wàn))、新聞?wù)Z料  json 版(250 萬(wàn)篇)、百科類(lèi)問(wèn)答 json 版(150 萬(wàn))、 社區(qū)問(wèn)答 json 版(410 萬(wàn))、翻譯語(yǔ)料(520 萬(wàn)對(duì)) 等

4

WuDaoCorpora

北京智源 人工智能 研究院

中文文本數(shù)據(jù)集 ( 3TB)、多模態(tài)數(shù)據(jù)集 ( 90TB) 與中文對(duì)語(yǔ)改據(jù)集( 181G) ,使用 30 億個(gè)網(wǎng)頁(yè)作  為原始致?lián)?,并從中提取高文本密度的文本內(nèi)容。

5

中文自然語(yǔ)言處理共 享平臺(tái)( ChineseNLP)

清華大學(xué) 自然語(yǔ)言 處理與社 會(huì)人文計(jì)  算實(shí)驗(yàn)室

包括新聞、論壇、微博、問(wèn)答等

6

百度中文問(wèn)答數(shù)據(jù)集 (DuReader)

百度擔(dān)索引擎數(shù)據(jù)、 百度知道    問(wèn)答社區(qū)

從真實(shí)的匿名用戶(hù)查詢(xún)中采樣 ,數(shù)據(jù)量 831.3K。DuReader 2.0 版本包含超過(guò)  300K 個(gè)問(wèn)題、140 萬(wàn) 份證據(jù)文件和 660K 個(gè)人工生成的答案。

7

人民日?qǐng)?bào)數(shù)據(jù)集

人民日?qǐng)?bào)

由人民日?qǐng)?bào)語(yǔ)料庫(kù)1998 版和 2014版生成 ,包含人名、地名和機(jī)構(gòu)名3 類(lèi)常見(jiàn)的實(shí)體類(lèi)型。

 

工具:在模型與工具方面,科技巨頭企業(yè)以及研究機(jī)構(gòu)積極布局 CV、 NLP、多模態(tài)等多個(gè)方向的訓(xùn)練框架、模型庫(kù)、工具平臺(tái)及模型托管交易平臺(tái),大幅降低大模型快速訓(xùn)練部署的算力依賴(lài)。

應(yīng)用:隨著前沿技術(shù)推動(dòng)產(chǎn)業(yè)全鏈條升級(jí),大模型正在滲透至千行百業(yè)。從大模型應(yīng)用類(lèi)型來(lái)看,國(guó)外研發(fā)的大模型主要以通用大模型為主,而我國(guó)國(guó)產(chǎn)大模型更加貼近產(chǎn)業(yè)端,呈現(xiàn)出行業(yè)大模型占比較高的發(fā)展形態(tài)。大模型的價(jià)值在于應(yīng)用,要在多樣化的實(shí)際應(yīng)用場(chǎng)景中賦能數(shù)字經(jīng)濟(jì)、數(shù)字社會(huì)和數(shù)字政府的發(fā)展。將大模型切實(shí)投入到城市發(fā)展、金融科技、生物醫(yī)藥、工業(yè)制造、科學(xué)研究等領(lǐng)域,在實(shí)體產(chǎn)業(yè)落地,為社會(huì)經(jīng)濟(jì)帶來(lái)實(shí)實(shí)在在的價(jià)值。在我國(guó),利用大模型加速千行百業(yè)的數(shù)字化、智能化轉(zhuǎn)型,深耕實(shí)體經(jīng)濟(jì)行業(yè) ,正在成為業(yè)界的共同選擇。

2、主流大模型

2.1 百度:文心大模型

文心大模型4.0具備強(qiáng)大的理解、生成、邏輯和記憶的能力。根據(jù)百度官方公眾號(hào),文心一言于203年8月31日向全社會(huì)開(kāi)放,至今已有超7000萬(wàn)用戶(hù)。10月17日,在百度世界2023大會(huì)上,文心大模型4.0版本正式發(fā)布。文心4.0實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí),在理解、生成、 邏輯和記憶能力上都有著顯著提升,其中邏輯的提升幅度達(dá)到理解的近3倍,記憶的提升幅度也達(dá)到了理解的2倍多。

百度智能云:伴隨著文心大模型4.0的發(fā)布,客戶(hù)對(duì)A I大模型的需求有望打開(kāi)云業(yè)務(wù)新的增長(zhǎng)空間。生成式A I和LLM的增速快。大模型的2B需求分為幾個(gè)層面:1)API調(diào)用:文心4.0已開(kāi)放面向企業(yè)客戶(hù)的API,目前文心大模型API的調(diào)用量呈指數(shù)級(jí)增長(zhǎng)。2)大模型解決方案:百度具備完善的芯片、框架、模型、應(yīng)用四層技術(shù)棧,支持企業(yè)客戶(hù)基于文心大模型構(gòu)建企業(yè)級(jí)大模型和行業(yè)應(yīng)用,也支持企業(yè)客戶(hù)基于文心千帆平臺(tái)訓(xùn)練自己的大模型。

目前大模型可應(yīng)用于電商、短視頻、教育、游戲、醫(yī)療、金融等六大行業(yè):

1)電商行業(yè):通過(guò)使用大模型,可以幫助電商平臺(tái)提升    用戶(hù)體驗(yàn)、增加銷(xiāo)售額同時(shí)大大降低運(yùn)營(yíng)成本;

2)短視頻行業(yè):可以實(shí)現(xiàn)內(nèi)容創(chuàng)作文本的輸出,提高短視頻內(nèi)容創(chuàng)作者的效率;

3)教育行業(yè):可以幫助提升教育教學(xué)效果、個(gè)性化教育水平、輔助教育決策能力;

4)游戲行業(yè):在研發(fā)端,可以提升游戲設(shè)計(jì)、游戲   代碼開(kāi)發(fā)的工作效率;在體驗(yàn)端,可以輔助開(kāi)發(fā)者提供游戲優(yōu)化方案,提升游戲體驗(yàn);

5)醫(yī)療行業(yè):為醫(yī)生提供更加準(zhǔn)確和全面的   診斷和治療建議,以及幫助醫(yī)生進(jìn)行疾病檢測(cè)和預(yù)測(cè);

6)金融行業(yè):幫助銀行和金融機(jī)構(gòu)進(jìn)行風(fēng)險(xiǎn)評(píng)估、市場(chǎng)預(yù)測(cè)和欺詐檢測(cè)等任務(wù)。

文心大模型重構(gòu)廣告系統(tǒng),2023年 9月7日,百度營(yíng)銷(xiāo)發(fā)布全球首個(gè)AI Native營(yíng)銷(xiāo)平臺(tái)“輕舸” 。通過(guò)文心大模型重構(gòu)廣告系統(tǒng),提升廣告素材 創(chuàng)作效率和定向能力,“輕舸”可以自然語(yǔ)言和表達(dá)、高效推送、隨時(shí)調(diào)度A I能力,大大提升投放效率,便利用戶(hù)投放。至今已有數(shù) 千名廣告客戶(hù)采用新廣告系統(tǒng),采用這些新功能的廣告客戶(hù)實(shí)現(xiàn)了平均高個(gè)位數(shù)的轉(zhuǎn)化率提升。

運(yùn)用文心大模型的能力重構(gòu)旗下應(yīng)用,為用戶(hù)帶來(lái)全新AI原生體驗(yàn)。百度目前已經(jīng)基于文心大模型重構(gòu)了百度文庫(kù)、地圖、網(wǎng)盤(pán)、如流等原有應(yīng)用,也推出了新的AI原生應(yīng)用百度GBI和Comate代碼助手。重構(gòu)后的AI原生應(yīng)用,在用戶(hù)量、活躍度等數(shù)據(jù)指標(biāo)方面實(shí)現(xiàn)顯著增長(zhǎng)。例如,百度文庫(kù)AI新功能累計(jì)使用用戶(hù)達(dá)3000萬(wàn),付費(fèi)率明顯提升;百度網(wǎng)盤(pán)個(gè)人助理“云一朵”用戶(hù)累計(jì)突破2000萬(wàn)。各應(yīng)用AI功能:“云一朵”可以幫助用戶(hù)答疑解惑、總結(jié)文檔和視頻、提供創(chuàng)作靈感;AI向?qū)Э梢蕴峁╊A(yù)估行程、沿途規(guī)劃、安排聚會(huì)地點(diǎn)等服務(wù);百度文庫(kù)AI助理可以進(jìn)行內(nèi)容總結(jié)、創(chuàng)作、PPT編輯等。

2.2 阿里巴巴:通義大模型

通義大模型:包括統(tǒng)一底座“M6-OFA”,三大通用模型“通義-M6”“通義-AliceMind”“通義-視覺(jué)大模型”,以及行業(yè)層面的不同垂直領(lǐng)域?qū)I(yè)模型。

阿里云戰(zhàn)略為“A I驅(qū)動(dòng),公共云優(yōu)先”。

淘寶問(wèn)問(wèn),是淘寶App推出的ToC AI應(yīng)用,可以根據(jù)用戶(hù)輸入信息,通過(guò)深度合成算法解答用戶(hù)問(wèn)題,提供內(nèi)容建議及相關(guān)商品 推薦,目前淘寶問(wèn)問(wèn)僅向C端使用者開(kāi)放,底層模型為通義千問(wèn)。      自上線(xiàn)測(cè)試版以來(lái),累計(jì)使用人次超500萬(wàn);淘寶問(wèn)問(wèn)處理的需求中25%是非購(gòu)物類(lèi)場(chǎng)景需求,未來(lái)有望開(kāi)拓購(gòu)物之外的 更多使用場(chǎng)景,向泛生活消費(fèi)類(lèi)平臺(tái)轉(zhuǎn)型;未來(lái)有望以接口方式向B端商家開(kāi)放,助力其將品牌內(nèi)容、商品優(yōu)勢(shì)更高效傳達(dá)給消費(fèi)者,同時(shí)了解消費(fèi)者更長(zhǎng)尾的購(gòu)物需求。

釘釘開(kāi)放智能化底座AI PaaS給企業(yè)客戶(hù),AI PaaS包含模型調(diào)度平臺(tái)、模型訓(xùn)練平臺(tái)和插件開(kāi)發(fā)平臺(tái)三個(gè)部分,降低企業(yè)開(kāi)發(fā)運(yùn)維的門(mén)檻,幫助企業(yè)數(shù)據(jù)與大模型建立聯(lián)系。目前釘釘軟件的訂閱服務(wù)客戶(hù)已經(jīng)超過(guò)了10萬(wàn)家,付費(fèi)DAU達(dá)到2300萬(wàn)。

萬(wàn)相臺(tái)無(wú)界版和阿里媽媽百靈是阿里媽媽推出的兩大ToB一站式智能營(yíng)銷(xiāo)投放產(chǎn)品,其中萬(wàn)相臺(tái)無(wú)界版以GMV為導(dǎo)向,側(cè)重站內(nèi)投放; 阿里媽媽百靈整合站內(nèi)外媒體資源,側(cè)重品牌營(yíng)銷(xiāo)。二者依托阿里媽媽專(zhuān)屬A I大模型,將消費(fèi)者觸達(dá)、營(yíng)銷(xiāo)推廣等多種經(jīng)營(yíng)場(chǎng)景智能化, 助力商家降本增效。具體案例:日系洗護(hù)類(lèi)品牌Clay nal就轉(zhuǎn)變了以品類(lèi)詞為核心的投放方式,利用萬(wàn)相臺(tái)無(wú)界版7大場(chǎng)景能力找到了全新爆款群,收藏    加購(gòu)成本降低了12%,ROI提升了近24%。

2.3 騰訊:混元大模型

混元大模型是騰訊自研的通用大語(yǔ)言模型。具有超千億的參數(shù)規(guī)模、超2萬(wàn)億tokens的預(yù)訓(xùn)練語(yǔ)料。23年9月,騰訊混元大模型正式通過(guò)騰訊云對(duì)外開(kāi)放。用戶(hù)可以直接調(diào)用API接口,或者將騰訊混元作為基底模型,在公有云上進(jìn)行精調(diào)。

騰訊云行業(yè)大模型方案,依托騰訊云TI平臺(tái),打造行業(yè)大模型精選商店,為客戶(hù)提供MaaS(Model-as-a-Service)一站式服務(wù)。超過(guò)180個(gè)騰訊內(nèi)部業(yè)務(wù)已接入騰訊混元,包括騰訊會(huì)議、騰訊文檔、企業(yè)微信、騰訊廣告和微信搜一搜等。我們認(rèn)為,SaaS產(chǎn)品在接入混元大模型后,不僅帶來(lái)了更豐富的A I功能,也提供了新的銷(xiāo)售機(jī)會(huì),有望帶動(dòng)SaaS產(chǎn)品用戶(hù)數(shù)和客單價(jià)的提升。

混元助手,是基于騰訊混元大模型的多模態(tài)對(duì)話(huà)Bot產(chǎn)品。隨著騰訊混元大模型首批通過(guò)備案,混元助手以微信小程序的形式陸續(xù)面向公眾開(kāi)放。在場(chǎng)景的A I聊天頁(yè)面之外,還在“靈感發(fā)現(xiàn)”頁(yè)面提供了多個(gè)場(chǎng)景化的應(yīng)用。

騰訊會(huì)議:A I小助手,已經(jīng)上線(xiàn)部分功能。提供會(huì)前日程協(xié)調(diào)、會(huì)中問(wèn)答、會(huì)后智能紀(jì)要、會(huì)議待辦項(xiàng)等新功能。其中,“智能錄制不限次(包括智能紀(jì)要)”已經(jīng)加入付費(fèi)版本專(zhuān)屬權(quán)益,有望帶動(dòng)騰訊會(huì)議付費(fèi)率的提升。

騰訊文檔:智能助手。支持?jǐn)?shù)十種文本創(chuàng)作場(chǎng)景,提供文檔創(chuàng)作、文本潤(rùn)色、文本校閱、表格公式及圖表生成等能力,提高創(chuàng)作效率,提升創(chuàng)作體驗(yàn)。目前智能助手已經(jīng)率先嵌入智能文檔中,需要申請(qǐng)后參與試用;未來(lái)還將嵌入智能表格、PPT、思維導(dǎo)圖等文檔類(lèi)型。參照Notion A I,智能助手有望帶動(dòng)騰訊文檔付費(fèi)率和客單價(jià)的提升。

增強(qiáng)廣告定向和歸因的準(zhǔn)確性:2022年6月,騰訊廣告對(duì)外公布了借助大模型降本增效的進(jìn)展:首先以混元A I大模型助力系統(tǒng)   深刻理解廣告內(nèi)容,其次以精排大模型提升廣告和用戶(hù)的匹配準(zhǔn)確率。騰訊連續(xù)4個(gè)季度在業(yè)績(jī)公告中提及機(jī)器學(xué)習(xí)平臺(tái)升級(jí)   和廣告A I模型。

A I智能化創(chuàng)作廣告素材:騰訊廣告以騰訊混元大模型為基礎(chǔ),結(jié)合廣告應(yīng)用場(chǎng)景,實(shí)現(xiàn)含文生圖及文生視頻在內(nèi)的多種智能化廣告素材創(chuàng)作能力,滿(mǎn)足千人千面。目前,騰訊廣告“A I創(chuàng)意工作臺(tái)”已覆蓋電商、文旅、閱讀資訊、游戲等多個(gè)行業(yè)場(chǎng)景, 針對(duì)閱讀行業(yè)還在持續(xù)打磨古言、都市、玄幻等小說(shuō)人物形象模型,已從9月份開(kāi)始陸續(xù)為廣告主提供“素材創(chuàng)作” 、“二次   編輯&一鍵投放” 、“商品生成”等核心能力。

2.4 字節(jié)跳動(dòng):云雀大模型

A I方面的積累主要集中在機(jī)器翻譯、智能語(yǔ)音、視頻圖像和多模態(tài)四個(gè)領(lǐng)域。自研原生多模態(tài),目前多模態(tài)模型主要是基于開(kāi)源基礎(chǔ)的各個(gè)模態(tài)子模型:非自回歸模型DA-Transformer、端到端語(yǔ)音到文本翻 譯模型ConST、多顆粒度的視覺(jué)語(yǔ)言模型X-VLM、圖片和文本統(tǒng)一生成模型DaVinci等。多模態(tài)模型應(yīng)用廣泛:抖音、今日頭條、剪映等產(chǎn)品層面推出過(guò)繪畫(huà)類(lèi)、特效類(lèi)、視頻剪輯、視頻生成等AIGC功能。

火山引擎發(fā)布大模型服務(wù)平臺(tái)“火山方舟”,可為開(kāi)發(fā)者和企業(yè)提供模型訓(xùn)練、推理、評(píng)測(cè)、精調(diào)  等全方位的平臺(tái)服務(wù)(MaaS,即Model-as-a-Service)?;鹕揭鎸⒆止?jié)跳動(dòng)快速發(fā)展過(guò)程中積累的增長(zhǎng)方法、技術(shù)能力和工具開(kāi)放給外部企業(yè),提供云基礎(chǔ)、 視頻與內(nèi)容分發(fā)、數(shù)智平臺(tái)VeDI、 人工智能、開(kāi)發(fā)與運(yùn)維等服務(wù),幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

豆包是字節(jié)推出的大模型產(chǎn)品,可以通過(guò)網(wǎng)頁(yè)直接訪(fǎng)問(wèn),包括豆包本身以及其他  多功能小助手,如聊天小寧、寫(xiě)作助手、智能體創(chuàng)建助手、A I圖片生成、A I漫畫(huà)生成、英語(yǔ)學(xué)習(xí)助手、MUSE音樂(lè)電臺(tái)等。

“悟空搜索”的應(yīng)用程序更名為“小悟空”,其主要特色是提供“無(wú)廣告搜索”體驗(yàn)。小悟空應(yīng)用內(nèi)集成了一系列基于   大語(yǔ)言模型的A I工具,這些工具支持智能對(duì)話(huà)和輔助推薦功能。

2.5 智譜

大模型GLM-130B,并基于此推出對(duì)話(huà)模型ChatGLM,開(kāi)源單卡版模型ChatGLM-6B,并推出A I提效助手智譜清言(ChatGLM)。AIGC模型及其產(chǎn)品矩陣包括高效率代碼模型CodeGeeX、多模態(tài)理解模型CogVLM和文生圖模型CogView等;建立大模型MaaS 開(kāi)放平臺(tái),致力于A I生態(tài)建設(shè)。

產(chǎn)品

功能介紹

應(yīng)用實(shí)例

底層模型

A I開(kāi)放平臺(tái)

為開(kāi)發(fā)者提供開(kāi)放平臺(tái),使其通過(guò)API調(diào)用,實(shí)現(xiàn)基于ChatGLM系列模型(ChatGLM-130B、ChatGLM-  6B、GLM-130B)、CodeGeeX代碼大模型、多模態(tài)大 模型(CogView、CogVideo)快速搭建A I應(yīng)用。

電子簽約SaaS提供商上上簽集成GLM-130B大模型與行業(yè)數(shù)據(jù),推出簽約智能產(chǎn)品Hubble哈勃。

-

ChatGLM(智譜清言)

基于ChatGLM2開(kāi)發(fā)的千億參數(shù)對(duì)話(huà)模型,支持多輪 對(duì)話(huà),具備內(nèi)容創(chuàng)作、信息歸納總結(jié)、代碼生成等 能力。

代碼生成能力:支持100余種編程語(yǔ)言,幫助用戶(hù)快速準(zhǔn)確生成代碼。

ChatGLM3:具問(wèn)答和對(duì)話(huà)功能的千億中英語(yǔ)言  模型,不同于 BERT、GPT-3 以及 T5 的架構(gòu), 是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

CodeGeeX

基于CodeGeeX代碼大模型的全能的智能編程助手, 支持主流編程語(yǔ)言,并適配多種主流IDE。

可實(shí)現(xiàn)代碼的生成與補(bǔ)全、自動(dòng)添加注釋、 代碼翻譯以及智能問(wèn)答等功能。

CodeGeeX:千億級(jí)參數(shù)的多編程語(yǔ)言代碼生成  大模型,在超過(guò) 20 種編程語(yǔ)言的大型代碼語(yǔ)  料庫(kù)上進(jìn)行預(yù)訓(xùn)練。

寫(xiě)作蛙

免費(fèi)智能寫(xiě)作工具,可生成AI原創(chuàng)內(nèi)容創(chuàng)意以及完 成各種文本任務(wù),如文章、報(bào)告、新聞稿、營(yíng)銷(xiāo)文 案等。

可根據(jù)不同創(chuàng)作模板完成不同類(lèi)型的文案創(chuàng)作,如“元旦祝福”、“文章潤(rùn)色”等。

GLM(General Language Model):通用語(yǔ)言模 型,通過(guò)自回歸空白填充目標(biāo)進(jìn)行預(yù)訓(xùn)練,并  可在各種自然語(yǔ)言理解和生成任務(wù)上進(jìn)行微調(diào)。

小呆對(duì)話(huà)

基于GLM模型的智能對(duì)話(huà)機(jī)器人,可根據(jù)用戶(hù)定義的人設(shè)切換對(duì)話(huà)風(fēng)格、進(jìn)行有情感地流暢表達(dá)。

可創(chuàng)造多種不同人設(shè),如“林妹妹” 、“帶貨主播”等。

GLM

CogView/Cog   Video

基于CogView/CogViedeo大模型的文(中文)生圖工具

可根據(jù)用戶(hù)輸入的中文文字描述生成相關(guān)圖片/視頻。

•  CogView:全球首個(gè)中文的全領(lǐng)域文到圖生成模型,40億級(jí)參數(shù);
  •  CogVideo:是全球首個(gè)開(kāi)源的大規(guī)模文本到視頻生成模型,90億級(jí)參數(shù)。

2.6 百川

百川智能先后發(fā)布Baichuan-7B/13B,Baichuan2-7B/13B四款開(kāi)源模型和Baichuan-53B、Baichuan2-53B、Baichuan2-192K、Baichuan2-Turbo四款閉源模型,并與國(guó)家級(jí)科研機(jī)構(gòu)鵬城實(shí)驗(yàn)室共同發(fā)布基于國(guó)產(chǎn)算力訓(xùn)練的最長(zhǎng)上下文窗口大模型“鵬城-百川·腦海33B”。

模型

基本信息

Baichuan-7B

基于Transformer結(jié)構(gòu),在大約1.2萬(wàn)億tokens上訓(xùn)練而成,參數(shù)量70億,支持中英雙語(yǔ),上下文窗口長(zhǎng)度為4096。

Baichuan-   13B

在Baichuan-7B的基礎(chǔ)上提升參數(shù)量到130億,在高質(zhì)量語(yǔ)料上訓(xùn)練1.4萬(wàn)億tokens(同等級(jí)別開(kāi)源模型中訓(xùn)練數(shù)據(jù)最多,超LLaMA-13B 40%);同時(shí)開(kāi)源  預(yù)訓(xùn)練模型(Baichuan-13B-Base)和對(duì)齊模型(Baichuan-13B-Chat) ,服   務(wù)于開(kāi)發(fā)者與普通用戶(hù)。

Baichuan-   53B

得益于團(tuán)隊(duì)的搜索引擎背景,Baichuan-53B采用高質(zhì)量知識(shí)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練, 并通過(guò)搜索增強(qiáng)(融合指令意圖理解、智能搜索和結(jié)果增強(qiáng)等關(guān)鍵組件)減   少模型幻覺(jué);此外,進(jìn)行對(duì)齊調(diào)整以使模型同人類(lèi)價(jià)值觀對(duì)齊,從而生成“更令人滿(mǎn)意”的回復(fù)內(nèi)容。

Baichuan2-  7B/13B

包括Baichuan2-7B、Baichuan2-13B,基于2.6萬(wàn)億高質(zhì)量多語(yǔ)言數(shù)據(jù)訓(xùn)練而   成,在數(shù)學(xué)、代碼、安全、邏輯推理、語(yǔ)義理解等能力有顯著提升。

Baichuan2-  53B

對(duì)Baichuan-53B各項(xiàng)能力進(jìn)行提升(邏輯推理+100%,數(shù)學(xué)+31%,語(yǔ)言理解+29%,文本創(chuàng)作+18%,知識(shí)問(wèn)答+9%) ,重點(diǎn)升級(jí)邏輯推理與數(shù)學(xué)能力;通過(guò)  高質(zhì)量數(shù)據(jù)體系和搜索增強(qiáng)極大降低模型幻覺(jué);開(kāi)放API接口,以方便企業(yè)與  開(kāi)發(fā)者將其集成至自己的應(yīng)用程序或服務(wù)中。

Baichuan2-  192K

上下文窗口長(zhǎng)度高達(dá)192K,在長(zhǎng)窗口文本生成質(zhì)量、長(zhǎng)上下文理解以及長(zhǎng)文   本問(wèn)答、摘要等方面全面領(lǐng)先Claude2;通過(guò)算法和工程優(yōu)化,實(shí)現(xiàn)窗口長(zhǎng)度  和模型性能之間的平衡;以API調(diào)用和私有化部署的方式提供給企業(yè)用戶(hù)。

Baichuan2-  Turbo

融合長(zhǎng)上下文窗口和搜索增強(qiáng),鏈接大模型與領(lǐng)域知識(shí)、全網(wǎng)知識(shí);支持多   種文檔(PDF、Word)上傳及網(wǎng)址輸入;開(kāi)放API。

 

2.7 月之暗面


基于千億大模型的智能助手Kimi Chat,核心能力為長(zhǎng)文本能力(Long Context):2023年10月9日,Moonshot A I推出首款產(chǎn)品,擁  有長(zhǎng)達(dá)20萬(wàn)漢字的上下文處理能力,據(jù)Moonshot A I官方,這是目前全球市場(chǎng)上能夠產(chǎn)品化使用的大模型服務(wù)中所能支持的最長(zhǎng)上下文輸入長(zhǎng)度。此外,Kimi Chat還可處理多種文檔格式(如PDF、Excel等),具備較強(qiáng)的多語(yǔ)言能力,以及調(diào)用搜索引擎獲取信息,旨在為用戶(hù)提供強(qiáng)大、智能的對(duì)話(huà)伙伴,并為其工作、學(xué)習(xí)、生活提供助力。

應(yīng)用實(shí)例

核心優(yōu)勢(shì)

Kimi  Chat根據(jù)提供的文章鏈接,快速總結(jié)分析公眾號(hào)長(zhǎng)文;
  Kimi Chat根據(jù)提供的上市公司財(cái)報(bào),快速總結(jié)要點(diǎn);

處理長(zhǎng)文本:依靠長(zhǎng)文本技術(shù),Kimi Chat擁有長(zhǎng)達(dá)20萬(wàn)漢字的  上下文處理能力,這意味著其能夠覆蓋更多應(yīng)用場(chǎng)景,且可直接基于全文理解進(jìn)行問(wèn)答和信息處理,  從而極大程度上解決大模型的“幻覺(jué)”問(wèn)題。

可閱讀長(zhǎng)篇中文小說(shuō)(如《三體》),并梳理內(nèi)容概要、角色介紹等

支持多語(yǔ)言:相比當(dāng)前市面上以英文為基礎(chǔ)訓(xùn)練的大模型服務(wù),Kimi Chat在中文上具備顯著優(yōu)勢(shì),實(shí)際使用效果能夠支持約20 萬(wàn)漢字的上下文,2.5 倍于 Claude-100k(實(shí)測(cè)約8萬(wàn)字),8 倍于 GPT-4-32k(實(shí)測(cè)約2.5萬(wàn)字)。

可基于長(zhǎng)篇小說(shuō)、游戲設(shè)定進(jìn)行角色扮演,不會(huì)在多次對(duì)話(huà)   后脫離設(shè)定

長(zhǎng)程注意力機(jī)制:Kimi Chat 通過(guò)創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)和工程優(yōu)化, 可在千億參數(shù)下實(shí)現(xiàn)無(wú)損的長(zhǎng)程注意力機(jī)制,不依賴(lài)于滑動(dòng)窗   口、降采樣、小模型等對(duì)性能損害較大的方案。

可一次接收多篇上市公司財(cái)報(bào)并進(jìn)行市場(chǎng)分析;
  可一次接收多份出差發(fā)票并整理相關(guān)信息
  可一次接收多份求職簡(jiǎn)歷并根據(jù)用戶(hù)需求篩選排序出Top5求   職者

可處理多種文檔格式:Kimi Chat可處理多種文檔格式(包括PDF、Excel、CSV等)


3、大模型的建設(shè)規(guī)劃

關(guān)于實(shí)施?規(guī)模AI的最重要能?的經(jīng)驗(yàn)證據(jù):?多與?員和流程相關(guān),變?管理、產(chǎn)品開(kāi)發(fā)技能和?作流能力,如新技術(shù)、角色明晰、流程重新構(gòu)想、AI?才和負(fù)責(zé)任的AI治理,最重要的技術(shù)能?與數(shù)據(jù)和平臺(tái)相關(guān),最重要的算法能?是AI模型的質(zhì)量和性能。正如?家領(lǐng)先AI企業(yè)的?級(jí)主管所說(shuō),“我們堅(jiān)信成功的關(guān)鍵能?圍繞?才和流程的卓越展開(kāi)。您需要具備特定的技能,如數(shù)據(jù)科學(xué)、對(duì)創(chuàng)新的?般熱情,以及重新構(gòu)想和實(shí)施新?法的能?。AI技術(shù)是令?驚奇的,但我們努?避免被其迷惑”。在實(shí)戰(zhàn)中,大約70%的挑戰(zhàn)與?員和流程有關(guān),?約20%是技術(shù)問(wèn)題,只有10%涉及??智能算法。

如何快速有效地從人工智能中獲得價(jià)值的七點(diǎn)建議:

1 確?頂層的?膽戰(zhàn)略承諾,并準(zhǔn)備在多年內(nèi)?持它。

2 通過(guò)包括簡(jiǎn)化?常業(yè)務(wù)流程、轉(zhuǎn)變整個(gè)業(yè)務(wù)功能和開(kāi)發(fā)具有AI優(yōu)勢(shì)的產(chǎn)品在內(nèi)的平衡項(xiàng)?組合,最?程度地實(shí)現(xiàn)AI的潛在價(jià)值。

3 專(zhuān)注于較少但影響更?的重點(diǎn)項(xiàng)?,首先從對(duì)?到三個(gè)?投資回報(bào)、易實(shí)施的開(kāi)始投資這?進(jìn)程。

4 確保存在?于這些規(guī)劃的最低可?基礎(chǔ)設(shè)施,特別是與IT系統(tǒng)集成和獲取?質(zhì)量數(shù)據(jù)??。

5 確定您公司在已知關(guān)鍵成功能???與領(lǐng)先者的能?差距,并?投資來(lái)構(gòu)建這些能?。最初可能需要專(zhuān)注于與技術(shù)和數(shù)據(jù)相關(guān)的問(wèn)題,但涉及?員和流程的能??關(guān)重要,需要密切和?期關(guān)注。

6 確保實(shí)施治理側(cè)重于端到端的轉(zhuǎn)型、?員和流程,包括重新設(shè)計(jì)?作?式、培養(yǎng)?才、重新構(gòu)想流程和加強(qiáng)有效決策,并解決對(duì)采納新解決?案的抵觸情緒。

7 通過(guò)透明度、控制和問(wèn)責(zé)制,在所有執(zhí)行項(xiàng)目中建?防護(hù)措施,以負(fù)責(zé)任地建設(shè)??智能,確保符合道德和法律要求,管理業(yè)務(wù)?險(xiǎn)。

關(guān)于數(shù)字轉(zhuǎn)型和??智能成熟度的研究,發(fā)現(xiàn)98%的公司?少在嘗試使???智能,但只有26%的公司開(kāi)發(fā)了必要的能?,超越概念驗(yàn)證,并開(kāi)始獲取價(jià)值。僅有4%的公司處于??智能創(chuàng)新的最前沿,系統(tǒng)地構(gòu)建??智能能?,并在整個(gè)組織中擴(kuò)展應(yīng)?。

說(shuō)到底,人工智能、大模型、機(jī)器人交互等等,所帶來(lái)的價(jià)值還是使用者的戰(zhàn)略、思維、技巧和堅(jiān)持來(lái)決定的。

(來(lái)源超哥看天)

標(biāo)簽:大模型 GPT 我要反饋 
優(yōu)傲機(jī)器人下載中心
億萬(wàn)克
專(zhuān)題報(bào)道
聚力同行 · 新智“碳”索
聚力同行 · 新智“碳”索

“新華社-智能·零碳”項(xiàng)目策劃以“聚力同行·新智‘碳’索”為主題的新能源專(zhuān)題,主要圍繞光伏、儲(chǔ)能、鋰電、氫能、風(fēng)能五大新... [更多]

2025中國(guó)國(guó)際機(jī)床展覽會(huì)
2025中國(guó)國(guó)際機(jī)床展覽會(huì)

4月21至26日,以“融合創(chuàng)新,數(shù)智未來(lái)”為主題的第十九屆中國(guó)國(guó)際機(jī)床展覽會(huì)在首都國(guó)際會(huì)展中心盛大舉辦。憑借場(chǎng)館的卓越服... [更多]

2023-2024 智能·零碳成果展映
2023-2024 智能·零碳成果展映

“2023-2024智能·零碳成果展映”展示國(guó)內(nèi)外企業(yè)推進(jìn)“雙碳”實(shí)踐的最新成果,鼓勵(lì)更多企業(yè)、科研機(jī)構(gòu)、投資機(jī)構(gòu)等廣泛... [更多]