9月25日，2024百度云智大會(huì)在北京召開(kāi)。為幫助企業(yè)更快、更好、更省地使用大模型，百度智能云分別針對(duì)算力、模型、AI應(yīng)用，全面升級(jí)百舸AI異構(gòu)計(jì)算平臺(tái)4.0、千帆大模型平臺(tái)3.0兩大AI基礎(chǔ)設(shè)施，并升級(jí)代碼助手、智能客服、數(shù)字人三大AI原生應(yīng)用產(chǎn)品。

　　百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖表示，大模型以及配套的算力管理平臺(tái)、模型和應(yīng)用開(kāi)發(fā)平臺(tái)，正在迅速成為新一基礎(chǔ)設(shè)施。

　　“2024年大模型的產(chǎn)業(yè)落地正在加速，目前在千帆大模型平臺(tái)上，文心大模型日均調(diào)用量超過(guò)7億次，累計(jì)幫助用戶(hù)精調(diào)了3萬(wàn)個(gè)大模型，開(kāi)發(fā)出70多萬(wàn)個(gè)企業(yè)級(jí)應(yīng)用。過(guò)去一年，文心旗艦大模型降價(jià)幅度超過(guò)90%，主力模型全面免費(fèi)，最大限度降低了企業(yè)創(chuàng)新試錯(cuò)的成本。”沈抖說(shuō)。

　　百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖

　　升級(jí)百舸4.0：模型訓(xùn)練有效時(shí)長(zhǎng)達(dá)99.5%，可高效管理十萬(wàn)卡集群

　　大算力是大模型落地的基礎(chǔ)條件。為滿(mǎn)足企業(yè)落地大模型從集群創(chuàng)建、開(kāi)發(fā)實(shí)驗(yàn)，到模型訓(xùn)練、推理的全旅程算力需求，應(yīng)對(duì)超大規(guī)模GPU集群高成本、難運(yùn)營(yíng)兩大挑戰(zhàn)，百度智能云升級(jí)發(fā)布百舸AI異構(gòu)計(jì)算平臺(tái)4.0，面向萬(wàn)卡、十萬(wàn)卡集群全面升級(jí)算力管理能力。

　　首先，在集群創(chuàng)建階段，企業(yè)通常需要進(jìn)行大量復(fù)雜、瑣碎的算力配置和調(diào)試工作。百舸4.0預(yù)置了主流的大模型訓(xùn)練工具，能夠?qū)崿F(xiàn)工具層面的秒級(jí)部署，并將萬(wàn)卡集群運(yùn)行準(zhǔn)備時(shí)間從幾周縮減至1小時(shí)，極大地提升部署效率，縮短業(yè)務(wù)上線(xiàn)周期。

　　百度百舸AI異構(gòu)計(jì)算平臺(tái)4.0

　　在開(kāi)發(fā)實(shí)驗(yàn)階段，企業(yè)需要針對(duì)業(yè)務(wù)目標(biāo)對(duì)不同架構(gòu)、參數(shù)的模型進(jìn)行多次測(cè)試，進(jìn)而制定最佳模型訓(xùn)練策略，保障后續(xù)訓(xùn)練的性能和效果。百舸4.0全新升級(jí)的可觀(guān)測(cè)大盤(pán)，能夠?qū)Χ嘈具m配、集群效能、任務(wù)自動(dòng)容錯(cuò)等方面進(jìn)行全方位監(jiān)測(cè)，提供直觀(guān)決策依據(jù)，幫助用戶(hù)更好地把控整體項(xiàng)目。

　　在模型訓(xùn)練階段，穩(wěn)定和高效是衡量GPU集群水平的“金指標(biāo)”、“硬通貨”。

　　在穩(wěn)定性方面，一張GPU出現(xiàn)故障就會(huì)導(dǎo)致集群整體停擺，大量時(shí)間、成本浪費(fèi)在故障恢復(fù)和數(shù)據(jù)回滾上。百舸4.0能夠自動(dòng)篩查集群狀態(tài)，并基于對(duì)GPU故障的精準(zhǔn)預(yù)測(cè)，及時(shí)轉(zhuǎn)移工作負(fù)載，降低故障發(fā)生頻次。此外，百舸獨(dú)有的故障秒級(jí)感知定位、Flash Checkpoint模型任務(wù)狀態(tài)回滾等技術(shù)，能夠大幅減少集群故障處置時(shí)間，實(shí)現(xiàn)接近無(wú)損的集群容錯(cuò)。

　　目前，百舸在萬(wàn)卡集群上實(shí)現(xiàn)了有效訓(xùn)練時(shí)長(zhǎng)占比99.5%以上，業(yè)界領(lǐng)先，極大地節(jié)約了客戶(hù)算力與時(shí)間成本。此外，百舸4.0通過(guò)在集群設(shè)計(jì)、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等一系列創(chuàng)新，大幅提升了集群的模型訓(xùn)練效率，整體性能相比業(yè)界平均水平提升高達(dá)30%。

　　在模型推理環(huán)節(jié)，百舸則通過(guò)架構(gòu)分離、KV Cache、負(fù)載分配等一系列加速方法，實(shí)現(xiàn)了模型推理的降本提效，尤其在長(zhǎng)文本推理方面，推理效率提升超過(guò)1倍。

　　面向未來(lái)，沈抖認(rèn)為，大模型的Scaling Law將在一段時(shí)間內(nèi)持續(xù)有效，很快就會(huì)有更多的十萬(wàn)卡集群出現(xiàn)，但是管理十萬(wàn)卡的難度與管理萬(wàn)卡有著天壤之別。

　　首先，在物理空間方面，十萬(wàn)卡集群需要占據(jù)大概10萬(wàn)平方米空間，相當(dāng)于14個(gè)標(biāo)準(zhǔn)足球場(chǎng)的面積；在能耗方面，每天則要消耗大約300萬(wàn)千瓦時(shí)的電力，相當(dāng)于北京市東城區(qū)一天的居民用電量。這種對(duì)于空間和能源的巨大需求，遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)機(jī)房部署方式的承載能力，跨地域機(jī)房部署又會(huì)給網(wǎng)絡(luò)通信帶來(lái)巨大挑戰(zhàn)。此外，十萬(wàn)卡集群中的GPU故障將會(huì)非常頻繁，有效訓(xùn)練時(shí)長(zhǎng)占也將迎來(lái)新的挑戰(zhàn)。

　　針對(duì)這些難題，百舸4.0已經(jīng)構(gòu)建了十萬(wàn)卡級(jí)別的超大規(guī)模無(wú)擁塞HPN高性能網(wǎng)絡(luò)、10ms級(jí)別超高精度網(wǎng)絡(luò)監(jiān)控，以及面向十萬(wàn)卡集群的分鐘級(jí)故障恢復(fù)能力。

　　“百舸4.0正是為部署十萬(wàn)卡大規(guī)模集群而設(shè)計(jì)的。今天的百舸4.0，已經(jīng)具備了成熟的十萬(wàn)卡集群部署和管理能力，就是要突破這些新挑戰(zhàn)，為整個(gè)產(chǎn)業(yè)提供持續(xù)領(lǐng)先的算力平臺(tái)?！鄙蚨墩f(shuō)。

　　生數(shù)科技作為國(guó)內(nèi)領(lǐng)先的多模態(tài)大模型廠(chǎng)商，基于百舸平臺(tái)開(kāi)發(fā)出國(guó)內(nèi)首款全面對(duì)標(biāo)OpenAI Sora的視頻大模型“Vidu”。會(huì)上，生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝宣布，即日起Vidu將通過(guò)百度智能云千帆大模型平臺(tái)面向開(kāi)發(fā)者、企業(yè)用戶(hù)開(kāi)放API服務(wù)。

　　生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝

　　對(duì)于自建智算中心的客戶(hù)，百舸4.0此番還對(duì)“一云多芯”能力進(jìn)行了升級(jí)。在萬(wàn)卡規(guī)模集群上，多芯混合訓(xùn)練效能高達(dá)95%，保持業(yè)界領(lǐng)先。“要建設(shè)更大的集群，同時(shí)確保供應(yīng)鏈的安全和彈性，勢(shì)必會(huì)存在不同芯片混合使用的情況，也就是說(shuō)，對(duì)于自建智算中心的客戶(hù)來(lái)說(shuō)，一云多芯是必然選擇。”沈抖說(shuō)。

　　以中國(guó)郵政儲(chǔ)蓄銀行為例，2023年，為加速大模型應(yīng)用落地，郵儲(chǔ)銀行新增大量來(lái)自不同廠(chǎng)商的GPU資源，基于大模型為18個(gè)核心業(yè)務(wù)系統(tǒng)、30多家分行的金融業(yè)務(wù)提供AI賦能。在百舸的支持下，郵儲(chǔ)銀行順利完成了不同型號(hào)GPU資源的部署、上線(xiàn)；同時(shí)，也實(shí)現(xiàn)了GPU、CPU算力的規(guī)劃重組，有力保障了300多個(gè)大小模型、6000多次訓(xùn)練任務(wù)。模型迭代時(shí)間也從過(guò)去的一個(gè)半月大幅縮短至半天，并實(shí)現(xiàn)了更好的模型效果。

　　長(zhǎng)安汽車(chē)執(zhí)行副總裁張曉宇表示，基于百舸平臺(tái)，百度智能云與長(zhǎng)安汽車(chē)合作探索開(kāi)發(fā)了整套自動(dòng)駕駛模型訓(xùn)練的最佳實(shí)踐方案，實(shí)現(xiàn)了GPU資源的精細(xì)化管理與調(diào)度。雙方緊密配合，在數(shù)據(jù)加載、計(jì)算效率、通信方式等維度進(jìn)行聯(lián)合優(yōu)化，使得算力總體平均使用率提升到90%以上，綜合資源利用率提升了50%。

　　長(zhǎng)安汽車(chē)執(zhí)行副總裁張曉宇

　　發(fā)布千帆3.0：三大服務(wù)全面升級(jí)，一句話(huà)即可生成企業(yè)級(jí)應(yīng)用

　　為了滿(mǎn)足企業(yè)客戶(hù)對(duì)模型調(diào)用、模型開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)的需求，百度智能云發(fā)布千帆大模型平臺(tái)3.0。

　　在模型調(diào)用方面，升級(jí)后的千帆平臺(tái)，不但可以調(diào)用包括文心系列大模型在內(nèi)的近百個(gè)國(guó)內(nèi)外大模型，還支持調(diào)用語(yǔ)音、視覺(jué)等各種傳統(tǒng)的小模型。在擴(kuò)大模型種類(lèi)的同時(shí)，百度智能云持續(xù)降低模型調(diào)用成本。過(guò)去一年，文心旗艦大模型降價(jià)幅度超過(guò)90%、主力模型全面免費(fèi)，最大限度降低企業(yè)創(chuàng)新試錯(cuò)的成本。

　　文心大模型家族全景圖

　　在模型開(kāi)發(fā)方面，對(duì)于需要定制、微調(diào)專(zhuān)屬模型的客戶(hù)，千帆3.0不僅提供了最完善的大模型工具鏈，還支持CV、NLP、語(yǔ)音等傳統(tǒng)模型的開(kāi)發(fā)，并實(shí)現(xiàn)數(shù)據(jù)、模型、算力等資源的統(tǒng)一納管和調(diào)度，為企業(yè)提供一站式的大、小模型開(kāi)發(fā)服務(wù)。

　　千帆平臺(tái)大模型工具鏈

　　模型投入使用后，千帆平臺(tái)還支持企業(yè)將應(yīng)用產(chǎn)生的數(shù)據(jù)，經(jīng)過(guò)采樣評(píng)估、人工標(biāo)注、對(duì)齊或微調(diào)等方式反饋給模型，形成數(shù)據(jù)飛輪，持續(xù)優(yōu)化模型效果，放大模型在特定場(chǎng)景下的優(yōu)勢(shì)。

　　在應(yīng)用開(kāi)發(fā)方面，針對(duì)企業(yè)落地大模型的高頻應(yīng)用場(chǎng)景，千帆3.0從檢索效果、檢索性能、存儲(chǔ)擴(kuò)展、調(diào)配靈活性四方面對(duì)企業(yè)級(jí)檢索增強(qiáng)生成(RAG)進(jìn)行了全面升級(jí)；針對(duì)企業(yè)級(jí)Agent的開(kāi)發(fā)，千帆3.0增加了業(yè)務(wù)自主編排、人工編排、知識(shí)注入、記憶能力以及百度搜索等80多個(gè)官方組件支持。

　　此外，本次大會(huì)還發(fā)布了智能化低代碼應(yīng)用開(kāi)發(fā)平臺(tái)“AI速搭”，通過(guò)自然語(yǔ)言對(duì)話(huà)就能進(jìn)行企業(yè)級(jí)應(yīng)用開(kāi)發(fā)，一句話(huà)就可以完成應(yīng)用創(chuàng)建。

　　沈抖在大會(huì)現(xiàn)場(chǎng)還演示了如何通過(guò)對(duì)話(huà)，在A(yíng)I速搭平臺(tái)上開(kāi)發(fā)一個(gè)資產(chǎn)管理應(yīng)用。只需一句話(huà)描述對(duì)目標(biāo)系統(tǒng)的需求，包含資產(chǎn)信息、資產(chǎn)入庫(kù)、資產(chǎn)領(lǐng)用、資產(chǎn)維修、資產(chǎn)報(bào)廢等功能模塊，大模型就可以清晰地理解需求并生成應(yīng)用。過(guò)去，這樣一個(gè)應(yīng)用即使用低代碼方式開(kāi)發(fā)也需要幾天的時(shí)間，現(xiàn)在只需幾分鐘就能完成。

　　工具平臺(tái)的不斷完善，也促進(jìn)了過(guò)去一年大模型產(chǎn)業(yè)落地的爆發(fā)式增長(zhǎng)。目前，在千帆平臺(tái)上，文心大模型日均調(diào)用量超過(guò)7億次，千帆平臺(tái)累計(jì)幫助用戶(hù)精調(diào)了3萬(wàn)個(gè)大模型，開(kāi)發(fā)出70多萬(wàn)個(gè)企業(yè)級(jí)應(yīng)用。

　　三星電子大中華區(qū)總裁崔勝植表示，2024年初，三星在全球市場(chǎng)推出Galaxy AI，并與百度智能云達(dá)成戰(zhàn)略合作，基于千帆平臺(tái)、百度識(shí)圖為中國(guó)用戶(hù)帶來(lái)國(guó)際領(lǐng)先的Galaxy AI本地化功能，包括即圈即搜、筆記助手、轉(zhuǎn)錄助手、聊天助手、瀏覽助手等移動(dòng) AI 體驗(yàn)。

　　三星電子大中華區(qū)總裁崔勝植

　　在招聘領(lǐng)域，獵聘基于千帆平臺(tái)，通過(guò)調(diào)用文心大模型，結(jié)合自身豐富的行業(yè)know-how，能夠?qū)ζ髽I(yè)崗位需求和求職者簡(jiǎn)歷內(nèi)容進(jìn)行語(yǔ)義理解分析，并實(shí)現(xiàn)智能化的簡(jiǎn)歷篩選功能，人崗匹配準(zhǔn)確率相比業(yè)界平均水平的70%高出15個(gè)百分點(diǎn)，高達(dá)85%，并提升招聘效率50%以上。

　　在教育領(lǐng)域，考試寶作為一款職業(yè)教育在線(xiàn)學(xué)習(xí)App，過(guò)去主要依賴(lài)人工為會(huì)員提供試題解析服務(wù)，速度慢、成本高，有些試題甚者需要等待一天以上才能得到解析結(jié)果。如今，通過(guò)提示詞工程和調(diào)用文心大模型，考試寶實(shí)現(xiàn)了試題的智能化解析，只需上傳試題就能秒級(jí)得到解析結(jié)果，單條試題解析成本也從過(guò)去的1.5元降到3厘，降幅高達(dá)98%，用戶(hù)付費(fèi)意愿也增長(zhǎng)了一倍以上。

　　此外，千帆行業(yè)增強(qiáng)版提供了體系化的工具和組件，支持行業(yè)客戶(hù)、合作伙伴在千帆通用底座上不斷添加行業(yè)特色，從而更方便地開(kāi)發(fā)適合自己的行業(yè)應(yīng)用。目前，千帆平臺(tái)上已經(jīng)沉淀了包括制造、能源、交通，政務(wù)、金融、汽車(chē)、教育、互聯(lián)網(wǎng)在內(nèi)的八大行業(yè)解決方案。

　　南方電網(wǎng)數(shù)字電網(wǎng)研究院副總經(jīng)理胡榮表示，去年九月，南方電網(wǎng)發(fā)布了行業(yè)垂直領(lǐng)域首個(gè)自主可控的大模型“大瓦特”?！按笸咛亍奔仁谴竽Ｐ?、小模型及智能體構(gòu)成的模型體系，也是開(kāi)放共享的平臺(tái)與生態(tài)體系。平臺(tái)上，南方電網(wǎng)基于百度智能云千帆平臺(tái)構(gòu)建了電力調(diào)度值班助手。在應(yīng)對(duì)突發(fā)事件時(shí)，電力調(diào)度值班助手可以秒級(jí)生成處置方案，極大地增強(qiáng)了調(diào)度員的應(yīng)急響應(yīng)能力。

　　南方電網(wǎng)數(shù)字電網(wǎng)研究院副總經(jīng)理胡榮

　　代碼助手、智能客服、數(shù)字人全面升級(jí)

　　隨著大模型產(chǎn)業(yè)落地逐漸走向深水區(qū)，AI原生應(yīng)用也將迎來(lái)爆發(fā)式增長(zhǎng)，為了滿(mǎn)足企業(yè)直接選購(gòu)成熟AI應(yīng)用的需求，百度智能云面向數(shù)字人、智能客服、代碼提效三大領(lǐng)域，升級(jí)了三大AI原生應(yīng)用產(chǎn)品。

　　基于文心大模型重構(gòu)的AI原生智能客服應(yīng)用“客悅”，在用戶(hù)復(fù)雜意圖理解、多模態(tài)信息交流等方面實(shí)現(xiàn)了大幅提升，讓智能客服變得更聰明、更擬人。“問(wèn)題自助解決率”是智能客服領(lǐng)域最關(guān)鍵的考核指標(biāo)，當(dāng)前業(yè)內(nèi)平均水平是80%，升級(jí)后，客悅將這一指標(biāo)提升至92%，實(shí)現(xiàn)業(yè)界領(lǐng)先。目前，客悅已累計(jì)幫助企業(yè)客戶(hù)服務(wù)超過(guò)1.5億人次，交互超過(guò)5億次。

　　基于大模型能力，新升級(jí)的曦靈數(shù)字人4.0支持根據(jù)文字快速生成不同妝造、不同行業(yè)特色的3D數(shù)字人形象和視頻。本次大會(huì)期間，曦靈平臺(tái)宣布：將3D超寫(xiě)實(shí)數(shù)字人的價(jià)格從萬(wàn)元大幅降價(jià)至199元，達(dá)到業(yè)內(nèi)最低價(jià)。

　　全新升級(jí)的4D(3D+時(shí)間維度)自動(dòng)綁定技術(shù)和創(chuàng)新模態(tài)遷移技術(shù)，還解決了傳統(tǒng)2D數(shù)字人動(dòng)作僵硬的問(wèn)題，可以實(shí)現(xiàn)人物在不同角度、形體、表情的高度一致，即使是面部微表情也能做到自然、逼真。

　　全新升級(jí)的全流程AI代碼提效工具“文心快碼”，聚焦研發(fā)全生命周期的業(yè)務(wù)流，實(shí)現(xiàn)了從項(xiàng)目接手到最終交付，全流程編碼開(kāi)發(fā)效率與質(zhì)量的雙重提升。

　　本次大會(huì)，文心快碼業(yè)界首發(fā)“企業(yè)級(jí)代碼架構(gòu)解釋”、“企業(yè)級(jí)代碼審查”，兩項(xiàng)全新功能。企業(yè)級(jí)代碼架構(gòu)解釋能在項(xiàng)目接手初期，實(shí)現(xiàn)工程架構(gòu)的智能解讀，幫工程師快速理解業(yè)務(wù)邏輯；而企業(yè)級(jí)代碼審查則能傳承資深工程師的編碼經(jīng)驗(yàn)，智能輔助程序員查缺補(bǔ)漏。

　　此外，針對(duì)市面上通用代碼助手缺乏對(duì)企業(yè)歷史代碼庫(kù)的理解的痛點(diǎn)，文心快碼全新升級(jí)的“企業(yè)級(jí)代碼輔助能力”能夠深度理解企業(yè)代碼庫(kù)，快速學(xué)習(xí)企業(yè)過(guò)往的代碼與規(guī)范，讓生成的代碼更貼近企業(yè)的要求。

　　目前，文心快碼已經(jīng)服務(wù)超過(guò)1萬(wàn)家企業(yè)客戶(hù)，幫助數(shù)百萬(wàn)中國(guó)開(kāi)發(fā)者提升編碼效率，整體提升研發(fā)效率20%。