機器之心報道

作者：杜偉

從此，操作系統(tǒng)被賦予了新的內(nèi)核，也讓應用開發(fā)體驗迎來前所未有的新變化。

大模型發(fā)展至今，還能帶給開發(fā)者哪些驚喜呢？

在 4 月 16 日舉辦的 2024 百度 Create AI 開發(fā)者大會上，百度智能云扔下一顆「重磅炸彈」，重新定義了計算機的核心系統(tǒng)軟件 —— 操作系統(tǒng)。

會上，百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖宣布正式發(fā)布新一代智能計算操作系統(tǒng) —— 萬源。在大模型技術(shù)不斷推動云服務向 AI 靠攏的當下，這成為了百度跳出傳統(tǒng)云計算、革新 AI 原生應用開發(fā)體驗的一大舉措。

沈抖在百度 Create AI 開發(fā)者大會上。

對比操作系統(tǒng)的核心組件，比如底層硬件設備、管理軟硬件資源的內(nèi)核層、與用戶交互的 Shell 層和集成各類工具程序的應用層，萬源的整體框架是這樣的：

Kernel（內(nèi)核）層包含百度百舸?AI 異構(gòu)計算平臺和百度文心大模型，滿足模型訓練算力需求和多樣化大模型使用需求。

內(nèi)核層之上的 Shell（外殼）層為千帆 ModelBuilder 平臺，讓開發(fā)者按需和細分場景來定制、精調(diào)模型。

最上面為 Toolkit（工具）層，千帆 AppBuilder 和 AgentBuilder 支持了各類應用和 Agent 的快速開發(fā)。

智能計算操作系統(tǒng)萬源的「三層」組成。

自下往上，萬源要在底層屏蔽掉云原生系統(tǒng)與異構(gòu)算力的復雜性、并強化大模型這一能力引擎，在中層對大模型進行部署精調(diào)，在上層為 AI 原生應用和 Agent 的快速開發(fā)提供支撐和保障。

也就是說，借助操作系統(tǒng)這個完整載體，百度智能云將高效的異構(gòu)算力、智能的系統(tǒng)內(nèi)核和敏捷的應用開發(fā)「打包」，為業(yè)界加速 AI 原生應用布局提供一個新選擇。

或許有人會問，從傳統(tǒng)操作系統(tǒng)發(fā)展到如今新一代的智能計算操作系統(tǒng)，需要什么契機呢？我們有必要從計算機操作方式進化、計算平臺迭代、大模型技術(shù)變革等幾個方面展開說說。

大模型崛起

新一代操作系統(tǒng)成為必選項

當然，我們熟悉的計算機操作系統(tǒng)通常是 Linux、Windows 等。但說起來，操作系統(tǒng)不是與計算機同步出現(xiàn)，它管理的對象也隨時代需求、技術(shù)趨勢而變。

1946 年 2 月，世界上第一臺電子計算機 ENIAC 誕生，彼時操作全部要人工完成。匯編語言、匯編器的出現(xiàn)逐漸用程序代替人工、用軟件管理硬件，這是操作系統(tǒng)的雛形。高級編程語言和編譯器讓計算平臺進一步進化，并帶來更復雜的軟件和更強大的硬件，要求操作系統(tǒng)快速迭代。

此后，不斷增加的軟件規(guī)模和復雜度讓單臺機器力不從心，集群出現(xiàn)。操作系統(tǒng)管理的對象從單臺機器及其上運行的「進程」擴展為整個集群及運行的各類「微服務」，云計算來了。

直到這時，操作系統(tǒng)的框架和組成沒有大的變化。在本質(zhì)上，操作系統(tǒng)負責連通硬件和軟件，向下屏蔽底層的復雜性，向上抽象成簡單的交互界面。

近年來，大模型、AI 原生應用、Agent 及相伴而生的理解、生成、邏輯和記憶能力推動技術(shù)變革，讓自然語言主導的人機交互嶄露頭角，沒有編程基礎(chǔ)的人也可以成為開發(fā)者，編程需求的滿足比以往容易得多。

開發(fā)范式的種種新變化進一步催生軟件市場的爆發(fā)，硬件也隨之進步，傳統(tǒng)操作系統(tǒng)改變的契機到了，尤其體現(xiàn)在一些層的組成內(nèi)容上。

比如在操作系統(tǒng)內(nèi)核中，底層硬件從以 CPU 算力為主變成以 GPU 算力為主，并首次增加軟硬件之外的第三種資源 —— 大模型壓縮的世界知識。相應地，操作系統(tǒng)管理的對象不再只是進程和微服務，現(xiàn)在還多了基于大模型衍生的智能。

這意味著，一個超越傳統(tǒng)軟件范疇的全新操作系統(tǒng)成為必選項，對基于 AI 的智能計算更好地抽象和封裝，重新定義人機交互，成為大模型能力全方位加持的強大載體，為開發(fā)者提供更智能、更流暢、更個性化的開發(fā)體驗。

這一切在萬源這里得到了滿足，內(nèi)核層有能夠?qū)崿F(xiàn)萬卡規(guī)模集群模型訓練的算力和大語言模型、CV 大模型能力，外殼層可以對內(nèi)核層的大模型定制精調(diào)，工具層則實現(xiàn)了簡單便捷的 AI 原生應用和 Agent 開發(fā)。

我們應看到，實現(xiàn)萬源各層功能離不開百度智能云在算力、模型、工具和應用等各個層面的產(chǎn)品積累。這也是我們接下來要講的內(nèi)容。

三層一體

萬源操作系統(tǒng)的「新」落在哪里？

可以看到，大模型出現(xiàn)以來提出的全新人機交互需求、人們對開發(fā)體驗的更多樣性訴求以及傳統(tǒng)云計算向智能計算的轉(zhuǎn)變，讓萬源的出現(xiàn)有了必要性和合理性。

那么，萬源各層組成有哪些新的、獨特之處呢？先從 Kernel（內(nèi)核）層看起，算力和大模型是兩大組成部分。

作為 AI 三要素之一，算力重要性無需多言。在萬源中，百度百舸?AI 異構(gòu)計算平臺是將現(xiàn)有算力資源發(fā)揮到極致的基座。該平臺針對大模型訓練、推理任務，分別在智算集群設計、調(diào)度和容錯等環(huán)節(jié)優(yōu)化。目前，百舸在萬卡集群上的模型有效訓練時長占比超過了 98.8%，線性加速比和帶寬有效性均達到了 95%，實現(xiàn)業(yè)界領(lǐng)先算力效能，為內(nèi)核層提供高效的算力保障。

此外還有一個問題，國內(nèi)芯片供應存在不確定性，這必然會導致多芯片并存的格局（即國內(nèi)和國內(nèi)品牌芯片共存），這為智算集群中模型推理和單一任務訓練提出了挑戰(zhàn)。百舸不僅兼容了昆侖芯、昇騰、海光 DCU、英偉達、英特爾等國內(nèi)外主流 AI 芯片，更實現(xiàn)百卡和千卡規(guī)模、單一訓練任務下，不同廠商芯片的混合訓練，其中百卡規(guī)模性能損失不超過 3%，千卡規(guī)模性能損失不超過 5%，實現(xiàn)業(yè)界領(lǐng)先。

正如沈抖會上所言，「百舸為大家屏蔽掉了芯片之間的差異，提供了自由選擇不同芯片組合的權(quán)利?！?/span>

內(nèi)核層的另一主角是 77 個精選大模型，包括百度 ERNIE 4.0、ERNIE 3.5 大語言模型、近期發(fā)布的 ERNIE Speed/Lite/Tiny 系列輕量模型、文心視覺大模型和各種第三方大模型。它們壓縮并封裝了龐大的世界知識，是更上層運行簡單接口和 AI 原生應用的能力源泉。

來到外殼層，主角是千帆 ModelBuilder，負責大模型管理、調(diào)度和二次開發(fā)。有了它，開發(fā)者不用從頭開始訓練大模型，付出很少數(shù)據(jù)、資源即可在基礎(chǔ)大模型上快速精調(diào)出適合自身業(yè)務和場景的模型。

再往上為 ToolKit（工具）層，集成了產(chǎn)業(yè)級 AI 原生應用開發(fā)平臺 AppBuilder 和基于文心大模型的智能體構(gòu)建平臺 AgentBuilder。有了內(nèi)核層和外殼層的算力和模型鋪墊，萬源要在此層讓開發(fā)者切身體驗到不一樣的 AI 原生應用開發(fā)。

其中，AppBuilder 支持工作流編排。開發(fā)者選擇使用預置模板和組件或者集成、擴建特色組件，輕松定制自己的業(yè)務流程。經(jīng)過 ModelBuilder 精調(diào)的模型也可以直接調(diào)用，怎么方便怎么來。開發(fā)完的應用支持一鍵發(fā)布到百度搜索等其他平臺，并通過 API 或 SDK 在用戶系統(tǒng)中直接集成。

AgentBuilder 則致力于零門檻，讓不會編程的用戶通過 prompt 輸入和操作調(diào)優(yōu)，快速創(chuàng)建專屬于自己的智能體，在使用場景中自動提供服務。

此外，萬源還提供了完善的模型 & 數(shù)據(jù)管理以及模型安全服務，為 AI 原生應用的繁榮保駕護航。

至此，從內(nèi)核層、外殼層到工具層，百度在我們面前展現(xiàn)出了新一代智能計算操作系統(tǒng)的全貌。

背后的技術(shù)優(yōu)勢

能解決好問題才行

我們觀察到，萬源一舉解決了業(yè)界同行們都在面臨的三個關(guān)鍵問題，分別是算力、模型訓練和部署、以及應用開發(fā)，并在過程中形成了自己的核心技術(shù)優(yōu)勢。

尤其是在算力部分，百舸?AI 異構(gòu)計算平臺實現(xiàn)了單一任務下不同廠商芯片的大模型混合訓練， 百卡規(guī)模性能損失不超過 3%，千卡規(guī)模性能損失不超過 5%。這些是如何做到的呢？

首先，百舸的線性加速比達到了 95%，這要歸功于百度智能云面向 AI 計算推出的 AI 加速套件「AIAK」，它的核心是網(wǎng)絡通信加速。我們知道，AI 跑在芯片上靠的是各種各樣的算子，但每家芯片廠商的算子實現(xiàn)并不一樣。

百度則選擇在整個框架層面拆分底層的通信和上層算子的優(yōu)化和實現(xiàn)，這樣各家芯片有了針對這些算子的優(yōu)化實現(xiàn)。最終不同廠商的芯片都能跑在百度的加速庫上，即百度集合通信庫 BCCL，它是百舸的重要組件。但是，這一步并沒有直接解決一云多異構(gòu)芯片的問題。

還需要第二步。以前一種芯片算力是相同的，所以我們的并行策略大多是均勻切分的。但現(xiàn)在算力、通信、存儲都不一樣了，為了充分發(fā)揮出各芯片算力性能那就需要實現(xiàn)不均勻的切分方式，比如在模型張量切分中，不同芯片可能需要切分成不同的大小，在流水線切分中則需要在不同芯片上放不同的層數(shù)。這就需要對框架做相應的改造和優(yōu)化，我們的訓推加速軟件就實現(xiàn)了這些不均勻的，混合的切分策略，讓每個芯片算力能充分發(fā)揮出來。

而接下來，集群中各種芯片的比例可能是不一樣的，在各種情況下都能找到最優(yōu)的任務切分方法。在前面這么多復雜策略的情況下通過測試顯然是不行的。通過一套自動化并行策略框架，根據(jù)各種策略所需要的計算量，存儲量，通信量，以及不同芯片的計算和 IO 效率，從而快速計算出最優(yōu)的任務切分策略，保證在各種配比下芯片算力都能充分發(fā)揮出來。這是實現(xiàn)一云多芯的基礎(chǔ)原理。

至于百卡和千卡規(guī)模性能損失為何如此低，這還要得益于百舸在存儲方面支持了高性能分布式存儲 PFS、以及萬卡級別的 RDMA 網(wǎng)絡，前者顯著提升訓練和推理過程中的 I/O 吞吐能力，后者有效降低網(wǎng)絡延遲。

同樣地，萬源讓大模型的訓練和部署不再困難。尤其是對個人開發(fā)者而言，他們沒有訓練大模型所需的算力、數(shù)據(jù)和精力，這一切都讓萬源代為完成。

有了 ModelBuilder，開發(fā)者沒有了從頭開始訓練模型的煩惱，隨時隨調(diào)隨用。部署起來同樣方便快捷。

最后，應用開發(fā)問題依靠 AppBuilder 得到更好解決，它的兩個優(yōu)勢幫了大忙。

一是依托文心 4.0 強大的理解和遵循能力，效果好且不用長時間調(diào)優(yōu)，成本和門檻降了下來。同時豐富的 AI 能力組件、大模型能力組件和百度獨家開放的業(yè)務組件讓 AI 原生應用開發(fā)更加高效。二是創(chuàng)建一點都不繁瑣，只需三步：命名、描述具體要求、運行，一氣呵成。

而隨著算力、模型訓練和部署、以及應用開發(fā)這些節(jié)點的關(guān)鍵問題一一被有效地克服，萬源為 AI 原生應用提供了更強的動力和更大的舞臺，讓 AI 在應用層的機會更多。

寫在最后

不難發(fā)現(xiàn)，大模型出現(xiàn)以來，AI 圈呈現(xiàn)一個非常明顯的特點，即大家追逐的熱點變化很快。短短幾年時間，我們已經(jīng)看到了從最開始的基礎(chǔ)和行業(yè)垂直模型，慢慢發(fā)展到之后基于大模型的各類 AI 原生應用和 Agent。

很顯然，對于業(yè)界玩家們來說，盡可能不錯過每一個節(jié)點，才更有可能不被同行落下，反過來就有可能跑贏對手。我們看到，在大模型發(fā)展至今的整體規(guī)劃和布局中，百度步步為營，并以廣泛、真實的客戶實踐和產(chǎn)業(yè)落地需求為導向。

從業(yè)界首發(fā)行業(yè)大模型到全球首個企業(yè)級大模型生產(chǎn)平臺千帆 ModelBuilder，百度走在了大模型落地的前列。目前，千帆大模型平臺已經(jīng)服務了 8.5 萬家企業(yè)客戶，并累計精調(diào)超過 1.4 萬個模型。

隨著從卷大模型進入到卷應用的階段，百度加快了基于大模型的 AI 原生應用開發(fā)及生態(tài)建設。去年 10 月 17 日，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在百度世界 2023 上預言，「我們即將進入一個 AI 原生的時代」。此后， AI 原生應用開發(fā)平臺千帆 AppBuilder 全面開放服務，讓人人都能自己開發(fā)。目前已經(jīng)有 8100 家伙伴通過該平臺開發(fā) AI 原生應用。

此次，百度又為這個新時代的到來拋出全新的思考 —— 萬源。百度從完整的 AI 原生操作系統(tǒng)出發(fā)，將過去多年在算力、大模型和應用層面積累的工作「化零為整」，以更強的姿態(tài)迎接 AI 原生時代面臨的挑戰(zhàn)。

未來，百度一方面將繼續(xù)把萬源的基礎(chǔ)設施、內(nèi)核服務做得更智能、高效，另一方面致力于在上層提供更便捷的開發(fā)工具，做到雙管齊下。同時進一步開放生態(tài)合作，攜手應用開發(fā)者、企業(yè)、芯片廠商將萬源打造地更加完備。