智東西（公眾號：zhidxcom）

文 | 心緣

智東西9月25日報道，全面闡述計算產(chǎn)業(yè)戰(zhàn)略一年后，華為曬出了最新的成績單，離“2萬億美元計算產(chǎn)業(yè)大藍(lán)?！钡哪繕?biāo)又近了一步。

經(jīng)歷了一年風(fēng)起云涌的落地大潮，今天，華為全聯(lián)接大會第三天，華為在鯤鵬 昇騰計算圖譜上，再布下幾枚新的重棋：進(jìn)一步開放鯤鵬主板，發(fā)布鯤鵬應(yīng)用使能套件Kunpeng BoostKit、鯤鵬開發(fā)套件Kunpeng DevKit、openEuler 、openGauss、MindSpore社區(qū)最新版本，并推出破解多樣性計算時代核心痛點的“大殺器”——分布式多樣性計算軟件套件。

華為計算產(chǎn)品線總裁鄧泰華表示，該軟件套件“南向屏蔽多樣性算力開發(fā)復(fù)雜性，北向使能分布式并行應(yīng)用的高效開發(fā)，高效釋放多樣性算力潛力，助力分布式應(yīng)用價值創(chuàng)造?！?/p>

至此，鯤鵬 昇騰計算全棧能力已完整揭曉，透過華為在計算產(chǎn)業(yè)的謀篇布局，我們可以看到，華為的多樣性算力資源如何順著“開放創(chuàng)新”的通途，滋養(yǎng)千行百業(yè)的計算沃土，又如何沿著由生態(tài)所衍生的千百條道路，潛移默化地影響千家萬戶。

一、全棧計算能力披露！覆蓋全場景開發(fā)需求

開發(fā)者有日?！叭裏保核懔Y源貴、算法跑得慢、工具使用難。

以種地來類比，就是發(fā)動機燃料太貴，種植和收割莊稼效率低下，勞作工具用起來不順手，這些是拖累在全新土壤上孕育繁茂生態(tài)的核心阻礙。

自公布鯤鵬 昇騰計算產(chǎn)業(yè)戰(zhàn)略以來，華為緊鑼密鼓地將其“硬件開放，軟件開源，使能合作伙伴”的戰(zhàn)略落到實處，陸續(xù)將鯤鵬主板等硬件開放給伙伴，上線服務(wù)器操作系統(tǒng)openEuler、企業(yè)級數(shù)據(jù)庫openGauss、高性能數(shù)據(jù)虛擬化引擎openLooKeng、全場景AI計算框架MindSpore四個開源社區(qū)，并在18個地區(qū)建設(shè)生態(tài)創(chuàng)新中心。

除了華為主導(dǎo)的開源社區(qū)外，華為在Linux Kernel 5.8的代碼貢獻(xiàn)量達(dá)到TOP2，在主流場景下，80%開源項目已原生支持鯤鵬。昇騰兼容主流AI框架、110多種主流模型。

鄧泰華說，鯤鵬、昇騰計算領(lǐng)域目前已發(fā)展30萬開發(fā)者、1000多家合作伙伴，通過3000多個解決方案認(rèn)證。

為了向這一目標(biāo)靠攏，今天，華為展示了鯤鵬計算和昇騰計算的全棧能力。

從今天展示的全棧能力來看，華為正持續(xù)補充“硬件開放，軟件開源，使能合作伙伴”的內(nèi)容。

硬件層面，華為將鯤鵬主板升級為“基礎(chǔ)板 擴(kuò)展板 BMC/BIOS”的全新開放模式，給合作伙伴更多發(fā)揮創(chuàng)新的空間。

軟件層面，鯤鵬社區(qū)推出openEuler 20.09版本，全場景AI計算框架MindSpore 1.0版本也正式發(fā)布。

openEuler 20.09新增自動化測試平臺Crystal-CI，支持鯤鵬、昇騰、x86等多樣性算力；MindSpore 1.0版本將支持模型、算子及硬件處理單元級全自動并行、二階優(yōu)化，對端邊云設(shè)備全場景適配，可將大規(guī)模訓(xùn)練時間從月縮短至天，并能將模型性能提升40%，還提供了可將業(yè)務(wù)快速遷移至第三方框架的轉(zhuǎn)換工具。

據(jù)IDC預(yù)測，到2023年，全球計算產(chǎn)業(yè)投資空間1.14萬億美元；中國計算產(chǎn)業(yè)投資空間1043億美元，接近全球的10%。在這樣廣闊的市場空間中，華為的計算實力正日益凸顯出來，帶動國內(nèi)計算生態(tài)鏈的整合與興起。

二、全棧計算能力背后，華為的三重底氣

之所以能構(gòu)建如此完備的全?；A(chǔ)軟硬件平臺，源自華為的三重底氣。

第一重底氣是技術(shù)沉淀。基于過去二十多年積累的芯片研發(fā)功底，華為打造了具有競爭力的鯤鵬和昇騰兩大技術(shù)平臺，并在此基礎(chǔ)上布局覆蓋云邊端的全場景的多樣性算力平臺，連同一系列華為研發(fā)的基礎(chǔ)軟件工具，組成了華為計算深厚的技術(shù)根基。

軟件工具同樣凝聚了許多華為工程師經(jīng)年累月的智慧結(jié)晶。例如用于AI平臺算子及網(wǎng)絡(luò)開發(fā)的異構(gòu)計算架構(gòu)CANN，即是由華為多個研發(fā)團(tuán)隊、歷經(jīng)數(shù)年迭代，才形成端邊云全場景協(xié)同、訓(xùn)練和推理性能全面領(lǐng)先的統(tǒng)一編程架構(gòu)。

第二重底氣是深入行業(yè)。作為全球領(lǐng)先的ICT基礎(chǔ)設(shè)施提供商，華為在自身實踐中積累了豐富的數(shù)字化和智能化經(jīng)驗，亦通過參與各種具體業(yè)務(wù)場景的實踐，充分掌握和理解企業(yè)及開發(fā)者的核心痛點，從而更有針對性地提供降本提效的基礎(chǔ)軟硬件設(shè)施。

例如，過去一年，經(jīng)過與合作伙伴的磨合，華為針對大數(shù)據(jù)、分布式存儲等八大場景，推出包含高性能開源組件、加速軟件包和工具/參考實現(xiàn)的鯤鵬應(yīng)用使能套件Kunpeng BoostKit，幫助應(yīng)用層開發(fā)者釋放更高的性能。除了有掃描、遷移和調(diào)優(yōu)功能外，鯤鵬開發(fā)套件Kunpeng DevKit還新增了編譯、無源碼遷移能力，另外還推出了工具插件化和IDE開發(fā)環(huán)境集成。

第三重底氣是開放生態(tài)。獨木難成林，一家企業(yè)的力量畢竟有限，要充分釋放基礎(chǔ)軟硬件平臺的價值，需要各類生態(tài)伙伴各展其長，融合多元能力，共同做大計算產(chǎn)業(yè)的蛋糕。

如今鯤鵬和昇騰計算基礎(chǔ)設(shè)施已在多類政企及科研應(yīng)用場景中實現(xiàn)規(guī)模化商用，兩大計算產(chǎn)業(yè)生態(tài)也逐漸變得枝繁葉茂。

可以看見，華為的全棧能力并非一氣呵成，而是通過與伙伴的合作中汲取養(yǎng)分，遞進(jìn)式地逐步豐富。

而在鯤鵬、昇騰、x86、GPU等多樣性算力的基座鋪就后，新的問題擺在華為眼前——面對高性能分布式計算對多樣化計算資源的訴求，如何實現(xiàn)算力資源的最優(yōu)匹配、高效利用。

三、破解多樣性算力協(xié)同痛點，讓分布式應(yīng)用構(gòu)建快如搭積木

大數(shù)據(jù)、AI、高性能計算等新興技術(shù)的發(fā)展，催生了海量數(shù)據(jù)，加上高并發(fā)、低時延、重負(fù)載、彈性擴(kuò)展的業(yè)務(wù)訴求與日俱增，加速應(yīng)用走向分布式，算力也趨于異構(gòu)。

這給開發(fā)者帶來新的開發(fā)負(fù)擔(dān)。

從算力來看，通過軟件開發(fā)發(fā)揮眾核算力優(yōu)勢、將應(yīng)用和多樣性算力進(jìn)行最佳匹配，都是不小的挑戰(zhàn)。

從調(diào)度來看，應(yīng)用性能難以隨著規(guī)模而線性增長，而管理成本卻隨著系統(tǒng)規(guī)模倍增，應(yīng)用在多樣性算力資源池之間共享資源十分困難。

從應(yīng)用來看，有狀態(tài)應(yīng)用的數(shù)據(jù)處理復(fù)雜，會制約并行性能，融合分布式應(yīng)用的并行邏輯更是復(fù)雜。

面對這些挑戰(zhàn)，華為采用軟硬件解耦的設(shè)計，打造了適配多種算力平臺和多場景應(yīng)用的分布式多樣性計算軟件套件，基于集群加速器、統(tǒng)一調(diào)度器、分布式并行應(yīng)用開發(fā)框架三大關(guān)鍵部件，從算法優(yōu)化、集群調(diào)度、應(yīng)用構(gòu)建層層提速，幫開發(fā)者降低開發(fā)門檻。

首先，從算法優(yōu)化提速。集群加速庫已覆蓋各種分布式多樣性計算場景，并與主流分布式應(yīng)用生態(tài)良好對接，通過持續(xù)迭代創(chuàng)新，優(yōu)化分布式系統(tǒng)性能。

例如，新發(fā)布的機器學(xué)習(xí)庫平均性能較主流開源庫提升超過50%，圖分析庫平均性能較主流開源庫提升超過80%。

基于算法突破創(chuàng)新，集群加速庫不僅可以大幅提升可處理數(shù)據(jù)規(guī)模和多核并行度，還能加速多樣算力運算，減少分布式網(wǎng)絡(luò)通信帶寬消耗。

其次，從集群調(diào)度提速。當(dāng)前調(diào)度器多為專用，缺少能跨多應(yīng)用領(lǐng)域的統(tǒng)一調(diào)度器，系統(tǒng)規(guī)模倍增又會面臨線性度下降、管理難度倍增的問題。

對此，華為推出統(tǒng)一調(diào)度器，將多樣性算力平臺與全場景應(yīng)用打通，實現(xiàn)規(guī)模、調(diào)度性能、資源利用率等三大突破，支持大規(guī)模高效率跨領(lǐng)域資源協(xié)同，可做到無代碼侵入的AI和大數(shù)據(jù)應(yīng)用生態(tài)整合，在主流AI、HPC、大數(shù)據(jù)等應(yīng)用集成的資源利用率高達(dá)逾90%。

統(tǒng)一調(diào)度器突破大規(guī)模分布式技術(shù)，可支持2萬節(jié)點、30萬運行作業(yè)；并突破了關(guān)鍵調(diào)度算法，能實現(xiàn)百萬核MPI、3分鐘啟動，調(diào)度能力達(dá)到5k/秒，在真實工作場景中，每小時可完成4M運行作業(yè)量。

最后，從應(yīng)用構(gòu)建提速。得益于無服務(wù)器（Serverless）計算的發(fā)展，用戶無需操心運行和運維所需的資源，能更加專注于自己的業(yè)務(wù)創(chuàng)新。但當(dāng)前Serverless開發(fā)高性能并行應(yīng)用場景仍受限制，比如無狀態(tài)的計算抽象、無法進(jìn)行函數(shù)間協(xié)同、函數(shù)間無直接通信、應(yīng)用開發(fā)門檻高等。

對此，華為打造了基于函數(shù)計算的分布式并行應(yīng)用開發(fā)框架，使得開發(fā)者在大規(guī)模分布式系統(tǒng)上享受單機編程體驗，像搭積木般快捷地構(gòu)建分布式并行應(yīng)用。

據(jù)華為計算產(chǎn)品線研發(fā)總裁熊彥介紹，分布式并行應(yīng)用開發(fā)框架的整體技術(shù)架構(gòu)由五個關(guān)鍵組成部分：

（1）AI for System Builders：通過AI提升性能調(diào)優(yōu)和故障定位；

（2）通信系統(tǒng)：支持函數(shù)間的直接通信能力，支持毫秒級函數(shù)快速啟動；

（3）數(shù)據(jù)系統(tǒng)：提供高擴(kuò)展低時延的數(shù)據(jù)緩存系統(tǒng)，萬級函數(shù)實例擴(kuò)展，緩存讀寫縮短10倍。

（4）Function Core：解決資源抽象問題，實現(xiàn)數(shù)據(jù)親和性調(diào)度，多樣性算力使能。

（5）Function Pattern：抽象業(yè)務(wù)應(yīng)用領(lǐng)域并行模型，大幅簡化分布式并行設(shè)計。

熊彥介紹，集群加速庫和統(tǒng)一調(diào)度器將在今年12月上市，而分布式并行應(yīng)用開發(fā)框架的上市時間相對晚一些，預(yù)計在明年6月。

分布式多樣性計算軟件套件落地后，會進(jìn)一步擴(kuò)展了華為的全棧計算能力，將鯤鵬昇騰生態(tài)的底座構(gòu)筑地更為堅固，使得開發(fā)者能更聚焦于業(yè)務(wù)邏輯，加速創(chuàng)新應(yīng)用。

四、開放生態(tài)，哺育人才，擬覆蓋2600 院校

僅靠一家企業(yè)難以包打天下，華為將上述全棧能力全部開放出來，和生態(tài)伙伴一起構(gòu)建枝繁葉茂的生態(tài)大樹。

而這顆大樹要想長成參天之勢，儼然離不開一家科技公司的長久生存之本——人才。

在華為全聯(lián)接大會首日的主題演講中，華為輪值董事長郭平坦誠談到：“華為現(xiàn)在遭遇很大的困難。持續(xù)的打壓，給我們的經(jīng)營帶來了很大的壓力，求生存是我們的主線。”

但即便危機當(dāng)前，郭平在回應(yīng)媒體關(guān)于裁員可能性的問題時，堅定地表示：“把沙子變成芯片靠的是什么？靠的是優(yōu)秀人才，華為在將來會繼續(xù)保持業(yè)務(wù)的平穩(wěn)和吸納優(yōu)秀人才?！?/p>

華為對人才的重視，在計算戰(zhàn)略中同樣得到充分體現(xiàn)。

自2015年公布沃土AI開發(fā)者計劃至今，華為投入大量精力培育鯤鵬和昇騰開發(fā)人才，如今已構(gòu)建良性人才生態(tài)，通過聯(lián)動高校開設(shè)課程促成產(chǎn)教融合。

畢竟，數(shù)字世界的高樓大廈壘于代碼，開發(fā)者是輸出創(chuàng)新代碼的“永動機”。要培養(yǎng)掌握華為鯤鵬和昇騰全棧技術(shù)能力的生力軍，需從高校學(xué)生抓起。

從去年到今年，華為陸續(xù)推出深度學(xué)習(xí)框架MindSpore、ModelArts AI應(yīng)用開發(fā)、鯤鵬處理器、openEuler操作系統(tǒng)、openGauss數(shù)據(jù)庫等學(xué)習(xí)教材和系列教輔資料，未來還計劃發(fā)布更多相關(guān)專業(yè)教材。

除了課程和教輔資源外，華為聯(lián)合高校進(jìn)行通用計算、AI等領(lǐng)域的專業(yè)課程建設(shè)，并向合作高校提供包括現(xiàn)金、軟硬件資源、平臺資源、師資培訓(xùn)、創(chuàng)新實踐等方面的支持。

華為也注重提供開發(fā)實踐和行業(yè)應(yīng)用的機會，面向?qū)W生開展技術(shù)沙龍、大賽、論壇、課程微認(rèn)證等豐富的課外實踐活動，并支持高校向華為推薦優(yōu)秀學(xué)生參加實習(xí)就業(yè)。

今年已有20多所高校試點融入鯤鵬、昇騰知識的信息專業(yè)課程，到明年這一數(shù)量將超過70所。在演講期間，鄧泰華還宣布：“華為與教育部合作，聯(lián)合首批72所高校，共同成立‘智能基座’產(chǎn)教融合協(xié)同育人基地，通過產(chǎn)學(xué)研協(xié)同為計算產(chǎn)業(yè)高質(zhì)量發(fā)展奠定人才基礎(chǔ)。”

華為更長遠(yuǎn)的目標(biāo)，是覆蓋2600余所高校及高職高專高校，讓鯤鵬、昇騰成為高校學(xué)生必備技能。

這些在開發(fā)人才培養(yǎng)方面的投資，將為未來鯤鵬 昇騰計算產(chǎn)業(yè)生態(tài)的發(fā)展輸送源源不斷的活水。

結(jié)語：一花獨放不是春

華為從全棧能力開放創(chuàng)新到人才培養(yǎng)的布局，指向的是2萬億美元的計算產(chǎn)業(yè)大藍(lán)海。

2016年，華為提出要建設(shè)“哥斯達(dá)黎加式”生態(tài)，讓利使能，使得華為的伙伴成為新價值鏈上的最大獲益者。在去年提出計算戰(zhàn)略時，華為也再度強調(diào)“有所為，有所不為”的商業(yè)策略，不做應(yīng)用，而是通過提供硬件開放、軟件開源、工具和團(tuán)隊，來支持合作伙伴的發(fā)展。

基于這樣的策略，華為計算的黑土地上，正為生態(tài)伙伴和開發(fā)者創(chuàng)造更多創(chuàng)新的機會和增益的空間，從而促成更為繁榮的計算生態(tài)。

計算產(chǎn)業(yè)是個高度生態(tài)型產(chǎn)業(yè)，離不開華為這樣的基礎(chǔ)軟硬件基礎(chǔ)設(shè)施建設(shè)者，離不開將先進(jìn)AI技術(shù)實現(xiàn)商業(yè)化構(gòu)建的技術(shù)層、應(yīng)用層玩家，更離不開每一位用AI改變世界的開發(fā)者。

隨著華為計算生態(tài)的持續(xù)擴(kuò)容，鯤鵬和昇騰計算平臺的底層算力將會像水電煤氣那樣，深入千行百業(yè)，成為提升生產(chǎn)力的重要源泉。