南方財經(jīng)全媒體記者江月 上海報道當人們驚嘆于ChatGPT的聰明時,不要忽略它的昂貴。這款應用的走紅,正把科技投資推向更高的山峰,資金和智力還要更集中地涌向GPU等硬件賽道。由于大模型持續(xù)迭代升級、應用加速延伸以及云服務器急需擴容,AI芯片的掘金人正在聚集。
2月9日,21世紀經(jīng)濟報道記者在采訪中了解到,ChatGPT的爆火令AI芯片開發(fā)者意識到,性能競爭還將向進一步白熱化發(fā)展,“昂貴”的烙印越打越深,大語言模型的單次迭代硬件成本在突破3000萬人民幣水平后,還在向更高攀爬。在市場格局方面,狂熱的市場可能會令海外壟斷進一步加劇。
亦有國產(chǎn)GPU創(chuàng)業(yè)人士向記者表示,國產(chǎn)通用型GPU開發(fā)仍在繼續(xù),并希望借助此次產(chǎn)業(yè)鏈協(xié)同實現(xiàn)突破。
AI芯片加速研發(fā)
2022年11月30日上線的ChatGPT,于短短兩個月內(nèi)獲得1億用戶,是芯片領域在2023年面臨的第一個重要課題。記者從多家國產(chǎn)運算芯片開發(fā)商處了解到,芯片研發(fā)者正高度關(guān)注ChatGPT的市場吸引力,不少公司將其作為研究課題組織專門研究,以求及時把握相關(guān)商機。
“ChatGPT應該是基于GPT-3下一代模型,也就是市面上傳聞的GPT-3.5推出的?!痹谝患抑麌a(chǎn)GPU開發(fā)商擔任產(chǎn)品經(jīng)理的陸明向21世紀經(jīng)濟報道記者介紹,他近期致力于對ChatGPT的課題研究。
芯片研發(fā)商關(guān)注ChatGPT,既因為這可能會改變產(chǎn)品定義,也因為預期市場對AI芯片的采購會迎來增量。據(jù)介紹,ChatGPT的背后模型是GPT(Generative Pre-Training,生成式預訓練模型),GPT這個名字展現(xiàn)了這款模型偏向“生成文本和代碼”的屬性。陸明指出,GPT至今已經(jīng)公開了三次迭代,期間,由于GPU芯片的飛速發(fā)展,三次迭代之間具有“時間短、性能增速快”的特點。
細數(shù)之下,第一代GPT-1誕生于2018年6月,訓練參數(shù)量為1.2億個,數(shù)據(jù)庫規(guī)模為5GB;僅時隔半年之后,第二代GPT-2誕生于2019年2月,訓練參數(shù)量為15億個,數(shù)據(jù)庫規(guī)模為40GB;第三代GPT-3誕生于2020年5月,訓練參數(shù)量飛躍至1750億個,數(shù)據(jù)庫規(guī)模達到45TB??梢钥吹?,第三代模型較第二代的訓練參數(shù)增長超過100倍,數(shù)據(jù)庫規(guī)模則增長超過1000倍。
近年來,從AI方向切入GPU開發(fā),成為了不少中外創(chuàng)業(yè)者的選擇。無論是在美國還是中國市場,創(chuàng)業(yè)型GPU開發(fā)商往往能成為資本的寵兒。不過,由于科技巨頭自從去年第四季度開始財務表現(xiàn)下滑,硬件行業(yè)投資也隨之降溫。不過2023年伊始,ChatGPT又給行業(yè)帶來了新的話題。
眼下,ChatGPT的爆火正呼喚更強性能GPU的面世,而這將促使資金加快流入行業(yè)?!跋乱淮竽P偷膮?shù)量和數(shù)據(jù)庫規(guī)模,還將比上一代實現(xiàn)百倍、千倍的升級,這意味著如果底層的芯片性能止步不前,就會令訓練時長長達幾年,但顯然業(yè)內(nèi)需要在半年或一年內(nèi)就推出下一代更強的模型?!标懨鞣Q。
巨頭林立成本高昂
眼下,無論是大語言模型開發(fā)還是底層芯片供應,市場主流玩家仍然是國際巨頭。為了在格局演變中爭奪優(yōu)勢地位,巨頭公司的“燒錢”游戲越來越旺。
21世紀經(jīng)濟報道記者從接近美國GPU龍頭開發(fā)商英偉達的人士了解到,該公司正是當前全球主流大語言模型開發(fā)者的主要芯片供應商。
“英偉達正向全球主流的人工智能算法開發(fā)商提供芯片硬件,包括微軟、谷歌、Meta等。產(chǎn)品迭代也在有序進行中,去年推出了最新的數(shù)據(jù)中心芯片,改善了架構(gòu)?!鄙鲜鋈耸糠Q。
近期,科技巨頭爭相涌入ChatGPT的競爭中,硝煙四起,但在上述人士眼中,眼下人工智能研究市場上的各大巨頭此前維持著“強合作”關(guān)系。以在外界眼中正在“打架”的谷歌和微軟為例,兩者事實上都基于谷歌的Transformer架構(gòu)進行大模型開發(fā)?!安贿^在差異性的應用展開后,競爭可能會升級?!痹撊耸吭u價稱。
想要留在ChatGPT戰(zhàn)場上,意味著更大規(guī)模的“燒錢”。據(jù)業(yè)內(nèi)估算,大語言模型的單次訓練硬件成本已經(jīng)突破3000萬元人民幣,加上投入的人力、智力、訓練時間成本,各大巨頭需要準備百億美元,直到真正的市場贏家勝出。
據(jù)Lambda Labs首席科學官Chuan Li介紹,擁有1750億個參數(shù)的GPT-3因其巨大的每秒浮點計算量,單次訓練成本達到460萬美元。陸明也向記者證實,眼下最主流的英偉達A100芯片,單次訓練的使用量應達到數(shù)百片,成本在3000萬元人民幣左右。此外,服務器擴容和硬件升級的成本也將占據(jù)相當大的比例,一方面,“自從2月7日開始,ChatGPT因訪問量巨大,回復速度已經(jīng)大大減慢”,另一方面,“維護GPU芯片的成本也非常高,芯片使用是有壽命的,損耗幾次就要另作他用。”陸明稱。
以上還僅僅是大語言模型訓練的非人工成本,更大的成本集中在人力上?!?span id="yyyy0yy" class="candidate-entity-word" data-gid="7973760">迭代模型的間隔已經(jīng)縮短到半年,招募人才、改善算法的投資會持續(xù)高昂?!标懨鞣Q。
今年1月23日,微軟宣布將向ChatGPT開發(fā)商OpenAI追加數(shù)百億美元的投資,令人們覺得這些資金將涌向語言類機器人。不過,OpenAI不僅是ChatGPT的開發(fā)商,旗下也擁有圖形人工智能\”明星\”產(chǎn)品DALL·E。業(yè)內(nèi)相信,微軟將分數(shù)年、數(shù)批向ChatGPT進行后續(xù)投資,但這個領域的“彈藥”儲備提升到百億美元已是不爭事實。
中國玩家如何參與
短短幾日,多家中國公司宣布加入ChatGPT戰(zhàn)場。
中國的自主研發(fā)芯片將面臨怎樣的機會?市場分析認為,國產(chǎn)運算類芯片仍然面臨嚴峻的發(fā)展阻撓,但商業(yè)化前景得到進一步驗證,仍是芯片開發(fā)者的“好消息”。
其中,百度和阿里計劃推出生成式語言機器人應用,而京東計劃將在電子商務客服中應用相關(guān)技術(shù)。據(jù)悉,有道AI技術(shù)團隊已投入到ChatGPT同源技術(shù)(AIGC)在教育場景的落地研發(fā)中,目前該團隊已在AI口語老師、中文作文批改等細分學習場景中嘗試應用。該公司內(nèi)部人士表示,這次技術(shù)更新是一次顛覆性的創(chuàng)新,但在細分場景的應用過程中實際上并不需要這樣一個大而全的模型,更需要一些縱深向的探索。
不少市場分析認為,中國互聯(lián)網(wǎng)公司擁有海量數(shù)據(jù),這是進行自然語言開發(fā)的優(yōu)勢。不過,關(guān)心中國科技自主創(chuàng)新的人士有更強烈的心聲:期待這個“科技爆點”在中國形成更長的產(chǎn)業(yè)鏈閉環(huán)。
海銀資本創(chuàng)始合伙人王煜全在2月7日發(fā)聲稱,中國不僅需要產(chǎn)生自主“大模型”,也應當在人工智能上進行芯片技術(shù)的“彎道超車”。
數(shù)位從事國產(chǎn)GPU開發(fā)的人士向21世紀經(jīng)濟報道記者表示,在ChatGPT爆火的開端,國外芯片開發(fā)商仍然具有巨大的優(yōu)勢,而中國芯片開發(fā)商面臨著巨大的阻力,這是由歷史技術(shù)積淀、市場關(guān)系和外部環(huán)境共同造成的。
不過,王煜全認為,在系統(tǒng)芯片異構(gòu)計算時代,能夠號召擁有數(shù)據(jù)的機構(gòu)參與預訓練,然后與擁有芯片計算架構(gòu)的公司深度合作,這樣芯片的制造水平未必是最好,但芯片訓練的模型是最好的。他在采訪中建議,芯片企業(yè)、人工智能企業(yè)和應用企業(yè)三方應加強合作。
這意味著,身處人工智能落地的巨大市場、擁有本土算法公司的產(chǎn)業(yè)鏈網(wǎng)絡,國產(chǎn)芯片廠商仍擁有AI芯片的入場券。
(應受訪者要求,陸明為化名)
更多內(nèi)容請下載21財經(jīng)APP
版權(quán)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權(quán),不承擔相關(guān)法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請發(fā)送郵件至 舉報,一經(jīng)查實,本站將立刻刪除。