中國大模型,首登Nature封面。
9月17日,在最新一期的國際權(quán)威期刊Nature(自然)中,DeepSeek-R1推理模型研究論文登上了封面。該論文由DeepSeek團(tuán)隊(duì)共同完成,梁文鋒擔(dān)任通訊作者,首次公開了僅靠強(qiáng)化學(xué)習(xí)就能激發(fā)大模型推理能力的重要研究成果。這是中國大模型研究首次登上Nature封面,也是全球首個(gè)經(jīng)過完整同行評審并發(fā)表于權(quán)威期刊的主流大語言模型研究,標(biāo)志著中國AI技術(shù)在國際科學(xué)界獲得最高認(rèn)可。
Nature在其社論中評價(jià)道:“幾乎所有主流的大模型都還沒有經(jīng)過獨(dú)立同行評審,這一空白終于被DeepSeek打破?!?/p>
中國AI大模型的“Nature時(shí)刻”
自大模型浪潮席卷全球以來,技術(shù)發(fā)布、性能榜單層出不窮,但始終缺乏一個(gè)權(quán)威的“科學(xué)認(rèn)證”機(jī)制。OpenAI、谷歌等巨頭雖屢有突破,但其核心技術(shù)多以技術(shù)報(bào)告形式發(fā)布,未經(jīng)獨(dú)立同行評審。
DeepSeek以其公開性和透明性打破了這一局面。DeepSeek-R1模型的研究論文最早于今年年初發(fā)布在預(yù)印本平臺(tái)arXiv上。自今年2月14日向Nature投遞論文至今,歷經(jīng)半年,8位外部專家參與了同行評審,DeepSeek-R1推理模型研究論文終獲發(fā)表,完成了從預(yù)印本到Nature封面的“學(xué)術(shù)躍遷”。審稿人不僅關(guān)注模型性能,更對數(shù)據(jù)來源、訓(xùn)練方法、安全性等提出嚴(yán)格質(zhì)詢,這一過程是AI模型邁向更高的透明度和可重復(fù)性的可喜一步。
因此,Nature也對DeepSeek的開放模式給予高度評價(jià),在其社論中評價(jià)道:“幾乎所有主流的大模型都還沒有經(jīng)過獨(dú)立同行評審,這一空白終于被DeepSeek打破?!比蛑_源社區(qū)Hugging Face機(jī)器學(xué)習(xí)工程師Lewis Tunstall也是DeepSeek論文的審稿人之一,他強(qiáng)調(diào):“這是一個(gè)備受歡迎的先例。如果缺乏這種公開分享大部分研發(fā)過程的行業(yè)規(guī)范,我們將很難評估這些系統(tǒng)的潛在風(fēng)險(xiǎn)。”
據(jù)了解,DeepSeek本次在Nature上發(fā)表的論文較今年年初的初版論文有較大改動(dòng),全文64頁,不僅首次披露了R1的訓(xùn)練成本,而且透露了更多模型訓(xùn)練的技術(shù)細(xì)節(jié),包括對發(fā)布初期外界有關(guān)“蒸餾”方法的質(zhì)疑作出了正面回應(yīng),提供了訓(xùn)練過程中減輕數(shù)據(jù)污染的詳細(xì)流程,并對R1的安全性進(jìn)行了全面評估。
其中,在訓(xùn)練成本方面,R1-Zero和R1都使用了512張H800GPU,分別訓(xùn)練了198個(gè)小時(shí)和80個(gè)小時(shí),以H800每GPU小時(shí)2美元的租賃價(jià)格換算,R1的總訓(xùn)練成本為29.4萬美元(約合人民幣209萬元)。不到30萬美元的訓(xùn)練成本,與其他推理模型動(dòng)輒上千萬美元的花費(fèi)相比,可謂實(shí)現(xiàn)了極大的降本。
關(guān)于R1發(fā)布最初時(shí)所受到的“蒸餾”質(zhì)疑,DeepSeek介紹,其使用的數(shù)據(jù)全部來自互聯(lián)網(wǎng),雖然可能包含GPT-4生成的結(jié)果,但并非有意而為之,更沒有專門的蒸餾環(huán)節(jié)。所謂“蒸餾”,簡單理解就是用預(yù)先訓(xùn)練好的復(fù)雜模型輸出的結(jié)果,作為監(jiān)督信號再去訓(xùn)練另外一個(gè)模型。R1發(fā)布時(shí),OpenAI稱它發(fā)現(xiàn)DeepSeek使用了OpenAI專有模型來訓(xùn)練自己的開源模型的證據(jù),但拒絕進(jìn)一步透露其證據(jù)的細(xì)節(jié)。
R2何時(shí)問世引發(fā)關(guān)注
自今年年初發(fā)布R1以來,DeepSeek在全球樹立了開源模型的典范,但過去數(shù)月,外界對于R2何時(shí)發(fā)布始終保持高度關(guān)注,相關(guān)傳言一直不斷。不過,R2的發(fā)布時(shí)間一再推遲,外界分析R2研發(fā)進(jìn)程緩慢可能與算力受限有關(guān)。
值得注意的是,今年8月21日,DeepSeek正式發(fā)布DeepSeek-V3.1,稱其為“邁向Agent(智能體)時(shí)代的第一步”。據(jù)DeepSeek介紹,V3.1主要包含三大變化:一是采用混合推理架構(gòu),一個(gè)模型同時(shí)支持思考模式與非思考模式;二是具有更高的思考效率,能在更短時(shí)間內(nèi)給出答案;三是具有更強(qiáng)的智能體能力,通過后訓(xùn)練優(yōu)化,新模型在工具使用與智能體任務(wù)中的表現(xiàn)有較大提升。
由于R1的基座模型為V3,V3.1的升級也引發(fā)了外界對于R2“在路上”的猜測。V3.1的升級更深刻的意義在于,DeepSeek強(qiáng)調(diào)DeepSeek-V3.1使用了UE8M0 FP8 Scale的參數(shù)精度,而UE8M0 FP8是針對即將發(fā)布的下一代國產(chǎn)芯片設(shè)計(jì)。這也表明未來基于DeepSeek模型的訓(xùn)練與推理有望更多應(yīng)用國產(chǎn)AI芯片,助力國產(chǎn)算力生態(tài)加速建設(shè)。這一表態(tài)一度帶動(dòng)國產(chǎn)芯片算力股股價(jià)飆升。
中國銀河證券研報(bào)指出,DeepSeek從V3版本就開始采用FP8參數(shù)精度驗(yàn)證了其訓(xùn)練的有效性,通過降低算力精度,使國產(chǎn)ASIC芯片能在成熟制程(12-28nm)上接近先進(jìn)制程英偉達(dá)GPU的算力精度,DeepSeek-V3.1使用UE8M0 FP8 Scale參數(shù)精度,讓軟件去主動(dòng)擁抱硬件更喜歡的數(shù)據(jù)格式,“軟硬協(xié)同”的生態(tài)技術(shù)壁壘逐漸成為AI浪潮下新范式,未來國產(chǎn)大模型將更多擁抱FP8算力精度并有望成為一種新技術(shù)趨勢,通過軟硬件的協(xié)同換取數(shù)量級性能的提升,國產(chǎn)算力芯片將迎來變革。
來源:證券時(shí)報(bào)
責(zé)編:岳亞楠
校對:王朝全