熱度居高不下!
最近幾天,DeepSeek從驚艷到驚嚇,從被認(rèn)可到被質(zhì)疑,再?gòu)谋煌{到些許的認(rèn)可,事情處于不斷的演化當(dāng)中。今天早上,這款大模型再度迎來大消息。
微軟CEO納德拉在電話會(huì)上強(qiáng)調(diào),DeepSeek R1模型目前已可通過微軟的AI平臺(tái)Azure AI Foundry和GitHub獲取,并且很快就能在Copilot+電腦上運(yùn)行。納德拉稱,DeepSeek“有一些真的創(chuàng)新”,AI成本下降是趨勢(shì):縮放定律(Scaling Law)在預(yù)訓(xùn)練和推理時(shí)間計(jì)算中不斷積累。
另外,據(jù)@Jukanlosreve引用的Mirae Asset Securities Korea分析稱,DeepSeek的突破是通過實(shí)施大量細(xì)粒度優(yōu)化,以及在某些功能中使用Nvidia的匯編式PTX(并行線程執(zhí)行)編程而不是Nvidia的CUDA來實(shí)現(xiàn)的。這是否是昨晚英偉達(dá)股價(jià)再度殺跌的主因,還有待考證。不過,“算力通縮”似乎正在成為流行詞匯。有消息指出,美國(guó)商務(wù)部正在討論禁售英偉達(dá)H20,這或許也是該股殺跌的原因之一。
巨頭最新發(fā)聲
微軟官網(wǎng)最新顯示,DeepSeek R1現(xiàn)已在Azure AI Foundry和GitHub上的模型目錄中提供,加入了1800多個(gè)模型的多樣化產(chǎn)品組合,包括前沿、開源、行業(yè)特定和基于任務(wù)的AI模型。作為Azure AI Foundry的一部分,DeepSeek R1可在值得信賴、可擴(kuò)展且企業(yè)級(jí)就緒的平臺(tái)上訪問,使企業(yè)能夠無縫集成高級(jí)AI,同時(shí)滿足SLA、安全性和負(fù)責(zé)任的AI承諾——所有這些都由Microsoft的可靠性和創(chuàng)新支持。
微軟CEO納德拉也在電話會(huì)上強(qiáng)調(diào),DeepSeek R1模型目前已可通過微軟的AI平臺(tái)Azure AI Foundry和GitHub獲取,并且很快就能在Copilot+電腦上運(yùn)行。納德拉稱DeepSeek“有一些真的創(chuàng)新”,AI成本下降是趨勢(shì):“縮放定律(Scaling Law)在預(yù)訓(xùn)練和推理時(shí)間計(jì)算中不斷積累。多年來,我們已經(jīng)看到了AI訓(xùn)練和推理方面的效率顯著提高。在推理方面,我們通常看到每一代硬件的性價(jià)比提高2倍以上,每一代模型的性價(jià)比提高10倍以上。”
Meta首席執(zhí)行官馬克·扎克伯格周三在公司第四季度財(cái)報(bào)電話會(huì)議上向投資者傳達(dá)信息。在與華爾街分析師的電話會(huì)議問答環(huán)節(jié),扎克伯格回答了多個(gè)問題,這些問題涉及DeepSeek令人印象深刻的AI模型以及對(duì)Meta的AI戰(zhàn)略的影響。他說,DeepSeek能夠以相對(duì)較少的資金取得成就“只會(huì)加強(qiáng)我們的信念,即這是值得關(guān)注的正確事情”。
扎克伯格指出,“他們做的很多新奇事我們?nèi)栽谙?,Meta計(jì)劃將DeepSeek的進(jìn)步應(yīng)用到Llama中。DeepSeek導(dǎo)致人工智能股票大幅拋售,因?yàn)槿藗儞?dān)心模型不再需要那么多計(jì)算能力。扎克伯格試圖打消人們對(duì)他在GPU上花費(fèi)的數(shù)十億美元將白費(fèi)的擔(dān)憂:“我仍然認(rèn)為,從長(zhǎng)遠(yuǎn)來看,在資本支出和基礎(chǔ)設(shè)施方面投入大量資金將是一種戰(zhàn)略優(yōu)勢(shì)。”
他還對(duì)OpenAI、Anthropic和其他尚未盈利的初創(chuàng)公司進(jìn)行了不加掩飾的批評(píng),指出Meta擁有“強(qiáng)大的商業(yè)模式”來支持其今年在人工智能方面投入的約600億美元,而“其他公司不一定擁有可持續(xù)的商業(yè)模式來支持它”。
關(guān)于蒸餾技術(shù)
最近兩天,市場(chǎng)對(duì)DeepSeek的質(zhì)疑之聲也多了起來,其中討論得最多的可能就是利用蒸餾技術(shù)訓(xùn)練模型的事。OpenAI也表示,正在審查DeepSeek使用一種稱為“蒸餾”的技術(shù),從OpenAI的工具中提取大量數(shù)據(jù)以幫助開發(fā)其技術(shù)的跡象。
然而,據(jù)最新消息,市場(chǎng)對(duì)此分歧也很大。處于被動(dòng)地位的美國(guó)政府和OpenAI的反應(yīng)應(yīng)該是在預(yù)期之內(nèi)的。但總部位于舊金山的Databricks的人工智能副總裁Naveen Rao表示,在人工智能行業(yè),向競(jìng)爭(zhēng)對(duì)手學(xué)習(xí)是“理所當(dāng)然的事”。當(dāng)服務(wù)條款禁止時(shí),該公司不會(huì)使用這種技術(shù)。
Rao將此比作汽車制造商購(gòu)買并檢查彼此的發(fā)動(dòng)機(jī)?!肮降卣f,這種情況在每種情況下都會(huì)發(fā)生。競(jìng)爭(zhēng)是真實(shí)存在的,當(dāng)它是可提取的信息時(shí),你會(huì)提取它并試圖獲得勝利?!崩瓓W說?!拔覀兌荚噲D成為好公民,但我們同時(shí)都在競(jìng)爭(zhēng)?!?/p>
Thomvest Ventures董事總經(jīng)理Umesh Padval表示:“當(dāng)你擁有Mistral和Llama等開源模型時(shí),模型提煉是不可能停止的。它們可供所有人使用。他們還可以通過客戶在某個(gè)地方找到OpenAI的模型。”
DeepSeek在最近的一篇研究論文中表示,它使用“蒸餾”技術(shù)從其最強(qiáng)大的模型R1中獲取輸出,以訓(xùn)練表現(xiàn)出類似推理能力的較小模型。
沖擊英偉達(dá)護(hù)城河?
目前,市場(chǎng)上還有一種說法:DeepSeek甚至繞過了CUDA,并因此沖擊到了英偉達(dá)的護(hù)城河。
據(jù)外媒——硬件媒體Tom‘s Hardware報(bào)道,來自Mirae Asset Securities Research(韓國(guó)未來資產(chǎn)證券)的分析稱,V3的硬件效率之所以能比Meta等高出10倍,可以總結(jié)為“他們從頭開始重建了一切”。在使用英偉達(dá)的H800 GPU訓(xùn)練DeepSeek-V3時(shí),他們針對(duì)自己的需求把132個(gè)流式多處理器(SMs)中的20個(gè)修改成負(fù)責(zé)服務(wù)器間的通信,而不是計(jì)算任務(wù)。變相繞過了硬件對(duì)通信速度的限制。
這一突破是通過實(shí)施大量細(xì)粒度優(yōu)化以及在某些功能中使用Nvidia的匯編式PTX(并行線程執(zhí)行)編程而不是Nvidia的CUDA來實(shí)現(xiàn)的。Nvidia的PTX(并行線程執(zhí)行)是Nvidia為其GPU設(shè)計(jì)的中間指令集架構(gòu)。PTX位于高級(jí)GPU編程語言(如CUDA C/C++或其他語言前端)和低級(jí)機(jī)器代碼(流式匯編或SASS)之間。PTX是一種接近金屬的ISA,它將GPU公開為數(shù)據(jù)并行計(jì)算設(shè)備,因此允許細(xì)粒度優(yōu)化,例如寄存器分配和線程/warp級(jí)別調(diào)整,這是CUDA C/C++和其他語言無法實(shí)現(xiàn)的。一旦PTX進(jìn)入SASS,它就會(huì)針對(duì)特定一代的Nvidia GPU進(jìn)行優(yōu)化。
這些修改遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)CUDA級(jí)開發(fā)的范圍,但維護(hù)起來卻非常困難。因此,這種級(jí)別的優(yōu)化反映了DeepSeek工程師的卓越技能。全球GPU短缺,加上美國(guó)的限制,迫使DeepSeek等公司采用創(chuàng)新解決方案,DeepSeek也取得了突破。不過,分析認(rèn)為,DeepSeek做了PTX級(jí)別的優(yōu)化不意味著完全脫離了CUDA生態(tài),但確實(shí)代表他們有優(yōu)化其他GPU的能力。
責(zé)編:羅曉霞
校對(duì):楊舒欣