2024年12月26日，AI大模型DeepSeek-V3發(fā)布并同步開源，全球刷屏。DeepSeek-V3在聊天機器人競技場中排名第七，是前十名中唯一的開源國產(chǎn)模型，且被評為性價比最高的模型。技術(shù)揭示其融合了FP8、MLA、MoE三項創(chuàng)新技術(shù)，大幅提升了性能和效率。業(yè)內(nèi)人士認(rèn)為，這些技術(shù)的應(yīng)用標(biāo)志著實質(zhì)性突破。

　　2024年12月26日，深度求索（DeepSeek）發(fā)布了其最新人工智能（AI）大模型DeepSeek-V3，并同步開源，刷屏中外AI圈。DeepSeek在兩年內(nèi)就成功開發(fā)出一款性能比肩國際頂尖的AI模型，成本僅為557萬美元，與OpenAI 7800萬美元的GPT-4訓(xùn)練成本形成鮮明對比。

　　聊天機器人競技場（Chatbot Arena）最新數(shù)據(jù)顯示，DeepSeek-V3排名全模型第七，開源模型第一。競技場官方表示，DeepSeek-V3是全球前十中性價比最高的模型。在風(fēng)格控制下表現(xiàn)穩(wěn)健，在復(fù)雜問題和代碼領(lǐng)域表現(xiàn)均位列前三。

　　在長達55頁的技術(shù)背后，DeepSeek將它的技術(shù)路線完整地展示給公眾。有人稱贊它是一次真正的技術(shù)突破，但也有人質(zhì)疑它只是現(xiàn)有優(yōu)化技術(shù)的集成而已，本質(zhì)上是新瓶裝舊酒。

　　對此，有業(yè)內(nèi)人士告訴《每日經(jīng)濟新聞》記者，DeepSeek-V3是首個創(chuàng)新融合使用了FP8、MLA、MoE三項技術(shù)的大模型，可以看作是實質(zhì)性的突破。

　　最新的聊天機器人競技場（Chatbot Arena）數(shù)據(jù)顯示，DeepSeek-V3排名第七，成為前十名中唯一的開源國產(chǎn)模型。

　　DeepSeek-V3模型被評價為國產(chǎn)第一，并且也是全球前十中性價比最高的模型。DeepSeek-V3在風(fēng)格控制下表現(xiàn)穩(wěn)健，在復(fù)雜問題和代碼領(lǐng)域沖進了前三名。

　　聊天機器人競技場是目前最知名的大模型評比榜單，用戶在平臺上同時與兩個匿名模型進行對話，提出相同問題，比較它們的回答。根據(jù)模型的回答質(zhì)量，用戶選擇自己偏好的答案，或選擇平局或都不滿意。根據(jù)用戶投票結(jié)果，平臺使用Elo評分系統(tǒng)更新模型的分?jǐn)?shù)。相比較于其他基準(zhǔn)測試，這一評分標(biāo)準(zhǔn)更能反映出真人用戶對于大模型的偏好。

　　AI智能體與大語言模型集成平臺Composio也從推理、數(shù)學(xué)、編程和創(chuàng)意寫作四個維度將DeepSeek-V3和目前最流行的兩個大模型Claude 3.5 Sonnet和GPT-4o進行了比較。

　　在編程方面，DeepSeek-V3非常接近GPT-4o的編碼能力，但Claude 3.5 Sonnet是表現(xiàn)最好的模型。不過，DeepSeek-V3的定價卻極具吸引力?？紤]到性價比，如果只是一般使用的話，Composio認(rèn)為DeepSeek-V3會是更好的選擇。

　　但是，DeepSeek現(xiàn)在API的輸入價格僅為每百萬Token0.1元人民幣，而Claude3.5 Sonnet API輸入價格為每百萬Token 3美元。Composio站在使用者的角度判斷，如果用戶想要在大模型之上構(gòu)建應(yīng)用程序，那么Deepseek-V3是明智之選。DeepSeek-V3的性價比讓它成為構(gòu)建面向客戶的AI應(yīng)用程序的理想選擇。

　　DeepSeek在它長達55頁的技術(shù)里給出了答案:DeepSeek-V3利用混合專家 (MoE)架構(gòu)來優(yōu)化性能，在每次處理過程中僅激活6710億個參數(shù)中的370億個。同時還融合使用了多頭潛在注意力(MLA)、FP8混合精度和多token預(yù)測等技術(shù)進一步提高了其效率和有效性。

　　有人質(zhì)疑稱，這些技術(shù)在很早之前就已經(jīng)提出過，DeepSeek只是將這些優(yōu)化技術(shù)集成在一起而已。

　　對此，資深業(yè)內(nèi)人士、技術(shù)交流平臺北京城市開發(fā)者社區(qū)主理人貓頭虎告訴《每日經(jīng)濟新聞》記者，DeepSeek-V3有實質(zhì)突破。他認(rèn)為，作為首個綜合實力匹敵Meta的Llama3.1-405B的國產(chǎn)開源大模型，DeepSeek-V3創(chuàng)新性地同時使用了FP8、MLA和MoE三種技術(shù)手段。

　　據(jù)悉，F(xiàn)P8是一種新的數(shù)值表示方式，用于深度學(xué)習(xí)的計算加速。相比傳統(tǒng)的FP32和FP16，F(xiàn)P8進一步壓縮了數(shù)據(jù)位數(shù)，極大地提升了硬件計算效率。雖然FP8是由英偉達提出的技術(shù)，但DeepSeek-V3是全球首家在超大規(guī)模模型上驗證了其有效性的模型。

　　貓頭虎進一步向每經(jīng)記者表示，這一技術(shù)（FP8）至少將顯存消耗降低了30%。

　　此外，相較于其他模型使用的MoE模型，DeepSeek-V3使用的MoE模型更為精簡有效。該架構(gòu)使用更具細(xì)粒度的專家并將一些專家隔離為共享專家，使得每次只需要占用很小比例的子集專家參數(shù)就可以完成計算。這一架構(gòu)的更新是2024年1月DeepSeek團隊提出的。

　　AI研究人員馬克貝克在文章中認(rèn)為DeepSeek的MoE是一個突破性的MoE語言模型架構(gòu)，它通過創(chuàng)新策略，包括細(xì)粒度專家細(xì)分和共享專家隔離，實現(xiàn)了比現(xiàn)有MoE架構(gòu)更高的專家專業(yè)化和性能。

　　但是最令人驚訝的是MLA機制，這一機制也完全由DeepSeek團隊自主提出，并最早作為核心機制引入了DeepSeek-V2模型上，極大地降低了緩存使用。不過，DeepSeek-V2模型當(dāng)時并沒有激起什么討論的熱度，只有很少一部分技術(shù)人員注意到了這一成果。

　　編者注：多頭潛在注意力（MLA）是DeepSeek-V2的核心創(chuàng)新，它不僅僅停留在低秩投影的概念上，而是通過更精細(xì)的變換設(shè)計，實現(xiàn)了在保持推理時KV Cache與GQA相當(dāng)?shù)耐瑫r，增強模型的表達能力。MLA的關(guān)鍵在于其推理階段的恒等變換技巧，允許模型在不增加KV Cache大小的情況下，利用不同的投影矩陣增強每個頭的能力。

　　貓頭虎向每經(jīng)記者表示，F(xiàn)P8、MLA和MoE的融合，是AI技術(shù)向更高效率、耕地成本發(fā)展的典型案例，尤其在DeepSeek-V3的推動下，這些技術(shù)展現(xiàn)出了寬闊的應(yīng)用前景。

　　如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。未經(jīng)《每日經(jīng)濟新聞》報社授權(quán)，嚴(yán)禁轉(zhuǎn)載或鏡像，違者必究。

　　特別提醒：如果我們使用了您的圖片，請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站，可聯(lián)系我們要求撤下您的作品。

　　刷屏的DeepSeek-V3能力到底如何？國外評測：超越迄今為止所有開源模型！自稱ChatGPT，真相或指向“AI污染”

　　DeepSeek V3發(fā)布，加速AI應(yīng)用落地，人工智能AIETF(515070)盤中翻紅

　　專訪全國政協(xié)委員、工信部原副部長王江平：AI進入實體經(jīng)濟的最大障礙是專業(yè)數(shù)據(jù)集不完善

　　成都市人大代表李大福：副省級城市中唯成都缺氣象災(zāi)害防御法規(guī)，立法迫在眉睫

　　突發(fā)！特魯多，黯然離場！馬克·卡尼將成加拿大新總理，曾任英國央行行長！如何應(yīng)對特朗普威脅？他這樣說……

　　全線進攻！俄軍攻占君士坦丁堡村，還繳獲美制主戰(zhàn)坦克！特朗普緊急宣布：恢復(fù)對烏情報共享！馬斯克表態(tài)，美方：澤連斯基已“幡然醒悟”

　　馬斯克發(fā)現(xiàn)美國政府?dāng)?shù)千億美元虛假合同；民生主題記者會舉行，事關(guān)就業(yè)、養(yǎng)老、樓市；華為離職“天才少年”刷屏；俄羅斯：全線大規(guī)模進攻丨每經(jīng)早參

　　俄軍：轉(zhuǎn)入全線大規(guī)模進攻！特朗普：澤連斯基將簽署！馬斯克：不會切斷“星鏈”

　　特朗普：馬斯克發(fā)現(xiàn)美國政府?dāng)?shù)千億美元虛假合同；美國3月12日起對這些商品征收25%關(guān)稅；華為離職“天才少年”刷屏丨每經(jīng)早參Kaiyun官網(wǎng)登錄入口 開云網(wǎng)站Kaiyun官網(wǎng)登錄入口 開云網(wǎng)站