2025-02-28 09:12:07
2月25日，DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示，这是第一个用于MoE（专家）模型训练和推理的开源EP通信库。
“高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA（远程直接内存访问，一种通信技术）；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU（图形处理器）资源控制，实现计算与通信重叠。”DeepSeek如此介绍DeepEP的特点。
EP即expert parallelism（专家并行），是一种在大规模分布式AI模型训练中使用的技术，能用于提升模型并行处理能力和训练效率。DeepSeek表示，对于延迟敏感的推理解码任务，DeepEP包含有一组使用纯RDMA的低延迟内核，可以用于将延迟最小化，DeepEP还引入一种通信与计算重叠的方法，这种方法可以不占(zhàn)用(yòng)SM（流(liú)处(chù)理(lǐ)器(qì)）资(zī)源(yuán)。简(jiǎn)而(ér)言(yán)之(zhī)，DeepEP也(yě)是(shì)用(yòng)于(yú)提(tí)升(shēng)GPU（图(tú)形(xíng)处(chù)理(lǐ)器(qì)）利(lì)用(yòng)效(xiào)率(lǜ)的(de)关键技(jì)术(shù)之(zhī)一(yī)。
有(yǒu)位(wèi)软(ruǎn)件(jiàn)工(gōng)程(chéng)师(shī)激(jī)动(dòng)地(de)表(biǎo)示(shì)，“DeepSeek在(zài)MoE模(mó)型(xíng)上(shàng)所(suǒ)达(dá)到(dào)的(de)优(yōu)化(huà)水(shuǐ)平(píng)，令(lìng)人(rén)印(yìn)象(xiàng)深(shēn)刻(kè)，因(yīn)为(wèi)MoE模(mó)型(xíng)因其规模和复杂性而广为人知，难度(dù)非(fēi)常(cháng)大(dà)。而(ér)DeepEP能够如此精确地处理这些问题，使用像NVLink和RDMA这样的先进硬件，并且支持FP8，真是太牛了。”
有网友称，DeepSeek再次突破了AI基础设施的极限。这种创新方法或将改变AI领域的沟通方式。从此，AI开发者也许能有效突破大规模AI模型的界限。
性能可比肩OpenAI o1的DeepSeek-R1是基于DeepSeek-V3训练出来的模(mó)型(xíng)，DeepSeek-V3此(cǐ)前(qián)就(jiù)以(yǐ)不(bù)大(dà)规(guī)模(mó)使(shǐ)用(yòng)最(zuì)先(xiān)进(jìn)的(de)英(yīng)伟(wěi)达(dá)GPU、低(dī)训(xun)练(liàn)预(yù)算(suàn)著(zhe)称(chēng)。为(wèi)了(le)在(zài)已(yǐ)有(yǒu)的(de)GPU上(shàng)训(xun)练(liàn)大(dà)模(mó)型(xíng)，DeepSeek进(jìn)行了诸多创新，以高效利用GPU算力。有学界人士此前就解读了DeepSeek-V3实现计算与通信重叠的重要作用。
清华大学计算机系长聘教授翟季冬在解读DeepSeek的相关技术时表示，DeepSeek-V3为了训练效率提(tí)升，做了四方面的优化，包括负载均衡、通信优化、内存优化和计算优化。为此，DeepSeek团队充分挖掘了算法、软件和硬件协同创新的(de)潜力，例如为了降低通信开销想了很多办法，包括精细化编排计算和通讯。“DeepSeek提出一种流水线并行(xíng)算(suàn)法(fǎ)DualPipe，通(tōng)过(guò)精(jīng)细(xì)控(kòng)制(zhì)分(fēn)配(pèi)给(gěi)计(jì)算(suàn)和(hé)通(tōng)信(xìn)的(de)GPU SM数(shù)量(liàng)，实(shí)现(xiàn)计(jì)算(suàn)和(hé)通(tōng)信(xìn)完(wán)全重(zhòng)叠(dié)，从(cóng)而(ér)提(tí)高(gāo)GPU资(zī)源(yuán)的(de)利(lì)用(yòng)率(lǜ)。期(qī)间(jiān)，DeepSeek团(tuán)队(duì)使(shǐ)用(yòng)了(le)英(yīng)伟(wěi)达(dá)底(dǐ)层(céng)的(de)PTX语(yǔ)言(yán)来(lái)控(kòng)制(zhì)SM的(de)使(shǐ)用(yòng)。” 翟(dí)季(jì)冬(dōng)表(biǎo)示(shì)。中(zhōng)存(cún)算(suàn)半(bàn)导(dǎo)体(tǐ)董(dǒng)事(shì)长(zhǎng)陈(chén)巍(wēi)解(jiě)析(xī)DeepSeek-V3和(hé)R1训(xun)练(liàn)结(jié)构(gòu)的(de)独(dú)特(tè)优(yōu)势(shì)时(shí)也(yě)指(zhǐ)出(chū)，DeepSeek设(shè)计(jì)了(le)DualPipe算(suàn)法(fǎ)来(lái)实(shí)现(xiàn)更(gèng)高(gāo)效(xiào)的(de)流(liú)水(shuǐ)线(xiàn)并(bìng)行(xíng)，并(bìng)通(tōng)过(guò)计(jì)算(suàn)与(yǔ)通(tōng)信(xìn)的(de)重(zhòng)叠(dié)隐(yǐn)藏(cáng)了(le)大(dà)模(mó)型(xíng)训(xun)练(liàn)过(guò)程(chéng)中(zhōng)的(de)大(dà)部(bù)分(fēn)通(tōng)信(xìn)开(kāi)销(xiāo)。此(cǐ)外(wài)，DeepSeek开(kāi)发(fā)了(le)跨(kuà)节(jié)点(diǎn)All-to-All通(tōng)信(xìn)内(nèi)核(hé)，以(yǐ)充(chōng)分(fēn)利(lì)用(yòng)InfiniBand和(hé)NVLink带(dài)宽(kuān)，对(duì)显(xiǎn)存(cún)使(shǐ)用(yòng)进(jìn)行(xíng)了(le)优(yōu)化(huà)，使(shǐ)得(de)DeepSeek无(wú)需(xū)使(shǐ)用(yòng)昂(áng)贵(guì)的(de)张(zhāng)量(liàng)并(bìng)行(xíng)即(jí)可(kě)训(xun)练(liàn)DeepSeek-V3。就(jiù)开(kāi)源(yuán)DeepEP通(tōng)信(xìn)库(kù)的(de)影(yǐng)响(xiǎng)询(xún)问(wèn)DeepSeek后(hòu)，它(tā)的(de)回(huí)答(dá)是(shì)，DeepEP能(néng)显(xiǎn)著(zhe)提(tí)升(shēng)MoE模(mó)型(xíng)的(de)训(xun)练(liàn)和(hé)推(tuī)理(lǐ)效(xiào)率(lǜ)，显(xiǎn)著(zhe)降(jiàng)低(dī)计(jì)算(suàn)资(zī)源(yuán)消(xiāo)耗(hào)，开(kāi)源(yuán)DeepEP有(yǒu)助(zhù)于(yú)降(jiàng)低(dī)AI技(jì)术(shù)的(de)开(kāi)发(fā)成(chéng)本(běn)，且(qiě)有(yǒu)助(zhù)于(yú)减(jiǎn)少(shǎo)重(zhòng)发(fā)开(kāi)发(fā)。
DeepSeek此(cǐ)前(qián)宣(xuān)布(bù)，本(běn)周(zhōu)会(huì)陆(lù)续(xù)开(kāi)源(yuán)5个(gè)代(dài)码(mǎ)库(kù)。加(jiā)上(shàng)2月(yuè)24日(rì)开(kāi)源(yuán)的(de)代(dài)码(mǎ)库(kù)FlashMLA，DeepSeek已(yǐ)开(kāi)源(yuán)了(le)2个(gè)代(dài)码(mǎ)库(kù)，接(jiē)下(xià)来(lái)还(hái)有(yǒu)3个(gè)代(dài)码(mǎ)库(kù)待(dài)开(kāi)源(yuán)。
MORE
