根據(jù)TrendForce的數(shù)據(jù)，AI服務(wù)器的出貨量約為130,000臺(tái)，占全球服務(wù)器總出貨量的約1%。隨著微軟、Meta、百度和字節(jié)跳動(dòng)等主要制造商相繼推出基于生成式AI的產(chǎn)品和服務(wù)，訂單量顯著增加。預(yù)測(cè)顯示，在ChatGPT等應(yīng)用的持續(xù)需求推動(dòng)下，從2023年到2027年，AI服務(wù)器市場(chǎng)預(yù)計(jì)將保持每年12.2%的復(fù)合年增長(zhǎng)率。在這種背景下，AI服務(wù)器的發(fā)展尤為引人注目。
相關(guān)鏈接：
DGX H100：開拓AI領(lǐng)域的先驅(qū)性進(jìn)展
DGX H100是英偉達(dá)（NVIDIA） DGX系統(tǒng)于2022年發(fā)布的最新版本，也是英偉達(dá)（NVIDIA） DGX SuperPOD的核心。該系統(tǒng)采用8個(gè)H100 GPU和6400億個(gè)晶體管，其AI性能是上一代的6倍，尤其是在新的FP8精度方面表現(xiàn)出色。此外，DGX服務(wù)器還可提供900GB/s帶寬，彰顯了AI能力的顯著提升。
DGX H100服務(wù)器采用IP網(wǎng)卡，既可作為網(wǎng)卡，又可作為PCIe擴(kuò)展交換機(jī)，符合PCIe 5.0標(biāo)準(zhǔn)。此外服務(wù)器還包括CX7，以2張卡的形式提供，每張卡含有4個(gè)CX7芯片，并提供2個(gè)800G OSFP光模塊端口。對(duì)于GPU互連（H100），NVSwitch芯片起到關(guān)鍵作用。每個(gè)GPU向外擴(kuò)展18個(gè)NVLink，實(shí)現(xiàn)每個(gè)鏈路雙向帶寬達(dá)到50GB/s，總共達(dá)到900GB/s的雙向帶寬。這些帶寬分布在4個(gè)內(nèi)置的NVSwitch芯片上，每個(gè)NVSwitch對(duì)應(yīng)4-5個(gè)OSFP光模塊。每個(gè)OSFP光模塊使用8個(gè)光通道，傳輸速率為100Gbps/通道，因此總速率達(dá)到800Gbps，實(shí)現(xiàn)高速數(shù)據(jù)傳輸。
CPU、GPU等組件互連：采用PCIe交換機(jī)和重定時(shí)芯片進(jìn)行連接
PCIe交換機(jī)技術(shù)的演進(jìn)：克服通道限制
PCIe交換機(jī)（也稱為PCIe集線器）是一個(gè)關(guān)鍵組件，用于通過PCIe通信協(xié)議連接PCIe設(shè)備。它通過擴(kuò)展和聚合功能，使多個(gè)設(shè)備能夠連接到1個(gè)PCIe端口，可在很大程度上克服PCIe通道數(shù)量局限的問題。目前，PCIe交換機(jī)廣泛應(yīng)用于傳統(tǒng)存儲(chǔ)系統(tǒng)，并在各種服務(wù)器平臺(tái)上越來越受歡迎，為系統(tǒng)內(nèi)的數(shù)據(jù)傳輸速率提供顯著改善。
隨著時(shí)間的推移，PCIe總線技術(shù)的進(jìn)展意味著PCIe交換機(jī)速率的逐漸增加。最初由英特爾于2001年作為第三代I/O技術(shù)以"3GIO"的名義推出，經(jīng)過PCI-SIG的評(píng)估后在2002年更名為"PCI Express"。2003年正式發(fā)布的PCIe 1.0成為一個(gè)重要的里程碑，支持每通道傳輸速率為250MB/s，總傳輸速率為2.5 GT/s。在2022年，PCI-SIG正式發(fā)布了PCIe 6.0規(guī)范，將總帶寬提升至64 GT/s。
PCIe重定時(shí)行業(yè)的主導(dǎo)趨勢(shì)
在AI服務(wù)器中，為了確保GPU和CPU連接時(shí)的信號(hào)質(zhì)量，至少需要使用一個(gè)重定時(shí)芯片。一些AI服務(wù)器選擇使用多個(gè)重定時(shí)芯片，比如Astera Labs就在其AI加速器配置中集成了4個(gè)重定時(shí)芯片。
目前，PCIe重定時(shí)市場(chǎng)具有巨大的潛力，有三家領(lǐng)先品牌和許多潛在競(jìng)爭(zhēng)對(duì)手。目前，Parade Technologies、Astera Labs和瀾起科技是這個(gè)蓬勃發(fā)展市場(chǎng)的主要參與者，占據(jù)重要的地位。值得注意的是，作為PCIe部署的早期使用者，瀾起科技是中國內(nèi)地唯一能夠大規(guī)模生產(chǎn)PCIe 4.0重定時(shí)的供應(yīng)商。此外，瀾起科技在PCIe 5.0重定時(shí)的開發(fā)方面也取得了穩(wěn)步進(jìn)展。
此外，Renesas、TI和微芯科技等芯片制造商也積極參與PCIe重定時(shí)產(chǎn)品的開發(fā)。根據(jù)官網(wǎng)站信息，Renesas提供2款PCIe 3.0重定時(shí)產(chǎn)品，分別是89HT0816AP和89HT0832P。TI提供了一款16Gbps 8通道PCIe 4.0重定時(shí)產(chǎn)品- DS160PT801。此外，微芯科技在2020年11月推出了XpressConnect系列的重定時(shí)芯片，旨在實(shí)現(xiàn)PCIe 5.0的32GT/s速率。
GPU之間的互連：NVLink和NVSwitch
全球主要芯片制造商非常重視推廣高速接口技術(shù)。其中，英偉達(dá)（NVIDIA）的NVLink、AMD的Infinity Fabric和英特爾的CXL都做出了重要貢獻(xiàn)。
NVLink是由英偉達(dá)（NVIDIA）開發(fā)的高速互連技術(shù)。它旨在加速CPU與GPU、GPU與GPU之間的數(shù)據(jù)傳輸速率，提升系統(tǒng)性能。從2016年到2022年，NVLink經(jīng)歷多次升級(jí)，已經(jīng)發(fā)展到第四代。2016年，英偉達(dá)（NVIDIA）配合Pascal GP100 GPU的發(fā)布推出第一代NVLink。NVLink采用了高速信號(hào)互連（NVHS）技術(shù)，主要用于GPU之間和GPU與CPU之間的信號(hào)傳輸。GPU之間通過差分阻抗電信號(hào)以NRZ（不歸零）形式進(jìn)行編碼傳輸。第一代NVLink單鏈路實(shí)現(xiàn)了40GB/s的雙向帶寬，單個(gè)芯片可以支持4個(gè)鏈路，總雙向帶寬達(dá)到160GB/s。
NVLink不同階段的發(fā)展
NVLink技術(shù)經(jīng)歷多次迭代，推動(dòng)了高速互連的創(chuàng)新。2017年，基于Volta架構(gòu)推出第二代NVLink。它實(shí)現(xiàn)每個(gè)鏈路50GB/s的雙向帶寬，每個(gè)芯片支持6個(gè)鏈路，總雙向帶寬達(dá)到300GB/s。2020年，基于Ampere架構(gòu)的第三代發(fā)布，總雙向帶寬達(dá)到600GB/s。在2022年，基于Hopper架構(gòu)的第四代推出。這一迭代轉(zhuǎn)向使用PAM4調(diào)制的電信號(hào)，每個(gè)鏈路保持50GB/s的雙向帶寬，每個(gè)芯片支持18個(gè)鏈路，總雙向帶寬達(dá)到900GB/s。
NVSwitch的發(fā)展推動(dòng)實(shí)現(xiàn)高性能GPU互連
在2018年，英偉達(dá)（NVIDIA）推出NVSwitch的最初版本，為增強(qiáng)帶寬、減少延遲和促進(jìn)服務(wù)器內(nèi)多個(gè)GPU之間的通信提供解決方案。第一代NVSwitch采用TSMC的12nm FinFET工藝制造，擁有18個(gè)NVLink 2.0接口。通過部署12個(gè)NVSwitch，1個(gè)服務(wù)器可以容納和優(yōu)化16個(gè)V100 GPU之間的互連速率。
目前，NVSwitch已經(jīng)發(fā)展到第三代，采用TSMC的4N工藝制造。每個(gè)NVSwitch芯片配備了64個(gè)NVLink 4.0端口，使GPU之間的通信速率達(dá)到了900GB/s。通過NVLink Switch互連的GPU可以集體作為一個(gè)具有深度學(xué)習(xí)能力的高性能加速器運(yùn)行。
總結(jié)
PCIe芯片、重定時(shí)芯片和NVSwitch等接口互連芯片技術(shù)的發(fā)展很大程度上增強(qiáng)CPU和GPU之間以及GPU之間的互動(dòng)能力。這些技術(shù)的相互作用凸顯了人工智能服務(wù)器的動(dòng)態(tài)景觀，為高性能計(jì)算的進(jìn)步做出貢獻(xiàn)。
下載鏈接：
走進(jìn)芯時(shí)代系列
走進(jìn)芯時(shí)代（76）：HBM迭代，3D混合鍵合成設(shè)備材料發(fā)力點(diǎn)
走進(jìn)芯時(shí)代（75）：“半導(dǎo)核心材料”：萬丈高樓材料起，夯實(shí)中國“芯”地基”
走進(jìn)芯時(shí)代（74）：以芯助先進(jìn)算法，以算驅(qū)萬物智能
走進(jìn)芯時(shí)代（60）：AI算力GPU，AI產(chǎn)業(yè)化再加速，智能大時(shí)代已開啟
走進(jìn)芯時(shí)代（58）：高性能模擬替代漸入深水區(qū)，工業(yè)汽車重點(diǎn)突破
走進(jìn)芯時(shí)代（57）：算力大時(shí)代，處理器SOC廠商綜合對(duì)比
走進(jìn)芯時(shí)代（49）：“AI芯片”，AI領(lǐng)強(qiáng)算力時(shí)代，GPU啟新場(chǎng)景落地
走進(jìn)芯時(shí)代（46）：“新能源芯”，乘碳中和之風(fēng)，基礎(chǔ)元件騰飛
走進(jìn)芯時(shí)代（43）：顯示驅(qū)動(dòng)芯—面板國產(chǎn)化最后一公里
走進(jìn)芯時(shí)代（40）：半導(dǎo)體設(shè)備，再迎黃金時(shí)代
轉(zhuǎn)載申明：轉(zhuǎn)載本號(hào)文章請(qǐng)注明作者和來源，本號(hào)發(fā)布文章若存在版權(quán)等問題，請(qǐng)留言聯(lián)系處理，謝謝。
更多架構(gòu)相關(guān)技術(shù)知識(shí)總結(jié)請(qǐng)參考“架構(gòu)師全店鋪技術(shù)資料打包(全)”相關(guān)電子書(41本技術(shù)資料打包匯總詳情可通過“閱讀原文”獲取)。
全店內(nèi)容持續(xù)更新，現(xiàn)下單“架構(gòu)師技術(shù)全店資料打包匯總(全)”一起發(fā)送“服務(wù)器基礎(chǔ)知識(shí)全解(終極版)”和“存儲(chǔ)系統(tǒng)基礎(chǔ)知識(shí)全解（終極版）”pdf及ppt版本，后續(xù)可享全店內(nèi)容更新“免費(fèi)”贈(zèng)閱，價(jià)格僅收249元(原總價(jià)399元)。
溫馨提示：
掃描二維碼關(guān)注公眾號(hào)，點(diǎn)擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。
