架構(gòu)師技術(shù)聯(lián)盟

本文來自“《他山之石系列：交換機(jī)專題合集》”“交換機(jī)專題：國內(nèi)外交換機(jī)發(fā)展趨勢研究”，據(jù)IDC數(shù)據(jù)，2022年，全球交換機(jī)市場規(guī)模為3080億元，同比增長17%，預(yù)測2022-2027年CAGR約為4.6%；中國交換機(jī)市場規(guī)模為591億元，同比增長9.5%，預(yù)計(jì)未來5年增速高于全球增速，穩(wěn)定在7%-

本文來自“模型即服務(wù)：MaaS框架與應(yīng)用研究報(bào)告（2024年）”，隨著以大模型為核心的人工智能技術(shù)的深入發(fā)展，模型即服務(wù)(MaaS，Model as a Service)作為一種新型人工智能服務(wù)模式煥發(fā)新生。本章將明確MaaS的概念及主要的服務(wù)能力范圍，剖析大模型時(shí)代MaaS快速發(fā)展的必然性，闡述M

更多內(nèi)容請參考“鯤鵬CPU軟件性能調(diào)優(yōu)（精編版）”，從硬件特點(diǎn)分析如何進(jìn)行性能調(diào)優(yōu)，同時(shí)還介紹了項(xiàng)目中性能調(diào)優(yōu)的思路和常用性能采集工具?！敖K極版：服務(wù)器基礎(chǔ)知識(shí)全解(182頁P(yáng)PT)”和“2024中國服務(wù)器CPU行業(yè)概覽：信創(chuàng)帶動(dòng)服務(wù)器CPU國產(chǎn)化”。鯤鵬處理器為核心的華為TaiShan服務(wù)器在國產(chǎn)

算?需求爆發(fā)式增? vs. 算?硬件演進(jìn)呈現(xiàn)領(lǐng)域化、規(guī)模化、異構(gòu)化特征，應(yīng)?的算?外需求驅(qū)動(dòng)操作系統(tǒng)在調(diào)度機(jī)制上突破，新算?硬件體系對調(diào)度機(jī)制造成了多??的挑戰(zhàn)。本文來自“面向新算力硬件體系的調(diào)度技術(shù)挑戰(zhàn)”，重點(diǎn)分析面向新算力硬件體系的調(diào)度技術(shù)挑戰(zhàn)，以及應(yīng)對之道。推薦閱讀：2024年半導(dǎo)體分析洞察（

目前，AGI處于研發(fā)階段，大模型是實(shí)現(xiàn)AGI的重要路徑。AI大模型通過預(yù)先在海量數(shù)據(jù)上進(jìn)行大規(guī)模訓(xùn)練，而后能通過微調(diào)以適應(yīng)一系列下游任務(wù)的通用人工智能模型。在“大數(shù)據(jù)+大算力+強(qiáng)算法”的加持下，進(jìn)一步通過“提示+指令微調(diào)+人類反饋”方式，實(shí)現(xiàn)一個(gè)模型應(yīng)用在很多不同領(lǐng)域。人工智能的發(fā)展已經(jīng)從“大煉模型

根據(jù)Hyperion Research在2024年國際超級(jí)計(jì)算大會(huì)（ISC 2024）前發(fā)布的年度HPC市場更新報(bào)告，2023年HPC市場整體規(guī)模約為370億美元。由于供應(yīng)鏈問題和一些大型系統(tǒng)（如E級(jí)系統(tǒng)）的接受度放緩，市場表現(xiàn)相對平穩(wěn)。本地化服務(wù)器收入下降了2.7%，而與HPC相關(guān)的云端支出則顯著

本文來自“Computex 2024 AMD主題演講：CPU+GPU+UA互聯(lián)廠商”，6月3日，AMD在臺(tái)北 ComputeX 2024 大會(huì)上詳細(xì)展示了其在CPU、GPU及UA互聯(lián)等方面的最新產(chǎn)品：Zen 5：展示被蘇姿豐稱之為“迄今為止性能最高、能效最高的處理器核心”——全新

本文參考自“模型變革：云端融合為趨勢（2024）”，從GPT-1到GPT-5，GPT模型的智能化程度不斷提升。ChatGPT在擁有3000億單詞的語料基礎(chǔ)上預(yù)訓(xùn)練出擁有1750億個(gè)參數(shù)的模型（GPT-2僅有15億參數(shù)），預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB。AI對云廠商資本開支需求的拉動(dòng)始于2023年

在深入探究 AI 智算網(wǎng)絡(luò)的領(lǐng)域時(shí)，我們發(fā)現(xiàn)市場中主要存在兩大主流架構(gòu)：InfiniBand 和RoCEv2。更多內(nèi)容參考：“智算中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)實(shí)踐（2023）”、“英偉達(dá)InfiniBand：面向AIGC的技術(shù)優(yōu)勢分析”、“InfiniBand與RoCE對比分析：AI數(shù)據(jù)中心網(wǎng)絡(luò)選擇指南”、“關(guān)

本文來自“2024面向未來的算力網(wǎng)絡(luò)連接：中國算力網(wǎng)絡(luò)市場發(fā)展白皮書”，數(shù)據(jù)中心是用以集中放置計(jì)算機(jī)系統(tǒng)、通信和存儲(chǔ)等設(shè)備的基礎(chǔ)設(shè)施。只提供場地和機(jī)柜的數(shù)據(jù)中心，一般稱為DC（Data Center），而同時(shí)提供帶寬服務(wù)的數(shù)據(jù)中心，一般稱IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心Internet Data C

HBM即高帶寬存儲(chǔ)，由多層DRAM Die垂直堆疊，每層Die通過TSV穿透硅通孔技術(shù)實(shí)現(xiàn)與邏輯Die連接，使得8層、12層Die封裝于小體積空間中，從而實(shí)現(xiàn)小尺寸于高帶寬、高傳輸速度的兼容，成為高性能AI服務(wù)器GPU顯存的主流解決方案。目前迭代至HBM3的擴(kuò)展版本HBM3E，提供高達(dá)8Gbps的傳

本文來自“英偉達(dá)Blachwell平臺(tái)網(wǎng)絡(luò)配置詳解”。GTC大會(huì)英偉達(dá)展示了全新的 Blackwell 平臺(tái)系列產(chǎn)品，包括 HGX B100 服務(wù)器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交換機(jī)和 CX8 網(wǎng)卡（InfiniB

AI大模型的快速發(fā)展推動(dòng)“算力”和“存力”需求快速增長，“內(nèi)存墻”問題由來已久，在 AI 時(shí)代表現(xiàn)的愈發(fā)明顯，“算力”和“運(yùn)力”之間的差距越來越大。Transformer 類的模型參數(shù)的數(shù)量呈現(xiàn)指數(shù)增長，每兩年增加 410 倍，而 GPU 內(nèi)存僅以每兩年 2 倍的速度擴(kuò)展。1、AI時(shí)代“內(nèi)存墻”問題

本文轉(zhuǎn)自“英偉達(dá)：下一代GPU細(xì)節(jié)曝光”。Nvidia 正在準(zhǔn)備該公司的 GeForce RTX 50 系列 (Blackwell) 產(chǎn)品，以與最好的顯卡相競爭。著名硬件泄密者 @kopite7kimi 聲稱，根據(jù)他的信息，Blackwell系列的內(nèi)存接口配置不會(huì)與Ada Lovelace系列有太大

隨著AI技術(shù)和相關(guān)應(yīng)用的不斷發(fā)展，大模型、大數(shù)據(jù)和AI計(jì)算能力在AI發(fā)展中的重要性日益凸顯。大模型和數(shù)據(jù)集構(gòu)成AI研究的軟件基礎(chǔ)，而AI算力是關(guān)鍵的基礎(chǔ)設(shè)施。在本文中，我們將探討AI發(fā)展對數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的影響。下載鏈接：AI數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)需求：400/800G光模塊Fat-Tree數(shù)據(jù)中心網(wǎng)絡(luò)架

本文來源于“沙利文：2023年中國服務(wù)器操作系統(tǒng)行業(yè)市場研究報(bào)告”。得益于新基建快速推進(jìn)、政策引導(dǎo)下信創(chuàng)產(chǎn)業(yè)的蓬勃發(fā)展，國產(chǎn)服務(wù)器操作系統(tǒng)正逐步崛起。中國基礎(chǔ)軟件根技術(shù)自主掌控能力重視程度不斷提高，越來越多的中國企業(yè)已經(jīng)意識(shí)到其重要性，正在以更加積極擁抱的態(tài)度面對服務(wù)器操作系統(tǒng)領(lǐng)域的國產(chǎn)化替代趨勢。

InfiniBand（IB）是由InfiniBand貿(mào)易協(xié)會(huì)（IBTA）建立的先進(jìn)計(jì)算機(jī)網(wǎng)絡(luò)通信標(biāo)準(zhǔn)。它在高性能計(jì)算（HPC）中的廣泛采用歸功于它能夠?yàn)榫W(wǎng)絡(luò)傳輸提供卓越的吞吐量、帶寬和低延遲。InfiniBand是計(jì)算系統(tǒng)內(nèi)部和外部的關(guān)鍵數(shù)據(jù)連接。無論是通過直接鏈路還是通過網(wǎng)絡(luò)交換機(jī)進(jìn)行互連，Inf

根據(jù)TrendForce的數(shù)據(jù)，AI服務(wù)器的出貨量約為130,000臺(tái)，占全球服務(wù)器總出貨量的約1%。隨著微軟、Meta、百度和字節(jié)跳動(dòng)等主要制造商相繼推出基于生成式AI的產(chǎn)品和服務(wù)，訂單量顯著增加。預(yù)測顯示，在ChatGPT等應(yīng)用的持續(xù)需求推動(dòng)下，從2023年到2027年，AI服務(wù)器市場預(yù)計(jì)將保持

NVIDIA NVLink已成為高性能計(jì)算（HPC）和人工智能領(lǐng)域的關(guān)鍵技術(shù)。本文深入探討了NVLink的復(fù)雜性，并介紹NVSwitch芯片、NVLink服務(wù)器和NVLink交換機(jī)，以揭示其在不斷演進(jìn)的先進(jìn)計(jì)算領(lǐng)域中的重要性。關(guān)于CPU、服務(wù)器和存儲(chǔ)詳細(xì)技術(shù)，請參考“服務(wù)器基礎(chǔ)知識(shí)全解(終極版)”，

01、術(shù)語與基礎(chǔ)大模型訓(xùn)練一般都是用單機(jī) 8 卡 GPU 主機(jī)組成集群，機(jī)型包括 8*{A100,A800,H100,H800} 。下面一臺(tái)典型 8*A100 GPU 的主機(jī)內(nèi)硬件拓?fù)洌簗 典型 8 卡 A100 主機(jī)硬件拓?fù)浔疚膩碜浴案咝阅蹽PU服務(wù)器硬件拓?fù)渑c集群組網(wǎng)”。本節(jié)將基于這張