首個臺積電WoW 3D封裝IPU芯片量產(chǎn)
日前，IPU公司Graphcore（擬未）宣布推出其全新稱為Bow的IPU，以及計算刀片：Bow-Machine和計算系統(tǒng)Bow Pod系列。相比較搭載第二代IPU——Colossus Mk2 GC200的M2000而言，Bow Pod系列可以實現(xiàn)總體40%的性能提升，以及每瓦性能16%的提升。
摩爾定律放緩，封裝跟上
摩爾定律放緩已經(jīng)成為了一個不爭的事實。而其失效原因，歸根結(jié)底是在于漏電與散熱問題，因此業(yè)界紛紛提出各種解決方案，包括DSA架構(gòu)、3D封裝等，小心地避開晶體管物理陷阱。
實際上在Graphcore宣布推出Mk1時，就采用了多內(nèi)核計算與細粒度存儲SRAM緊耦合的架構(gòu)，從而解決AI時代所面臨的數(shù)據(jù)傳輸瓶頸。而這也收獲了明顯的成績——其第二代IPU直接叫板英偉達的A100系列，并給出了在多個主流模型上的實際測試結(jié)果。
對比Mk1，Mk2的晶體管數(shù)量翻了一倍多，基本都增加到了片內(nèi)SRAM上，從304MB增加到了將近900MB，使得其性能相比Mk1增加了8倍之多，工藝制程也從臺積電的16nm升級至7nm。
如果說Mk1和Mk2是Graphcore通過創(chuàng)新DSA架構(gòu)，實現(xiàn)了性能的飛躍。如今，為了進一步解決散熱問題，其與臺積電合作，通過WoW（Wafer on Wafer）3D封裝方式，實現(xiàn)了性能及功耗比的進一步提升。
通過Graphcore Bow產(chǎn)品的宣傳資料可以看出，多出來的將近6億顆晶體管，一方面是增加了數(shù)據(jù)吞吐率，另外則是為了優(yōu)化電源結(jié)構(gòu)。
如圖所示，底層結(jié)構(gòu)依然為IPU的計算和存儲單元，但是上層Wafer使用了Closely Coupled Power Delivery Die技術(shù)，使得供電網(wǎng)絡(luò)可以以最短的路徑為下層IPU供電，從而實現(xiàn)更小的損耗。
正如臺積電在2021年財報中所述，公司的SoIC技術(shù)同時提供晶圓對晶圓（Wafer on Wafer，WoW）或是晶片對晶圓（Chip on Wafer，CoW）制程，能夠同時堆疊同質(zhì)或異質(zhì)晶片，大幅提升系統(tǒng)效能，并且縮小產(chǎn)品晶片尺寸。在CoW制程研發(fā)持續(xù)進行的同時，臺積電公司的WoW的技術(shù)，已經(jīng)成功于2020年，在邏輯對記憶體以及邏輯對深溝槽電容（Deep Trench Capacitor，DTC）的垂直異質(zhì)整合（Heterogeneous Integration）上，展現(xiàn)出優(yōu)異的電性能。
Graphcore大中華區(qū)總裁兼全球首席營收官盧濤也表示，5nm與7nm相比，生產(chǎn)工藝所帶來的收益并不像第一代的16nm與第二代的7nm那樣，而是只有20%左右的提升，但我們可以通過諸如封裝等創(chuàng)新，可以更加容易地獲取同樣收益。
而根據(jù)此前臺積電所給出的路線圖，2022年N7+DTC的推出日期，剛好與Graphcore的Bow產(chǎn)品相吻合。
值得注意的是，此次Bow的發(fā)布，不只是芯片，同時也包括了可立即發(fā)貨且靈活配置的IPU系統(tǒng)，這也標志著Bow的成功量產(chǎn)。
軟件進一步優(yōu)化
除了硬件本身之外，Graphcore產(chǎn)品性能的提升，也得益于其整個軟件棧的生態(tài)系統(tǒng)。Graphcore中國工程副總裁、AI算法科學家金琛表示，其中最核心的是Poplar SDK，包括驅(qū)動、圖編譯器PopART、上層backend等，此外還提供了各類AI軟件框架，API等支持。而正是因為Bow與此前的產(chǎn)品在結(jié)構(gòu)上沒有任何更改，因此軟件代碼可實現(xiàn)100%兼容。
金琛同時介紹道，其中針對模型性能優(yōu)化的工作，大部分由中國團隊負責。而根據(jù)Graphcore給出的一組實測數(shù)據(jù)結(jié)果，也顯示出在不同的模型下，性能均有所提升，這其中一部分原因是處理器性能提升，另外則是針對模型進行了許多優(yōu)化。
得益于Bow系統(tǒng)軟硬件的優(yōu)化，其與英偉達的DGX-A100相比，性價比優(yōu)勢進一步突出，TCO（總體擁有成本）僅為英偉達的1/10。
AI芯片不能完全依賴DSA
如今，隨著AI模型算法的迅速迭代，有些DSA架構(gòu)的處理器，在模型更新后，就顯得力不從心了。盧濤對此表示，早些年業(yè)界談AI，必然離不開CNN，因此誕生出很多針對CNN計算優(yōu)化的加速器，也采用了先進制程，并且提供數(shù)百pFLOPS算力，在CNN上確實能夠達到A100級別的表現(xiàn)。但是，隨著業(yè)界轉(zhuǎn)向Transformer，其算力可能只能達到V100級別。
Graphcore的IPU推出之時，并沒有針對某個模型進行架構(gòu)優(yōu)化，而是通過搭建底層計算圖架構(gòu)，從而支持廣泛的模型。實際在2020年，Graphcore就捕捉到了Transformer的趨勢，并開發(fā)了許多基于Transformer的視覺和語音模型。也正因此，在如今Transformer的應(yīng)用場景中，Graphcore的IPU在訓練上可以和英偉達打個平手，但是在推理上則具有明顯的優(yōu)勢。
與中國客戶的廣泛合作
去年一年中，Graphcore與包括升哲科技、安捷中科、深勢科技等公司圍繞包括城市治理、氣象以及分子動力學等領(lǐng)域開展合作。同時也與幾家主流的互聯(lián)網(wǎng)云廠商合作，包括金山云推出了基于Graphcore IPU平臺的服務(wù)器產(chǎn)品——金山云IPU服務(wù)器，用于AI任務(wù)在云端的訓練和推理，這也是中國首個大型公有云廠商對外公開推出自己的IPU云產(chǎn)品。此外，Graphcore也與神州數(shù)碼簽署了合作協(xié)議，通過各種靈活的方式，為客戶提供IPU的相關(guān)產(chǎn)品。
目前，Graphcore的全球客戶，涵蓋國家實驗室、醫(yī)藥健康、保險、云以及其他科學、金融等方面。其中，Pacific Northwest成為了首批Bow Pod用戶，基于Transformer的模型以及圖神經(jīng)網(wǎng)絡(luò)，進行計算化學和網(wǎng)絡(luò)安全方面的應(yīng)用。
超越人腦的古德計算機
除了Bow系列產(chǎn)品之外，盧濤還介紹了Graphcore正在開發(fā)的超級智能AI計算機Good Computer計劃——古德計算機，預(yù)計2024年交付，用以紀念計算機科學先驅(qū)杰克·古德。其率先在其1965年的論文《關(guān)于第一臺超級智能機器的推測》中描述了一種超越大腦能力的機器。
根據(jù)Graphcore的規(guī)劃，古德計算機將包括8192個未來計劃中的IPU，能夠提供超過10 Exa-Flops的AI算力，實現(xiàn)4 PB的存儲單元，可助力超過500萬億參數(shù)規(guī)模的人工智能模型的開發(fā)。預(yù)計價格在100萬美元到1.5億美元的規(guī)模。
盧濤表示，人類大腦中大概有860億個神經(jīng)元，100萬億個突觸。目前最大的人工智能模型的參數(shù)跟真正的人的大腦比較起來，可能還有100倍左右的差距。而未來古德計算機的規(guī)劃，就是要成為超越人腦的超級智能機器。
盧濤同時認為，該架構(gòu)的整體思路依然會沿用如今的IPU體系，主要原因是Graphcore多年來針對其硬件和軟件的積累，以及用戶的使用習慣的延續(xù)。
目前Graphcore IPU中具有1472個tiles（處理器內(nèi)核），也有高達900MB的SRAM處理器內(nèi)存，運作機理和大腦的神經(jīng)元類似，但這并不是類腦或存內(nèi)計算架構(gòu)。
實際上，就目前來看，無論是類腦，還是存內(nèi)計算，都距離商業(yè)化較為久遠，其中最主要原因依然是精度問題。
除此之外，金琛也補充道，想超越人腦，在模型方面，也需要支持稀疏化，通過低功耗執(zhí)行大規(guī)模的模型，目前Graphcore在稀疏化方面也一直在進行一些嘗試。2021年，Graphcore曾經(jīng)發(fā)表過一篇研究論文，以IPU上的大型語言模型預(yù)訓練為例，演示了如何有效地實施稀疏訓練。
AI芯片的X×Y×Z矩陣
盧濤表示，如今的AI領(lǐng)域，面臨著X×Y×Z的抉擇關(guān)系，其中X代表應(yīng)用，Y是框架，Z是處理器，如果大家都沿著不同應(yīng)用，不同框架，不同處理器去做研發(fā)和優(yōu)化，那么X×Y×Z的可能性會非常多。但隨著業(yè)界逐漸有一套穩(wěn)定的主賽道之后，對于芯片廠商會有很多好處，盡管賽道的人可能更多，但這條路會變得很寬，同時也不會出現(xiàn)跑偏的情況，這有助于廠商獲得更廣泛的開發(fā)者和市場。
顯然，目前Graphcore所處賽道的正前方，一直都是英偉達。
來源：?電子工程世界??
統(tǒng)一Chiplet互聯(lián)標準！英特爾/AMD/Arm/臺積電等十大巨頭成立UCIe聯(lián)盟
臺灣竹科發(fā)生跳電，力積電、臺積電、世界先進等均受影響！
任奇?zhèn)コ鋈握逛J代理CEO！楚慶遭免職后將加盟創(chuàng)業(yè)公司，估值已達60億元？
美國制裁之下，臺積電/格芯/英特爾/AMD等半導體大廠已斷供俄羅斯
2021Q4全球智能手機芯片市場：聯(lián)發(fā)科第一，展銳第四，華為份額僅剩1%
2022年全球CIS市場規(guī)模將達219億美元：豪威科技將拿下12.9%份額
三星晶圓代工疑“良率造假”，4nm良率僅35%？傳高通3nm芯片將全面轉(zhuǎn)向臺積電
中國移動PC服務(wù)器集采：華為鯤鵬芯片服務(wù)器占比16.55%
豪威科技推出全球最小0.56μm像素技術(shù)：將基于臺積電28nm打造2億像素CIS芯片
英特爾全系產(chǎn)品及技術(shù)路線圖公布：Arrow Lake首發(fā)2nm工藝，2024年上半年量產(chǎn)
行業(yè)交流、合作請加微信：icsmart01
芯智訊官方交流群：221807116