“生成式AI需要更高的芯片算力和片間互聯(lián)能力。”

“大模型算力需求超過半導(dǎo)體增長(zhǎng)曲線，Chiplet是滿足需求的關(guān)鍵。”

“（大模型需要）分布式計(jì)算能力，包括數(shù)據(jù)并行、模型并行、流水并行等分布式計(jì)算方案，計(jì)算效率尤其關(guān)鍵。”

(資料圖)

自去年年底大模型“熱潮”席卷而來，半導(dǎo)體業(yè)內(nèi)對(duì)于大模型需要什么樣的硬件的問題眾說紛紜。當(dāng)前國(guó)內(nèi)外大模型的數(shù)量已發(fā)展到以百千計(jì)，大模型參數(shù)量也發(fā)展到千億級(jí)。在這種趨勢(shì)下，算力芯片究竟該如何適應(yīng)大模型不斷增長(zhǎng)的算力需求？

從集群的角度看問題：提高帶寬與存儲(chǔ)

“大模型時(shí)代，從單卡效率看問題的視角已經(jīng)落伍了，對(duì)硬件設(shè)備的審視要更多地從集群的角度去看。” 燧原科技產(chǎn)品市場(chǎng)總經(jīng)理高平在接受《中國(guó)電子報(bào)》采訪時(shí)說道。

在當(dāng)前計(jì)算機(jī)采用的馮·諾依曼的體系架構(gòu)下，計(jì)算和存儲(chǔ)是分離的。一項(xiàng)任務(wù)的完成，既需要高算力，又需要大存儲(chǔ)量和高效互聯(lián)作為支持。長(zhǎng)期以來，廠商對(duì)于處理器效率提升的關(guān)注點(diǎn)都放在算力上。而大模型訓(xùn)練，動(dòng)輒需要上千張甚至上萬(wàn)張算力芯片組成的集群。這使得原本沒有特別受到重視的存儲(chǔ)量和帶寬一下子成為制約集群效率的瓶頸，也成為各廠商最為關(guān)注的技術(shù)指標(biāo)。

沐曦集成電路（上海）有限公司聯(lián)合創(chuàng)始人、CMO孫爾俊在接受《中國(guó)電子報(bào)》記者采訪時(shí)表示，大模型需要緩存上千億的參數(shù)量，單個(gè)芯片的存儲(chǔ)量越大，整個(gè)集群所需要的芯片數(shù)量就越少，片間花費(fèi)的傳輸時(shí)間就相應(yīng)地會(huì)更低，從而更有利于提高整個(gè)集群的計(jì)算效率。這意味著，如果單卡存儲(chǔ)容量不夠，原本用1000張卡就能完成加速的工作，需要擴(kuò)展到更多的芯片上完成，卡間互聯(lián)所需要的時(shí)間會(huì)被拉長(zhǎng)，整個(gè)系統(tǒng)的效率也由此降低。

沐曦首款人工智能推理GPU曦思N100

片間帶寬是另一個(gè)備受關(guān)注的指標(biāo)。芯片存儲(chǔ)量和片間互聯(lián)帶寬，就像是支撐大模型硬件基礎(chǔ)的一體兩面。如果把大模型訓(xùn)練比作貨物運(yùn)輸?shù)倪^程，存儲(chǔ)量就像是每輛卡車的裝載量，而帶寬就像是高速公路的并行車道數(shù)。二者共同決定了整個(gè)訓(xùn)練任務(wù)多久才能完成。

由此，如何提高算力芯片的單片存儲(chǔ)和片間帶寬，成為算力芯片廠商需要考慮的問題。

在提高芯片存儲(chǔ)量方面，業(yè)界采取的依然是提升晶體管密度和加大存儲(chǔ)面積兩種思路。一方面采用更先進(jìn)的工藝，另一方面采用3D封裝，將存儲(chǔ)貼在芯片上。

相比之下，帶寬提升更困難一些。高平表示：“帶寬提升在很長(zhǎng)時(shí)間內(nèi)都是芯片設(shè)計(jì)領(lǐng)域的難點(diǎn)。相比于算力成倍數(shù)的提升，帶寬的提升一直不大。工藝功耗等因素限制了數(shù)據(jù)傳輸?shù)臅r(shí)鐘頻率，成本與芯片面積限制了傳輸?shù)耐ǖ罃?shù)量。”因此，業(yè)界出現(xiàn)了許多另辟蹊徑的討論，例如通過使存儲(chǔ)與計(jì)算模塊靠得更近以縮短傳輸距離，或者采取改變計(jì)算與存儲(chǔ)排列方式的存算一體的架構(gòu)等。

天數(shù)智芯在2023WAIC上展示大模型落地支持能力

天數(shù)智芯副總裁鄒翾分享了天數(shù)的經(jīng)驗(yàn)——通過優(yōu)化算法、片間通訊協(xié)議和通訊物理層來系統(tǒng)化的緩解帶寬瓶頸：“流行的大模型算法在硬件工程化中還有很多的調(diào)優(yōu)空間，框架層有多種拓?fù)浣Y(jié)構(gòu)可以平衡單點(diǎn)計(jì)算與傳輸速度，有效降低帶寬需求；互聯(lián)技術(shù)方面，我們?cè)趨f(xié)議層也采用了私有的協(xié)議，可以提高有效數(shù)據(jù)傳輸?shù)男剩辉谖锢韺游磥砜晒┻x擇的非電技術(shù)也有進(jìn)一步提升帶寬的空間。”他還提到，未來應(yīng)用的性能需要在系統(tǒng)架構(gòu)上優(yōu)化。一來大模型的工作負(fù)載可以結(jié)合節(jié)點(diǎn)配置的情況和傳輸能力進(jìn)行調(diào)整，二來傳輸方式可以不僅限于電互聯(lián)，還可以利用光互聯(lián)等其他技術(shù)。軟硬件系統(tǒng)級(jí)聯(lián)合調(diào)優(yōu)還有很大的空間，可以進(jìn)一步壓縮對(duì)于芯片硬件帶寬的需求。

提升“軟”實(shí)力：優(yōu)化工具與云服務(wù)

“對(duì)于很多客戶來說，硬件就是個(gè)黑盒子，他們并不關(guān)心芯片內(nèi)部的架構(gòu)是什么樣的。他們直接接觸的，是產(chǎn)品的軟件。”一位算力芯片領(lǐng)域資深專家告訴《中國(guó)電子報(bào)》記者，“與全球算力芯片領(lǐng)軍企業(yè)相比，算力芯片的后起之秀們?cè)谟布蠈?shí)現(xiàn)趕超相對(duì)容易，軟件反而是短板。”

“好用”，是大模型對(duì)算力芯片軟件棧最基礎(chǔ)的要求。

這個(gè)要求在大模型出現(xiàn)之前便已經(jīng)存在。大模型的“遍地開花”對(duì)于軟件的要求并沒有根本性的變化，仍需要相適配的軟件持續(xù)調(diào)優(yōu)。

軟件的優(yōu)化，最需要客戶與算力芯片企業(yè)的協(xié)同。作為算力芯片軟件配套方面的“老大哥”，英偉達(dá)CUDA的制勝秘訣，就是擁有相當(dāng)數(shù)量的客戶群體，并充分了解客戶需求。通過與客戶溝通，持續(xù)進(jìn)行軟件調(diào)優(yōu)，使產(chǎn)品更好用、更易用。

而對(duì)于國(guó)內(nèi)算力芯片企業(yè)而言，不少企業(yè)接到的單個(gè)訂單量比較大，足夠維持企業(yè)的正常運(yùn)轉(zhuǎn)，但客戶數(shù)量較少，這對(duì)于發(fā)展企業(yè)自己的軟件棧并不是一件好事。“從軟件的角度來說，一個(gè)客戶無(wú)論買100張卡還是買10張卡，能夠給我們帶來的反饋是一樣的。我們希望有更多的企業(yè)給我們具體的反饋，這樣軟件迭代優(yōu)化的速度也會(huì)更快。” 某算力芯片企業(yè)表示。

能不能做得像英偉達(dá)CUDA一樣？這是算力芯片企業(yè)最常被問到的問題。

對(duì)于獨(dú)立開發(fā)軟件的企業(yè)而言，由于客戶已經(jīng)形成了使用CUDA的習(xí)慣，為了幫助客戶盡快適應(yīng)從CUDA軟件向新環(huán)境的遷移，在自研軟件的界面設(shè)計(jì)上，會(huì)主動(dòng)選擇貼合客戶使用習(xí)慣的設(shè)計(jì)，從而幫助客戶更輕松地完成遷移。

“加大在軟件上的投入，已經(jīng)是一個(gè)共識(shí)。幾乎所有AI芯片公司軟件團(tuán)隊(duì)一定比硬件團(tuán)隊(duì)人更多、投入更大。芯片公司越來越像軟件公司，將研發(fā)的重點(diǎn)放在軟件棧上面。”業(yè)界專家表示。

燧原科技全棧式人工智能開發(fā)服務(wù)平臺(tái)

此外，提供云服務(wù)也是算力芯片企業(yè)提升影響力、拓展客戶面的重要實(shí)現(xiàn)方式。成本低是云服務(wù)的核心優(yōu)勢(shì)。對(duì)于一些初創(chuàng)企業(yè)或者是規(guī)模較小的團(tuán)隊(duì)而言，購(gòu)買算力芯片需要的成本較高，而通過云租賃的方式獲得算力資源，可以以較低的成本緩解算力不足的問題。當(dāng)前，谷歌、英偉達(dá)、阿里云、金山云等都已經(jīng)具備為大模型提供云端算力的能力。

“從長(zhǎng)期來看，肯定是自建算力平臺(tái)的成本更低。但對(duì)于前期啟動(dòng)資金較少的企業(yè)來說，租用云算力的方式可以幫助企業(yè)在更短的時(shí)間內(nèi)使用到運(yùn)算更快的計(jì)算集群。” 一位算力芯片領(lǐng)域資深專家這樣告訴《中國(guó)電子報(bào)》記者。

市場(chǎng)開拓：強(qiáng)化產(chǎn)業(yè)協(xié)作

在算力芯片領(lǐng)域，市場(chǎng)對(duì)于英偉達(dá)之外的算力芯片廠商產(chǎn)品，接受度還有待提高。

據(jù)《中國(guó)電子報(bào)》記者采訪了解，英偉達(dá)的產(chǎn)品依然是中國(guó)大模型企業(yè)的首選，其他品牌與英偉達(dá)的競(jìng)爭(zhēng)存在客戶使用習(xí)慣、客戶對(duì)穩(wěn)定性的質(zhì)疑等多方面的制約。在金融、網(wǎng)絡(luò)安全等領(lǐng)域之外，算力芯片“后起之秀”們的應(yīng)用數(shù)量還比較有限。選擇新興算力芯片企業(yè)的，多是不以大模型作為主營(yíng)業(yè)務(wù)的企業(yè)。這些企業(yè)或者是在嘗試使用大模型、以大模型作為未來可能的發(fā)展方向，或者是做人工智能領(lǐng)域研究的實(shí)驗(yàn)室。另外有些企業(yè)，希望豐富自己的供應(yīng)鏈來源，也會(huì)購(gòu)進(jìn)一批“國(guó)產(chǎn)卡”。以大模型為主營(yíng)業(yè)務(wù)的企業(yè)，對(duì)效率的要求更高，希望產(chǎn)品“拿回來就能用”，雖然部分企業(yè)也會(huì)購(gòu)進(jìn)一批國(guó)產(chǎn)卡，但整體來看對(duì)可能需要進(jìn)行設(shè)備調(diào)試的新興品牌意愿不強(qiáng)。

大模型的發(fā)展給算力芯片企業(yè)帶來了千載難逢的發(fā)展機(jī)會(huì)。據(jù)記者了解，當(dāng)前國(guó)內(nèi)算力芯片廠商已經(jīng)獲得了一定數(shù)量的專做大模型業(yè)務(wù)的客戶。但相比于“百模大戰(zhàn)”的盛況，以及每家企業(yè)都需要搭建千卡甚至萬(wàn)卡集群的規(guī)模，待開掘的市場(chǎng)空間還很廣闊。當(dāng)前，英偉達(dá)部分熱門產(chǎn)品仍然緊俏，最長(zhǎng)交付周期達(dá)三個(gè)月之久，這給其他的市場(chǎng)參與者帶來了利好。

不僅如此，大模型的出現(xiàn)為原本苦于尋找應(yīng)用場(chǎng)景的算力芯片找到了入場(chǎng)渠道。在大模型出現(xiàn)之前，模型種類比較分散，會(huì)出現(xiàn)多種模型解決同一個(gè)問題的情況。應(yīng)用企業(yè)采用的技術(shù)路線碎片化，也導(dǎo)致芯片硬件廠商的技術(shù)路線多樣化，技術(shù)難以收斂。

而大模型出現(xiàn)之后，應(yīng)用的模型不再四面開花，模型的底層技術(shù)有了收斂的趨勢(shì)，會(huì)更多地使用Transformer結(jié)構(gòu)，這意味著上下游的協(xié)同將會(huì)從原來更偏向垂直合作的結(jié)構(gòu)向金字塔形轉(zhuǎn)變。即多種算力芯片產(chǎn)品共同服務(wù)于一種大模型結(jié)構(gòu)。這也意味著算力芯片企業(yè)如果能夠做到與一位大模型公司實(shí)現(xiàn)技術(shù)互通、生態(tài)共建，將贏得更高的市場(chǎng)話語(yǔ)權(quán)。

在此背景下，國(guó)內(nèi)算力芯片企業(yè)更需要苦練內(nèi)功，提供符合客戶要求的產(chǎn)品，在單卡算力、卡間互聯(lián)、內(nèi)存大小等方面做到更優(yōu)，同時(shí)提供更便于上手的軟件服務(wù)。

燧原科技智算中心2.0模式

“打鐵還需自身硬”。在當(dāng)前市場(chǎng)背景下，國(guó)內(nèi)算力芯片廠商該如何提升市場(chǎng)規(guī)模？記者通過采訪了解到：供應(yīng)鏈上下游之間的協(xié)作尤為重要。

“國(guó)內(nèi)的算力芯片生態(tài)比較碎片化，國(guó)內(nèi)芯片類型眾多，缺乏統(tǒng)一的標(biāo)準(zhǔn)，這使得客戶面對(duì)繁雜的市場(chǎng)也會(huì)有些無(wú)所適從。”高平表示。相比于英偉達(dá)，其他算力芯片廠商都是市場(chǎng)后入者。在這種情況下，如果每家都有自己的一套技術(shù)邏輯，那么客戶嘗試不同的廠商所需要付出的時(shí)間成本會(huì)更大，從而不利于市場(chǎng)的靈活發(fā)展。高平指出，面對(duì)這種情況，相關(guān)部門和大型企業(yè)可以進(jìn)行引導(dǎo)，帶領(lǐng)產(chǎn)業(yè)鏈實(shí)現(xiàn)行業(yè)標(biāo)準(zhǔn)的完善。

一位算力芯片專家提及，供應(yīng)鏈縱向投資也是一種實(shí)現(xiàn)產(chǎn)業(yè)協(xié)同的方式。例如做下游應(yīng)用的廠商，面向上游投資芯片，就會(huì)有比較大的動(dòng)力在自己的產(chǎn)品中使用相應(yīng)芯片產(chǎn)品。

搭建生態(tài)，是實(shí)現(xiàn)產(chǎn)業(yè)鏈協(xié)作的最終形式。高平表示，可以將產(chǎn)業(yè)鏈上下游納入企業(yè)自己的生態(tài)體系，包括AI企業(yè)、OEM企業(yè)，AIGC應(yīng)用企業(yè)等，通過與不同類型的企業(yè)搭建聯(lián)系，共同解決未來應(yīng)用場(chǎng)景的問題，這是一種生態(tài)搭建方式。在可操作層面，可以建立開發(fā)者社區(qū)，從而加強(qiáng)客戶與品牌之間的溝通。

責(zé)任編輯：房家輝

關(guān)鍵詞：