DPU市場(chǎng)，一片混戰(zhàn)
2021-12-21 9:28:14??????點(diǎn)擊：
市場(chǎng)研究機(jī)構(gòu)Dell’Oro的數(shù)據(jù)顯示，預(yù)計(jì)到2024年，SmartNIC市場(chǎng)規(guī)模將超過6億美元，占全球以太網(wǎng)適配器市場(chǎng)的23%。而整體控制器和適配器市場(chǎng)將以7%的年復(fù)合增長(zhǎng)率增長(zhǎng)，其中25Gbps和100Gbps的銷售將是主要增長(zhǎng)驅(qū)動(dòng)力。
CPU不能承受之重
之所以能夠取得如此高的增長(zhǎng)率，原因在于目前數(shù)據(jù)中心內(nèi)部流量(也稱橫向流量)的年復(fù)合增長(zhǎng)率都在25%以上，但與此同時(shí)，隨著SDN的增加，云服務(wù)器會(huì)在CPU和軟件中使用很多SDN功能，使得高達(dá)30%的數(shù)據(jù)中心計(jì)算資源被分配用于聯(lián)網(wǎng)I/O處理云數(shù)據(jù)。
坦率地說，如果聽之任之，這個(gè)問題隨著時(shí)間的推移只會(huì)越來越嚴(yán)重。
當(dāng)前，以幾何級(jí)數(shù)幅度增長(zhǎng)的聯(lián)網(wǎng)端口速度，遠(yuǎn)超摩爾定律和Dennard縮放比例定律(Dennard’s scaling)的計(jì)算周期速度，這種差距的存在使得服務(wù)器中所有的CPU資源都將遭到擠占，而無暇顧及應(yīng)用級(jí)處理，降低了CPU利用率。如果是公有云的話，他們需要把這樣的資源出售給客戶來進(jìn)行變現(xiàn)。但如果不能出售這些核心內(nèi)容，云服務(wù)商就會(huì)賠錢，這是一個(gè)非常嚴(yán)峻的問題。
亞馬遜和微軟這樣的一級(jí)云服務(wù)提供商在很多年前就意識(shí)到了上述問題的嚴(yán)重性，紛紛選擇卸載掉服務(wù)器的聯(lián)網(wǎng)功能，并將這部分工作轉(zhuǎn)移到SmartNIC上運(yùn)行，以便釋放出更多的CPU核，優(yōu)化服務(wù)器利用率，降低聯(lián)網(wǎng)成本。
例如亞馬遜收購了一家名為Annapurna的初創(chuàng)企業(yè)，專門開發(fā)類似的器件和SmartNIC，并在2017年發(fā)布了AWS Nitro；微軟此前也通過將FPGA集成到SmartNIC上去卸載服務(wù)器的聯(lián)網(wǎng)功能，并實(shí)現(xiàn)了數(shù)以百萬計(jì)規(guī)模的部署；VMware則宣布將SmartNIC集成到VMware Cloud Foundation中的Project Monterey項(xiàng)目；而阿里云的做法是在其神龍服務(wù)器核心組件MOC卡中使用了專用的X-Dragon芯片，統(tǒng)一支持網(wǎng)絡(luò)、I/O、存儲(chǔ)和外設(shè)的虛擬化。
電信服務(wù)提供商則是另一大具有強(qiáng)勁增長(zhǎng)潛力的市場(chǎng)，他們正考慮將SmartNIC從核心網(wǎng)集成到邊緣網(wǎng)，為NFV和AI推斷等應(yīng)用提供服務(wù)。
不過，并非每一家公司都擁有足夠的研發(fā)能力和人才儲(chǔ)備去部署SmartNIC，因此目前有80%以上的云服務(wù)供應(yīng)商尚未采用SmartNIC。相比之下，二、三級(jí)的廠商們就更加需要現(xiàn)成且方便的SmartNIC解決方案——無需自行開發(fā)，只需即插即用就可滿足數(shù)據(jù)中心的卸載、存儲(chǔ)和計(jì)算加速等需求。
數(shù)字基礎(chǔ)設(shè)施中的新物種
2020年10月，英偉達(dá)將基于Mellanox的SmartNIC方案命名為數(shù)據(jù)處理單元(Data Processing Units, DPU)，并將CPU、GPU、DPU稱為組成“未來計(jì)算的三大支柱”。
不過，需要指出的是，從SmartNIC變?yōu)镈PU并非簡(jiǎn)單的改改名字。為了在數(shù)據(jù)中心充分實(shí)現(xiàn)應(yīng)用程序的效率，傳輸卸載、可編程的數(shù)據(jù)平面以及用于虛擬交換的硬件卸載等功能是SmartNIC的重要部分，但只是DPU的最基本要求之一。要將SmartNIC提升到DPU的高度，還需要支持更多的功能，比如能夠運(yùn)行控制平面，以及在Linux環(huán)境下提供C語言編程等。
說得再直白一些，DPU是面向數(shù)據(jù)中心的專用處理器，新增了AI、安全、存儲(chǔ)和網(wǎng)絡(luò)等各種加速功能，將成為新一代的重要算力芯片。它能夠完成性能敏感且通用的工作任務(wù)加速，更好地支撐CPU、GPU的上層業(yè)務(wù)，成為整個(gè)網(wǎng)絡(luò)的中心節(jié)點(diǎn)。
當(dāng)然，我們還是要佩服黃仁勛的“帶貨”能力，能讓DPU概念一炮而紅，吸引業(yè)內(nèi)眾多競(jìng)爭(zhēng)者紛至沓來。從海外的英特爾、博通、英偉達(dá)、賽靈思、Marvell、Netronome、Pensando、Fungible、Dream Big Semiconductor，到國(guó)內(nèi)的DPU創(chuàng)企中科馭數(shù)、星云智聯(lián)、大禹智芯、芯啟源、云豹智能，每一家企業(yè)都在摩拳擦掌，躍躍欲試。
從英偉達(dá)公布的DPU產(chǎn)品路線圖來看，BlueField-3/3X和BlueField-4將分別于2022年和2023年問世，屆時(shí)，將可提供400TOPS的AI算力和400Gbps的帶寬性能，從而解放GPU，只在單芯片DPU上就可實(shí)現(xiàn)網(wǎng)絡(luò)、存儲(chǔ)、安全等關(guān)鍵任務(wù)的加速工作。
Marvell今年6月最新推出的OCTEON 10系列DPU，采用了Armv9架構(gòu)的Neoverse N2 CPU內(nèi)核和臺(tái)積電5nm制程工藝，支持最新的PCIe 5.0 I/O與DDR5內(nèi)存。作為DPU的重要補(bǔ)充，Marvell還為OCTEON 10引入了內(nèi)部機(jī)器學(xué)習(xí)(ML)引擎。這樣，從本質(zhì)上講，Marvell正在成為英偉達(dá)的直接競(jìng)爭(zhēng)對(duì)手。
英特爾在2021架構(gòu)日上推出的全新基礎(chǔ)設(shè)施處理器(IPU) Mount Evans其實(shí)也值得一提。按照英特爾的官方說法，IPU是一種可編程網(wǎng)絡(luò)設(shè)備，擴(kuò)展了英特爾的智能網(wǎng)卡功能，旨在使云和通信服務(wù)提供商減少在中央處理器(CPU)方面的開銷，并充分釋放性能價(jià)值。利用IPU，云運(yùn)營(yíng)商可以將基礎(chǔ)設(shè)施任務(wù)卸載到IPU上，更大化實(shí)現(xiàn)CPU利用率和收益；客戶則可以通過一個(gè)安全、可編程、穩(wěn)定的解決方案更好地利用資源，使其能夠平衡處理與存儲(chǔ)。
再回到國(guó)內(nèi)。根據(jù)Canalys Cloud Channels Analysis預(yù)測(cè)，到2023年，中國(guó)DPU市場(chǎng)規(guī)模將達(dá)190億人民幣。當(dāng)然，還有其它分析機(jī)構(gòu)的預(yù)測(cè)更加樂觀，認(rèn)為中國(guó)DPU市場(chǎng)規(guī)模預(yù)計(jì)將在2025年超過37億美元，約合240億人民幣。
中科馭數(shù)算是國(guó)內(nèi)布局較早的一家DPU企業(yè)，其DPU基于自主研發(fā)的KPU(Kernel Processing Unit)架構(gòu)。以KPU架構(gòu)為核心，中科馭數(shù)在2019年設(shè)計(jì)了業(yè)界首顆數(shù)據(jù)庫與時(shí)序數(shù)據(jù)處理融合加速芯片，已經(jīng)成功流片。今年初，該公司又宣布了其下一顆DPU芯片研發(fā)計(jì)劃，功能層面包括完善的L2/ L3/L4層的網(wǎng)絡(luò)協(xié)議處理，可處理高達(dá)200G網(wǎng)絡(luò)帶寬數(shù)據(jù)，預(yù)計(jì)將于2021年底流片。
另一家DPU芯片企業(yè)“芯啟源”則在6月宣布完成數(shù)億元Pre-A3輪融資。這是一家針對(duì)超大規(guī)模電信和企業(yè)級(jí)的智能網(wǎng)絡(luò)提供核心芯片和系統(tǒng)的高科技公司，可提供從芯片、板卡、驅(qū)動(dòng)軟件和全套云網(wǎng)解決方案產(chǎn)品，已獲得了中國(guó)移動(dòng)蘇研院的首批智能網(wǎng)卡訂單。
成立于2021年3月22日的星云智聯(lián)專注于數(shù)據(jù)中心基礎(chǔ)互聯(lián)通信架構(gòu)和DPU芯片研發(fā)，今年4月宣布完成數(shù)億元天使輪融資。其正在研發(fā)的DPU將在IAAS和PAAS之間形成獨(dú)立的CAAS(通信服務(wù)層)），實(shí)現(xiàn)物理資源的“多虛一”和近乎裸金屬性能的“一虛多”，可以簡(jiǎn)化IAAS，提升資源利用率。
有行業(yè)人士表示，未來，用于數(shù)據(jù)中心的DPU量級(jí)將達(dá)到和數(shù)據(jù)中心服務(wù)器等量的級(jí)別。“每臺(tái)服務(wù)器可能沒有GPU，但一定會(huì)有一塊或者幾塊DPU/IPU卡，這將是一個(gè)千億量級(jí)的市場(chǎng)。”作為數(shù)字基礎(chǔ)設(shè)施中的新物種，火熱的DPU賽道未來會(huì)走出怎樣一波行情，值得期待。
CPU不能承受之重
之所以能夠取得如此高的增長(zhǎng)率，原因在于目前數(shù)據(jù)中心內(nèi)部流量(也稱橫向流量)的年復(fù)合增長(zhǎng)率都在25%以上，但與此同時(shí)，隨著SDN的增加，云服務(wù)器會(huì)在CPU和軟件中使用很多SDN功能，使得高達(dá)30%的數(shù)據(jù)中心計(jì)算資源被分配用于聯(lián)網(wǎng)I/O處理云數(shù)據(jù)。
坦率地說，如果聽之任之，這個(gè)問題隨著時(shí)間的推移只會(huì)越來越嚴(yán)重。
當(dāng)前，以幾何級(jí)數(shù)幅度增長(zhǎng)的聯(lián)網(wǎng)端口速度，遠(yuǎn)超摩爾定律和Dennard縮放比例定律(Dennard’s scaling)的計(jì)算周期速度，這種差距的存在使得服務(wù)器中所有的CPU資源都將遭到擠占，而無暇顧及應(yīng)用級(jí)處理，降低了CPU利用率。如果是公有云的話，他們需要把這樣的資源出售給客戶來進(jìn)行變現(xiàn)。但如果不能出售這些核心內(nèi)容，云服務(wù)商就會(huì)賠錢，這是一個(gè)非常嚴(yán)峻的問題。
亞馬遜和微軟這樣的一級(jí)云服務(wù)提供商在很多年前就意識(shí)到了上述問題的嚴(yán)重性，紛紛選擇卸載掉服務(wù)器的聯(lián)網(wǎng)功能，并將這部分工作轉(zhuǎn)移到SmartNIC上運(yùn)行，以便釋放出更多的CPU核，優(yōu)化服務(wù)器利用率，降低聯(lián)網(wǎng)成本。
例如亞馬遜收購了一家名為Annapurna的初創(chuàng)企業(yè)，專門開發(fā)類似的器件和SmartNIC，并在2017年發(fā)布了AWS Nitro；微軟此前也通過將FPGA集成到SmartNIC上去卸載服務(wù)器的聯(lián)網(wǎng)功能，并實(shí)現(xiàn)了數(shù)以百萬計(jì)規(guī)模的部署；VMware則宣布將SmartNIC集成到VMware Cloud Foundation中的Project Monterey項(xiàng)目；而阿里云的做法是在其神龍服務(wù)器核心組件MOC卡中使用了專用的X-Dragon芯片，統(tǒng)一支持網(wǎng)絡(luò)、I/O、存儲(chǔ)和外設(shè)的虛擬化。
電信服務(wù)提供商則是另一大具有強(qiáng)勁增長(zhǎng)潛力的市場(chǎng)，他們正考慮將SmartNIC從核心網(wǎng)集成到邊緣網(wǎng)，為NFV和AI推斷等應(yīng)用提供服務(wù)。
不過，并非每一家公司都擁有足夠的研發(fā)能力和人才儲(chǔ)備去部署SmartNIC，因此目前有80%以上的云服務(wù)供應(yīng)商尚未采用SmartNIC。相比之下，二、三級(jí)的廠商們就更加需要現(xiàn)成且方便的SmartNIC解決方案——無需自行開發(fā)，只需即插即用就可滿足數(shù)據(jù)中心的卸載、存儲(chǔ)和計(jì)算加速等需求。
數(shù)字基礎(chǔ)設(shè)施中的新物種
2020年10月，英偉達(dá)將基于Mellanox的SmartNIC方案命名為數(shù)據(jù)處理單元(Data Processing Units, DPU)，并將CPU、GPU、DPU稱為組成“未來計(jì)算的三大支柱”。
不過，需要指出的是，從SmartNIC變?yōu)镈PU并非簡(jiǎn)單的改改名字。為了在數(shù)據(jù)中心充分實(shí)現(xiàn)應(yīng)用程序的效率，傳輸卸載、可編程的數(shù)據(jù)平面以及用于虛擬交換的硬件卸載等功能是SmartNIC的重要部分，但只是DPU的最基本要求之一。要將SmartNIC提升到DPU的高度，還需要支持更多的功能，比如能夠運(yùn)行控制平面，以及在Linux環(huán)境下提供C語言編程等。
說得再直白一些，DPU是面向數(shù)據(jù)中心的專用處理器，新增了AI、安全、存儲(chǔ)和網(wǎng)絡(luò)等各種加速功能，將成為新一代的重要算力芯片。它能夠完成性能敏感且通用的工作任務(wù)加速，更好地支撐CPU、GPU的上層業(yè)務(wù)，成為整個(gè)網(wǎng)絡(luò)的中心節(jié)點(diǎn)。
當(dāng)然，我們還是要佩服黃仁勛的“帶貨”能力，能讓DPU概念一炮而紅，吸引業(yè)內(nèi)眾多競(jìng)爭(zhēng)者紛至沓來。從海外的英特爾、博通、英偉達(dá)、賽靈思、Marvell、Netronome、Pensando、Fungible、Dream Big Semiconductor，到國(guó)內(nèi)的DPU創(chuàng)企中科馭數(shù)、星云智聯(lián)、大禹智芯、芯啟源、云豹智能，每一家企業(yè)都在摩拳擦掌，躍躍欲試。
從英偉達(dá)公布的DPU產(chǎn)品路線圖來看，BlueField-3/3X和BlueField-4將分別于2022年和2023年問世，屆時(shí)，將可提供400TOPS的AI算力和400Gbps的帶寬性能，從而解放GPU，只在單芯片DPU上就可實(shí)現(xiàn)網(wǎng)絡(luò)、存儲(chǔ)、安全等關(guān)鍵任務(wù)的加速工作。
Marvell今年6月最新推出的OCTEON 10系列DPU，采用了Armv9架構(gòu)的Neoverse N2 CPU內(nèi)核和臺(tái)積電5nm制程工藝，支持最新的PCIe 5.0 I/O與DDR5內(nèi)存。作為DPU的重要補(bǔ)充，Marvell還為OCTEON 10引入了內(nèi)部機(jī)器學(xué)習(xí)(ML)引擎。這樣，從本質(zhì)上講，Marvell正在成為英偉達(dá)的直接競(jìng)爭(zhēng)對(duì)手。
英特爾在2021架構(gòu)日上推出的全新基礎(chǔ)設(shè)施處理器(IPU) Mount Evans其實(shí)也值得一提。按照英特爾的官方說法，IPU是一種可編程網(wǎng)絡(luò)設(shè)備，擴(kuò)展了英特爾的智能網(wǎng)卡功能，旨在使云和通信服務(wù)提供商減少在中央處理器(CPU)方面的開銷，并充分釋放性能價(jià)值。利用IPU，云運(yùn)營(yíng)商可以將基礎(chǔ)設(shè)施任務(wù)卸載到IPU上，更大化實(shí)現(xiàn)CPU利用率和收益；客戶則可以通過一個(gè)安全、可編程、穩(wěn)定的解決方案更好地利用資源，使其能夠平衡處理與存儲(chǔ)。
再回到國(guó)內(nèi)。根據(jù)Canalys Cloud Channels Analysis預(yù)測(cè)，到2023年，中國(guó)DPU市場(chǎng)規(guī)模將達(dá)190億人民幣。當(dāng)然，還有其它分析機(jī)構(gòu)的預(yù)測(cè)更加樂觀，認(rèn)為中國(guó)DPU市場(chǎng)規(guī)模預(yù)計(jì)將在2025年超過37億美元，約合240億人民幣。
中科馭數(shù)算是國(guó)內(nèi)布局較早的一家DPU企業(yè)，其DPU基于自主研發(fā)的KPU(Kernel Processing Unit)架構(gòu)。以KPU架構(gòu)為核心，中科馭數(shù)在2019年設(shè)計(jì)了業(yè)界首顆數(shù)據(jù)庫與時(shí)序數(shù)據(jù)處理融合加速芯片，已經(jīng)成功流片。今年初，該公司又宣布了其下一顆DPU芯片研發(fā)計(jì)劃，功能層面包括完善的L2/ L3/L4層的網(wǎng)絡(luò)協(xié)議處理，可處理高達(dá)200G網(wǎng)絡(luò)帶寬數(shù)據(jù)，預(yù)計(jì)將于2021年底流片。
另一家DPU芯片企業(yè)“芯啟源”則在6月宣布完成數(shù)億元Pre-A3輪融資。這是一家針對(duì)超大規(guī)模電信和企業(yè)級(jí)的智能網(wǎng)絡(luò)提供核心芯片和系統(tǒng)的高科技公司，可提供從芯片、板卡、驅(qū)動(dòng)軟件和全套云網(wǎng)解決方案產(chǎn)品，已獲得了中國(guó)移動(dòng)蘇研院的首批智能網(wǎng)卡訂單。
成立于2021年3月22日的星云智聯(lián)專注于數(shù)據(jù)中心基礎(chǔ)互聯(lián)通信架構(gòu)和DPU芯片研發(fā)，今年4月宣布完成數(shù)億元天使輪融資。其正在研發(fā)的DPU將在IAAS和PAAS之間形成獨(dú)立的CAAS(通信服務(wù)層)），實(shí)現(xiàn)物理資源的“多虛一”和近乎裸金屬性能的“一虛多”，可以簡(jiǎn)化IAAS，提升資源利用率。
有行業(yè)人士表示，未來，用于數(shù)據(jù)中心的DPU量級(jí)將達(dá)到和數(shù)據(jù)中心服務(wù)器等量的級(jí)別。“每臺(tái)服務(wù)器可能沒有GPU，但一定會(huì)有一塊或者幾塊DPU/IPU卡，這將是一個(gè)千億量級(jí)的市場(chǎng)。”作為數(shù)字基礎(chǔ)設(shè)施中的新物種，火熱的DPU賽道未來會(huì)走出怎樣一波行情，值得期待。
- 上一篇：切入電力電子器件，LED企業(yè)在GaN領(lǐng)域謀轉(zhuǎn)型 2021/12/21
- 下一篇：臺(tái)積電 N4X 工藝技術(shù)，專注于 HPC 的技術(shù)產(chǎn)品 2021/12/20
