低延遲高密度光互連 (HDI/O) 提供商 Nubis Communications, Inc. 和全球技術(shù)基礎(chǔ)設(shè)施的高速連接和計(jì)算芯片領(lǐng)域的公司Alphawave Semi 宣布，即將展示 PCI Express 6.0 技術(shù)，該技術(shù)通過(guò)光鏈路以每通道 64GT/s 的速度驅(qū)動(dòng)。

數(shù)據(jù)中心提供商正在探索使用 PCIe over Optics 來(lái)極大地?cái)U(kuò)展內(nèi)存、CPU、GPU 和定制硅加速器互連的范圍和靈活性，從而為人工智能和機(jī)器學(xué)習(xí) (ML/人工智能）架構(gòu)。

Nubis Communications 和 Alphawave Semi 將在 DesignCon（先進(jìn)芯片、電路板和系統(tǒng)設(shè)計(jì)技術(shù)的領(lǐng)先會(huì)議）的泰克展位上進(jìn)行現(xiàn)場(chǎng)演示。具有 PiCORE 控制器 IP 和 PipeCORE PHY 的 Alphawave Semi PCIe 子系統(tǒng)將通過(guò) Nubis XT1600 線性光學(xué)引擎直接驅(qū)動(dòng)和接收 PCIe 6.0 流量，以每根光纖 64GT/s 的速度演示 PCIe 6.0 光學(xué)鏈路，并在泰克采樣上測(cè)量光學(xué)輸出波形帶有高速光學(xué)探頭的示波器。

與銅纜相比，可以利用光傳輸技術(shù)在相同帶寬下大大延長(zhǎng)鏈路距離，支持更大的集群規(guī)模，以支持分布在多個(gè)節(jié)點(diǎn)上的更大的 AI/ML 服務(wù)器，并實(shí)現(xiàn)新的分解網(wǎng)絡(luò)架構(gòu)的創(chuàng)新。Nubis XT1600 光學(xué)引擎支持多達(dá) 16 通道高密度 PCIe Gen 6.0 或 100 Gbps/通道以太網(wǎng)光學(xué)連接，無(wú)需合并重定時(shí)器。

“我們?cè)趩蝹€(gè)低功耗、低延遲光學(xué)引擎中實(shí)現(xiàn)了 16 通道全雙工的高水平集成，非常適合用于下一代計(jì)算和存儲(chǔ)部署的 PCIe x16 的最大帶寬，”副總裁 Scott Schube 說(shuō)道Nubis Communications 營(yíng)銷學(xué)博士?！拔覀儗?duì) Nubis XT1600 線性光學(xué)引擎和 Alphawave Semi 的 PCIe 6.0 控制器和 PHY IP 的演示展示了 PCIe? 6.0 x8 光纖鏈路以 64 GT/s 的可行性?！?/span>

“人工智能應(yīng)用程序正在重塑數(shù)據(jù)中心網(wǎng)絡(luò)，超大規(guī)模企業(yè)部署了越來(lái)越大的分布在更遠(yuǎn)距離的分散服務(wù)器集群。這一轉(zhuǎn)變引起了我們的一些客戶對(duì) PCIe over Optics 的濃厚興趣?！盇lphawave Semi 首席技術(shù)官 Tony Chan Carusone 說(shuō)道?！巴ㄟ^(guò)與 Nubis 的合作，我們很高興展示我們?nèi)绾卫?Alphawave Semi 在連接 IP 和芯片方面的領(lǐng)先地位來(lái)實(shí)現(xiàn) PCIe 光學(xué)連接解決方案，從而加速高性能 AI 計(jì)算和數(shù)據(jù)基礎(chǔ)設(shè)施?！?/span>


PCIe 6.0改變了什么？

對(duì)于全新標(biāo)準(zhǔn)，首先從速度上看，和以往的標(biāo)準(zhǔn)一樣，PCIe 6.0同樣實(shí)現(xiàn)了翻倍提升——獲得了高達(dá)64GT/s的速率體驗(yàn)。同時(shí)，新標(biāo)準(zhǔn)還克服了整個(gè)通道傳輸長(zhǎng)度以及距離的限制，具備前向糾錯(cuò)（FEC）以及固定大小數(shù)據(jù)包（Flit）等新特性。其中，在速度方面的提升，則主要是通過(guò)采用新的PAM4調(diào)制信號(hào)方式實(shí)現(xiàn)。

從Rambus 戰(zhàn)略營(yíng)銷副總裁Matt Jones的介紹我們得知，在PCIe 6.0以前，PCIe一直采用的是NRZ調(diào)制信號(hào)方式，也就是“ Non-Return-to-Zero ”——不歸零編碼。在實(shí)際應(yīng)用中，這種編碼模式采用0或1兩個(gè)電壓等級(jí)，每一個(gè)時(shí)鐘周期只能傳輸1bit的信號(hào)。也就是說(shuō)它只采用了高低兩種信號(hào)電平。因此，與采用四電平的PAM4相比，我們也將NRZ稱作PAM2 。

在以前的標(biāo)準(zhǔn)，這種編碼模式還是能夠?qū)崿F(xiàn)其規(guī)定的速度，但進(jìn)入到PCIe 6.0，PAM 4的采用是刻不容緩了，這主要與奈奎斯特頻率有關(guān)。根據(jù)維基百科，奈奎斯特頻率（英語(yǔ)：Nyquist frequency）是離散信號(hào)系統(tǒng)采樣頻率的一半，因瑞典裔美國(guó)工程師哈里·奈奎斯特（Harry Nyquist）或奈奎斯特——香農(nóng)采樣定理得名。采樣定理指出，只要離散系統(tǒng)的奈奎斯特頻率高于被采樣信號(hào)的最高頻率或帶寬，就可以避免混疊現(xiàn)象。

回到PCIe標(biāo)準(zhǔn)上，據(jù)介紹，在進(jìn)入PCIe 5.0時(shí)代后，數(shù)據(jù)速率的增加，也讓奈奎斯特頻率從8GHz加倍到16GHz，這就使得PCIe 5.0的頻率相關(guān)損耗比PCIe 4.0要嚴(yán)重得多。再加上電容耦合（噪聲和串?dāng)_）的增加，使得PCIe 5.0通道成為最難處理的NRZ通道。換而言之，如果PCIe 6.0仍然保留NRZ信號(hào)，則奈奎斯特頻率將增加到32GHz，通道損耗大于60dB，這對(duì)于實(shí)際系統(tǒng)而言太大了。這就是我們需要從NRZ更改為PAM-4的原因。這一變化意味著發(fā)射和接收的信號(hào)現(xiàn)在有四個(gè)不同的電壓電平，而不是兩個(gè)。

PAM4是PAM(Pulse Amplitude Modulation，脈沖幅度調(diào)制)調(diào)制技術(shù)的一種。作為NRZ(NonReturn-to-Zero)后的熱門(mén)信號(hào)傳輸技術(shù)，PAM4是多階調(diào)制技術(shù)的代表，當(dāng)前也被廣泛應(yīng)用在高速信號(hào)互連領(lǐng)域。

Matt Jones也指出，通過(guò)PAM4，每個(gè)時(shí)鐘周期的數(shù)據(jù)傳輸可以達(dá)到2bit，而并不僅僅是單bit的數(shù)據(jù)傳輸。又因?yàn)镻AM4采用四個(gè)不同的電平等級(jí)，因此能在每個(gè)時(shí)鐘周期表達(dá)2個(gè)數(shù)位，分別是00、01、10再到11。這就意味著在同樣的電壓波動(dòng)范圍之內(nèi)和同樣的時(shí)鐘周期內(nèi)，由于PAM4的電壓等級(jí)比PAM2高了兩個(gè)，即眼圖中黑色的區(qū)域“眼睛“這個(gè)部分更多、更小了。

“這種變化帶來(lái)了另外兩個(gè)重要的影響，即更低的電壓裕度和更高的誤碼率，使得在設(shè)備中保證信號(hào)完整性成為了一個(gè)非常關(guān)鍵的難題?！盡att Jones強(qiáng)調(diào)。

至于前文談到的前向糾錯(cuò)技術(shù)（FEC），按照Matt Jones所說(shuō)，這是為了在保持?jǐn)?shù)據(jù)傳輸速率的前提下解決PAM4本身的問(wèn)題。而這種算法技術(shù)則恰好可以在數(shù)據(jù)傳輸鏈路中確保所有信號(hào)的完整性。

“同時(shí)，F(xiàn)EC技術(shù)的采納還改變了數(shù)據(jù)流控制單元的情況，要求我們也必須針對(duì)數(shù)據(jù)包本身的大小做出調(diào)整和改變。在PCIe 6.0之前的幾代規(guī)范采用的都是可變大小的數(shù)據(jù)包。但由于FEC技術(shù)的采納，PCIe 6.0必須采用固定大小數(shù)據(jù)包（FLIT），以更好地保證FEC技術(shù)的實(shí)現(xiàn)和操作?！盡att Jones接著說(shuō)。

為了減少整體系統(tǒng)的能耗，PCIe 6.0還采用了顛覆式的L0p模式，其本質(zhì)是通過(guò)動(dòng)態(tài)的信道分配，允許將每個(gè)通道進(jìn)行封閉或者打開(kāi)來(lái)實(shí)現(xiàn)系統(tǒng)性的節(jié)能。


PCIe 向前邁出了一大步？

PCIe 不僅僅是一個(gè)物理插槽標(biāo)準(zhǔn)?？偩€的主力是拓?fù)?。PCIe 用于連接內(nèi)置外設(shè)、筆記本電腦和迷你 PC 的附加卡以及 SSD 存儲(chǔ)。Mini PCIe 使用相同的拓?fù)?、編碼和規(guī)格，并且與常規(guī) PCIe 電氣兼容?，F(xiàn)在常見(jiàn)的M.2 SSD接口也采用PCIe拓?fù)洹?/span>

PCIe 的串行數(shù)據(jù)路徑使用單向差分對(duì)來(lái)提高信號(hào)完整性。雖然這些線對(duì)需要進(jìn)行長(zhǎng)度匹配才能消除偏斜，但每對(duì)的兩條跡線比 8、16 或 32 條跡線更容易處理。

高速并行總線也可能受到串?dāng)_的影響，串?dāng)_是一種從一條走線到另一條走線的信號(hào)泄漏。這會(huì)導(dǎo)致數(shù)據(jù)損壞并限制帶寬。差分配對(duì)信號(hào)可消除大部分串?dāng)_并提供更清晰的信。


PCIe 差分對(duì)的優(yōu)勢(shì)

PCIe的單向差分對(duì)由四根走線組成，作為每個(gè)方向的差分對(duì)。每組四個(gè)連接稱為一個(gè)通道，PCIe 插槽可支持 1 到 16 個(gè)通道。用于連接兩個(gè) PCIe 設(shè)備的通道組稱為互連或鏈路?，F(xiàn)代圖形加速器通常使用 16 通道插槽，有些需要兩個(gè)插槽和額外的電源連接。

差分對(duì)布置可加快傳輸速度并提高可靠性。在 PCIe 版本 1.0 和 2.0 中，數(shù)據(jù)以帶有兩個(gè)開(kāi)銷位的 8 位字傳輸，稱為 8b/10b 編碼。這意味著 20% 的傳輸比特是開(kāi)銷，而不是數(shù)據(jù)。PCI 3.0 將這一數(shù)字提升至 128b/130b 編碼，產(chǎn)生 98.5% 的數(shù)據(jù)率和 1.5% 的開(kāi)銷。這種編碼從 PCIe 1.0 到 5.0 一直保留，表示具有不歸零(NRZ) 格式的二進(jìn)制數(shù)據(jù)。


PCIe 1.0 至 7.0：傳輸速度加倍

PCIe 1.0 每通道傳輸速度高達(dá) 2.5 GB/s，16 通道互連時(shí)最高傳輸速度為 4 GB/s。隨著協(xié)議和芯片制造能力的改進(jìn)，PCIe 2.0 使這一數(shù)字翻了一番。PCIe 3.0 從 8b/10b 提升到 128b/130b，速度幾乎翻倍至每通道 8 GB/s。此后的每個(gè)新版本的數(shù)據(jù)速率都增加了一倍。

2022 年推出的 PCIe 6.0 在編碼和協(xié)議方面帶來(lái)了重大變化，將速度提升至 64 GB/s。PCIe 6.0 從 NRZ 數(shù)據(jù)格式更改為脈沖幅度調(diào)制 4 級(jí)(PAM4) 信令。PAM 表示與 NRZ 中的一位相同單位間隔中的兩位，它給出四個(gè)值而不是兩個(gè)。這有效地用兩位值替換了二進(jìn)制位。PAM4 的錯(cuò)誤率要高得多，因此需要高級(jí)糾錯(cuò)。截至撰寫(xiě)本文時(shí)，使用此標(biāo)準(zhǔn)的卡尚未上市。

PCI-SIG 預(yù)計(jì)自 2022 年 6 月以來(lái)一直在開(kāi)發(fā)的 PCIe 7.0 將在 2024 年得到鞏固。該標(biāo)準(zhǔn)承諾通過(guò)微調(diào)通道參數(shù)來(lái)提高功率效率并減少信號(hào)損失，從而將 PCIe 6.0 數(shù)據(jù)速率提高一倍。PCIe 7.0 硬件要到 2027 年才會(huì)出現(xiàn)在市場(chǎng)上。


企業(yè)加速布局

在數(shù)據(jù)中心，若想要發(fā)揮最新的 800Gbps 以太網(wǎng)的全部速度，就必須使用一個(gè)高速串行總線接口來(lái)匹配，為此不少 NIC/DPU和交換機(jī)廠商都在基于112G 以太網(wǎng)PHY IP開(kāi)發(fā)支持 PAM-4 的 800Gbps 產(chǎn)品。諸如 Alphaware、新思、Cadence等廠商，都基于新的工藝節(jié)點(diǎn)推出了 112G 的IP。據(jù)統(tǒng)計(jì)，112G 以太網(wǎng)的部署將在 2025 年達(dá)到峰值，這是因?yàn)橐脒M(jìn)一步控制功耗，此類 IP 也已經(jīng)過(guò)渡到 3nm 工藝，而 2025 年 3nm 也將成為主流節(jié)點(diǎn)之一。

此外，未來(lái)的 1.6Tbps 以太網(wǎng)也已經(jīng)在規(guī)劃中了，接口 IP 廠商們也迅速開(kāi)啟了新一輪的布局和研發(fā)。以新思為例，在今年的TSMC Symposium上，新思成功展示了在背板通道上實(shí)現(xiàn) 224G 以太網(wǎng) PHY IP 的互操作，支持 PAM-4/6，可以與下一代可插拔近封裝光學(xué)（NPO）和共封裝光學(xué)（CPO）應(yīng)用完美匹配。

數(shù)據(jù)到達(dá)服務(wù)器上后，仍需要利用高速接口，為存儲(chǔ)和加速器提供高速連接的支持，比如 PCIe 和 CXL 等，這才是 PCIe 6.0早早就被下一代 AI 芯片設(shè)計(jì)納入考量的原因，不少大廠和初創(chuàng)公司的產(chǎn)品路線圖上，都能看到 PCIe 6.0 的身影。

新思也在今年開(kāi)啟了 PCIe 6.0 IP 的進(jìn)程，Intel Innovation 2023大會(huì)上，新思在英特爾的PCIe 6.0 測(cè)試芯片上，展示了其 PCIe 6.0 IP在 FPGA 實(shí)現(xiàn)與測(cè)試芯片的互操作。這也與英特爾開(kāi)啟 IDM 2.0 路線后的 EDA/IP 合作緊密相關(guān)，今年 8 月，新思與英特爾宣布在英特爾未來(lái)的先進(jìn)工藝節(jié)點(diǎn)上拓展合作關(guān)系，所以未來(lái)新思的一眾標(biāo)準(zhǔn)化高速接口 IP，也會(huì)對(duì)英特爾的Intel 3 和 Intel 18A 等節(jié)點(diǎn)提供支持。

當(dāng)然，要說(shuō)從商業(yè)角度來(lái)看，目前新思的高速接口 IP 還是在與臺(tái)積電的合作中取得了最大的成功。如果你對(duì)今年推出的各種高性能 AI 芯片有所關(guān)注的話，就會(huì)發(fā)現(xiàn)其中不少都用到了新思的DesignWare高速接口 IP。