Stromverbrauch und Bandbreitendichte optischer Module: Harte Grenzen bei KI-Rechenzentrumsverbindungen

KI-Rechenzentrumsnetzwerke sind nicht mehr nur durch die maximale Übertragungsrate eines optischen Moduls begrenzt.und genügend optische Verbindungen aufrechterhalten, um die erforderliche Rechenskala zu unterstützen.

Da sich die Schaltkapazität über 51,2 Tb/s hinaus bewegt und die optischen Schnittstellen von 400G und 800G zu 1,6T und höheren Raten voranschreiten, bestimmen zwei Variablen zunehmend, ob die Architektur skalierbar ist:

• Energieverbrauch des optischen Moduls

• Bandbreitendichte des optischen Moduls

Eine höhere Bandbreite pro Port erhöht in der Regel den elektrischen Verlust, die Komplexität der Signalverarbeitung, die Wärmeerzeugung und den Kühlbedarf.Mehr Ports auf der gleichen Frontplatte konzentrieren die Wärme auf einen kleineren Raum.

Die daraus resultierende Grenze betrifft nicht nur das optische Modul, sondern auch den Schalter ASIC, SerDes, PCB, Stromversorgung, Kühlsystem, Faservermittlung und Wartungsmodell.

Welche Grenzen für Leistung und Bandbreitendichte haben optische Module?

Der Stromverbrauch des optischen Moduls begrenzt die für die Berechnung verfügbare elektrische und thermische Kapazität.Während Bandbreitendichte beschreibt, wie viel Datenkapazität innerhalb eines festen Panels installiert werden kann, Verpackung oder Rackfläche, ohne elektrische, thermische, mechanische und Zuverlässigkeitsgrenzwerte zu überschreiten.

Beide Metriken sollten nicht unabhängig voneinander bewertet werden. Ein Modul mit hoher Bandbreite und übermäßiger Leistung kann die in demselben Rack verfügbare Rechenleistung reduzieren.Ein kleineres Modul kann die physikalische Dichte verbessern und gleichzeitig einen Wärmefluss erzeugen, den das Chassis nicht entfernen kann.

Stromverbrauch als Systembeschränkung

Ein Rack hat ein endliches Leistungs- und Kühlbudget. Die Leistung, die durch optische Verbindungen verwendet wird, ist für GPUs, Speicher, Schalter-Silizium, Speicher und unterstützende Kühlgeräte nicht verfügbar.

Bei einer geringen Portzahl erscheinen einige zusätzliche Watt pro Modul möglicherweise überschaubar.Die Differenz wird zu einer wichtigen Infrastrukturvariable.

Ein vollständiger Vergleich muss möglicherweise Folgendes umfassen:

• Beide Enden der optischen Verbindung

• Host-SerDes und Wiederherstellung

• DSP und FEC

• Leistung der Laserquelle

• Leistungsumwandlungsverluste

• Kühlkosten

Veröffentlichte Wattwerte pro Port sind nur dann direkt vergleichbar, wenn sie die gleiche Systemgrenze verwenden.

Bandbreitendichte als thermische Einschränkung

Die Bandbreitendichte kann sich auf die Bandbreite pro Modul, Front-Panel-Öffnung, Rack-Einheit, Schalter oder Watt beziehen.

Die Verdoppelung der Modulbandbreite verdoppelt nicht automatisch die nutzbare Schaltdichte.Zellstoffe, Käfige und Zugang zu Dienstleistungen.

Bei höheren Leistungsniveaus hängt die Bandbreitendichte zunehmend von der Wärmeentfernung ab und nicht nur von den Größen der Platten.

Warum die Geschwindigkeitsskalierung in einer Fahrspur an Effizienz verliert

Der konventionelle Weg zu einer höheren optischen Bandbreite basiert stark auf schnelleren elektrischen und optischen Strecken:

25G → 50G → 100G → 200G PAM4

Dieser Weg bleibt wichtig, aber jeder Übergang erfordert anspruchsvollere Sender, Empfänger, Ausgleich, Codierung und Signalintegritätskontrolle.Leistung und Komplexität sind nicht unbedingt proportional zum nutzbaren Durchsatz.

Warum höhere Fahrspuren die Kraft und Komplexität erhöhen

Die Lücke zwischen Rechen- und Skalierung von I/O

Eine Analyse auf der Grundlage derDatenbank der Epoch AI-ModelleSchätzungen zufolge wuchs der Rechenbedarf für die Ausbildung von Grenz-KI-Modellen zwischen 2010 und 2024 um etwa das Vier- bis Fünffache pro Jahr.

Diese Rate gilt eher für Grenzschulungen als für alle KI-Arbeitslasten.

Die I/O-Bandbreite folgt nicht einem universellen Verdoppelungsplan.

Die praktische Herausforderung besteht darin, die Kommunikationskapazität schnell genug auszubauen, um zu verhindern, dass die Verbindung das Rechensystem einschränkt.

Empfängerempfindlichkeit, DSP und FEC-Strafen

PAM4 trägt zwei Bits pro Symbol, indem vier Amplitudenstufen verwendet werden, aber die kleinere Trennung zwischen diesen Ebenen reduziert die Geräuschmarge im Vergleich zu NRZ.

EinIEEE 802.3 technischer BeitragEs wurde eine ideale optische SNR-Modulationsstrafe von etwa 4,8 dB für PAM4 im Verhältnis zu NRZ berechnet.

Dies bedeutet nicht, dass sich die Empfängerempfindlichkeit bei Verdoppelung der Spurgeschwindigkeit um einen festen Betrag verschlechtert.FEC, und der Umsetzungsmarge.

DSP und FEC können die Signalqualität wiederherstellen und die Betriebsmarge erhöhen, verbrauchen aber auch Strom und führen zu Verzögerungen.Der Nutzen einer Geschwindigkeitssteigerung in einer Fahrspur nimmt daher ab, da mehr elektrische und digitale Kompensation erforderlich wird.

Wie die Leistung des optischen Moduls das Design der Schalter einschränkt

Die Wirkung der Modulleistung wird deutlicher, wenn sie über einen kompletten Schalter zusammengefaßt wird.

Ein Beispiel für einen Strombudget von 51,2 T

Betrachten wir einen beispielhaften 51,2 Tb/s-Switch mit 128 × 400G FR4-Optischen Modulen:

Bei dieser Berechnung machen die optischen Module etwa 58,7% der kombinierten Leistung des optischen Moduls und des Switch-ASIC aus.

Dieser Prozentsatz repräsentiert nicht die gesamte Schalter-Eingangsleistung, da Ventilatoren, Regler, Steuerelektronik und Umwandlungsverluste nicht berücksichtigt werden.Es zeigt, dass optische Schnittstellen Energie in der gleichen Größenordnung wie das Schalt-Silizium verbrauchen können.

51.2T Schalteroptische Leistungsbudget

Netzwerkleistung und Rechendichte

Bei einem festen Strombudget kann eine geringere Netzteilleistung mehr elektrische und thermische Leistung für die Berechnung freisetzen.

Im Jahr 2025Ankündigung zur Umstellung auf Photonik, NVIDIA berichtete von einer 3,5-mal höheren Energieeffizienz für seine angekündigte Architektur im Vergleich zu seiner angegebenen traditionellen Implementierungsbasis.

Dies ist eher ein plattformspezifisches Ergebnis als ein universeller CPO-Effizienzfaktor.und Rackentwurf.

Die drei Systemwirkungen höherer optischer Leistung

Drei Systemwirkungen der Optikmodulleistung

Leistung und Rechendichte

Ein Watt, das vom Netz verbraucht wird, kann nicht anderswo innerhalb derselben Rackumgebung zugeordnet werden.

Eine höhere Netzleistung kann zu weniger Beschleunigern pro Rack, mehr Racks für die gleiche Arbeitsbelastung, zusätzliche Schalter und mehr Kühlbedarf führen.

Die Leistung des optischen Moduls ist daher eine architektonische Variable und nicht nur eine Komponentenspezifikation.

Leistungs- und Kühlgrenzen

Da die Steckmodule über 800G hinausgehen, muss mehr Wärme von jeder Frontplattenposition entfernt werden.

DieOSFP MSA-Technisches DokumentDer OSFP1600-Formfaktor liefert mehr als 30 W W Wärmekapazität für 1600G-Rechenzentrumsoptiken.

Die tatsächliche Leistung hängt von Reichweite, DSP-Implementierung, Anzahl der Wellenlängen, Laser-Anordnung, Host-Schnittstelle und Betriebstemperatur ab.

Bei ausreichend hohem Wärmefluss wird die Erhöhung des Luftstroms weniger effektiv.

ASHRAE-LeitlinienDokumentation der direkten Warmwasserkühlung im Bereich von 40°C bis 45°C in Hochleistungsrechnerumgebungen. Dies definiert nicht die erforderliche Kühlmitteltemperatur für jedes optische Modul,Aber es bestätigt, dass Warmwasserkühlung ein etablierter Rechenzentrum Ansatz ist.

Leistung, Temperatur und Zuverlässigkeit

In einem großen KI-Gewebe kann selbst eine geringe Ausfallwahrscheinlichkeit auf Komponentenebene eine erhebliche Betriebslast verursachen.

Eine niedrigere Betriebstemperatur kann viele Abbauverfahren verlangsamen, aber die Beziehung zwischen Temperatur und Lebensdauer hängt vom Gerät und dem Ausfallmodus ab.

NIST-Richtlinien für die Zuverlässigkeiterklärt, dass für verschiedene Ausfallmodi unterschiedliche Beschleunigungsmodelle erforderlich sein können.

Eine verteidigungsfähige Zuverlässigkeitsanalyse sollte daher den relevanten Ausfallmechanismus ermitteln, die Betriebsbelastung definieren und das Modell mit Daten validieren.aber es produziert nicht einen universellen Lebenszeit-Multiplikator.

Warum das Frontpanel zu einem Bandbreiten-Flaschenhals wird

KI-Netzwerke benötigen eine Hochradix-Schaltung mit niedrigem Überabonnement.

Zusätzliche Stufen können zunehmen:

• Verzögerung

• Anzahl der Schalter und optischen Verbindungen

• Stromverbrauch

• Kabelkomplexität

• Ausfallpunkte

• Kosten

OSFP-Dichte und Netzwerkerweiterung

DieOSFP MSA Referenzkonstruktionstellt einen 1RU-Switch mit 32 OSFP1600-Ports zur Verfügung, die 51,2 Tb/s Gesamtdurchsatz unterstützen.

Dies ist eine Referenzkonfiguration und nicht eine universelle physikalische Grenze.

Eine Erhöhung der Modulbandbreite kann die Anzahl der benötigten physikalischen Ports reduzieren, aber nur, wenn Stromversorgung, Kühlung, elektrische Routing und Fasermanagement praktisch bleiben.

Bandbreitendichte ist letztlich ein thermisches Problem

Ein Modul kann kleiner gemacht werden, aber seine Leistung kann nicht mit der gleichen Rate abnehmen.

Die nutzbare Dichte wird daher durch

• Leistung von Käfigen und Wärmeabsaugern

• Leistungszufuhr von PCB

• Elektrische Routing-Anlage

• Verbindungsdichte und Faserdichte

• Kühlsystemkapazität

• Höchsttemperatur der Bauteile

Bei hoher Bandbreite wird die praktische Dichte eines Formfaktors durch die Menge an Wärme bestimmt, die das komplette System entfernen kann.

Dichte der Vorderseite und thermische Architektur von XPO

XPO: Höhere Dichte mit eingebetteter Flüssigkeitskühlung

XPO steht fürExtremdichte Steckoptik.

Im März 2026,Arista hat die Multi-Source-Vereinbarung mit XPO bekannt gegeben.Die angekündigte Architektur nutzt 64 Kanäle mit 200 Gb/s pro Kanal, bietet 12,8 Tb/s pro Modul und zielt auf 204,8 Tb/s Front-Panel-Bandbreite pro Open-Computing-Rack-Einheit ab.

Das Konzept verwendet eine Belly-to-Belly-Doppel-PCB-Struktur:

• Hochleistungsbauteile sind nach innen in Richtung der Flüssigkeitskühlstruktur ausgerichtet.

• Komponenten mit geringerer Leistung sind nach außen gerichtet.

• Die Kühlung ist in die Modul-Architektur integriert.

• Die optische Anlage bleibt abnehmbar.

Der Wert von 204,8 Tb/s entspricht der Bandbreitenkapazität der Frontplatte, nicht 128 physikalischen Modulen in einer Rack-Einheit.

Das Hauptdesignargument von XPO ist die Instandhaltung. Es versucht, das Modell mit austauschbaren Modulen zu behalten und gleichzeitig die Parallelität zu erhöhen und den thermischen Pfad zu verbessern.

Traditionelle Steckeroptik, LPO, CPO und XPO

Traditionelle Stecker gegen LPO gegen CPO gegen XPO

Herkömmliche Steckeroptik

Traditionelle Steckmodule sind über schnelle elektrische Spuren mit dem Schalter ASIC verbunden.

Sie bieten Hot-Swap-Ersatz, klare Ausfallisolation, unabhängige Modulqualifikation und ausgereifte Versorgung durch mehrere Anbieter.

Bei höheren Spurgeschwindigkeiten erfordern PCB- und Steckverluste mehr Ausgleich und Signalverarbeitung.während die Wärme noch durch eine eingeschränkte Frontplattenstruktur entfernt werden muss.

LPO

Lineare Steckoptikentfernt das herkömmliche Modul-DSP und behält einen analogen Pfad zwischen Host und Modul.

DieSpezifikation der LPO MSAZuweist Funktionen wie FEC, Retiming und Datenumwandlung an den Host zu und definiert Prüfpunkte zur Unterstützung der Interoperabilität.

Das Entfernen des Modulseiten-DSP kann die Leistung des Moduls und die Verarbeitungsverzögerung reduzieren, stellt jedoch größere Anforderungen an die Host-SerDes-Qualität, den Kanalverlust, die Linearität des Senders, das Empfängergeräusch und die Verbindungsmarge.

LPO hat keinen universellen Leistungs-, Latenz- oder Reichweitenwert. Diese hängen vom kompletten Host und der optischen Verbindung ab.

CPO

Mitverpackte Optikdie optischen Antriebe in der Nähe des ASIC-Switches platziert, wodurch die Länge und der Verlust der elektrischen Verbindungen mit höchster Geschwindigkeit verringert werden.

Dies kann die Ausgleichs-, Wiederherstellungs- und elektrische E/A-Leistung reduzieren, stellt aber Herausforderungen bei der Verpackung, Faseranschluss, thermischem Design, Ausfallisolation und Feldreparatur dar.

Im Jahr 2023 wird dieDas Optical Internetworking Forum veröffentlichte seine Vereinbarung über die Implementierung von 3.2T-Co-Packed ModulenEs definiert ein 3,2 Tb/s-Modul für Ethernet-Switching und bietet etwa 140 Gb/s pro Millimeter Package-Edge Bandbreitendichte.

Im Mai 2026 erklärte NVIDIA, dass seine Spectrum-X Ethernet Photonics-Switches in Produktion seien. Dies ist ein wichtiger kommerzieller Meilenstein, obwohl er nicht auf eine branchenweite CPO-Annahme hinweist.

XPO

XPO behält ein abnehmbares Modul bei, wobei ein größerer Parallelismus und eine integrierte Flüssigkeitskühlung verwendet werden.

Es bietet eine andere Balance als CPO:

• Höhere Dichte als herkömmliche Steckdosen

• Direktflüssigkeitskühlung

• Feldwechsel

• Weniger Abhängigkeit von der optischen Integration auf Paketebene

Zu den verbleibenden Herausforderungen gehören das Design der elektrischen Schnittstelle, die Integration von Kaltplatten, das Fasermanagement, die Produktionsqualifizierung und die Interoperabilität zwischen mehreren Anbietern.

CWDM- und DWDM-CPO-Vergleiche

Die Wellenlängenarchitektur beeinflusst das Laserdesign, die Faserzahl, die Verpackung, den optischen Verlust und die Komplexität der Integration.

CWDM- und DWDM-Implementierungen können nicht mit isolierten Latenz- oder Energie-pro-Bit-Werten verglichen werden, es sei denn, die gleiche Messgrenze wird verwendet.

Ein Latenzwert kann Folgendes umfassen oder ausschließen:

• DSP und FEC

• Wiederholung

• Buffern

• Host-Schnittstellen

• Schalterverarbeitung

• Ein oder beide Enden der Verbindung

Energie pro Bit wird berechnet als:

Energie pro Bit = Leistung ÷ Bereitgestellte Bitrate

Die Berechnung muss jedoch festlegen, ob sie die Module, Host-SerDes, Laser, DSP, FEC, Schaltflächen und Kühlung umfasst.

DWDM kann mehr Wellenlängen auf eine Faser platzieren, wodurch die Dichte möglicherweise erhöht und die Faserzahl reduziert wird.und komplexere optische Integration.

Einchip-Mehrwellenlängenquellen kommen in Evaluierungsprogramme, aber ihr Produktionswert hängt von der Ausgangsleistung, der Wellenlängenstabilität, der Effizienz, der Ausbeute und der Lebensdauer ab.

DWDM garantiert nicht in jedem CPO-System eine geringere Leistung oder Latenz. Das Ergebnis hängt von der gesamten Architektur ab.

Scale-Up vs. Scale-Out-Verbindungen

Scale-up vs. Scale-out optische Verbindungen

Erweiterung

Scale-Up-Netzwerke verbinden Beschleuniger, die als ein eng koordiniertes System funktionieren müssen.

Kupfer bleibt auf kurzen Distanzen attraktiv, weil es kostengünstig und elektrisch unkompliziert ist.

Veröffentlichte Systemforschung hat beschrieben, dass aktuelle Hochgeschwindigkeits-Kupferverbindungen auf kurze Entfernungen innerhalb des Racks in der untersuchten Rechenzentrumsumgebung beschränkt sind.

Die Copper-Reichweite bei 400G hängt von der Implementierung ab. Sie variiert je nach Kabeldesign, Steckverbinderzahl, Ausgleich, Einsatzverlustbudget und verfügbarer Leistung.

Optische I/O und CPO werden attraktiver, wenn Kupfer nicht mehr die erforderliche Kombination von Bandbreite, Routingdichte, Entfernung und Effizienz bieten kann.

Skalierung

Scale-Out-Netzwerke verbinden Server und Racks über Schalter.

Sie erfordern eine längere Reichweite, einen hohen Schalterradius, eine große Portzahl und einen praktischen Feldwechsel.

Traditionelle Steckdosen, LPO, CPO und XPO, behandeln verschiedene Teile dieses Problems:

• LPO reduziert die Modulverarbeitung.

• CPO verkürzt den elektrischen Pfad.

• XPO erhöht die Steckdichte und die Kühlkapazität.

Der Übergang sollte durch spezifische Normen und Produktmeilensteine und nicht durch ein einheitliches Annahmedatum verstanden werden.

Rahmen für die Auswahl von Ingenieuren

Die Auswahl der Architektur sollte mit der Systemanforderung beginnen, nicht mit dem niedrigsten veröffentlichten Modul-Leistungswert.

Zu den wichtigsten Fragen gehören:

• Welche Reichweite ist erforderlich?

• Welche Leistungs- oder Energiegrenze pro Bit gilt?

• Ist der Feldwechsel obligatorisch?

• Welches Kühlsystem gibt es?

• Welche Latenzgrenze wird gemessen?

• Ist eine Interoperabilität zwischen mehreren Anbietern erforderlich?

Vergleichen Sie Energie pro Bit sorgfältig

Ein leistungsstärkeres Modul kann immer noch eine geringere Energie pro Bit haben, wenn es viel mehr nutzbare Bandbreite bietet.

Jeder Vergleich sollte die Bitrate, die Richtung, die Anzahl der Verbindungsenden, die DSP/FEC-Grenze, die Laserleistung, die Hostverarbeitung und die Kühlkosten definieren.

Beurteilen Sie Reichweite und Link-Marge

Architekturen mit geringerer Leistung können mit engerem Kanalrand arbeiten.

Bei der Auswahl sollten die Übertragungsdistanz, das End-to-End-Verbindungsbudget, die Qualität des elektrischen Kanals, die Betriebstemperatur, die Komponentenvariation und die Alterungsbedingungen berücksichtigt werden.

Überprüfen Sie Kühlung und Wartungsfähigkeit

Die Nennleistung eines Moduls beweist nicht, daß jedes Fahrwerk es abkühlen kann.

Das System muss auch die austauschbare Einheit definieren.oder Schaltanlage.

Die Reife des Ökosystems bewerten

Technische Leistung und Reife des Ökosystems sind unterschiedliche Fragen.

Eine neue Architektur kann starke Ergebnisse zeigen, bevor sie stabile Spezifikationen, mehrere Lieferanten, gemeinsame Prüfmethoden, nachgewiesene Interoperabilität oder etablierte Reparaturverfahren hat.

Was die Einschränkung der Leistungsdichte für die KI-Infrastruktur bedeutet

Die künftige Bandbreitenentwicklung kann nicht nur auf die Erhöhung der Geschwindigkeit eines Kanals beruhen.

Sie erfordert eine Kombination von

• Parallele Kanäle

• Wellenlängen-Multiplexing

• Kürzere elektrische Wege

• Effizientere Verpackungen

• Materialien mit geringeren Verlusten

• Verbessertes thermisches Design

Mit zunehmendem Wärmefluss verringern sich die Erträge durch größere externe Wärmesenkungen.

Die Zuverlässigkeit muss auch durch eine geeignete Betriebstemperatur, eine spezifische Ausfallmodusqualifikation, reparierbare Systemgrenzen und Redundanz auf Netzwerkebene erreicht werden.

Das optische Modul, der Switch ASIC, das Paket, die Leiterplatte, das Kühlsystem und die Netzwerktopologie müssen zunehmend als ein System konzipiert werden.

Häufig gestellte Fragen

Warum verbrauchen optische Module so viel Strom?

Hochgeschwindigkeitsmodule benötigen Laser-Treiber, Empfänger, Ausgleich und häufig DSP und FEC.

Was begrenzt die Bandbreitendichte der optischen Module?

Die Haupteinschränkungen sind der Platz der Frontplatte, die Stromversorgung, die elektrische Anleitung, die Faserverwaltung und die Kühlkapazität.

Was ist der Unterschied zwischen LPO, CPO und XPO?

LPO entfernt das Modul DSP, CPO platziert die Optik in der Nähe des ASIC und XPO kombiniert ein abnehmbares Modul mit hoher Parallelität und Flüssigkeitskühlung.

Verbraucht CPO immer weniger Energie?

Das Ergebnis hängt vom Laser, der Host-Schnittstelle, der DSP/FEC-Grenze, der Kühlung und von den Systemteilen ab.

Warum beeinflusst die Temperatur die Zuverlässigkeit?

Bei höheren Temperaturen beschleunigen sich viele Abbaumechanismen, aber die genaue Beziehung hängt vom Gerät und dem Ausfallmodus ab.

Welche Architektur ist besser für Scale-Up und Scale-Out?

Scale-Up begünstigt Lösungen mit kurzer Reichweite und geringer Latenz wie Kupfer, optische E/A und CPO. Scale-Out legt mehr Wert auf Reichweite, Schaltdichte und Wartbarkeit.