InfiniBand vs. Ethernet: Was passt zu Ihrem Rechenzentrum?

InfiniBand und Ethernet sind wichtige Netzwerkkommunikationstechnologien in den sich schnell entwickelnden Netzwerken von heute. Ethernet ist eine Standardtechnologie für die meisten Netzwerkanforderungen und bietet effiziente und zuverlässige Leistung. InfiniBand hat sich jedoch als Hochleistungsoption für datenintensive Netzwerke etabliert. Die Wahl zwischen InfiniBand oder Ethernet für Ihr Rechenzentrum kann die Netzwerkgeschwindigkeit und -leistung erheblich beeinflussen. Dieser Blogbeitrag beleuchtet die Vorteile von InfiniBand und Standard-Ethernet und hilft Ihnen, die richtige Wahl für Ihr Rechenzentrum zu treffen.

Was ist Ethernet?

Ethernet wurde in den 1980er Jahren kommerziell eingeführt und hat sich zum dominierenden Kommunikationsprotokoll für lokale Netzwerke (LANs) entwickelt. Ethernet dient der Datenübertragung zwischen verschiedenen Systemen über Protokolle wie TCP/IP und RoCE (RDMA over Converged Ethernet). Dadurch können Geräte innerhalb desselben Netzwerks effizient kommunizieren und Informationen austauschen. Es gibt verschiedene Ethernet-Typen, darunter Fast Ethernet, Gigabit Ethernet und 10 Gigabit Ethernet.

Verschiedene Geräte innerhalb eines LANs, wie Drucker und Computer, können über Koaxialkabel, Twisted-Pair-Kabel, schnellere Glasfaserkabel und drahtlose Technologie miteinander kommunizieren. Es gibt verschiedene Kategorien von Twisted-Pair-Kabeln, darunter Cat5e-, Cat6-, Cat6a- und Cat8-Kabel . Diese Kabel unterstützen unterschiedliche Netzwerkgeschwindigkeiten und Bandbreiten, beispielsweise unterstützen Cat6a-Kabel eine maximale Datenrate von 10 Gbit/s.

Was ist InfiniBand?

InfiniBand wurde 1999 von Future I/O und Next Generation I/O (NGIO) entwickelt. Es handelt sich um eine offene Standard-Netzwerkverbindungstechnologie, die hohe Bandbreite und geringe Latenz für Supercomputer-Cluster bietet. Sie wurde speziell für schnelle und effiziente Datenübertragung und -verarbeitung entwickelt, einschließlich High-Performance-Computing-Umgebungen (HPC) mit GPU-Servern. InfiniBand unterstützt RDMA ( Remote Direct Memory Access ) für den direkten Zugriff auf den Speicher zweier Computer und ermöglicht so eine effiziente Datenübertragung. Darüber hinaus unterstützt es Virtualisierungs-, Sicherheits- und QoS-Funktionen.

Die InfiniBand-Netzwerke unterstützen Single-Data-Rate-Signale (SDR) mit einer Rate von 2,5 Gbit/s pro Lane, Double-Data-Rate-Signale (DDR) mit einer Rate von 5 Gbit/s pro Lane und Quad-Data-Rate-Signale (QDR) mit einer Rate von 10 Gbit/s pro Lane. NDR und XDR können sogar Datenraten von 400 Gbit/s bzw. 800 Gbit/s erreichen.

InfiniBand verwendet eine Switched Fabric-Topologie, die die Verbindung verschiedener Netzwerkknoten in einer einzigen Netzwerkstruktur ermöglicht. Dies erleichtert die Skalierung und die Kommunikation mit mehr Geräten. Daten können zwischen Servern oder zwischen Servern und Speicher übertragen werden, ohne dass die Host-CPU benötigt wird. Dies reduziert das Risiko von CPU-Überlastungen.

Wie funktioniert InfiniBand?

InfiniBand nutzt die Stapelschichten der InfiniBand-Architektur (IBA), die das Punkt-zu-Punkt-Switching definieren. Die Fabric-Topologie ermöglicht eine schnelle Datenkommunikation zwischen verbundenen Knoten. InfiniBand überträgt Daten paketweise über verschiedene Lanes, wobei jede Lane je nach Version unterschiedliche Datenraten von 2,5 Gbit/s bis 400 Gbit/s unterstützt. Zum Empfangen und Senden von Daten sind ein Host-Channel-Adapter (HCA) und ein Destination-Channel-Adapter (TCA) erforderlich. Der HCA dient der Verbindung zwischen dem Hostsystem und dem InfiniBand-Netzwerk; der TCA dient der Remote-Speicherung und Netzwerkkonnektivität.

Die InfiniBand-Architektur (IBA) besteht hauptsächlich aus fünf Schichten, darunter die obere Schicht, die Transportschicht, die Netzwerkschicht, die Verbindungsschicht und die physische Schicht.

Die Protokolle der oberen Schicht bestehen aus MPI (Message Passing Interface), NCCL (NVIDIA Collective Communication Library), RDMA-Speicherprotokollen und IP über InfiniBand. Diese Protokolle bieten Schnittstellen für Anwendungen zum Zugriff auf Nachrichtendienste.

Die Transportschicht stellt Transportdienste basierend auf der sendenden und empfangenden Hardware bereit. Die Nachricht wird von der sendenden Anwendung an den Puffer der empfangenden Anwendung übertragen.

Die Netzwerkschicht ermöglicht es Netzwerkgeräten, Pakete zwischen verschiedenen InfiniBand-Subnetzen weiterzuleiten, indem sie globale ID- oder GID-Adressen bereitstellen.

Die Verbindungsschicht ist für den Abgleich der Quell- und Ziel-Local-IDs (LIDs) auf Netzwerk-Switches verantwortlich. Gemäß dem Flusskontrollprotokoll wird der Flusskontrollmechanismus zur Steuerung der Übertragungsrate verwendet. Sobald der Empfangspuffer frei ist, kann der sendende Knoten Daten senden.

Die physikalische Schicht definiert das Signalisierungsprotokoll für die Zusammensetzung eines gültigen Pakets sowie die Eigenschaften und Spezifikationen für InfiniBand-AOC- und DAC-Kabel.

6 Unterschiede zwischen InfiniBand und Ethernet

Mit der rasanten Entwicklung von CPU-basierten Rechensystemen und Hochgeschwindigkeitsnetzwerken für Supercomputer hat sich InfiniBand zu einer immer wichtigeren Netzwerktechnologie entwickelt. Doch was sind die wesentlichen Unterschiede zwischen InfiniBand und Ethernet? Sie lassen sich anhand der folgenden sechs Hauptaspekte vergleichen:

1. Architektur : Das Ethernet-Netzwerk basiert auf einer herkömmlichen Broadcast- und Punkt-zu-Punkt-Architektur, was bedeutet, dass jedes Gerät im Netzwerk auf Paket-Broadcasting angewiesen ist. InfiniBand hingegen verwendet eine Switch-Fabric-Topologie, was bedeutet, dass alle Geräte so konzipiert sind, dass sie über Switches miteinander kommunizieren und mehrere Links zur Datenübertragung verwenden.
2. Geschwindigkeit und Latenz : Ethernet und InfiniBand unterscheiden sich deutlich hinsichtlich Datenrate, Bandbreite und Latenz. Das neueste InfiniBand bietet eine höhere Bandbreite als Ethernet. Darüber hinaus ist eine effiziente Bandbreitennutzung für die Hochgeschwindigkeitskommunikation zwischen verschiedenen Geräten von entscheidender Bedeutung. Die RDMA-Technologie löst das Problem der CPU-Entlastung und ermöglicht so eine schnelle Netzwerkverarbeitung in InfiniBand. Hinsichtlich der Latenz verwenden Ethernet-Switches üblicherweise MAC-Adressierung und benötigen aufgrund der benötigten IP-, MPLS- und QinQ-Dienste längere Verarbeitungszeiten. Im Gegensatz dazu verarbeiten InfiniBand-Switches Daten einfach auf Netzwerkebene 2. Daher weist InfiniBand eine geringere Latenz als Ethernet auf.
3. Netzwerkskalierbarkeit :​ Wie steht es um die Skalierbarkeit von Ethernet und InfiniBand? Dies hängt vom jeweiligen Anwendungsfall ab. InfiniBand erscheint zwar für die Verarbeitung großer Datenmengen besser geeignet, bietet aber im allgemeinen Anwendungsbereich eine höhere Skalierbarkeit als InfiniBand. Ethernet ist mit der bestehenden Rechenzentrumsinfrastruktur kompatibel und aufgrund seiner breiten Verbreitung äußerst flexibel und skalierbar. InfiniBand hingegen erfordert komplexe und spezifische Netzwerkkonfigurationen sowie spezielle Hard- und Software, was die allgemeine Skalierbarkeit beeinträchtigt.
4. Sicherheit : Beide bieten Funktionen für Verschlüsselung, Authentifizierung, Zugriffskontrolle und Netzwerksegmentierung, es gibt jedoch einige Unterschiede. InfiniBand verschlüsselt Daten durchgängig mit Secure Sockets Layer (SSL) und Transport Layer Security (TLS) und nutzt eindeutige Kennungen (UIDs) zur Authentifizierung. Ethernet hingegen nutzt IPsec (Internet Protocol Security) für Verschlüsselung und Authentifizierung. Im Vergleich zu Ethernet bietet InfiniBand robuste Zugriffskontrolllisten (ACLs) zur Zugriffsbeschränkung und segmentiert das Netzwerk in separate, sichere virtuelle Netzwerke. InfiniBand bietet außerdem erweiterte Sicherheitsfunktionen wie Secure Key Exchange und Secure Data Integrity. Im Vergleich zu Ethernet bietet InfiniBand keine umfassenderen Sicherheitsfunktionen, sondern nutzt Kanaladapter zum Informationsaustausch, um die Sicherheit zu gewährleisten.
5. Kosten : Ethernet ist kostengünstiger als InfiniBand, da es einfacher zu implementieren, zu warten und leicht erhältliche Hard- und Software bietet. Im Gegensatz dazu verfügt InfiniBand über ein eingeschränktes Ökosystem mit nur einem einzigen Anbieter, Mellanox (von Nvidia übernommen). Es erfordert spezielle IB-Netzwerkkarten und -Switches.
6. Entfernungsbeschränkungen: InfiniBand-Verbindungen können im Allgemeinen nicht länger als Ethernet sein. Die permanente Ethernet-Verbindung ist bei 295 Fuß (89 m) bei 68 Grad Fahrenheit (20 °C) begrenzt, während InfiniBand bei Kupfer-InfiniBand-Kabeln (Cu-IB) nur wenige Meter und bei Glasfaser-InfiniBand-Kabeln (F-IB) wenige Meter bis mehrere Kilometer beträgt.

InfiniBand vs. Ethernet: Was soll ich wählen?

Rechenzentren sind riesige Computerräume, die Daten speichern, verwalten und verarbeiten. Sie sind wichtige Einrichtungen für große Unternehmen und andere Organisationen. Die Wahl zwischen Ethernet- und InfiniBand-Netzwerken hat großen Einfluss auf die Leistung Ihres Rechenzentrums.

Ethernet ist aufgrund seiner einfachen Bereitstellung, Abwärtskompatibilität, Kosteneffizienz, Flexibilität und einfachen Integration die beste Wahl für die meisten allgemeinen Netzwerke. Sie können Ethernet für gängige Netzwerke wie Unternehmensnetzwerke, LANs und Cloud-Infrastrukturen wählen.

InfiniBand eignet sich besser für datenintensive Umgebungen, in denen hohe Geschwindigkeit, geringe Latenz und Zuverlässigkeit eine wichtige Rolle spielen. Es ist die beste Wahl für Supercomputing, Echtzeitanalysen, KI-Modelltraining und Rechenzentren für die Verarbeitung großer Workloads. Bei der Bereitstellung von InfiniBand sollten Sie jedoch einige Faktoren berücksichtigen. InfiniBand ist mit hohen Verwaltungskosten und eingeschränkter Verfügbarkeit verbunden, was ein Upgrade von der Ethernet-Architektur für Unternehmen weniger praktikabel und umsetzbar macht.

Zusammenfassend

Ethernet und InfiniBand bieten einzigartige Vorteile für bestimmte Netzwerkanwendungen. Ethernet ist für seine umfassende Kompatibilität und Flexibilität bekannt, während InfiniBand für datenintensive Netzwerke überragende Geschwindigkeit und Bandbreite bietet. Unabhängig davon, ob Sie sich für Ethernet oder InfiniBand entscheiden, sollten Sie die Unterschiede verstehen, bevor Sie die optimale Lösung für Ihre spezifischen Anforderungen finden.

Weitere Informationen zu diesem Thema finden Sie auf unserer Blogs . VCELINK bietet zwar allgemeine und grundlegende Informationen für unsere Kunden und andere Besucher der Website, es handelt sich jedoch nicht um professionelle Beratung.