GIGABYTE 1HE Serversystem R163-ZG2-AAJ2 - AMD EPYC / NVMe

AMD EPYC™ 9015 Prozessor

Hauptmerkmale:

• 8 Kerne und 16 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.95GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 64MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9124

AMD EPYC™ 9174F

AMD EPYC™ 9184X

AMD EPYC™ 9115 - 2.6GHz - 16Kerne/32Threads - Tray

Hauptmerkmale:

• 16 Kerne und 32 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.3GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 64MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.

Technische Daten:

AMD EPYC™ 9135 Prozessor

Hauptmerkmale:

• 16 Kerne und 32 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.25GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 64MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9224

AMD EPYC™ 9254

AMD EPYC™ 9274F

AMD EPYC™ 9255 Prozessor

Hauptmerkmale:

• 24 Kerne und 48 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 128MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9334

AMD EPYC™ 9354

AMD EPYC™ 9354P

AMD EPYC™ 9374F

AMD EPYC™ 9384X

AMD EPYC™ 9355 Prozessor

Hauptmerkmale:

• 32 Kerne und 64 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.2GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9335 Prozessor

Hauptmerkmale:

• 32 Kerne und 64 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 128MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9365 Prozessor

Hauptmerkmale:

• 36 Kerne und 72 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.15GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 192MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9454

AMD EPYC™ 9454P

AMD EPYC™ 9474F

AMD EPYC™ 9475F Prozessor

Hauptmerkmale:

• 48 Kerne und 96 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.4GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9965 Prozessor

Hauptmerkmale:

• 48 Kerne und 96 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.1GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9534

AMD EPYC™ 9554

AMD EPYC™ 9554P

AMD EPYC™ 9575F Prozessor

Hauptmerkmale:

• 64 Kerne und 128 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.5GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9555 Prozessor

Hauptmerkmale:

• 64 Kerne und 128 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.2GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9555P Prozessor

Hauptmerkmale:

• 64 Kerne und 128 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.2GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9535 Prozessor

Hauptmerkmale:

• 64 Kerne und 128 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.5GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9565 Prozessor

Hauptmerkmale:

• 72 Kerne und 144 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.2GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9634

AMD EPYC™ 9654

AMD EPYC™ 9654P

AMD EPYC™ 9684X

AMD EPYC™ 9655 Prozessor

Hauptmerkmale:

• 96 Kerne und 192 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.1GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9645 Prozessor

Hauptmerkmale:

• 96 Kerne und 192 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.3GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 256MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9655P Prozessor

Hauptmerkmale:

• 96 Kerne und 192 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.1GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9734

AMD EPYC™ 9754

AMD EPYC™ 9755 Prozessor

Hauptmerkmale:

• 128 Kerne und 256 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 4.1GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 512MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9745 Prozessor

Hauptmerkmale:

• 128 Kerne und 256 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.45GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9825 Prozessor

Hauptmerkmale:

• 144 Kerne und 288 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.3GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9845 Prozessor

Hauptmerkmale:

• 160 Kerne und 320 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.25GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 320MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

AMD EPYC™ 9965 Prozessor

Hauptmerkmale:

• 192 Kerne und 384 Threads: Hohe Multitasking-Leistung für parallele Anwendungen.
• All Core Boost Speed 3.35GHz: Frequenz-Durchschnitt aller Kerne im Leistungsmodus bei gleichzeitiger Nutzung einer geringen Arbeitslast.
• 384MB Intel Smart Cache: Schneller Zugriff auf häufig benötigte Daten.
• AMD AVX-512 Instruktionen: Beschleunigung von datenintensiven Berechnungen.

Technische Daten:

PNY NVIDIA L40S - GPU-Rechenprozessor - 48GB

Die NVIDIA L40S GPU, die auf der Ada Lovelace-Architektur basiert, ist die leistungsstärkste universelle GPU für Rechenzentren und bietet bahnbrechende Multi-Workload-Beschleunigung für das Inferenz- und Training von großen Sprachmodellen (LLM) sowie für Grafik- und Videoanwendungen. Als führende Plattform für multimodale generative KI ermöglicht die L40S GPU eine durchgängige Beschleunigung für Inferenz-, Trainings-, Grafik- und Video-Workflows und treibt die nächste Generation von KI-unterstützten Audio-, Sprach-, 2D-, Video- und 3D-Anwendungen voran.

Hauptmerkmale:

• CUDA Kerne: 18,176
• Arbeitsspeicher: 48 GB GDDR6
• Speicher-Bandbreite: 864 GB/s
• System-Schnittstelle: PCI Express 3.0 x16
• Max. Leistungsaufnahme: 350 W
• Display-Anschlüsse: 4x DisplayPort 1.4a

Technische Daten:

• Datenblatt (englisch)

PNY NVIDIA L40S - GPU-Rechenprozessor - 48GB

Die NVIDIA L40S GPU, die auf der Ada Lovelace-Architektur basiert, ist die leistungsstärkste universelle GPU für Rechenzentren und bietet bahnbrechende Multi-Workload-Beschleunigung für das Inferenz- und Training von großen Sprachmodellen (LLM) sowie für Grafik- und Videoanwendungen. Als führende Plattform für multimodale generative KI ermöglicht die L40S GPU eine durchgängige Beschleunigung für Inferenz-, Trainings-, Grafik- und Video-Workflows und treibt die nächste Generation von KI-unterstützten Audio-, Sprach-, 2D-, Video- und 3D-Anwendungen voran.

Hauptmerkmale:

• CUDA Kerne: 18,176
• Arbeitsspeicher: 48 GB GDDR6
• Speicher-Bandbreite: 864 GB/s
• System-Schnittstelle: PCI Express 3.0 x16
• Max. Leistungsaufnahme: 350 W
• Display-Anschlüsse: 4x DisplayPort 1.4a

Technische Daten:

• Datenblatt (englisch)

PNY NVIDIA A40 - GPU-Rechenprozessor - 48GB

Hauptmerkmale:

• Architektur: NVIDIA Ampere
• Arbeitsspeicher: 48 GB GDDR6 mit ECC
• Speicher-Bandbreite: 696 GB/s
• Max. Leistungsaufnahme: 300 W

Technische Daten:

• Datenblatt (englisch)

PNY NVIDIA H100 NVL HBM3 - GPU-Rechenprozessor - 94GB

Die NVIDIA® H100 NVL Tensor Core GPU ist die am stärksten optimierte Plattform für LLM-Inferenz (Large Language Models) – mit hoher Rechendichte, hoher Speicherbandbreite, hoher Energieeffizienz und einer einzigartigen NVLink-Architektur. Sie bietet eine beispiellose Beschleunigung für die leistungsfähigsten elastischen Rechenzentren der Welt im Bereich KI, Datenanalyse und High Performance Computing (HPC). Die NVIDIA H100 NVL Tensor Core Technologie unterstützt eine breite Palette an mathematischen Genauigkeiten und stellt somit einen einheitlichen Beschleuniger für unterschiedlichste Rechenlasten dar. Unterstützt werden Double Precision (FP64), Single Precision (FP32), Half Precision (FP16), 8-Bit Floating Point (FP8) und Integer (INT8) Berechnungen.

Außergewöhnliche Leistung für umfangreiche KI und HPC

Der Hopper Tensor-Core-Grafikprozessor wird die NVIDIA Grace Hopper CPU und GPU-Architektur unterstützen, die speziell für beschleunigtes Computing im Terabyte-Bereich entwickelt wurde und eine 10-mal höhere Leistung bei KI und HPC bei großen Modellen bietet. Die NVIDIA Grace-CPU nutzt die Flexibilität der Arm® Architektur, um eine CPU- und Serverarchitektur zu erstellen, die von Grund auf für beschleunigtes Computing entwickelt wurde. Die Hopper GPU wird mit der Grace CPU sowie der ultraschnellen Chip-zu-Chip-Verbindung von NVIDIA kombiniert und bietet eine Bandbreite von 900 GB/s – 7-mal schneller als PCIe der 5. Generation. Dieses innovative Design bietet eine bis zu 30-mal höhere Gesamt-Systemspeicherbandbreite im Vergleich zu den schnellsten gegenwärtig verfügbaren Servern und eine bis zu 10-mal höhere Leistung für Anwendungen mit einem Datenvolumen von mehreren Terabytes.

Die NVIDIA H100 NVL verfügt über Multi-Instance GPU (MIG)-Funktionalität. Damit lässt sich die GPU in bis zu sieben voneinander isolierte GPU-Instanzen aufteilen, wodurch eine flexible Plattform entsteht, die sich dynamisch an veränderte Anforderungen im Rechenzentrum anpassen kann. Gleichzeitig können Ressourcen optimal zugewiesen werden – von kleinsten bis zu größten Multi-GPU-Aufträgen. Dank ihrer Vielseitigkeit können IT-Manager mit der H100 NVL den Nutzen jeder einzelnen GPU im Rechenzentrum maximieren.

Enterprise-Ready: KI-Software optimiert Entwicklung und Bereitstellung

NVIDIA H100 NVL wird mit einem NVIDIA AI Enterprise Fünf-Jahres-Abonnement geliefert und vereinfacht den Aufbau einer KI-fähigen Plattform für Unternehmen. H100 beschleunigt die Entwicklung und Bereitstellung von KI für produktionsfähige generative KI-Lösungen, einschließlich Computer Vision, Sprach-KI, Retrieval Augmented Generation (RAG) und mehr. NVIDIA AI Enterprise umfasst NVIDIA NIM™, eine Reihe einfach zu bedienender Microservices, die entwickelt wurden, um die Bereitstellung generativer KI in Unternehmen zu beschleunigen. Zusammen bieten Bereitstellungen Sicherheit, Verwaltbarkeit, Stabilität und Support auf Unternehmensebene. Dies führt zu leistungsoptimierten KI-Lösungen, die schnelleren Geschäftswert und umsetzbare Erkenntnisse liefern.

Transformations-KI-Training

H100 verfügt über Tensor-Recheneinheiten der vierten Generation und eine Transformer Engine mit FP8-Präzision, die bis zu 4-mal schnelleres Training im Vergleich zur vorherigen Generation für GPT-3 (175B) Modelle bietet. Die Kombination aus NVLink der vierten Generation, das 900 GIGABYTE pro Sekunde (GB/s) der GPU-zu-GPU-Verbindung bietet, und dem NDR Quantum-2 InfiniBand-Netzwerk, das die Kommunikation durch jeden Grafikprozessor über Knoten hinweg beschleunigt, PCIe Gen5 und NVIDIA Magnum IO™ Software bietet effiziente Skalierbarkeit von Systemen für kleine Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern.

Die Bereitstellung von H100-Grafikprozessoren im Rechenzentrumsmaßstab bietet hervorragende Leistung sowie die nächste Generation von Exascale High-Performance-Computing (HPC) und Billionen-Parameter-KI für alle Forscher.

Echtzeit-Deep-Learning-Inferenz

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.

H100 erweitert die marktführende Position von NVIDIA im Bereich Inferenz durch mehrere Verbesserungen, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16, INT8 und jetzt FP8, um die Speichernutzung zu reduzieren und die Leistung zu steigern, während gleichzeitig die Genauigkeit für LLMs erhalten bleibt.

Exascale High-Performance Computing

Die NVIDIA-Rechenzentrumsplattform bietet konsistente Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC und KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.

H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor-Recheneinheiten mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können auch die TF32-Präzision von H100 nutzen, um einen PetaFLOPS Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.

Außerdem verfügt H100 über neue DPX-Anweisungen, die 7-mal höhere Leistung als A100 und 40-fache Beschleunigung gegenüber CPUs bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung und Proteinausrichtung für die Proteinstrukturvorhersage liefern.

Leistungsschub für Inferenz großer Sprachmodelle mit H100 NVL

Für LLMs mit bis zu 70 Milliarden Parametern (Llama 2 70B) nutzt die PCIe-basierte NVIDIA H100 NVL mit NVLink-Brücke die Transformer Engine, NVLink und 188 GB HBM3-Speicher, um optimale Leistung und einfache Skalierung in jedem Rechenzentrum zu bieten – und bringt LLMs damit in den Mainstream. Server, die mit H100 NVL-GPUs ausgestattet sind, steigern die Llama-2-70B-Leistung um das bis zu 5-Fache gegenüber NVIDIA A100-Systemen bei gleichzeitiger geringer Latenz in Rechenzentrumsumgebungen mit begrenztem Stromverbrauch.

Technische Daten:

• Produktübersicht (englisch)