Die Zukunft ist intelligent – und wir wollen sie aktiv mitgestalten. Ein entscheidender Schritt auf diesem Weg ist der Aufbau unserer eigenen Infrastruktur für das Hosting und Training von KI-Modellen. Federführend bei diesem Projekt ist unser AI-Experte Arved Oberstraß. Deshalb freuen wir uns, heute den Startschuss für unseren ersten dedizierten AI-Server bekannt zu geben!

Testlabor für die Zukunft

Dieser erste Server ist mehr als nur Hardware; er ist unser Testlabor. Bevor wir in großem Stil in weitere Ausrüstung investieren, wollen wir genau verstehen, welche Komponenten für unsere Anwendungsfälle die beste Leistung bringen. Das primäre Ziel ist es, durch gezielte Leistungstests die optimale Konfiguration für zukünftige Hardware-Bestellungen zu ermitteln.

Die Hardware der ersten Ausbaustufe

Für den Start haben wir eine leistungsstarke und flexible Basis geschaffen:

• Server-Chassis: Ein GIGABYTE G292-Z20 (R1) Rack-Server, der Platz für bis zu 8 GPUs bietet und von einem AMD EPYC 7402P 24-Kern-Prozessor angetrieben wird.
• Arbeitsspeicher: Insgesamt stehen uns hier 416 GB zur Verfügung, um auch speicherhungrige Modelle bewältigen zu können.
• Speicher: Eine schnelle Intel DC P4510 1TB U.2 SSD sorgt für kurze Ladezeiten.

Die Kernfrage: Welche Grafikkarte darf es sein?

Das Herzstück eines jeden AI-Servers sind die GPUs. Hier liegt auch der Fokus unserer Tests. Wir haben aktuell drei Karten im Einsatz:

• 1x AMD Radeon Instinct MI50 (32GB HBM2)
• 2x NVIDIA Tesla T10 (je 16GB GDDR6)

Die zentrale Frage, die wir mit unseren Benchmarks beantworten wollen, lautet: Fahren wir besser mit einer gemischten Konfiguration aus zwei NVIDIA-Karten und sechs AMD-Beschleunigern, oder ist ein reines Setup mit acht NVIDIA-Karten der performantere und effizientere Weg für unsere Zwecke?

Die Ergebnisse dieser Tests werden direkt in die Planung unseres weiteren AI-Clusters einfließen und sicherstellen, dass wir eine leistungsstarke und zukunftssichere Infrastruktur für unsere Projekte und die Ausbildung unserer Teilnehmer:innen aufbauen. Wir halten euch auf dem Laufenden!