Rechenleistung Meta plant den weltweit schnellsten KI-Supercomputer

Von Sebastian Human

Wie vor kurzem bekannt wurde, arbeitet Meta mit Hochdruck an einem Projekt, das das ehrgeizige Ziel verfolgt, den schnellsten KI-Supercomputer der Welt zu bauen. Was der Großrechner können soll, lesen Sie hier.

Anbieter zum Thema

Am Ende der zweiten Bauphase, die Mitte des Jahres abgeschlossen sein soll, könnte der schnellste KI-Supercomputer der Welt stehen.
Am Ende der zweiten Bauphase, die Mitte des Jahres abgeschlossen sein soll, könnte der schnellste KI-Supercomputer der Welt stehen.
(Bild: gemeinfrei / Unsplash)

Dass der Facebook-Konzern, der inzwischen Meta heißt, seine Ziele tendenziell eher höher als niedriger steckt, ist nicht neu. Was das Unternehmen aus den USA nun ankündigte, passt daher ins Bild: Bis Mitte 2022 will man mit der zweiten Bauphase eines KI-Superrechners fertig sein, der unter anderem für das KI-Training eingesetzt werden, den Namen AI Research SuperCluster, kurz RSC, tragen und nicht weniger als der schnellste Superrechner der Welt sein soll.

Ehrgeizige Ziele

Der Computer soll demzufolge eine theoretische Rechenleistung von knapp 5 Exaflops erreichen und dabei helfen, bessere KI-Modelle zu entwickeln. Zu diesem Zweck soll er mit Hunderten von Sprachen arbeiten und aus Billionen von Datenpunkten lernen – versorgt werden soll er dabei mit anonymisierten Daten, so der Konzern.

Wird das Hochleistungsgerät im ersten Schritt mit rechenintensiven Modellen für das Natural Language Processing sowie die Erforschung von Computer Vision eingesetzt, soll es Meta perspektivisch dabei helfen, die angekündigte Vision des Metaverse wahr werden zu lassen oder Echtzeit-Sprachübersetzungen für große Gruppen von Menschen ermöglichen, die alle eine andere Sprache sprechen. Besonders interessant in diesem Kontext: Die Privatsphäre der Nutzerinnen und Nutzer soll dabei unangetastet bleiben, da die Trainingsdaten anonymisiert und bis kurz vor Trainingsbeginn verschlüsselt sein sollen. Die für die Arbeit notwendige Entschlüsselung wiederum erfolge laut Meta erst im Speicher, ältere Datensätze würden regelmäßig gelöscht. Auf diese Weise soll nicht mal ein physischer Zugriff auf den Supercomputer die Daten abgreifbar machen. Ein webbasierter Angriff sei ebenso wenig möglich, da das Prestigeprojekt des Techkonzerns getrennt vom freizgänglichen Internet laufen soll.

Technische Fakten

Für den Bau solcher KI-Supercomputer benötigt man mehrere Grafikprozessoren, die zu Rechenknoten kombiniert und anschließend über ein Hochleistungsnetzwerk miteinander verknüpft werden. Der RSC beinhaltet Projektangaben zufolge insgesamt 760 NVIDIA DGX A100 Systeme als Rechenknoten, also insgesamt 6.080 GPU. Dabei soll jeder der A100-GPU leistungsfähiger sein als der V100, der in Metas bisherigem System zum Einsatz kommt. Die Speicherebene besteht aus 175 Petabyte Pure Storage FlashArray, 46 Petabyte Cache-Speicher in Penguin Computing Altus-Systemen und 10 Petabyte Pure Storage FlashBlade.

Im Vergleich zur bestehenden Produktions- und Forschungsinfrastruktur von Meta sollen Computer-Vision-Workflows bis zu 20 Mal schneller ausgeführt werden, die NVIDIA Collective Communication Library (NCCL) über neun Mal schneller laufen und große NLP-Modelle dreimal schneller trainiert werden. In der Folge könnte ein Modell mit mehreren Milliarden Parametern in drei Wochen fertig trainiert werden, während der gleiche Prozess vorher neun Wochen dauerte.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

(ID:47956878)