GPUs (Graphics Processing Units) und TPUs (Tensor Processing Units) sind spezialisierte Prozessoren für hochparallele Matrizen- und Vektorberechnungen, auf denen Machine-Learning-Modelle trainiert und ausgeführt werden.
Erklärung
Klassische Hauptprozessoren (CPUs) besitzen wenige Kerne, die komplexe Befehlsfolgen nacheinander mit geringer Latenz abarbeiten. GPUs verfügen dagegen über Tausende kleinerer Rechenkerne und schnellen Grafikspeicher (VRAM/HBM), um Millionen gleichartiger Gleitkommaoperationen parallel auszuführen. TPUs sind anwendungsspezifische Chips (ASICs) von Google, deren systolische Array-Architektur direkt auf die Matrizenmultiplikationen neuronaler Netze ausgelegt ist. Da beim Training und bei der Inferenz von Sprach- oder Bildmodellen überwiegend große Gewichtsmatrizen verrechnet werden, verkürzen GPUs und TPUs die Rechenzeit von Monaten auf Stunden oder Tage. B2B- und SaaS-Anbieter mieten diese Kapazitäten meist bedarfsgerecht über Cloud-Instanzen oder dedizierte Inferenz-Endpunkte an, wobei Speichergröße (VRAM) und numerische Präzision (etwa FP16 oder INT8) den Durchsatz und die Kosten pro Anfrage bestimmen.