Backpropagation (Rückpropagierung) ist das Standardverfahren beim Training künstlicher neuronaler Netze, das den Vorhersagefehler rückwärts von der Ausgabeschicht durch alle Zwischenschichten berechnet, um die Verbindungsgewichte gezielt anzupassen.
Erklärung
Ein einzelner Trainingsschritt gliedert sich in zwei Phasen: Im Vorwärtsdurchlauf (Forward Pass) berechnet das Netz aus einem Eingabebeispiel eine Vorhersage, woraufhin eine Verlustfunktion (Loss Function) die Abweichung zum bekannten Zielwert bestimmt. Anschließend ermittelt die Backpropagation über die Kettenregel der Differentialrechnung für jedes einzelne Gewicht im Netzwerk den Gradienten, also wie stark und in welche Richtung dieses Gewicht zum Gesamtfehler beigetragen hat. Ein Optimierungsverfahren wie Stochastic Gradient Descent oder Adam korrigiert die Gewichte daraufhin entgegen der Fehlerrichtung, gesteuert über die Lernrate (Learning Rate). Dieser Zyklus wird während der Trainingsphase über viele Datendurchläufe (Epochen) wiederholt; in sehr tiefen Netzen verhindern Architekturbausteine wie Residual-Verbindungen und Normalisierungsschichten dabei, dass die rückpropagierten Fehlersignale auf dem Weg zu frühen Schichten zu klein (Vanishing Gradients) oder instabil groß werden.