CLIP (Contrastive Language-Image Pre-training) ist ein 2021 von OpenAI vorgestelltes neuronales Netzwerk, das Bilder und Texte in einem gemeinsamen mathematischen Vektorraum abbildet.
Erklärung
Klassische Bildklassifikatoren werden auf Datensätzen mit einer fest vorgegebenen Liste an Kategorien trainiert und erkennen ausschließlich diese Klassen. CLIP kombiniert dagegen einen Bild-Encoder und einen Text-Encoder und wurde mit Hunderten Millionen öffentlich verfügbarer Bild-Text-Paare darauf trainiert, zusammengehörige Bilder und Bildbeschreibungen im Vektorraum nahe beieinander zu positionieren und unpassende Paare voneinander zu trennen. Dadurch beherrscht das Modell die sogenannte Zero-Shot-Klassifizierung: Es ordnet unbekannte Bilder frei formulierten Textbegriffen zu, indem es die Kosinus-Ähnlichkeit zwischen Bild- und Textvektor berechnet, ohne neu trainiert werden zu müssen. Technisch dient CLIP als Baustein vieler Text-zu-Bild-Modelle und multimodaler Suchmaschinen. Im B2B-Einsatz ermöglicht das Verfahren unter anderem die natürlichsprachliche Bildsuche in Digital-Asset-Management-Systemen (DAM), die automatische Verschlagwortung großer Produktkataloge im E-Commerce sowie visuelle Qualitäts- und Inhaltsfilter.