Blog
Zero-Shot, Few-Shot oder Fine-Tuning? Wie wir ein KI-Modell zur automatisierten Bauteilerkennung trainiert haben
Von Johanna Kutschenreuter am 23. Oktober 2026
Wer heute ein Computer-Vision-Problem in der industriellen Instandhaltung oder der Predictive Maintenance lösen will, muss sich nicht mehr zwangsläufig durch hunderte handannotierte Bilder und tagelange Trainingsläufe kämpfen. Moderne Bildsegmentierung bietet drei grundlegend unterschiedliche Strategien, je nachdem wie viel Zeit, Trainingsdaten und Rechenleistung zur Verfügung stehen: Zero-Shot, Few-Shot und Fine-Tuning.
In diesem Beitrag erklären wir die drei Ansätze praxisnah und verständlich. Am Beispiel eines realen Use Cases zeigen wir, wie sie sich im Einsatz unterscheiden: der automatisierten Erkennung und Segmentierung von Schlagleisten in mobilen Brecheranlagen zur vorausschauenden Verschleißanalyse.
Das Problem: Verschleiß an Bauteilen sichtbar machen
Mobile Brecheranlagen zerkleinern Gestein mit massiven Schlagwerken. Die sogenannten Schlagleisten nutzen sich dabei kontinuierlich ab. Techniker dokumentieren den Zustand bei jeder Übergabe und Rücknahme der Anlage mit Fotos, die in PDF-Protokollen landen.
Das Ziel: Aus einem einfachen 2D-Foto automatisch bestimmen, wie stark der Verschleiß fortgeschritten ist. Dafür muss die noch vorhandene Schlagleiste im Foto exakt vom Hintergrund (Schmutz, Schatten, angrenzende Komponenten) abgegrenzt werden. Genau das ist eine klassische Aufgabe der KI-gestützten Bildsegmentierung: Für jedes Pixel im Bild wird präzise entschieden, ob es zum Zielobjekt gehört oder nicht.
Die drei Strategien im Überblick
1. Zero-Shot: Sofort einsatzbereit, ohne eigenes Training
Zero-Shot-Segmentierung bedeutet: Ein bereits auf Millionen von Bildern vortrainiertes Modell wird direkt auf die eigene Aufgabe angewendet, ganz ohne eigene Trainingsdaten oder Fine-Tuning. Man beschreibt dem Modell nur, was es finden soll (per Text oder einem Klickpunkt), und es liefert sofort ein Ergebnis.
Vorteil: Man kommt sehr schnell von der Idee zur funktionierenden Pipeline, ganz ohne Trainingsdaten.
Nachteil: Die Genauigkeit ist generisch. Das Modell kennt die Besonderheiten des eigenen Objekts nicht und kann bei unklaren oder mehrdeutigen Szenen danebenliegen.
In unserem Use Case: Wir haben zwei Zero-Shot-Modelle ausprobiert, bevor eigene Trainingsdaten vorlagen:
- Florence-2 (Microsoft): ein multimodales Vision-Language-Modell, das per Referring Expression Segmentation auf einen Textprompt wie „the metal blow bar“ reagiert und direkt ein Polygon um das beschriebene Objekt liefert.
- SAM 2 (Segment Anything Model 2, Meta, via ultralytics): statt eines Textprompts probiert dieser Ansatz mehrere Kandidatenpunkte im Bild durch (Bildmitte, obere/untere Ecken) und bewertet die resultierenden Masken mit einer Heuristik.
Beide Modelle liefern „out of the box“ eine Maske, ohne dass dafür ein einziges Trainingsbild gelabelt werden muss. Das hat es uns erlaubt, in kürzester Zeit eine erste funktionierende Segmentierungs-Pipeline zum Laufen zu bringen, während parallel ein dedizierter Datensatz aufgebaut wurde.
Was Zero-Shot gut kann: Bei Alltagsmotiven liefert SAM 2 erstaunlich saubere Ergebnisse. Das Modell zerlegt das Bild selbstständig in einzelne Objekte, hier Laptop, Tasse, Handy, Personen und Tisch.
Wo Zero-Shot an seine Grenzen stößt: Bei unserem Fachgebiet ist das deutlich schwieriger. Was eine Schlagleiste ist und worauf es bei ihr ankommt, ist Branchenwissen, das ein generisches Modell nicht mitbringt. Wir können die Schlagleiste trotzdem über eine Heuristik eingrenzen: SAM 2 liefert Masken für einzelne Bildpunkte, und einfache Regeln (etwa zur erwarteten Größe und Lage) wählen daraus die wahrscheinlichste aus.
Die Heuristik bringt uns also schnell zu einem brauchbaren Ergebnis, bleibt aber ungenau. Diese Genauigkeit soll Fine-Tuning verbessern: Dort lernt das Modell aus Beispielen selbst, was eine Schlagleiste ausmacht, statt dass wir es als Regeln von Hand pflegen müssen.
Wofür Zero-Shot sonst noch geeignet ist:
- Schnelles Prototyping: Wenn Sie schnell testen möchten, ob ein KI-Ansatz machbar ist, noch bevor Zeit in das Sammeln und Markieren von Daten investiert wird.
- Wechselnde oder seltene Objekte: Ideal für Anwendungsfälle mit ständig neuen Objektklassen, für die sich das Erstellen eigener Trainingsdatensätze wirtschaftlich nicht lohnt.
- Interaktive Werkzeuge: Perfekt für Editoren oder Inspektionstools, in denen Anwender spontan per Mausklick festlegen, welches Element auf einem Bild markiert werden soll.
- Unterstützung beim Daten-Labeling: Dient als intelligenter Vorfilter, um automatische Vorschläge zu generieren und so das manuelle Annotieren großer Bildmengen enorm zu beschleunigen.
2. Few-Shot: Mit wenigen Beispielbildern zum Ziel
Few-Shot-Segmentierung sitzt zwischen Zero-Shot und vollem Training: Statt tausender Bilder zeigt man dem Modell nur eine Handvoll Beispiele, oft nur 1 bis 5 Bilder mit bekannter Maske oder Bounding Box, als visuellen Referenzprompt. Das Modell nutzt diese Beispiele, um ähnliche Objekte in neuen, ungesehenen Bildern wiederzufinden, ohne dass dafür Gewichte neu trainiert werden müssen.
Vorteil: Deutlich präziser als reines Zero-Shot bei objekt-spezifischen Formen, aber ohne den Aufwand eines vollständigen Trainingslaufs.
Nachteil: Bleibt empfindlich gegenüber Blickwinkeln und Beleuchtung, die stark von den Beispielbildern abweichen, und eignet sich nicht für hochpräzise Serienanwendungen.
In unserem Use Case: Wir haben SAM 2 im Few-Shot-Modus getestet, indem wir dem Modell statt zufälliger Kandidatenpunkte gezielt 5 Referenzbilder mit bereits hinterlegter Schlagleisten-Maske als visuellen Prompt zur Verfügung gestellt haben. Das Modell nutzt diese Beispiele, um die charakteristische Form auf neuen Fotos wiederzufinden, deutlich zielgerichteter als das reine Punkte-Raten im Zero-Shot-Modus, aber immer noch ohne eigenes Modelltraining.
Wofür Few-Shot sonst noch geeignet ist:
- Ersatzteil-Erkennung im Lager: Identifizierung von Bauteilen aus riesigen Katalogen mit Tausenden seltenen Varianten, indem der KI einfach wenige Musterfotos als Vorlage mitgegeben werden.
- Flexible Qualitätskontrolle: Schnelles Anlernen neuer Produktvarianten in der Fertigung direkt an der Linie, ohne den langwierigen Prozess der Datenerfassung abwarten zu müssen.
- Erkennung seltener Oberflächenfehler: Identifizierung von ungewöhnlichen Beschädigungen oder Defekten in der Bauteilfertigung, bei denen naturgemäß nur sehr wenige Musterbilder zur Verfügung stehen.
3. Fine-Tuning: Maximale Präzision durch eigenes Training
Fine-Tuning bedeutet: Ein vortrainiertes Modell wird mit eigenen, gelabelten Trainingsdaten weitertrainiert, bis es exakt auf die eigene Aufgabe spezialisiert ist. Das kostet Zeit (Datensammlung, Labeling, Trainingsläufe), liefert aber die höchste Genauigkeit und Robustheit für den konkreten Anwendungsfall.
In unserem Use Case: Sobald genügend reale Fotos aus den Übergabeprotokollen gesammelt und in Label Studio handannotiert waren (exaktes Polygon der sichtbaren Schlagleiste), haben wir ein YOLO11n-seg-Modell (Ultralytics) gezielt auf unser Objekt feingetunt.
Ausgangsbasis waren rund 50 handannotierte Fotos aus echten Prüfprotokollen, aufgeteilt in Trainings-, Validierungs- und Testset. Mit albumentations wurde dieser Datensatz zusätzlich synthetisch erweitert (Unschärfe, JPEG-Artefakte, Helligkeits- und Kontrastschwankungen, Rauschen), genau jene Störfaktoren, die auch in echten Industrieumgebungen auftreten.
Das Ergebnis: Das feingetunte YOLO11n-seg-Modell erreicht nach dem Training eine Mask-Precision, die mit generischen Zero-Shot-Ansätzen bei diesem speziellen Bauteil nicht erreichbar war.
Durch das Fine-Tuning ist die Segmentierung extrem belastbar geworden. Selbst bei schwierigen Lichtverhältnissen, Verschmutzungen oder veränderten Perspektiven wird die Schlagleiste verlässlich erkannt, was die Grundlage für eine automatisierte Zustandserfassung bildet.
Wofür Fine-Tuning sonst noch geeignet ist:
- Defekt- und Oberflächenanalyse: Erkennung unregelmäßiger Risse, Kratzer oder Schweißnahtfehler. Die Maske erlaubt eine direkte Berechnung der Fehlerfläche (Pixelanzahl) zur Qualitätsbewertung.
- Füllstand- und Formkontrolle: Prüfung, ob Kleberaupen, Dichtungen oder Beschichtungen lückenlos und in der vorgegebenen Kontur aufgetragen wurden.
- Selektive Unkrautbekämpfung (Precision Spraying): Feldroboter segmentieren Unkrautblätter exakt und steuern Sprühdüsen millisekundengenau an, um Herbizide gezielt statt flächendeckend auszubringen.
- Paket- und Laderaumvermessung: Schätzung des Volumens unregelmäßig geformter Frachtgüter auf mobilen Handheld-Scannern im Lager.
- Regalüberwachung (Out-of-Stock): Weitwinkelkameras im Regal segmentieren Regalflächen und Lücken, um Fehlbestände zu melden.
Zero-Shot, Few-Shot, Fine-Tuning im direkten Vergleich
Kriterium
Zero-Shot
Few-Shot
Fine-Tuning
Benötigte Trainingsdaten
Keine
1–5 Beispielbilder
Dutzende bis tausende Bilder
Setup-Zeit
Minuten
Stunden
Tage bis Wochen
Genauigkeit auf Spezialfall
Niedrig–mittel
Mittel
Hoch
Robustheit bei neuen Varianten
Hoch (generisch)
Mittel
Niedrig (muss nachtrainiert werden)
In unserem Projekt verwendet
Florence-2, SAM 2 (Punkt-Prompting)
SAM 2 (visuelle Referenzbilder)
YOLO11n-seg
Fazit: Die richtige Strategie wählen statt die "beste"
Keiner der drei Ansätze ist pauschal überlegen, sie lösen unterschiedliche Aufgaben in verschiedenen Projektphasen. In unserem Use Case für die Instandhaltung haben wir genau diesen Weg durchlaufen: Zero-Shot hat sofort einen ersten Prototyp ermöglicht. Few-Shot lieferte bessere Ergebnisse mit minimalem Aufwand, sobald erste Referenzbilder vorlagen. Fine-Tuning hat schließlich die nötige Präzision und Robustheit für den produktiven Einsatz gebracht.
Die Grundregel: Je spezifischer das Bauteil und je höher die Anforderung an die verlässliche Erkennung in der Predictive Maintenance, desto mehr lohnt sich der Schritt zum feingetunten Modell.
Sie möchten mehr über die individuelle Entwicklung von KI-Projekten erfahren und interessieren sich dafür wie auch Ihr Unternehmen von Künstlicher Intelligenz profitieren kann?
Kontaktieren Sie uns gerne für eine unverbindliche Beratung.
Um diesen Service zu nutzen, klicken Sie auf den Button oben. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
„In einem ersten Startgespräch nehme ich Ihre Anfrage auf und koordiniere die weiteren Schritte. Ich freue mich darauf, Sie kennenzulernen!“
Leah Danisman, geb. Soldner
Customer Relationship Managerin
Um diesen Service zu nutzen, klicken Sie auf den Button oben. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Falls kein passender Termin über das Buchungssystem für Sie dabei ist, können Sie mich gerne kurz telefonisch kontaktieren. Wir finden einen zeitnahen Termin.