Für ein Kundenprojekt beobachte ich 57 YouTube-Kanäle aus dem medizinischen Umfeld. Ein Workflow sammelt neue Videos, zieht sich die Transkripte und bewertet sie in drei Themenbereichen auf einer Skala von 1 bis 5 (5 = thematisch passend). Erreicht eine Bewertung die Schwelle von 4, folgt eine ausführlichere Analyse. Diese Stufe ist relativ kostspielig. Eine zu hohe Bewertung löst unnötige Arbeit aus, während eine zu niedrige Bewertung möglicherweise ein interessantes Video durchrutschen lässt.
Bisher übernahm GPT-4.1-mini die erste Bewertung. Für jeden Themenbereich war ein eigener Aufruf nötig. Ich wollte wissen, ob Jev diesen Filter übernehmen kann: drei Bewertungen in einem Aufruf, jeweils mit einem Score und einer Konfidenz. Getestet habe ich das an rund 1.100 Videos mit Transkript.
Der erste Eindruck war (zu) gut
Im Pilot mit 20 Videos trafen beide Verfahren bei 56 von 60 Bewertungen an der Schwelle dieselbe Entscheidung. Die vier Abweichungen habe ich mir einzeln angesehen. In drei Fällen fand ich die Entscheidung von Jev plausibler. Mein erstes Fazit lautete daher: 3:1 für Jev.
Dann fiel mir jedoch auf, dass ich die Modelle unterschiedlich gepromptet hatte. GPT bekam nur das Transkript. Jev erhielt zusätzlich Titel und Beschreibung. Außerdem enthielt der GPT-Prompt die Regel, bei Unsicherheit die niedrigere Stufe zu wählen. Bei Jev fehlte sie.
Ein Video über Herzkrankheiten bei Inuit erklärte das unter anderem: Der entscheidende Themenbezug stand bereits im Titel. Jev konnte ihn sehen, GPT in meinem ersten Durchlauf jedoch nicht.
Korrektur des Testaufbaus
Ich ließ GPT-4.1-mini erneut alle Videos in allen 3 Dimensionen bewerten, diesmal mit Titel und Beschreibung, aber ohne die zusätzliche Unsicherheitsregel. Die Beschreibungen der fünf Bewertungsstufen blieben gleich.
| Spalte | Modell | Prompt | Eingabe |
|---|---|---|---|
| alt | 4.1-mini | alt, mit Regel | nur Transkript |
| neu | 4.1-mini | angeglichen | plus Titel, Beschreibung |
| Jev | Jev | angeglichen | plus Titel, Beschreibung |
Damit lösten sich drei der vier Abweichungen aus dem Pilotversuch durch die geänderte Eingabe bzw. den geänderten Prompt auf. Im größeren Bestand änderte der neue GPT-Lauf bei 124 von 3.217 vergleichbaren Bewertungen die Entscheidung an der Schwelle. Zwischen diesem neuen Lauf und Jev gab es 121 unterschiedliche Entscheidungen. In meinem Test hatten Eingabe und Prompt also einen ähnlich großen Einfluss auf das Ergebnis wie der anschließende Wechsel des Systems.
Im angeglichenen Vergleich stimmten GPT und Jev bei gut 96 Prozent der Schwellenentscheidungen überein. Diese Zahl beschreibt, wie ähnlich die beiden Filter arbeiten. Interessant sind jetzt die 4% an der Grenze von Stufe 3 zu Stufe 4.
Wo Jev immer noch besser ist
1. Thematische Zugehörigkeit bei Ratgebervideos. Der deutlichste Befund: 26 Ratgebervideos bewertet Jev mit 4 oder mehr, die GPT auf 3 lässt, umgekehrt nur 2. Alle 26 gehören absolut zum Thema. GPT drückt Cholesterin-, Plaque- und Statin-Ratgeber systematisch auf 3, auch ohne die alte Unsicherheitsregel.
2. Kulisse ohne Thema. Bei 37 Videos vergibt GPT eine 4, in denen das Thema nur als Schauplatz vorkommt: Teamkultur in einer Abteilung (GPT 4, Jev 2,64), Eröffnungen, Neubauten, Blutspende, Sportpartnerschaften (GPT 4, Jev 3,4 bis 3,9). Gegenrichtung 4.
3. Fremdthemen mit Fachbezug am Rand. Hantavirus, Organspende, Leihmutterschaft, KI in der Medizin: GPT 4 in Fachbereich, Jev 3,1 bis 3,9.
Die Konfidenz hilft beim Nachsehen
Die Unterschiede konzentrierten sich auf unsichere Bewertungen. Rund fünf Prozent der Jev-Bewertungen hatten eine Konfidenz unter 0,4 und in dieser kleinen Gruppe lagen 52 der 121 unterschiedlichen Schwellenentscheidungen.
| Jev-Score | Pflegethema | Fachthema | Arbeitgeberthema |
|---|---|---|---|
| ≥ 4,5 | 0,82 | 0,93 | 0,88 |
| 4,0–4,5 | 0,35 | 0,41 | 0,48 |
| 3,5–4,0 | 0,65 | 0,43 | 0,45 |
Zur Erklärung: GPT4.1-mini liefert eine ganze Zahl 1-5. Jev liefert als Rohwert einen Float 0.00 bis 4.00. Wenn Jev also 3.85 zurückgibt, dann ist das in der Tabelle 4,85 und entspricht "ziemlich nahe an der 5". In meinem Versuch ist Jev an der 5 sicher und im Band 3,5 bis 4,5 unsicher. Es beurteilt Grenzfälle nicht besser, es markiert sie.
Das ist für meinen Workflow nützlich, da ich solche Fälle gezielt prüfen kann. Die Konfidenz gibt allerdings nur Auskunft darüber, wie sicher Jev mit der eigenen Bewertung ist. Ein hoher Wert sagt nicht, dass das Video tatsächlich relevant ist.
Token und Kosten
| Jev | GPT-4.1-mini | |
|---|---|---|
| API-Calls | ca. 1.100 | ca. 3.300 |
| Input-Token | 4,54 Mio. | 9,4 Mio., davon 4,5 Mio. aus dem Cache |
| Abgerechnete Kosten | 0,19 Dollar | 2,24 Dollar |
Auch die Kosten habe ich im Testlauf verglichen. Die erfassten Anbieterabrechnungen lagen bei etwa 0,19 Dollar für Jev und 2,24 Dollar für GPT-4.1-mini, also ungefähr beim Faktor zwölf. Bei diesem Bestand ist der absolute Unterschied klein. Bei deutlich mehr Videos würde er bei der Wahl des Filters jedoch stärker ins Gewicht fallen. Die Rechnung sagt zudem noch nichts über Kosten durch übersehene Videos oder unnötige Tiefenauswertungen.
Caveats
Der wichtigste: Wir werfen einen „Ist das interessant?"-Klassifikator auf alle Videotypen und zwingen das Modell zu einer Zahl. Ein Cholesterin-Short, ein Stunden-Vortrag, ein Arztporträt, ein Patientenbericht und ein Werbe-Clip bekommen dieselbe Frage mit derselben Skala.
Was man bei diesem Versuch auch bedenken sollte:
- Ein Kunde, drei Dimensionen, 1100 Videos. Es ist ein erster Test, keine Studie.
- Gegner war GPT-4.1-mini, nicht das Spitzenmodell.
- Die Skalenfrage ist offen. Ob ein Cholesterin-Short vom YouTube-Kardiologen für den Kunden relevant ist, entscheidet kein Modell. Jev sagt 4,9 mit Konfidenz 0,95, GPT eine 3. Beide sicher, die Skala gibt keine Antwort (dazu mehr im Nachtrag).
- Konfidenz misst Schärfe, nicht Wahrheit. Bei 4,9 mit 0,95 ist Jev sicher, dass es 5 ist. Ob 5 stimmt, steht auf einem anderen Blatt.
Fazit
Das Modell ist qualitativ der bessere Klassifikator. Wir haben ihm Transkripte bis 130 000 Zeichen vorgesetzt, dazu Titel und Beschreibung, dazu drei Skalen mit fünfzehn Stufentexten, alles in einem Aufruf. Ergebnis: 94,5 Prozent Einigkeit mit einem Sprachmodell, das für genau diese Aufgabe drei Aufrufe braucht. Im für uns wichtigen Grenzbereich entschied Jev deutlich genauer.
Konfidenz ist das coole Feature. Ein weiterer Vorteil für n8n Automation: Es liefert definierte Zahlen zur Klassifikation und seiner Sicherheit zur Einteilung als Antwort. Das Modell meldet, wenn es unsicher ist. Genau darauf kann der Workflow eingehen oder die Daten von einem Menschen prüfen lassen.
Ich sehe keinen Längeneffekt: Ob ein Transkript 500 oder 50 000 Zeichen hat, GPT und Jev sind sich gleich oft uneins (je nach Längengruppe in 3 bis 5 Prozent der Fälle), und Jevs Konfidenz bleibt gleich hoch. Das gilt auch für die 28 längsten Transkripte mit bis zu 130 000 Zeichen.
Jev kann LLMs an genau der Stelle ersetzen, wo LLMs bildlich gesprochen nur eine Krücke sind: Bei der schnellen, billigen, nachvollziehbaren Klassifikation von Texten nach eigenen Regeln.
Nachtrag: Was mir klar geworden ist
Wir haben nichts optimiert, keinen Prompt an Jev angepasst, keine Vorverarbeitung gebaut. Die Stufentexte waren dieselben, die für GPT geschrieben wurden. Dafür ist das Ergebnis mehr als solide.
Die Erkenntnis ist aber eine andere: Mein 1-5 Prompt ist bisher eine Mischung. Zum einen aus der Thematischen Nähe "Wie viel hat der Text mit dem Thema X zu tun" und zum anderen aus der der Frage "Wie interessant ist das für uns?". Die letzte Frage ist aber nur impliziert, da wir in den Beispielen, was 5 Punkte sind die Video- und Inhaltstypen aufgelistet haben. Die Zahl, die beide Modelle liefern ist also ein Misch-Masch.
Wichtiger ist es, dass man mit den Möglichkeiten eines solchen Klassifikator-Modells die richtigen Fragen findet und dann stellt: Ich teste gerade noch einen Ablauf, in dem Jev zuerst den Typ jedes Videos bestimmt und dann die Inhaltliche Nähe. Erste Ergebnisse sehen hervorragend aus. Schreibe ich bald was zu hier.
