Ein neues KI-Modell ist erschienen: Sollte Ihr Unternehmen wechseln?

Warum ist es verlockend, sofort zu wechseln?

Ankündigungen stellen Benchmark-Ergebnisse, Preissenkungen und neue Fähigkeiten in den Vordergrund. Sie richten sich an alle, nicht an ein Unternehmen, das für das Modell eine ganz bestimmte Aufgabe hat.

Die frühe Berichterstattung ist zudem oft widersprüchlich. In den ersten Tagen sind sich Medien bei Namen, Versionen und Verfügbarkeit nicht immer einig. Warten Sie auf die Dokumentation des Anbieters selbst, bevor Sie etwas entscheiden.

Was kann bei einem Modellwechsel schiefgehen?

• Das Verhalten ändert sich. Dieselben Anweisungen können andere Antworten, ein anderes Format oder einen anderen Ton liefern. Was zuverlässig war, kann unzuverlässig werden.
• Die Kosten bewegen sich in beide Richtungen. Ein niedrigerer Preis pro Einheit hilft nicht, wenn das neue Modell längere Antworten schreibt oder mehr Versuche braucht.
• Die Geschwindigkeit ändert sich. Das zählt vor allem dann, wenn ein Kunde auf die Antwort wartet.
• Die Datenbedingungen unterscheiden sich. Wo Daten verarbeitet werden, wie lange sie gespeichert bleiben und ob sie für das Training genutzt werden, legen die Bedingungen des Anbieters fest. Prüfen Sie diese, bevor Sie Kundendaten an ein neues Modell oder einen neuen Anbieter senden.
• Anderer Code hängt von der Ausgabe ab. Wenn ein System die Antwort weiterverarbeitet, etwa als strukturierte Daten, kann schon eine kleine Formatänderung es zum Absturz bringen.
• Modelle werden abgekündigt. Anbieter nehmen ältere Modelle nach eigenem Zeitplan vom Markt. Das Modell, das Sie heute nutzen, wird also nicht ewig verfügbar sein.

Wie testen Sie ein neues Modell fair?

1. Sammeln Sie echte Beispiele. Stellen Sie einige Dutzend typische Aufgaben aus Ihrer eigenen Arbeit zusammen, ohne personenbezogene Daten, und halten Sie fest, wie eine gute Antwort aussieht.
2. Lassen Sie beide Modelle denselben Satz bearbeiten. Verwenden Sie für das aktuelle und das neue Modell dieselben Anweisungen und dieselben Eingaben.
3. Bewerten Sie, was für Sie zählt. Genauigkeit, Format, Ton, Verweigerungen, Bearbeitungszeit und Kosten pro Aufgabe.
4. Lassen Sie jemanden die Ergebnisse lesen, der die Arbeit kennt. Schauen Sie auf die schlechtesten Antworten, nicht nur auf den Durchschnitt.
5. Vergleichen Sie die Kosten pro korrekter Antwort. Nicht die Preisliste.

Wenn Sie das nicht leisten können, haben Sie noch keine Möglichkeit festzustellen, ob ein neues Modell für Sie besser ist. Diesen Testsatz aufzubauen ist der sinnvollste erste Schritt – und er lässt sich bei jedem neuen Modell wiederverwenden.

Sollten Sie eine Version festlegen?

Wenn der Anbieter das ermöglicht, ja. Legen Sie in der Produktion eine bestimmte Modellversion fest, damit sich das Verhalten nicht unbemerkt ändert, und setzen Sie einen Termin für die Überprüfung. Das Festlegen dient dazu, zu steuern, wann Sie wechseln – nicht dazu, einen Wechsel zu vermeiden.

Was sollten Sie Ihren Dienstleister oder Ihre Entwickler fragen?

• Welches Modell und welche Version nutzen wir heute?
• Welchen Testsatz haben wir, und wann wurde er zuletzt durchlaufen?
• Was passiert, wenn der Anbieter das Modell ändert oder abkündigt?
• Wo werden unsere Daten verarbeitet, und wie lange werden sie gespeichert?
• Können wir innerhalb eines Tages zurückwechseln, wenn sich das neue Modell nicht wie erwartet verhält?

Wann lohnt sich ein Wechsel?

Ein Wechsel lohnt den Aufwand in der Regel, wenn:

• das neue Modell eine wichtige Aufgabe besteht, an der das aktuelle scheitert;
• die Kosten pro Aufgabe so stark sinken, dass sich der Aufwand des Wechsels lohnt;
• Geschwindigkeit wichtig ist und das neue Modell deutlich schneller ist;
• das aktuelle Modell kurz vor der Abkündigung steht.

In der Regel lohnt er sich nicht, wenn das aktuelle Setup funktioniert, sich niemand beschwert und es keinen Test gibt, der zeigt, was besser würde.

Wie erleichtern Sie künftige Wechsel?

Kapseln Sie das Modell in Ihrer Software hinter einer schlanken Schicht, sodass ein Wechsel eine Änderung der Einstellungen ist und keine Neuentwicklung. Legen Sie Ihre Anweisungen und Testbeispiele zusammen mit dem Code ab, und dokumentieren Sie, welches Modell jede Funktion nutzt. Bauen Sie keine Funktionen, die nur mit den Sonderoptionen eines einzigen Anbieters funktionieren, es sei denn, der Gewinn ist eindeutig.

Wenn Sie abwägen, ob KI überhaupt in Ihr Unternehmen passt, lesen Sie, wann ein Unternehmen wirklich KI-Entwicklung braucht und was KI-Chatbots können und was nicht. Wenn Sie Unterstützung beim Testen von Modellen an Ihrer eigenen Arbeit wünschen oder etwas bauen möchten, das sich später ändern lässt, sehen Sie sich unsere Leistungen zur KI-Entwicklung an oder kontaktieren Sie uns.