Wie messen Sie, ob eine KI-Schulung etwas gebracht hat?

Wie messen Sie KI-Schulungen, kurz gesagt?

Messen Sie auf drei Ebenen, und zwar in dieser Reihenfolge: Können Mitarbeitende die Aufgabe nach einem festgelegten Standard erledigen, tun sie das bei ihrer tatsächlichen Arbeit und hat sich etwas verändert, das für das Unternehmen relevant ist? Abschlussquoten und Zufriedenheitswerte sollten erfasst werden. Sie zeigen jedoch nur, dass Mitarbeitende teilgenommen haben und zufrieden waren, nicht, dass sie etwas gelernt haben.

Dies entspricht dem weit verbreiteten Kirkpatrick-Modell mit seinen vier Ebenen Reaktion, Lernen, Verhalten und Ergebnisse. Nach seinen eigenen Definitionen beschreibt Ebene 3, in welchem Maß Menschen die entscheidenden Verhaltensweisen in ihrem Umfeld umsetzen, und Ebene 4, in welchem Maß die angestrebten Ergebnisse der Organisation eintreten. Bei KI-Schulungen finden sich die nützlichen Nachweise meist auf den Ebenen 2 und 3.

Wie sieht ein guter Bewertungsmaßstab für eine Arbeitsprobe aus?

Ein guter Maßstab ist ein kurzer Bewertungsleitfaden, den auch eine andere Person anwenden kann, um zur gleichen Einschätzung zu gelangen. Bei einer KI-gestützten Kundenantwort könnte er Folgendes abdecken: Sie verwendet nur die bereitgestellten Fakten, beantwortet die tatsächliche Frage des Kunden, entspricht dem üblichen Ton des Unternehmens, kennzeichnet Unsicherheiten und enthält nichts, was vor dem Versand korrigiert werden müsste.

Bewerten Sie jeden Punkt mit einfachen Kategorien wie erfüllt, teilweise erfüllt oder nicht erfüllt, und bewahren Sie die Anmerkung der prüfenden Person auf. Die Anmerkung ist oft nützlicher als die Bewertung, weil sie zeigt, was als Nächstes geübt werden sollte.

Wie sieht ein Vorher-nachher-Vergleich aus?

Fernhill Outdoors, ein fiktiver Onlinehändler mit 15 Beschäftigten, schulte seine vier Supportmitarbeitenden. Vor der Schulung entwarfen alle mit ChatGPT eine Antwort auf eine Beispielbeschwerde. Typische Entwürfe waren höflich, erfanden aber ein Detail der Rückerstattungsrichtlinie und gingen nicht auf die Frage nach den Lieferterminen ein.

Nach vier Wochen verfasste jede Servicekraft eine Antwort auf eine andere Beschwerde, jeweils anhand derselben Bewertungsrichtlinie. Die Supportleitung hielt fest, welche Kriterien erfüllt waren, und vermerkte, dass drei der vier Entwürfe nun den unklaren Liefertermin kennzeichneten, statt einen zu erfinden. Das belegt einen Lernerfolg bei einer Aufgabe für vier Personen. Es ist kein Beweis für schnelleren Support oder zufriedenere Kunden, und die Seite sollte das auch nicht behaupten.

Woran erkennen Sie, ob Mitarbeitende die Kompetenz bei tatsächlichen Arbeitsaufgaben einsetzen?

Achten Sie auf das Verhalten im Arbeitsalltag, statt die Mitarbeitenden zu fragen, ob sie das Gelernte nutzen. Hilfreiche Anzeichen sind geprüfte, mit KI-Unterstützung erstellte Entwürfe im gemeinsamen Ordner, weniger Korrekturen jener Art, auf die die Schulung abzielte, sowie Mitarbeitende, die vor dem Handeln klären, welche Informationen sie verwenden dürfen.

Berichte zur Tool-Nutzung helfen dabei, die tatsächliche Nutzung vorhandener Zugänge einzuschätzen. Der Copilot-Nutzungsbericht von Microsoft zeigt beispielsweise aktive Nutzer und das Datum ihrer letzten Aktivität. Aktivität zeigt, dass das Tool genutzt wurde, nicht, dass es gut genutzt wurde. Ergänzen Sie diese Berichte deshalb durch eine Prüfung tatsächlicher Arbeitsergebnisse.

Lässt sich die Kapitalrendite von KI-Schulungen berechnen?

Sie können sie schätzen, sollten aber vorsichtig mit Ihren Aussagen sein. Eine von Beschäftigten gemeldete Zeitersparnis ist eine Wahrnehmung, keine Messung. Wenn ein Ergebnis wichtig ist, messen Sie die Zeit für eine vergleichbare Aufgabe vorher und nachher oder vergleichen Sie die geprüfte Qualität der Ergebnisse. Halten Sie fest, auf wie viele Personen und Aufgaben sich die Schätzung bezieht.

Erfassen Sie auch die Kosten ehrlich, einschließlich der Lern- und Prüfzeit. Für viele kleine Teams sind geprüfte Arbeitsproben und eine dauerhaft genutzte Arbeitsroutine aussagekräftiger als eine einzelne Kennzahl zur Kapitalrendite. Das ist eine solide Grundlage für die Entscheidung, ob Sie fortfahren.

Wofür eignet sich Tosheo.ai?

Tosheo.ai wird so konzipiert, dass jede Lektion mit einer Aufgabe endet, die anhand eines einsehbaren Bewertungsrasters bewertet und mit konkreten Rückmeldungen versehen wird. Lernende können eine Bewertung, mit der sie nicht einverstanden sind, zur Überprüfung markieren. Führungskräfte sollen die Kompetenzentwicklung nach Rolle sehen können; daraus ergibt sich der Lernnachweis. Ihre Geschäftsergebnisse kann das Produkt nicht für Sie messen.

Wann ist Tosheo.ai nicht die Lösung?

Wenn Sie eine formale Evaluation für einen Geldgeber oder ein Aufsichtsgremium benötigen, mit Kontrollgruppen oder geprüften Zahlen, brauchen Sie eine Fachperson für Evaluation. Wenn Sie hauptsächlich Tool-Lizenzen und Aktivitäten nachverfolgen müssen, leisten das die Verwaltungsberichte Ihres Anbieters. Tosheo.ai bietet zum Start keine Anbindung an ein LMS.

Quellen und Geltungsbereich

Kirkpatrick Partners, das Kirkpatrick-Modell, geprüft am 16. Oktober 2026 ↗

Microsoft Learn, Nutzungsbericht für Microsoft Copilot, 14 July 2026 ↗