So bewerten Sie die KI-Kompetenzen in Ihrem Team

Was verstehen Sie unter einer KI-Kompetenz?

Für die Bewertung ist eine KI-Kompetenz ein Verhalten, das sich bei einer konkreten Aufgabe beobachten lässt. Eine geeignete Quelle bereitzustellen, eine unbelegte Behauptung zu erkennen oder eine abschließende Änderung zu erläutern, ist konkreter als die Aussage, jemand könne gut mit KI umgehen. Benennen Sie die Rolle, das Werkzeug und die Bedingungen, damit die prüfende Person weiß, worauf sich die Nachweise tatsächlich beziehen.

Eine pauschale Bezeichnung kann unterschiedliche Fähigkeiten verdecken. Jemand kann eine klare Eingabeaufforderung schreiben, aber einen Quellenbeleg nicht prüfen, oder Rechenwege prüfen und gleichzeitig eine unbelegte Erklärung der Ursache akzeptieren. Halten Sie diese Beobachtungen getrennt fest, statt sie sofort zu einer Gesamtnote zusammenzufassen. Der Leitfaden zu KI-Kompetenzen beschreibt sieben praktische Fähigkeiten, die bei den meisten wissensbasierten Tätigkeiten gebraucht werden. Eine Bewertung sollte benennen, welche davon eine Aufgabe sichtbar machen soll.

Wozu dient die Kompetenzbewertung?

Legen Sie den Zweck fest, bevor Sie etwas konzipieren, denn davon hängt ab, was auf dem Spiel steht. Eine Lernstandserhebung hilft einer Person herauszufinden, was sie als Nächstes üben sollte. Fehler sollten dabei ohne Sorge möglich sein. Eine Einstiegsprüfung hilft einer Führungskraft zu entscheiden, wo ein Programm ansetzen sollte. Eine Zertifizierungsprüfung dient als Nachweis gegenüber Dritten, dass eine Person bei festgelegten Aufgaben einen definierten Standard erfüllt hat. Die Personalauswahl ist ein gesonderter Fall und wird weiter unten behandelt.

Die meisten Probleme entstehen, wenn verschiedene Zwecke vermischt werden. Wenn Mitarbeitende glauben, dass ein Einstufungstest in die Leistungsbeurteilung einfließt, gehen sie auf Nummer sicher, meiden das Tool oder bitten Kollegen um Hilfe. Das Ergebnis sagt Ihnen dann wenig. Erklären Sie, wofür das Ergebnis verwendet wird, wer es sehen kann und welche Folgen es ausdrücklich nicht haben wird.

Welche Signale sollten Sie getrennt betrachten?

Selbstvertrauen, Abschluss und nachgewiesene Arbeitsergebnisse beantworten unterschiedliche Fragen. Eine Selbsteinschätzung zeigt Ihnen, wie sich jemand fühlt. Ein Abschlussnachweis zeigt Ihnen, dass die Person einen Meilenstein im Schulungsprogramm erreicht hat. Eine praktische Aufgabe gibt ihr Gelegenheit, bestimmte Entscheidungen unter bestimmten Bedingungen zu zeigen. Keiner dieser Nachweise sollte stillschweigend die anderen ersetzen.

Ein aussagekräftiger Prüfungsbericht nennt die Methode und ihre Grenzen. Wenn eine lernende Person eine einzelne fiktive Schreibaufgabe bearbeitet hat, sollte das auch so benannt werden. Erwecken Sie nicht den Eindruck, dass sie jeden vertraulichen oder folgenreichen Arbeitsablauf sicher bewältigen kann. Das AI Risk Management Framework von NIST betont einen ähnlichen Punkt für KI-Systeme selbst: Es fordert, die Grenzen der Übertragbarkeit auf Bedingungen außerhalb der Tests zu dokumentieren. Dieselbe Sorgfalt gilt auch bei der Beurteilung von Menschen.

Wie wählen Sie eine praktische Aufgabe aus?

Wählen Sie eine für die Rolle relevante Aufgabe und stellen Sie genügend Ausgangsmaterial bereit, um die Antwort beurteilen zu können. Eine Person aus dem Marketing kann eine fiktive Kampagnen-E-Mail überarbeiten. Eine Person aus der Personalabteilung kann Interviewfragen anhand einer Rollenbeschreibung verbessern. Eine Person aus dem Finanzbereich kann eine kleine Tabelle erläutern und dabei Ursachen offenlassen, für die es keine Belege gibt. Eine Person aus dem Kundendienst kann eine Kundenfrage anhand eines bereitgestellten Auszugs aus einer Richtlinie beantworten.

Gestalten Sie die Aufgabe so, dass sie sich gefahrlos üben lässt. Verwenden Sie fiktive oder freigegebene Informationen und vermeiden Sie in einer ersten Übung Entscheidungen über echte Menschen, Geld oder Kundenkommunikation. Ziel ist es, die Arbeit zu prüfen – nicht, beim Versuch, eine Fähigkeit zu messen, eine folgenreiche automatisierte Entscheidung herbeizuführen.

Gute Aufgaben enthalten einen Fallstrick, auf den es ankommt. Bauen Sie ein realistisches Problem ein, das die lernende Person erkennen sollte, etwa ein Detail einer Richtlinie, das das Tool wahrscheinlich erfindet, oder eine Zahl, die neu berechnet werden muss. Eine Aufgabe ohne mögliche Fehler misst nur, ob jemand das Tool bedienen kann.

Wie sieht eine vollständige Prüfungsaufgabe aus?

Hier ist ein vollständiges Beispiel für eine Rolle im Kundensupport eines fiktiven Möbelhändlers, Larchwood Home. Die lernende Person erhält eine Kunden-E-Mail mit der Frage, ob ein Sofa, das mit einem zerrissenen Kissen geliefert wurde, ersetzt werden kann. Dazu erhält sie einen Auszug aus der Richtlinie: Beschädigte Artikel werden kostenlos ersetzt, wenn der Schaden innerhalb von 14 Tagen gemeldet wird; der Kunde muss ein Foto senden. Der Kunde hat den Schaden an Tag 9 gemeldet.

Die Anweisung lautet: "Verwenden Sie den freigegebenen KI-Assistenten, um eine Antwort zu entwerfen. Nutzen Sie ausschließlich die bereitgestellte Richtlinie. Nehmen Sie weder die Adresse noch die Bestellnummer des Kunden in Ihre Anfrage an das Tool auf. Reichen Sie Ihre Anfrage, den Entwurf des Tools, Ihre endgültige Antwort und zwei oder drei Sätze zur Erläuterung Ihrer Änderungen ein."

Die Falle besteht darin, dass allgemeine Werkzeuge häufig eine Rückerstattung, einen Liefertermin oder einen Kulanzgutschein ergänzen, die in der Richtlinie nicht erwähnt werden. Eine gute Einreichung beschränkt sich auf einen Ersatz, bittet um das Foto, nennt keinen durch die Richtlinie nicht gedeckten Termin und erklärt, warum erfundene Angebote entfernt wurden. Eine schwache Einreichung übernimmt den Entwurf des Werkzeugs mit geringfügigen Änderungen. Beide können gut lesbar sein; nur eine lässt sich sicher versenden.

Was gehört in ein einsehbares Bewertungsraster?

Ein einsehbarer Bewertungsleitfaden nennt die Kriterien vor der Abgabe und beschreibt, was die einzelnen Bewertungsstufen ausmacht. Sinnvolle Kategorien sind Kontext, Belege, Umgang mit Informationen und Entscheidungen bei der Prüfung. Erklären Sie, worauf die prüfende Person in der Arbeit achtet, statt nur eine Zahl ohne Erläuterung zu vergeben. Nach dem Lesen der Rückmeldung sollte eine lernende Person verstehen können, was sie verbessern muss.

Der folgende Bewertungsleitfaden passt zur Larchwood-Aufgabe. Er ist eine redaktionell entwickelte Bewertungsstruktur, keine Behauptung psychometrischer Validierung, und enthält keine validierte Bestehensgrenze.

Wer sollte die Arbeit bewerten: die KI oder ein Mensch?

Beides ist möglich, sofern die Kriterien einsehbar sind und die Bewertung angefochten werden kann. Eine Person, die die Arbeit kennt, prüft am verlässlichsten, braucht aber Zeit und bewertet viele Einreichungen möglicherweise nicht einheitlich. Eine KI-Bewertung anhand eines Bewertungsrasters ist schnell und kann konkrete Rückmeldungen liefern. Eine selbstsicher vergebene Punktzahl ist jedoch kein Beleg für Richtigkeit, und KI-Bewerter können Zusammenhänge übersehen, die eine Fachperson erkennen würde.

Ein praktikabler Kompromiss ist KI-Feedback zu Übungsaufgaben, eine Möglichkeit, strittige Bewertungen zur erneuten Prüfung zu markieren, und eine menschliche Prüfung, wenn das Ergebnis Konsequenzen hat. Das geplante Konzept von Tosheo.ai folgt diesem Muster: Die KI bewertet Aufgaben anhand eines einsehbaren Bewertungsrasters. Markierungen der Lernenden werden in eine Warteschlange zur Überprüfung aufgenommen. Dieser Ablauf gehört zum geplanten Funktionsumfang und ist kein Beleg dafür, dass ein bereits implementiertes Bewertungssystem validiert wurde.

Wie stellen Sie sicher, dass alle Prüfenden einheitlich bewerten?

Stimmen Sie die Bewertung ab, bevor Sie Punkte vergeben. Lassen Sie zwei Bewertende dieselben drei oder vier Beispielabgaben unabhängig voneinander bewerten. Vergleichen Sie die Abweichungen und einigen Sie sich darauf, wie die Formulierungen im Bewertungsraster zu verstehen sind. Halten Sie die Entscheidungen als kurze Notizen neben jedem Kriterium fest, etwa: "Eine Kulanzleistung gilt als erfundenes Angebot, sofern die Richtlinie sie nicht erlaubt".

Überprüfen Sie die Bewertung gelegentlich erneut, indem Sie eine zweite Person eine kleine Stichprobe prüfen lassen. Die Hinweise von NIST zur Messung weisen darauf hin, dass eine unabhängige Prüfung interne Verzerrungen verringern kann. In einem kleinen Team kann das schlicht bedeuten, dass die Gründungsperson und eine erfahrene Fachkraft einmal pro Quartal jeweils eine Handvoll derselben Einreichungen prüfen.

Wie sollten Sie wiederholte Versuche bewerten?

Ein zweiter Versuch kann zeigen, dass jemand die Rückmeldung zu diesem Beispiel verstanden hat. Allerdings kann dabei auch die Erinnerung an die Aufgabe helfen. Verwenden Sie ein neues, aber vergleichbares Beispiel, bevor Sie weitergehende Schlüsse ziehen, und dokumentieren Sie Änderungen am Werkzeug, am Ausgangsmaterial oder an der Unterstützung, die der lernenden Person zur Verfügung steht.

Wo eine Bewertung Folgen hat, muss das Prüfverfahren nachvollziehbar sein und eine Möglichkeit bestehen, die Bewertung anzufechten. KI-generierte Rückmeldungen können eine nützliche Diskussionsgrundlage sein, sollten bei folgenreichen Entscheidungen aber nicht das letzte Wort haben.

Wie sollten Sie über die Ergebnisse berichten?

Berichten Sie, was unter welchen Bedingungen beobachtet wurde und was weiterhin unbekannt ist. Eine kurze, einheitliche Dokumentation ist nützlicher als ein einzelner Punktwert. Die folgende Vorlage kann pro Person oder Tätigkeitsbereich verwendet werden.

Wie unterscheidet sich die Kompetenzbewertung von der Erfassung der Nutzung?

Tool-Nutzung und Beteiligung können einer Führungskraft zeigen, ob ein Schulungsprogramm genutzt wird. Für sich genommen belegen sie nicht, dass eine Person angemessene Entscheidungen trifft. Auch bei einem häufig genutzten Tool können Ergebnisse entstehen, die niemand prüft, während eine sorgfältig lernende Person es vielleicht nur für eine eng begrenzte, freigegebene Aufgabe nutzt.

Betrachten Sie die Nutzung gemeinsam mit Arbeitsproben, Fragen zur Richtlinie und der verfügbaren Unterstützung. Geben Sie an, welche Anhaltspunkte vorliegen und welche fehlen. Leiten Sie aus einer veränderten Anmeldehäufigkeit keine Aussage zur Produktivität ab, wenn eine geeignete Methode und Belege unter Berücksichtigung des Kontexts fehlen.

Was sollten Führungskräfte einsehen können?

Führungskräfte brauchen genügend Informationen, um Mitarbeitende zu unterstützen: welche Kompetenzen jemand gezeigt hat, wo Schwierigkeiten bestehen und ob Fortschritte erzielt werden. Den unverarbeiteten Text jedes Gesprächs mit einem KI-Tool brauchen sie selten. Solche Protokolle zu lesen, wirkt wie Überwachung, hemmt ehrliches Üben und kann Informationen offenlegen, die die lernende Person nicht hätte weitergeben sollen.

Legen Sie fest, was sichtbar ist, und teilen Sie dies mit, bevor jemand beginnt. Das geplante Dashboard für Führungskräfte von Tosheo.ai ist genau aus diesem Grund darauf ausgelegt, Kompetenzfortschritte und abgeschlossene Lektionen anzuzeigen, nicht die vollständigen Chatprotokolle.

Wie unterscheidet sich das von der Beurteilung eines Bewerbers?

Lernen und Personalauswahl dienen unterschiedlichen Zwecken. Eine Übungsaufgabe kann bestehenden Beschäftigten Raum geben, Fehler zu machen und sich zu verbessern. Eine Eignungsbeurteilung im Bewerbungsverfahren gehört in einen fairen, klar definierten Einstellungsprozess mit angemessener menschlicher Prüfung und klaren Informationen für Bewerbende. Dasselbe Beispiel sollte nicht so wiederverwendet werden, als wären Kontext und Folgen identisch. Ein Schulungsergebnis sollte nicht für eine Personalentscheidung herangezogen werden, für die es nicht konzipiert wurde.

Wann sollten Sie keine Überprüfung der KI-Kompetenzen durchführen?

Führen Sie einen solchen Test erst durch, wenn die Teilnehmenden ein freigegebenes Tool und grundlegende Regeln zum Umgang mit Informationen haben. Sonst messen Sie eher Zugangsmöglichkeiten und Verwirrung als Kompetenz. Nutzen Sie ihn nicht als verdeckte Leistungsbeurteilung. Verwenden Sie außerdem keinen Fragebogen zur Selbsteinschätzung – auch nicht den Selbstcheck zur Einsatzbereitschaft auf dieser Website –, um Personen einzustufen, Qualifikationsnachweise zu vergeben oder Personalentscheidungen zu treffen.

Wenn Sie ein validiertes psychometrisches Instrument für weitreichende Entscheidungen benötigen, ist der hier beschriebene Ansatz dafür nicht geeignet. Es handelt sich um eine praktische Methode für Lerngespräche und die Programmplanung, die sich an den NIST-Leitlinien zu Kontext und Grenzen orientiert. Diese Leitlinien befürworten oder validieren diesen Ansatz zur Mitarbeitendenbeurteilung nicht.

Was sollten Sie als Führungskraft als Nächstes tun?

Wählen Sie eine für die Rolle relevante Aufgabe, stellen Sie einen kurzen Bewertungsleitfaden bereit und besprechen Sie den Lösungsweg mit der lernenden Person. Halten Sie Quelle, Werkzeug und Bedingungen fest. Entscheiden Sie, welche Schlussfolgerungen die Nachweise zulassen und wofür ein weiteres Beispiel nötig ist. Das ist ein praktischer Ausgangspunkt für ein hilfreiches Lerngespräch.

Wenn die grundsätzliche Frage lautet, ob das Team überhaupt bereit zum Üben ist, beginnen Sie mit der Checkliste zu den Voraussetzungen. Sie umfasst den Zugang zu Tools, Grenzen für die Datennutzung, Prüfstandards und Unterstützung. Die Selbsteinschätzung kann helfen, dieses Gespräch zu beginnen. Beide sind Gesprächshilfen und kein Ersatz für den Nachweis, dass Aufgaben tatsächlich bewältigt werden können.

Quellen und Geltungsbereich

NIST KI-RMF-Kern, geprüft am 16. Oktober 2026 ↗

NIST KI-RMF-Praxisleitfaden: Governance, geprüft am 16. Oktober 2026 ↗