Warum scheitert häufig die Überprüfung durch einen Menschen?
Ein menschlicher Prüfschritt scheitert oft daran, dass die prüfende Person nur das Urteil der KI sieht, zu viele Fälle prüfen muss und keine Hinweise erhält, worauf sie achten soll. Damit wird die Freigabe zum schnellsten Weg. Dieses blinde Abnicken erweckt den Anschein von Kontrolle, ohne sie tatsächlich zu leisten.
Stellen Sie sich den fiktiven Großhändler Oakbridge Supplies mit 25 Beschäftigten vor. Ein KI-Werkzeug gleicht Lieferantenrechnungen mit Bestellungen ab und kennzeichnet jede als 'Übereinstimmung' oder 'Abweichung'. Die Finanzsachbearbeiterin Priya gibt die übereinstimmenden Rechnungen zur Zahlung frei. An einem Donnerstag steht in ihrer Bearbeitungsliste: '212 Rechnungen, 205 Übereinstimmungen, 7 Abweichungen'. Jede Zeile zeigt Lieferant, Betrag und einen grünen Haken. Im letzten Monat wurde eine Lieferantenrechnung über 400 Einheiten bezahlt, obwohl nur 40 geliefert worden waren, weil das Werkzeug die Bestellnummer zugeordnet und Priya den Haken bestätigt hatte.
An welchen Stellen sollte ein Mensch in den Prozess eingebunden sein?
Ein Mensch sollte immer dann eingebunden sein, wenn ein KI-Ergebnis Auswirkungen auf Geld, den Zugang einer Person zu etwas, eine Zusage gegenüber Kunden oder rechtliche beziehungsweise sicherheitsrelevante Folgen hat – und zwar bevor sich diese Auswirkungen nur noch schwer rückgängig machen lassen. Routinemäßige, umkehrbare Ergebnisse können stattdessen stichprobenartig geprüft werden.
Der Artikel des EU AI Act zur menschlichen Aufsicht bei Hochrisikosystemen formuliert denselben Punkt in regulatorischer Sprache: Die Personen, die ein System beaufsichtigen, sollten dessen Grenzen verstehen, sich der Tendenz zum blinden Vertrauen in automatisierte Ergebnisse bewusst bleiben und die Ausgabe ignorieren, rückgängig machen oder stoppen können. Auch wenn das Gesetz für Sie nicht gilt, sind das sinnvolle Gestaltungsziele.
Welche Ansätze gibt es für die Prüfung durch Menschen im Prozess?
Es gibt vier gängige Prüfverfahren. Welches geeignet ist, hängt von den Folgen eines Fehlers und der Anzahl der zu prüfenden Einträge ab.
Vor der Aktion freigeben
Eine Person gibt jedes Ergebnis frei, bevor etwas geschieht. Setzen Sie dies bei wenigen Vorgängen mit hohen finanziellen Auswirkungen ein, etwa bei Zahlungen über einem Schwellenwert oder Erstattungen an Kunden.
Ausnahmen prüfen
Die KI bearbeitet eindeutige Fälle und leitet unsichere oder ungewöhnliche Fälle an einen Menschen weiter. Das funktioniert nur, wenn die Weiterleitungsregeln getestet werden und auch einige 'eindeutige' Fälle weiterhin überprüft werden.
Stichprobenprüfung
Ergebnisse werden direkt weitergegeben; anschließend prüft eine Person eine Stichprobe. Geeignet für Aufgaben mit hohem Aufkommen, deren Auswirkungen sich rückgängig machen lassen, etwa interne Zusammenfassungen.
Zuerst eigenständig
Die Person bildet sich eine eigene Meinung, bevor sie den KI-Vorschlag sieht. Das dauert länger, schützt aber bei wichtigen Beurteilungen davor, sich an der KI-Antwort zu orientieren.
Wie sieht eine schwache und eine verbesserte Gestaltung eines Prüfverfahrens aus?
Schwaches Konzept: Jede Rechnung geht mit einer grünen oder roten Markierung an Priya. Sie gibt in 20 Minuten 205 mit Häkchen markierte Rechnungen frei. Nichts erklärt ihr, warum das jeweilige Häkchen vergeben wurde, und nichts prüft, ob sie noch genau hinsieht.
Verbesserter Ablauf: Rechnungen unter einem festgelegten Betrag werden automatisch bezahlt, wenn Bestellnummer, Menge und Stückpreis mit dem Lieferschein übereinstimmen. Priya prüft jede Woche zehn zufällig ausgewählte Rechnungen. Alles oberhalb des Schwellenwerts, jeder neue Lieferant und jede Mengenabweichung wird ihr vorgelegt. Dabei stehen die drei Felder nebeneinander, ergänzt um eine einzeilige Begründung der KI, etwa ‚Menge auf der Rechnung 400, geliefert 40‘. Einmal im Monat fügt die Finanzleitung unbemerkt zwei bekannte Fehler in die Prüfliste ein, um sicherzustellen, dass sie erkannt werden. Priya dokumentiert außerdem jedes Mal, wenn sie eine KI-Entscheidung korrigiert. Ein plötzlicher Rückgang auf null Korrekturen gilt als Warnsignal, nicht als Erfolg.
Wie prüfen Sie, ob eine Prüfung tatsächlich stattfindet und nicht nur alles abgenickt wird?
Messen Sie, ob tatsächlich geprüft wird: Wie viel Zeit wird pro Eintrag aufgewendet, wie oft korrigieren Prüfende die KI und werden absichtlich eingebaute Testfehler erkannt? Wer dem Tool nie widerspricht, prüft entweder sehr gute Ergebnisse oder prüft gar nicht. Sie brauchen Belege, um zu wissen, was zutrifft.
Zeigen Sie Belege, nicht nur Urteile
Platzieren Sie die Quellfelder neben der KI-Antwort, damit sie sich schnell überprüfen lässt.
Warteschlange begrenzen
Wenn eine Person die Menge nicht angemessen prüfen kann, ändern Sie den Ablauf, statt sie aufzufordern, sich mehr anzustrengen.
Befugnisse erteilen
Prüfende müssen ohne vorherige Genehmigung ablehnen oder pausieren können.
Die Schleife testen
Bauen Sie gelegentlich bekannte Fehler ein und halten Sie fest, ob sie erkannt werden.
Was sind häufige Fehler bei der Einbindung menschlicher Kontrolle?
Der häufigste Fehler ist, eine prüfende Person in einen Prozess einzubauen, ohne sonst etwas zu ändern, und ihre Freigabe dann als Beweis für ein korrektes Ergebnis zu behandeln. Weitere Fehler: eine Person täglich Hunderte Ergebnisse freigeben lassen, Belege hinter zusätzlichen Klicks verstecken, bei unumkehrbaren Entscheidungen erst nach der Ausführung prüfen und eine sinkende Quote menschlicher Korrekturen feiern, ohne nach dem Grund zu fragen. Auch sorgfältige Menschen neigen dazu, automatisierten Vorschlägen zu vertrauen. Deshalb ist die Gestaltung des Prozesses wichtiger als gute Absichten.
Wo ist die menschliche Kontrolle im Prozess im Katalog von Tosheo.ai eingeordnet?
Die menschliche Einbindung in den Ablauf gehört im KI-Grundlagenkurs zur Kategorie „Verantwortungsvoller KI-Einsatz und Richtlinien“ und folgt auf die Lektionen zu ethischer KI und Kontrollmaßnahmen für verantwortungsvollen KI-Einsatz. In den Lektionen zu agentischer KI und Automatisierung wird das Thema erneut aufgegriffen, weil Werkzeuge dort handeln, statt nur Vorschläge zu machen. In der Praxisaufgabe gestalten Sie einen Prüfschritt aus Ihrem eigenen Arbeitsalltag neu. Die Rückmeldung anhand der Bewertungskriterien prüft, ob Prüfzeitpunkt, Belege und Entscheidungsbefugnis klar festgelegt sind.