Waarom schiet een menselijke controlestap vaak tekort?
Een menselijke controlestap schiet vaak tekort doordat de controleur alleen het oordeel van de AI ziet, te veel onderdelen moet controleren en nooit te horen krijgt waarop te letten. Goedkeuren wordt dan de snelste weg. Dit heet blind goedkeuren: het wekt de schijn van toezicht zonder dat er daadwerkelijk toezicht is.
Stelt u zich een fictieve groothandel met 25 medewerkers voor: Oakbridge Supplies. Een AI-tool vergelijkt leveranciersfacturen met inkooporders en markeert elke factuur als 'komt overeen' of 'komt niet overeen'. Financieel medewerker Priya keurt de overeenkomende facturen goed voor betaling. Op een donderdag staat er in haar wachtrij: '212 facturen, 205 komen overeen, 7 komen niet overeen'. Elke regel toont de leverancier, het bedrag en een groen vinkje. Vorige maand werd een leveranciersfactuur voor 400 stuks betaald terwijl er slechts 40 waren geleverd, omdat de tool het ordernummer herkende en Priya het vinkje goedkeurde.
Op welke punten moet een mens meekijken of ingrijpen?
Er moet een mens betrokken zijn wanneer een AI-uitvoer gevolgen heeft voor geld, iemands toegang tot iets, een toezegging aan een klant of een juridische of veiligheidskwestie, en voordat die gevolgen moeilijk terug te draaien zijn. Routinematige uitvoer waarvan de gevolgen omkeerbaar zijn, kan in plaats daarvan steekproefsgewijs worden gecontroleerd.
Het artikel van de EU AI Act over menselijk toezicht op systemen met een hoog risico maakt hetzelfde punt in juridische taal: de mensen die toezicht houden op een systeem moeten de beperkingen ervan begrijpen, alert blijven op een te groot vertrouwen in automatisering en de uitvoer kunnen negeren, terugdraaien of stoppen. Ook als de wet niet op u van toepassing is, zijn dit goede ontwerpdoelen.
Welke manieren zijn er om menselijke controle in te bouwen?
Er zijn vier gangbare manieren om een controleproces in te richten. Welke geschikt is, hangt af van de kosten van een fout en het aantal te controleren items.
Keur goed vóór uitvoering
Een persoon keurt elke uitvoer goed voordat er iets gebeurt. Gebruik dit voor werk met hoge kosten en kleine aantallen, zoals betalingen boven een drempelbedrag of terugbetalingen aan klanten.
Uitzonderingen beoordelen
De AI handelt duidelijke gevallen af en stuurt onzekere of ongebruikelijke gevallen door naar een persoon. Dit werkt alleen als de doorstuurregels zijn getest en ook een deel van de 'duidelijke' gevallen nog wordt gecontroleerd.
Audit op basis van een steekproef
De resultaten worden verstuurd en iemand controleert achteraf een willekeurige steekproef. Gebruik dit voor grote hoeveelheden werk waarbij fouten nog kunnen worden hersteld, zoals interne samenvattingen.
Eerst zelfstandig
De persoon vormt eerst een eigen oordeel en ziet pas daarna het AI-voorstel. Dat is langzamer, maar voorkomt dat het AI-antwoord bij belangrijke beoordelingen als ankerpunt gaat dienen.
Hoe ziet een zwakke beoordelingsopzet eruit, en hoe een verbeterde?
Zwak ontwerp: elke factuur gaat naar Priya met een groene of rode markering. Ze keurt in 20 minuten 205 vinkjes goed. Nergens staat waarom elk vinkje is toegekend en niets toetst of ze nog oplet.
Verbeterde inrichting: facturen onder een vastgesteld bedrag waarvan bestelnummer, hoeveelheid en eenheidsprijs allemaal overeenkomen met de pakbon, worden automatisch betaald. Priya controleert er elke week tien op willekeurige basis. Alles boven de grens, elke nieuwe leverancier en elk verschil in hoeveelheid komt bij haar terecht, met de drie velden naast elkaar en de reden van de AI in één regel, zoals 'hoeveelheid op factuur 400, geleverd 40'. Eenmaal per maand voegt de financieel leidinggevende zonder aankondiging twee bekende fouten aan de wachtrij toe om te controleren of ze worden opgemerkt. Priya legt ook elke keer vast wanneer zij van de AI afwijkt. Een plotselinge daling naar nul afwijkingen wordt gezien als een waarschuwing, niet als een succes.
Hoe controleert u of een beoordeling inhoudelijk is en niet alleen een formaliteit?
Controleer of de beoordeling daadwerkelijk plaatsvindt door die te meten: de tijd per item, hoe vaak beoordelaars afwijken van de AI en of bewust toegevoegde testfouten worden ontdekt. Een beoordelaar die het nooit oneens is met de tool, beoordeelt óf heel goede uitvoer óf helemaal niets. U hebt bewijs nodig om te weten welke van de twee het is.
Toon bewijs, niet alleen oordelen
Zet de bronvelden naast het AI-antwoord, zodat u het snel kunt controleren.
Beperk de wachtrij
Als iemand de hoeveelheid werk niet goed kan beoordelen, pas dan het proces aan in plaats van diegene te vragen harder zijn best te doen.
Bevoegdheden geven
Beoordelaars moeten kunnen afwijzen of pauzeren zonder toestemming te hoeven vragen.
Test de cyclus
Voeg af en toe bekende fouten toe en leg vast of ze worden opgemerkt.
Wat zijn veelgemaakte fouten bij menselijke controle van AI?
De meest voorkomende fout is een beoordelaar aan een proces toevoegen zonder verder iets te veranderen, en diens goedkeuring vervolgens als bewijs zien dat de uitvoer correct was. Andere fouten: één persoon honderden onderdelen per dag laten goedkeuren, het bewijsmateriaal achter extra klikken verbergen, onomkeerbare beslissingen pas beoordelen nadat de handeling al is uitgevoerd en een dalend aantal menselijke correcties toejuichen zonder te vragen waarom dat aantal daalt. Ook zorgvuldige mensen vertrouwen soms te veel op automatisering. Daarom is de inrichting belangrijker dan goede bedoelingen.
Waar past menselijke controle in het lesaanbod van Tosheo.ai?
Menselijke controle in het proces valt onder de categorie Verantwoorde AI en beleid in de cursus AI-geletterdheid, na ethische AI en beheersmaatregelen voor verantwoorde AI. Het onderwerp komt terug in de lessen over AI-agenten en automatisering, waarin hulpmiddelen handelen in plaats van voorstellen doen. De praktijkopdracht vraagt u een controlestap uit uw eigen werk opnieuw in te richten. De feedback op basis van de beoordelingscriteria gaat na of het controlemoment, de onderbouwing en de bevoegdheden duidelijk zijn.