Wat doet een AI-agent als hij het niet zeker weet?
Sil de Veer, AI Consultant & Agent Builder · Gepubliceerd op · Bijgewerkt op · 4 min lezen
Een goed ingerichte AI-agent gokt niet als hij iets niet zeker weet. Hij vraagt door als er informatie ontbreekt, draagt een uitzondering over aan een mens of escaleert bij financiële of juridische gevolgen. Welke route wanneer geldt, leg je vooraf vast. Een agent die zelfverzekerd het verkeerde antwoord geeft, is gevaarlijker dan een collega die hardop twijfelt.
De aanname: een agent moet alles zelf oplossen
Veel ondernemers denken dat een AI-agent pas waardevol is als hij volledig zelfstandig draait. Geen mens er meer bij, alles automatisch, klaar. En zodra je dat beeld voor ogen hebt, snap ik je huiver wel, want wie corrigeert hem op het moment dat hij ergens de plank misslaat?
Zo richten wij een agent niet in. Het belangrijkste deel van het werk gaat namelijk niet over wat de agent allemaal kan, maar over hoe je hem leert herkennen wanneer hij iets niet zeker weet. De waarde zit in een agent die op de juiste momenten zijn hand opsteekt.
Uit onderzoek blijkt dat maar een klein deel van de ondernemers AI laat meedenken over zakelijke beslissingen en dat advies ook echt vertrouwt[1]. Dat wantrouwen is terecht zolang je niet weet hoe de agent met onzekerheid omgaat. Het verdwijnt op het moment dat je dat van tevoren hebt ingeregeld.
Drie routes die je een agent meegeeft bij twijfel
Een goed ingerichte agent krijgt grofweg drie routes mee voor het moment dat zijn zekerheid onder een afgesproken grens zakt. De eerste is doorvragen. Mist er informatie om een goede beslissing te nemen, dan vraagt hij erom in plaats van het gat zelf in te vullen. Denk aan een ordermail waarin een aantal of een afleveradres ontbreekt: de agent legt de order stil en vraagt om wat hij nodig heeft.
De tweede route is overdragen. Komt de agent een uitzondering tegen die buiten de kaders valt die je hebt ingericht, dan zet hij de taak klaar voor een mens met alle context erbij. Geen rauwe foutmelding, maar een net dossier waarmee jouw medewerker in dertig seconden kan beslissen in plaats van het hele uitzoekwerk opnieuw te doen.
De derde route is escaleren. Bij situaties met financiële of juridische impact leg je de drempel veel hoger. Voor een vertaling is rond de 80 procent zekerheid prima, maar voor een financiële handeling is zelfs 99 procent te laag[2]. Bij het inrichten stem je de lat dus af op wat er op het spel staat. Hoe groter het gevolg van een fout, hoe sneller een mens erbij komt.
Waarom dit het verschil maakt tussen speelgoed en gereedschap
Het verschil tussen een leuke demo en een agent waar je je bedrijf op durft te laten draaien, zit precies hier. Het gaat niet om hoe slim hij is op zijn beste dag, het gaat om hoe hij zich gedraagt op zijn slechtste. Een agent die in 95 procent van de gevallen het werk afhandelt en de overige 5 procent netjes naar een mens schuift, is veel bruikbaarder dan een agent die honderd procent pretendeert te kunnen en bij die laatste paar procent stilletjes de fout in gaat.
Daarom besteden we het meeste werk aan de inrichting die je niet ziet maar wel voelt. Auditbare logboeken die laten zien welke beslissing op welk moment is genomen en waarom[3]. Controles die de inkomende data eerst valideren voordat er iets mee gebeurt. Een duidelijke scheiding tussen wat de agent zelf afhandelt en wat hij doorgeeft. Daar zit het vakmanschap, want de agent die je het meest vertrouwt is degene waarbij het hardst is nagedacht over wat hij juist laat liggen.
Waar het misgaat als je dit overslaat
De valkuil is een agent die getraind is op de wereld in het algemeen maar niets weet van jouw specifieke situatie. Dat printer X alleen werkt via server Y, of dat klant Z altijd een afwijkende betaaltermijn heeft. Die bedrijfskennis zit vaak nergens vastgelegd, en als je dat bij het inrichten overslaat ontstaan er blinde vlekken precies op de plekken waar het ertoe doet[2].
Een agent die deze grenzen niet meegekregen heeft, twijfelt ook niet. Hij weet niet wat hij niet weet, dus hij gaat vrolijk door. Dat is het scenario waar ondernemers terecht bang voor zijn. De oplossing zit in een agent die je zo inricht dat hij weet waar zijn kennis ophoudt en waar de mens het overneemt. Standaardwerk dat steeds hetzelfde verloopt, kun je gerust automatiseren. Werk met grote gevolgen waarbij de context dun is, laat je beter niet volledig door de agent zelf afhandelen.
De nuchtere afweging voordat je iets bouwt
Voordat je een proces uit handen geeft aan een agent, weegt er een vraag zwaarder dan hoeveel tijd je terugwint als alles soepel loopt. Die vraag is: wat gebeurt er als het misgaat? Een agent die in 95 procent van de gevallen vlekkeloos werkt maar bij die laatste paar procent de verkeerde kant op gaat, levert je geen rust op maar een nieuw soort onrust.
Daarom richt je bij het maken vooral de terugval goed in. Een agent die bij twijfel stopt en overdraagt, kost je in het slechtste geval een handmatige check. Een agent die bij twijfel doorgaat, kost je een verkeerde factuur, een boze klant of een foute aangifte. Het eerste is werk dat je terugkrijgt. Het tweede moet je dubbel doen, vaak met schade die je niet zomaar terugdraait. Maak dus een agent die het netst stopt op het moment dat hij het niet meer zeker weet.
Zo legt de Order-agent een order met een ontbrekend aantal of afleveradres stil en vraagt hij om wat er mist.
Bronnen
Veelgestelde vragen
Een goed ingerichte agent kiest dan een van drie routes die je hem vooraf meegeeft. Mist er informatie, dan vraagt hij door. Valt een uitzondering buiten zijn kaders, dan draagt hij de taak over aan een mens. Bij financiële of juridische gevolgen escaleert hij direct. Gokken en doorgaan alsof hij het zeker weet, doet hij niet.
