Nee, niet elke AI-agent leert vanzelf

Geheugen helpt, een harde regel soms meer

Denk aan een stagiair met een notitieblokje. Hij schrijft op dat een vaste klant altijd per pallet bestelt en dat offertes voor die klant op vrijdag de deur uit moeten. Een AI-agent doet hetzelfde met een geheugenlaag: de agent bewaart correcties, voorkeuren en eerdere gesprekken en haalt die erbij zodra een nieuwe taak erop lijkt. Dat geheugen staat onder de motorkap van een AI-agent los van het taalmodel, dus het model zelf verandert er niet door.

Stel dat op dat blokje staat: voor vragen van klant x, vraag hulp aan Pietje. Waarom zou je dat opschrijven? Dat bericht had in één keer automatisch naar Pietje moeten gaan, zonder eerst langs de stagiair met het blokje. Voor de agent geldt hetzelfde. Wat altijd zo moet, zet je als vaste routeringsregel in het systeem, zodat de vraag van x direct bij de juiste persoon landt.

Een notitieblokje heeft nog een zwakke plek. Een geheugenlaag zonder controle bewaart ook verkeerde conclusies, en de agent haalt die daarna met evenveel overtuiging terug als de goede. Geheugen past daarom bij informatie die per situatie verschilt, terwijl alles wat altijd geldt beter een regel of een stukje code wordt.

Een agent leert van feedback op zijn werk

De agent leert doordat zichtbaar wordt waar de agent nog slecht in is en waar de agent vaak feedback op krijgt. Op basis daarvan bepalen mensen hoe de agent beter wordt ingeregeld. Zo leren ook de AI-agents die wij leveren.

Neem een agent die inkomende ordermails verwerkt. De agent zet een artikel steeds verkeerd in het systeem, omdat een klant een oude productcode gebruikt die nergens in de artikellijst staat. Na een paar correcties is het patroon zichtbaar. Iemand voegt de oude code als alias toe aan de kennis van de agent, en vanaf dat moment gaat het goed.

Hoe meer feedback er binnenkomt, hoe sneller je die patronen ziet. Elke taak die een medewerker goedkeurt of corrigeert, is een gelabeld voorbeeld. Hoe meer van die voorbeelden door de agent lopen, hoe beter de agent blijft worden.

Maak het daarom zo makkelijk mogelijk. Een goede agent legt twijfelgevallen zelf voor, want dat is wat een AI-agent doet als hij het niet zeker weet. Je team keurt met één handeling goed of corrigeert, in het scherm waar ze toch al werken.

Menselijke kennis maakt daarbij een groot verschil. The Register beschreef onderzoek naar agents die een analyse van overstromingsrisico moesten uitvoeren. Zonder hulp deden ze 2,9 procent van de taken goed, met een door mensen samengestelde werkwijze ongeveer 80 procent [1].

Waar je een agent beter niet zelf laat bijschrijven

Er zijn processen waarin je niet wilt dat een agent zelf aantekeningen maakt en daar direct naar handelt. Denk aan acceptatie, facturen boven een bepaald bedrag of alles waar een fout geld of vertrouwen kost. Daar gaat elke nieuwe regel of aanpassing eerst langs een mens, ook als het voorstel uit een geautomatiseerde analyse komt.

Heeft niemand in je bedrijf tijd om naar feedback te kijken, dan blijft een agent zo goed als op de dag van oplevering. Voor stabiele, voorspelbare processen is dat prima. Voor werk dat elke maand verandert, raakt de agent zelfs langzaam achter op de praktijk, en daalt in kennis en kunde. Dan is het verstandig om eerst de verbeterloop te regelen voordat je verder uitbreidt.

Zo richt je een verbeterloop in die blijft werken

Een agent wordt structureel beter als er een vast proces staat voor wat je met feedback doet. In de basis ziet dat proces er zo uit.

1. Verzamel doorlopend feedback, met zo min mogelijk moeite voor je team.
2. Analyseer die feedback en zoek de plekken waar de agent vaak twijfelt of gecorrigeerd wordt.
3. Bepaal per patroon de oplossing: een betere prompt, aangepaste code of een procesverbetering.
4. Laat een mens het voorstel beoordelen en goedkeuren.
5. Test de aanpassing op oude gevallen, zodat er elders niets misgaat.
6. Zet de nieuwe versie live en blijf feedback verzamelen.

De vierde stap zorgt voor de menselijke controle in een grotendeels door AI gedreven verbeterproces. Het zoeken naar patronen in stap 2 en het voorstellen van een oplossing in stap 3 kan AI namelijk goed oppakken. Een mens toetst daarna of dat voorstel klopt met hoe het werk in de praktijk loopt.

Die toets vraagt kennis van het werk. Een onduidelijke instructie los je op met een betere prompt of een extra voorbeeld. Een vaste afspraak, zoals de vraag van x die naar Pietje moet, wordt een stukje code. En soms zit het probleem in het proces zelf, bijvoorbeeld omdat aanvragen onvolledig binnenkomen.

Dat proces kun je zo ver automatiseren als je wilt, zolang je de grip houdt. Wij gebruiken zelf AI-agents die verbeterpunten in feedbackdata vinden, voorstellen doen en goedgekeurde aanpassingen doorvoeren. Een mens beslist wat er verandert. Bain & Company beschrijft dezelfde taakverdeling in een leersysteem voor agents. De agents laten zien wat werkt, en mensen beoordelen die lessen en beslissen of een proces wordt bijgeschaafd of opnieuw ontworpen [2].

Staat die loop eenmaal, dan komt elke correctie van je team ergens terecht. Die correctie maakt de volgende honderd orders, offertes of klantvragen een stukje beter. Je team ziet steeds minder uitzonderingen terug op zijn bureau. Ook het aantal toepassingen waarin een AI-agent je team ontlast groeit mee met de feedback die je verzamelt.

Begin bij het proces waarin je team nu de meeste correcties doet, want daar levert een verbeterloop het snelst iets op.