de productiekloof

Ik bouw agents die draaien op de echte software van bedrijven, en ik houd ze draaiend als de demo allang voorbij is. En juist daar, in het werk van elke dag, zie ik steeds hetzelfde. Wat een zaal overtuigt, dat houdt op maandagochtend lang niet altijd stand.

Twee cijfers uit hetzelfde jaar laten me niet los. In 2025 ging volgens de OESO 61 procent van al het durfkapitaal ter wereld naar AI. Ruim 258 miljard dollar, laat dat even bezinken. En datzelfde jaar voorspelde Gartner dat meer dan 40 procent van de agentic-AI-projecten voor eind 2027 wordt geschrapt, en beschreven onderzoekers van MIT hoe het gros van de bedrijfspilots strandt nog voor het iets oplevert. De modellen zijn daarbij zelden de zwakke plek, hoor. Organisaties leren gewoon niet om ermee te bouwen.

Zoveel geld, en zo weinig dat de productie haalt. Klinkt als een paradox. Is het niet. Want tussen een agent die indruk maakt en een agent die echt werkt zit een kloof, en bijna niemand die al dat geld uitgeeft heeft die kloof zelf overgestoken.

een demo en een dienst zijn twee vakken

Een demo hoeft één keer te werken, met iedereen erbij. Een productiesysteem moet zich gedragen juist als er niemand kijkt. Klinkt als een woordspelletje, ik weet het. En toch is het een heel ander vak.

In een demo kiest de bouwer zelf de invoer. Hij draait het pad dat hij kent, en stopt zodra het applaus losbarst. In productie? Daar kiest de wereld de invoer, ligt het pad elke keer anders, en stopt er niks vanzelf. Een operationeel directeur uit de maakindustrie zei het in het MIT-onderzoek droogjes: “The hype on LinkedIn says everything has changed, but in our operations, nothing fundamental has shifted.” Op het podium is alles veranderd. Op de werkvloer, waar ik elke dag zit, nog niks.

de wiskunde die niemand op de slide zet

Waarom slagen demo’s dan, terwijl productie faalt? Nou, de reden is saai. Het is gewoon rekenkunde.

Neem een agent die bij elke stap 95 procent van de tijd het goede doet. En geloof me, voor de modellen van vandaag is dat al optimistisch. Drie stappen, zoals in een demo, komt dan bijna altijd goed weg. Alleen, betrouwbaarheid over een keten telt niet op. Die vermenigvuldigt zich. Bij twintig stappen zakt de kans op een foutloze run al naar ongeveer een op drie. En een productieproces dat de moeite waard is, dat telt zelden drie stappen. Het zijn er twintig. Dertig.

Ja, het is een vereenvoudiging. Echte fouten zijn natuurlijk niet zo netjes onafhankelijk van elkaar. Maar de richting klopt, en elke bouwer voelt ‘m meteen: meer autonomie is meer stappen, en één zwakke schakel sleurt de hele keten mee. Ik heb het zelf zien gebeuren, op een avond in mei, toen mijn eigen engine in een lus belandde die zichzelf bleef voeden. In review zag die fout er volstrekt redelijk uit. En dat is het verraderlijke eraan. In de demo? Nergens te bekennen geweest.

het is geen modelprobleem

De reflex? De schuld bij het model leggen, en de oplossing bij een slimmer model zoeken. Allebei mis.

De dure fouten van het afgelopen jaar kwamen niet uit domheid. Nee, het waren acties zonder rem. Kijk naar Air Canada: hun chatbot verzon een rouwkorting die niet bestond, en de rechter oordeelde gewoon dat het bedrijf ervoor opdraaide. Of die informatie nou van een statische pagina komt of van een chatbot, dat maakt niks uit. Of neem Replit. Daar wiste de coding-agent tijdens een expliciete stop-opdracht een complete productiedatabase, bekende achteraf “a catastrophic error in judgment”, en verzon er daarna duizenden nepgegevens bij om z’n eigen blunder te verhullen. Want een chatbot die hallucineert, die liegt tegen een gebruiker. Een agent die hallucineert dóét iets. Die betaalt de verkeerde klant terug. Of wist een rij die er nou juist moest blijven.

De echte oorzaken zitten dieper, en ze zijn een stuk taaier. Context rot, om er eentje te noemen. Geef een model méér mee, en het gaat slechter presteren, vaak al ruim voordat dat venster vol zit. Anthropic zegt het over z’n eigen modellen zonder omhaal: behandel context als een schaarse hulpbron met afnemend rendement. Zo’n extra token is niet gratis, hoor. Die eet van de aandacht die het model nog overheeft.

En dit is nou precies wat mijn vangrails-verhaal al droeg, alleen nu onderschreven door een hele sector vol brokken. De veiligheid van zo’n systeem, die komt niet uit de slimheid van het model. Die komt uit de discipline die je in het gereedschap zélf bouwt. Een bouwer die agents op tientallen soorten documenten loslaat, zei het mooier dan ik het kan: in een gereguleerd domein is de meest ingeperkte agent de betrouwbaarste.

waar het wél rendeert

Dit is geen aanklacht tegen agents, hoor. Ik bouw ze, ze draaien bij bedrijven, ze leveren. Alleen leveren ze op een plek die een stuk minder spannend is dan de markt je belooft.

Agents winnen niet doordat ze lekker vrij mogen redeneren. Ze winnen doordat ze een goed gedocumenteerd proces afdraaien dat een mens eerst met de hand deed. Zo simpel is het eigenlijk.

Neem de offerte-opname-agent die ik voor een installatiebedrijf bouwde. Dat is eigenlijk een heel simpele tool, en hij kost ook weinig. Je traint een model op alle variaties, op jouw context, en dat leeft gewoon in de cloud. Met een relatief simpel model kom je dan al heel ver, als er goed geprompt wordt, en daar hebben we zelfs een hele gids voor geschreven. Zij wilden gewoon veel sneller offertes maken, want daar ging enorm veel tijd in zitten. Dus je opent je telefoon in een webomgeving, en daar zit een offerte-opname-stukje: een textbox met speech to text, en er rechts naast een checklist waar je aan moest denken. Je gaat die checklist af en praat gewoon tegen je telefoon. Daar komt een stuk tekst uit, dat gaat naar het model, en het model maakt de offerte in PandaDoc, waar die mooi visueel uitkomt. En klaar was Kees.

Daar zie je het al: een heel simpel model levert zoveel waarde, juist op de simpele taken. Offertes maken was hier namelijk geen complex proces. Er was een vaste set variabelen waar aan gedacht moest worden, bij een airco-installatie het merk, het model, een legplan, een condenspot, ga zo maar door. Veel varianten, maar altijd standaard, met vaste artikelprijzen en eventueel een korting erbij. Geen ingewikkelde betalingsstructuren erachter.

En let op, het gaat niet vanzelf. Orders intikken en documentverwerking is een enorm mensintensief proces, en bij een complex B2B-proces blijft de mens altijd in de lus. Je wilt zo’n proces niet volledig de handen uit AI geven. Je wilt de menselijke handelingen eruit halen, het menselijke oordeel juist niet. Laat een agent de intake doen, het document opstellen, de analyse alvast voorbereiden, en dan hoeft de mens-in-de-lus alleen nog te kijken naar wat de agent al gedaan heeft. Dat versnelt het enorm. Alleen moet je wel op de kosten letten. Pak je meteen het duurste vlaggenschipmodel van Anthropic of OpenAI, dan loop je ertegenaan dat dat gewoon erg duur wordt. Bij heel veel documentverwerking kom je al weg met een lichter model. Er zitten allemaal gradaties in, en daar test je gewoon op, want het hangt af van hoeveel factoren er verschil maken in de uitkomst.

En de bouwers die het buiten mijn eigen keuken voor elkaar krijgen, die zeggen allemaal een variant van hetzelfde: wat werkt is het ingekaderde systeem, niet het slimme. Neem Klarna. Dat laat het zien, en meteen twee kanten op. Het bedrijf liet een AI-assistent het werk van 853 medewerkers doen, en bespaarde er tientallen miljoenen mee. Mooi verhaal. Alleen draaiden ze daarna een deel publiekelijk terug, met de topman die toegaf dat ze te ver op efficiëntie en kosten hadden gestuurd, en dat de kwaliteit eronder had geleden. De winst is echt. De boemerang ook.

Er is ook een optimistischer geluid, en dat is niet niks. Google onderzocht het vorig najaar, en vond dat meer dan de helft van de ondervraagde bestuurders zegt agents in productie te hebben. Driekwart rapporteert binnen het eerste jaar al rendement. De volwassenste categorie? Dat is code. En toch is ook daar het eerlijke cijfer geen driedubbele productiviteit. Het gedegen DORA-onderzoek zag een individuele ontwikkelaar tientallen procenten sneller worden, terwijl de leversnelheid van de hele organisatie juist kán dalen als het fundament wankel is. Zo werkt het gewoon: AI maakt een goed proces beter, en een slecht proces sneller kapot.

de markt is het oneens met zichzelf

Let eens op hoe vaak zo’n groot cijfer voorbijkomt zonder dat iemand vraagt wát het nou eigenlijk meet. De schattingen van de marktomvang lopen een factor drie tot vier uiteen, puur afhankelijk van hoe eng of breed je “agent” definieert. Gartner meet iets anders dan MIT, en dat meet weer iets anders dan de optimistische durfkapitalisten. Strijdig zijn die cijfers niet, hoor. Ze tellen gewoon verschillende dingen. En wie al die koppen naast elkaar legt en de definities weglaat, die verwart ruis met inzicht.

En een deel van wat als agent verkocht wordt, is trouwens helemaal geen agent. Van de duizenden aanbieders die zichzelf agentic noemen, schat Gartner er ongeveer 130 als echt. De rest? Een bestaande chatbot in een nieuw jasje. Agent washing heet dat inmiddels.

de kloof dicht je met saaie discipline

Wachten op een slimmer model? Dat dicht de kloof niet. Andrej Karpathy, en die weet echt waar hij het over heeft, ziet robuuste agents niet als een klusje van een jaar. Eerder als een vraagstuk van een decennium. Hij noemt de modellen liever geesten dan dieren: opgeroepen, statistisch, met menselijke trekjes en heel erg onmenselijke blinde vlekken. En betrouwbaarheid, die bouw je niet door zo’n geest beleefd te vragen of hij een beetje voorzichtig wil doen.

Je bouwt het met grenzen die buiten de redeneerlus van de agent liggen. In de volgorde die ik zelf aanhoud: eerst een harde rem die niet weg te praten valt, simpelweg omdat het gereedschap niks anders toelaat. Dan een expliciete drempel, voordat er ook maar iets naar productie mag. Daarna een logboek van élke actie die dat ding onderneemt. En als sluitstuk een noodstop die afgaat na een reeks mislukkingen op rij. Niks daarvan is spannend, nee. En dat is nou precies het punt.

De toets die ik aan elk agent-plan hang, van mezelf of van een klant, is dezelfde als aan het slot van mijn engine-verhaal. Die gaat niet over wat het systeem allemaal kán. Die gaat over de andere kant: wat gebeurt er als het systeem fout zit, en welke regel code zet het dan stil? Heb je daar een antwoord op, dan sta je aan de goede kant van de productiekloof. Blijf je het antwoord schuldig, dan heb je geen systeem. Dan heb je een demo die nog niet heeft mogen falen. En een plekje in de statistiek van die veertig procent.