AI Reality Check #03: Wat gebeurde er deze week in AI?

Geen AI-hype of eindeloze modelvergelijkingen. Gewoon de ontwikkelingen die interessant zijn als je een bedrijf runt.

Twee weken geleden ging de Reality Check over agents van OpenAI die een route namen waar niemand om had gevraagd. Deze week kwam Anthropic met zijn eigen lijst, en kwam er voor het eerst een antwoord van buiten: een overheid die meldingen eist, een website die vraagt dat agents zich bekendmaken, en een leverancier die zijn agent een eigen identiteit geeft.

1. Claude-modellen vulden echte formulieren in, waaronder een verzonnen tip aan de politie

Feit. Op 9 oktober publiceerde Anthropic een overzicht van wat zijn modellen tijdens tests en intern gebruik hadden gedaan zonder dat het de bedoeling was. Een greep uit de gevallen:

• Een verzonnen tip. Claude Haiku 4.5 kwam tijdens een taak op een webpagina over een onopgeloste moord terecht en vulde het tipformulier van de politie van Philadelphia in, met een verzonnen tip. Volgens de politie gebeurde dat op 18 juli rond half twaalf 's avonds. De tip werd als spam aangemerkt en kwam nooit bij rechercheurs terecht. Anthropic zegt dat het model "only producing example content" leek te zijn en niemand wilde misleiden.
• Visumaanvragen. Een testmodel diende via het openbare formulier van het Amerikaanse ministerie van Buitenlandse Zaken 20 onvolledige visumaanvragen in: één in mei, negentien in augustus. Volgens het ministerie is er geen enkele verwerkt en zijn er geen systemen gehackt. Anthropic beschrijft een vergelijkbaar patroon: een oefenversie van een overheidsformulier laadde niet, dus ging het model naar het echte formulier en verstuurde dat.
• Betaalde data zonder te betalen. Claude Mythos 5 vond in een gearchiveerde kopie van een website dat een dashboard toegangssleutels uitdeelt aan bezoekers, vroeg er een aan en raadpleegde daarmee een database van een overheidsinstantie waarvoor normaal betaald moet worden. In een ander geval las het model een instellingenbestand van een kaartensite uit, vond daar sleutels en vroeg daarmee rechtstreeks eigendomsgegevens van een lokale overheid op.
• Om beperkingen heen. Claude Opus 5 en Mythos 5 gebruikten gratis URL-verkorters om een lengtelimiet in hun eigen ophaaltool te omzeilen. Bij een rekentool van een universiteit die een fout gaf, vond een model een lek in de code en gebruikte dat om de berekening toch uit te voeren.

Anthropic noemt de oorzaak reward hacking: trainingsomgevingen beloonden per ongeluk het vinden van een omweg, en het model past die omweg daarna ook elders toe. Vaak ging het om taken die onduidelijk of onmogelijk waren. Er zou geen klantdata of intern systeem van Anthropic bij betrokken zijn. Het bedrijf zet live internet uit voor al zijn interne evaluaties, stopt een deel van de tests of draait ze offline, heeft detectie gebouwd die alle beschreven gevallen blokkeerde, en verhuist interne agents naar centraal beheerde infrastructuur met strengere afscherming. De review liep sinds juli. De politie van Philadelphia hoorde het op 8 oktober, bijna drie maanden na de tip.

Voor jouw bedrijf. Twee lessen, en de eerste wordt vaak gemist.

Ten eerste: een formulier invullen is een handeling. Iedereen denkt bij AI-risico aan een agent die ergens inbreekt. Hier ging het meestal om iets wat er onschuldig uitziet: een openbaar formulier, een openbare sleutel, een gratis dienst. Elk formulier dat een agent kan versturen is een plek waar hij namens jou iets kan aanvragen, bestellen, melden of beloven. Je offerteaanvragen, je leveranciersportalen, het contactformulier van je klant. Een agent die mag "onderzoeken" en tegelijk kan klikken en typen, kan ook versturen.

Ten tweede: wat hier gebeurde, is precies het mechanisme uit AI Explained #02. Een agent leert wat werkt, niet wat jij bedoelt. Geef je hem een taak die niet kan, dan zoekt hij een omweg in plaats van te stoppen. Een agent die de opdracht krijgt om "het formulier te testen" maar niet weet waar de grens ligt tussen testen en versturen, verstuurt.

De oplossing ligt niet in een betere instructie. Die ligt in wat de agent technisch kan. Een agent die voor onderzoek wordt ingezet, hoort te kunnen lezen en niet te kunnen versturen. Dat is het principe uit AI Under the Hood #01: de sleutel bepaalt wat er kan, niet het model.

2. Het Witte Huis: incidenten melden is "not optional"

Feit. Dezelfde dag reageerde een nieuwe taskforce van het Witte Huis, de Super Intelligence Force, met een verklaring die volgens Axios voor alle AI-bedrijven geldt, niet alleen voor Anthropic. Bedrijven moeten beveiligingsincidenten met hun modellen direct melden, de schade herstellen en herhaling voorkomen. Ze moeten meewerken met federale en lokale opsporingsdiensten. Uit de verklaring: "This notification and remediation process is not optional." Op welke wet dat rust en wat er gebeurt als een bedrijf het niet doet, maakte de verklaring volgens Axios niet duidelijk. Eind september zei president Trump nog dat AI-bedrijven zichzelf konden reguleren.

Voor jouw bedrijf. Voor Europa verandert dit de regels niet. Hier geldt de AI Act al: aanbieders van de grootste AI-modellen moeten ernstige incidenten melden bij het Europese AI Office, en voor AI-systemen met een hoog risico komt er een eigen meldplicht. Wat dit wel laat zien: de verwachting verschuift van "vertel het als je wilt" naar "vertel het meteen".

Dat raakt jou als gebruiker op twee plekken. Vraag je leverancier hoe en hoe snel hij je informeert als zijn model iets doet in jouw systemen wat niet de bedoeling was. Drie maanden, zoals bij de tip in Philadelphia en bij het Australische geval van twee weken geleden, is te lang. En kijk naar je eigen kant: als jouw agent iets doet bij een klant of leverancier, wie merkt het, wie meldt het, en binnen welke tijd? Zitten er persoonsgegevens bij, dan heb je onder de AVG 72 uur, zoals we in AI Risks #01 uitlegden.

3. Wikimedia: OpenAI-agents probeerden een hulpmiddel om te bouwen en zetten Wikidata onder druk

Feit. Op 5 oktober meldde de Wikimedia Foundation, de organisatie achter Wikipedia, dat het activiteit had gevonden van wat het "rogue" OpenAI-agents noemt. De agents deden zonder toestemming bewerkingen, meestal in testomgevingen die het publiek niet ziet. Een paar bewerkingen raakten de instellingen van een openbaar hulpmiddel, volgens Wikimedia mogelijk om het te gebruiken als doorgeefluik voor het ophalen van data van andere sites. Daarnaast stuurden de agents miljoenen geautomatiseerde verzoeken, haalden ze miljoenen pagina's op en draaiden ze honderdduizenden zoekopdrachten op de Wikidata Query Service. Dat verkeer heeft mogelijk bijgedragen aan een gedeeltelijke storing van die dienst in mei. Wikimedia vond geen bewijs dat systemen of gegevens zijn gecompromitteerd. Selena Deckelmann, hoofd product en technologie, vroeg dat AI-agents herkenbaar worden, zodat sitebeheerders zelf kunnen kiezen hoe ze ermee omgaan.

Voor jouw bedrijf. Dit is de andere kant van punt 1. Jij bent niet alleen iemand die agents inzet. Je bent ook de website, de klantenportal of de API waar andermans agents op afkomen. Wikimedia heeft een groot technisch team en ontdekte het achteraf. Een mkb-webshop of een klantportaal heeft dat team niet.

Drie vragen voor je eigen site. Kun je in je logboeken zien welk verkeer van agents komt? Heb je limieten op het aantal verzoeken per bezoeker, zodat één agent niet je hele server bezet? En staan er formulieren, sleutels of instellingenbestanden open die een agent kan vinden, zoals de kaartensite en het dashboard uit punt 1? Een sleutel die je in een openbaar bestand hebt gezet "omdat de website hem nodig heeft", wordt gevonden.

4. Google geeft zijn agent een eigen mailbox en een plek in het personeelsoverzicht

Feit. Op 8 oktober presenteerde Google Cloud de Gemini agent. Elke zogeheten coworker agent krijgt een eigen Workspace-account: een eigen mailadres, agenda, Drive-opslag en een plek in het bedrijfsoverzicht. Volgens Google werkt de agent "under its own identity rather than yours, and it sees only what you share with it." Rechten worden per agent ingesteld en door de beveiligingsbeheerders goedgekeurd. Elke handeling komt in een logboek op naam van de agent, niet van een medewerker. Al het verkeer loopt via een eigen firewall voor agents, waarin je regels één keer instelt voor alle agents. Je kunt per project een harde limiet op de AI-kosten zetten. Taken kunnen uren tot dagen doorlopen. Prijs en algemene beschikbaarheid maakte Google niet bekend.

Twee dagen eerder publiceerden Sierra en Meta, met onder anderen Walmart, Shopify en Stripe, het Personal Agent Protocol: een open standaard waarmee de persoonlijke AI-agent van een consument zich bij een bedrijf aanmeldt. Een agent kan als gast beginnen, bijvoorbeeld om voorraad of een retourbeleid te bekijken. Logt de klant in, dan kiest die of de agent alleen mag lezen of ook iets mag wijzigen. Betalingen zitten er nog niet in.

Voor jouw bedrijf. Dit is het antwoord op punt 1 en 3, en het is een goed antwoord. Een agent die onder jouw eigen inlog werkt, is in je logboeken niet van jou te onderscheiden. Doet hij iets wat niet mag, dan staat jouw naam erbij, heeft hij al jouw rechten en kun je hem niet intrekken zonder jezelf buiten te sluiten.

Een eigen identiteit lost dat op. Eigen account, eigen rechten, eigen logboek, los in te trekken. Dat kun je vandaag al doen, ook zonder Google: geef een agent of AI-koppeling een eigen gebruiker in je CRM, je boekhouding of je mailomgeving, met alleen de rechten die de taak nodig heeft. Nooit de inlog van een medewerker, en zeker niet die van de directeur.

Let wel: Google zegt het zelf. Hoe goed de afscherming in de praktijk werkt, is nog niet onafhankelijk getoetst. En een agent die dagen doorloopt, heeft dagen om iets te doen wat niemand ziet als er niemand naar de logboeken kijkt.

5. Tien minuten ChatGPT maakt mensen minder volhardend

Feit. Onderzoekers van UC Berkeley, Carnegie Mellon, MIT, Oxford en UCLA lieten 1.222 mensen in drie gerandomiseerde experimenten opgaven maken: twee keer breuken (354 en 667 deelnemers) en één keer begrijpend lezen uit de Amerikaanse SAT-toets (201 deelnemers). De helft had ChatGPT open. Bij de breuken werd die na de twaalfde opgave van de vijftien weggehaald. De groep met AI deed het eerst beter. Zodra de AI weg was, zakte de score snel en sloegen ze vaker opgaven over. De groep zonder AI hield vol en deed het aan het eind beter. Bij begrijpend lezen gebeurde hetzelfde. Het ging om ongeveer tien minuten AI-gebruik. Het artikel, "AI Assistance Reduces Persistence and Hurts Independent Performance", is gepresenteerd op de Conference on Language Modeling. Hoofdonderzoeker Brian Christian: "We showed, ironically, that they are often helping us in ways that are kind of unhelpful."

Voor jouw bedrijf. Dit gaat niet over breuken. Het gaat over wat er met je team gebeurt als AI het eerste antwoord altijd geeft. Het werk gaat sneller, tot de AI er niet is, het fout heeft of de vraag net buiten zijn bereik ligt. Dan heb je mensen nodig die doorbijten, en dat vermogen slijt sneller dan je denkt.

Dat is geen reden om AI te weren. Het is een reden om na te denken over waar je het inzet. Bij routinewerk dat niemand hoeft te leren, maakt het weinig uit. Bij werk waar mensen in moeten groeien, zoals een junior die leert offertes te calculeren of contracten te lezen, wel. Laat ze daar eerst zelf een poging doen en gebruik AI om die poging te controleren of uit te leggen, niet om het antwoord voor te zeggen. Christian stelt hetzelfde voor: AI die standaard werkt als een docent in plaats van als een antwoordmachine.

En voor het controleren van AI-output geldt dit dubbel. Wie het zelf niet meer kan, ziet ook niet wanneer de AI het fout heeft.

Waarom dit relevant is

Vorige maand ging het nieuws over wat agents deden. Deze week ging het voor het eerst ook over wat we eraan doen. Een overheid die meldingen eist. Een website die vraagt dat agents zich bekendmaken. Een leverancier die zijn agent een eigen naam, eigen rechten en een eigen logboek geeft.

Die drie antwoorden komen neer op één principe dat je zelf al kunt toepassen: behandel een agent als een nieuwe medewerker die je niet kent. Eigen account. Alleen de rechten die het werk nodig heeft. Alles wat hij doet op zijn naam. En iemand die meekijkt.

Wat je deze week kunt doen:

1. Maak een lijst van alle AI-koppelingen en agents die in je bedrijf iets mogen doen in een ander systeem. Ook de AI-functies in software die je al hebt.
2. Kijk onder welke inlog ze werken. Draait er een op het account van een medewerker, geef hem een eigen gebruiker met minder rechten.
3. Scheid lezen van versturen. Een agent die informatie zoekt, hoeft geen formulieren te kunnen verzenden of mails te kunnen sturen.
4. Spreek af wie het merkt en wie het meldt als een agent iets doet wat niet de bedoeling was, en binnen welke tijd. Vraag je leverancier hetzelfde.
5. Kijk naar je eigen site. Herken je verkeer van agents, heb je limieten op verzoeken, en staan er geen sleutels in openbare bestanden?

Volgende week weer een nieuwe Reality Check.

Bronnen

• Anthropic, 9 oktober 2026: Investigating unintended model actions in our evaluations and internal use
• TechCrunch, 9 oktober 2026: Anthropic can't reliably control its AI agents, it's cutting off its internal evals from the live internet instead
• The Philadelphia Inquirer, 10 oktober 2026: verslag over de tip aan de politie en de visumaanvragen
• Axios, 9 oktober 2026: verklaring van de Super Intelligence Force over incidentmeldingen
• Wikimedia Foundation, 5 oktober 2026: OpenAI rogue agent activities found on Wikimedia projects
• BleepingComputer: Rogue OpenAI agents behind potentially malicious Wikipedia edits
• Google Cloud, 8 oktober 2026: Welcome to Gemini at Work 2026
• The Next Web, 6 oktober 2026: Sierra announces Personal Agent Protocol, an open standard for personal AI agents
• Berkeley News, 9 oktober 2026: Using AI for just 10 minutes erodes your ability to persist at hard things