AI Case Files #02: Air Canada en de chatbot die een belofte deed

In november 2022 overlijdt de oma van Jake Moffatt. Hij vraagt de chatbot op de site van Air Canada hoe het zit met de korting bij een overlijden. De chatbot zegt dat hij gewoon kan boeken en de korting binnen 90 dagen achteraf kan aanvragen. Dat klopte niet.

Het ging om CA$812,02. Toch werd de zaak wereldnieuws. Niet om het bedrag, maar om het verweer van Air Canada: dat het niet verantwoordelijk was voor wat zijn eigen chatbot zei.

In Case Files #01 ging het over Klarna, waar AI het werk van 700 medewerkers deed en de kwaliteit daalde. Dat was een les over meten. Deze zaak is kleiner en gaat over iets anders: wie er aansprakelijk is als een chatbot iets belooft.

Bronnen. De feiten komen uit de uitspraak Moffatt v. Air Canada, 2024 BCCRT 149, van het Civil Resolution Tribunal in British Columbia op 14 februari 2024, en uit de berichtgeving daarover door Daily Hive en Manatt. Bedragen zijn in Canadese dollars.

1. Wat er gebeurde

Op 11 november 2022 overlijdt de oma van Moffatt. Hij zoekt op de site van Air Canada naar vluchten van Vancouver naar Toronto en vraagt hij de chatbot naar rouwtarieven.

De chatbot antwoordt dat Air Canada lagere tarieven heeft bij een overlijden in de directe familie. En dat wie al gereisd heeft, het ticket voor een lager tarief kan indienen "within 90 days of the date your ticket was issued", via het formulier voor terugbetaling.

Moffatt boekt voor de volle prijs: CA$794,98 heen en CA$845,38 terug. Op 17 november 2022, ruim binnen die 90 dagen, vraagt hij de korting aan.

Air Canada wijst het af. Volgens de eigen regels kon een rouwtarief niet achteraf worden aangevraagd. Na maanden mailen schrijft een medewerker van Air Canada in februari 2023 dat de chatbot "misleading words" had gebruikt. Air Canada zegt de chatbot aan te passen en biedt een tegoedbon van CA$200 aan. Het verschil in prijs betaalt het niet terug. Moffatt stapt naar het tribunaal.

2. Wat Air Canada aanvoerde

Air Canada voerde twee dingen aan.

Ten eerste dat Moffatt de juiste procedure niet had gevolgd en dat rouwtarieven niet achteraf konden worden aangevraagd. Dat stond in het beleid.

Ten tweede dat het niet aansprakelijk was voor informatie van zijn "agents, servants, or representatives", inclusief een chatbot. Het tribunaal vatte dat samen als het idee dat de chatbot "a separate legal entity that is responsible for its own actions" was.

Dat tweede argument maakte de zaak beroemd. Het is ook het argument dat elk bedrijf met een chatbot in de verleiding brengt: de bot heeft het gezegd, niet wij.

3. Wat het tribunaal zei

Het tribunaal wees dat argument af, in één zin die sindsdien overal wordt aangehaald:

"It should be obvious to Air Canada that it is responsible for all the information on its website."

Het maakt daarbij niet uit of die informatie op een vaste pagina staat of uit een chatbot komt. De chatbot is een onderdeel van de site, en de site is van Air Canada.

Het tribunaal stelde ook de vraag waarom een klant zou moeten weten dat het ene deel van een site betrouwbaar is en het andere niet. Een klant die een vraag stelt aan de chatbot van een bedrijf, mag ervan uitgaan dat het antwoord klopt.

De juridische grond was negligent misrepresentation: onzorgvuldig verstrekte onjuiste informatie. Air Canada had een zorgplicht tegenover gebruikers van de chatbot, had niet redelijk gezorgd dat de chatbot klopte, en Moffatt had op dat antwoord vertrouwd bij zijn boeking.

4. Wat het kostte

Air Canada liet weten de uitspraak na te leven en de zaak als afgesloten te beschouwen.

Het bedrag is klein. De schade zit ergens anders. Air Canada staat sindsdien in elk artikel, elke presentatie en elk juridisch overzicht over aansprakelijkheid voor AI als het bedrijf dat probeerde zijn chatbot de schuld te geven. Een tegoedbon van CA$200 en een excuus hadden de zaak waarschijnlijk nooit naar het tribunaal gebracht. Dat laatste is mijn inschatting, niet iets uit de uitspraak.

5. Waarom dit niet alleen over Canada gaat

Dit is een uitspraak van een Canadese geschillencommissie voor kleine zaken. Hij bindt geen Nederlandse rechter. Maar de redenering is niet bijzonder Canadees. Ze komt neer op een principe dat in de meeste rechtssystemen geldt: een bedrijf is verantwoordelijk voor wat het via zijn eigen kanalen aan klanten vertelt.

Voor een klant is je chatbot geen apart systeem. Het is jouw bedrijf dat antwoord geeft. Als hij een prijs noemt, een levertijd, een garantie of een uitzondering, dan hoort de klant jou dat zeggen.

Hoe een Nederlandse rechter een vergelijkbare zaak zou beoordelen, kan ik niet zeggen. Wie daar zekerheid over wil, vraagt het een jurist. Wat wel vaststaat: het argument "de bot zei het, niet wij" is in deze zaak duidelijk afgewezen.

6. De les voor een bedrijf van 20 tot 200 mensen

De chatbot van Air Canada deed niets wat een chatbot niet vaak doet. Hij gaf een antwoord dat aannemelijk klonk en net niet klopte. Dat is precies hoe taalmodellen fouten maken: niet met een foutmelding, maar met een vriendelijk, zeker antwoord.

Laat de chatbot alleen antwoorden uit je eigen, actuele voorwaarden. Niet uit algemene kennis, niet uit hoe het bij andere bedrijven gaat. Als het antwoord niet in je eigen documenten staat, moet de bot zeggen dat hij het niet weet en doorverwijzen.

Verwijs bij geld altijd naar de bron. Prijzen, kortingen, terugbetalingen, garanties en uitzonderingen zijn de onderwerpen waar een fout je geld kost. Laat de bot daar kort antwoorden en linken naar de pagina waar het officieel staat.

Bepaal wat de bot mag toezeggen. Mag hij een korting noemen, een levertijd beloven, een terugbetaling bevestigen? Zo ja, binnen welke grenzen? Wie dat niet bepaalt, laat het aan het model over.

Lees de gesprekken na. Elke maand een steekproef, bijvoorbeeld vijftig gesprekken. Niet of de bot vriendelijk was, maar of wat hij zei klopte met je voorwaarden. Begin bij de gesprekken over geld.

Los een fout op met de klant. Als de bot iets verkeerds heeft gezegd en een klant daarop heeft vertrouwd, is de goedkoopste oplossing bijna altijd om het verschil te betalen en de bot aan te passen. Air Canada deed het tweede wel, het eerste niet.

Wat je deze week kunt doen

1. Stel je eigen chatbot vijf vragen over geld. Een korting, een terugbetaling, een garantie, een uitzondering en iets wat je niet aanbiedt.
2. Leg elk antwoord naast je voorwaarden. Klopt het? Verwijst hij naar de juiste pagina? Zegt hij iets toe wat je niet wilt toezeggen?
3. Kijk bij de laatste drie keer dat de bot iets fout zei wat er gebeurde. Weet je dat überhaupt? Zo niet, dan is dat het eerste wat je regelt.

Vier vragen aan een leverancier van een chatbot

1. Waar haalt de bot zijn antwoorden vandaan? Alleen uit onze documenten, of ook uit wat het model zelf weet?
2. Wat doet de bot als het antwoord niet in onze documenten staat? Laat het zien met een vraag waarop het antwoord ontbreekt.
3. Kunnen we onderwerpen blokkeren of laten doorverwijzen? Bijvoorbeeld alles over prijzen en terugbetalingen.
4. Kunnen we alle gesprekken teruglezen en doorzoeken? Zonder dat kun je niet nakijken wat er aan klanten is beloofd.

Waar het op neerkomt

Air Canada verloor geen zaak over techniek. Het verloor een zaak over verantwoordelijkheid. De chatbot maakte een fout die elke chatbot kan maken. De echte fout was het idee dat die fout van iemand anders was.

Je chatbot spreekt namens jou. Wat hij zegt, zeg jij. Richt hem daarop in.

De feiten in dit artikel komen uit de uitspraak en openbare berichtgeving. Waar ik een inschatting geef, staat dat erbij. Dit is geen juridisch advies.