Als de computer beslist

Een fishing expedition was het volgens de voorzieningenrechter in Amsterdam. Ouders van kinderen die met behulp van een computerprogramma in 2017 waren uitgeloot voor de twaalf middelbare scholen van hun keuze vroegen inzage in de werkwijze van de stichting die de loting verzorgt. Maar de exhibitieplicht van artikel 843a Wetboek van Burgerlijke Rechtsvordering konden ze daar niet voor gebruiken. Dat artikel ziet op ‘bepaalde bescheiden’ en de vragen van de ouders waren niet zo concreet. ‘Een schokkende uitkomst,’ zegt Marlies van Eck, adviseur, universitair docent en onderzoeker bij eLaw, het centrum voor recht en digitale technologie van de Universiteit Leiden. ‘Ze vroegen naar de logica van het lotingssysteem en werden afgewimpeld. Maar hoe moet je anders je recht halen?’

Het lotingssysteem is een voorbeeld van geautomatiseerde besluitvorming. Dan gaat het om besluiten van een organisatie, genomen op basis van automatisch verwerkte gegevens, met behulp van beslisregels (een algoritme). Op alle rechtsgebieden komt dit voor. Aanvragen voor toeslagen, de aangifte inkomstenbelasting, de WOZ, het zijn allemaal resultaten van geautomatiseerde besluiten in het bestuursrecht. In het strafrecht en het civiele recht bestaan net zo goed voorbeelden van geautomatiseerde besluiten. Zo werkt de Nationale Politie met het Nationaal Forensisch Instituut aan een aantal projecten van predictive policing. Daarbij wordt crimineel en normoverschrijdend gedrag voorspeld door middel van monitoring en data-analyse, met het doel criminaliteit te voorkomen. Wie aan de civiele kant van het spectrum online bijvoorbeeld een krediet aanvraagt of solliciteert, kan ook te maken krijgen met geautomatiseerde beslissingen.

Geautomatiseerde besluitvorming zonder menselijke tussenkomst mag in beginsel niet. Op grond van de Algemene verordening gegevensbescherming (AVG) hebben mensen recht op een menselijke blik bij besluiten die over hen gaan. Maar er zijn wel uitzonderingen. Want als de betrokkenen uitdrukkelijke toestemming ervoor geven of de besluitvorming noodzakelijk is voor een overeenkomst (denk aan een hypotheekverstrekking), is geautomatiseerde besluitvorming wel toegestaan. Dat is ook het geval als relevante wetten dit bepalen, waarvan soms sprake is bij fraudeopsporing.

Er zijn genoeg redenen te verzinnen waarom organisaties en instituties geautomatiseerde besluitvorming inzetten, met of zonder menselijke tussenkomst. Zo liet de fiscus in de jaren zeventig   al computers besluiten nemen in plaats van ambtenaren. In die periode groeide het aantal autobezitters massaal. Geautomatiseerde besluitvorming zorgde ervoor dat de motorrijtuigenbelasting toch goed geregeld werd. Grote hoeveelheden data verwerken kunnen computers sneller en vaak beter dan mensen, vooral om levende wezens zulke eenvoudige, repetitieve klussen vaak saai vinden. De kosten zijn daarnaast lager voor organisaties. Computers nemen bijvoorbeeld geen vakantiedagen op.

Inmiddels is geautomatiseerde besluitvorming wijdverbreid. ‘Het is overal om ons heen,’ zegt advocaat Hub Dohmen, mede­oprichter van de Nederlandse Vereniging voor AI- en Robotrecht (NVAIR). ‘Je smartphone neemt bijvoorbeeld voortdurend beslissingen waar je je niet bewust van bent. En het ene besluit volgt weer op het andere. Die algoritmes hangen aan elkaar. Het is belangrijk dat advocaten dit beseffen.’

Die alom aanwezige algoritmes roepen allerlei vragen op. Hoe zit het met aansprakelijkheid? Wat zijn de ethische grenzen aan AI? En moeten robots geen zelfstandig rechts­subject worden? Rond deze kwesties ensceneerde Dohmen met anderen onlangs een proef-kort geding bij de expositie ‘Robot Love’. Centraal stond de vraag of een seksrobot zelfstandig aansprakelijk was voor gemaakte schade. Een duidelijke uitkomst volgde niet, al was dat ook niet per se de bedoeling. ‘Wat we wel weten: deze systemen hebben rechten. Ze hebben die gekregen doordat wíj ze besluiten laten nemen,’ zegt ­Dohmen. ‘We ­moeten zorgen dat onze regelgeving daarmee gelijke pas houdt. Dan kunnen we zelf besluiten hoe dat juridische kader eruit komt te zien, zonder dat het feitelijk besloten wordt door techreuzen. Bij Facebook bijvoorbeeld waren we te laat.’

Welke rol hebben advocaten dan bij het gebruik van kunstmatige intelligentie volgens experts? Allereerst is het van belang dat juristen een basisbegrip ontwikkelen over algoritmes, zegt Dohmen. ‘In Amerika hebben advocaten op grond van gedragsregels de verplichting om zich te verdiepen in technologie. Dat kan ik alleen maar aanmoedigen,’ zegt Jan Scholtes, buitengewoon hoogleraar tekst-mining aan de Universiteit Maastricht en chief strategy officer bij ZyLAB Technologies, dat onder meer e-discovery software ontwikkelt. Op die kennis hoeven juristen geen drie jaar te studeren, meent Mireille Hildebrandt, hoogleraar ICT en rechtsstaat aan de Radboud Universiteit Nijmegen en onderzoekshoogleraar Interfacing law and technology aan de Vrije Universiteit Brussel. ‘Niet alle juristen hoeven data scientist te worden. Integendeel. Juist de traditionele juristen kunnen hun beroep verder ontwikkelen door kritisch te blijven. Prik door de hype heen van grote namen die mythologie en magie verkondigen over AI, zonder serieus inzicht te hebben in de beperkingen. Elon Musk doet alsof hij een expert op het gebied van AI is, maar hij is vooral een handige zakenman. Hoewel ook daarover twijfel bestaat.’

‘Je hoeft niet de technologie helemaal te snappen,’ beaamt Scholtes. ‘Maar je moet wel begrijpen hoe het toegepast wordt en hoe je kwaliteit kunt valideren. Vergelijk het met DNA: geen advocaat zal snappen hoe dat precies onder de motorkap werkt, maar er zijn wel afspraken gemaakt waarmee ze uitkomsten van DNA-onderzoek kunnen toetsen. Die bestaan voor big data algoritmes ook. Controleer dan of die gebruikt zijn.’

Advocaten moeten begrijpen dat zorgen kunnen bestaan over de data waarop geautomatiseerde besluiten gebaseerd worden. Garbage in, garbage out, zeggen techneuten: wat je het systeem voedt, komt er ook uit. ‘En wat haal je uit de data voor je beslissing? Als je geen rekening houdt met bepaalde eigenschappen of je niet weet of het onderdeel uitmaakt van het beslissingsproces, dan is het beslissingsproces niet goed,’ zegt Scholtes. ‘Denk aan de medische wetenschap. Vroeger lieten mensen zich aderlaten als ze ziek waren. In de loop der jaren zijn we gaan begrijpen dat dát niet werkt; dat andere factoren van invloed zijn. Als je iets niet meet, omdat je niet weet dat het bestaat, dan kun je geen goed algoritme maken.’

Ook is het risico op vooringenomenheid van de data aanwezig: bias in, bias out. Dat overkwam Amazon bijvoorbeeld. Het online warenhuis ontwikkelde een recruitment tool op basis van machine learning. Maar die bleek vrouwen achter te stellen bij functies op de IT-afdeling. Gevoed met historische data leerde de computer zichzelf dat dames niet in het gewenste profiel pasten. Die hadden er in het verleden immers nauwelijks gewerkt. Amazon heeft de tool inmiddels verwijderd.

De computer snapt dus niet altijd dat discriminatie verboden is. De Raad van Europa waarschuwde eind februari in een rapport over AI en geautomatiseerde besluitvorming zelfs voor nieuwe vormen van discriminatie door algoritmen. Zo kan prijsdifferentiatie, waarbij de computer bepaalt hoeveel een consument moet betalen, sociale ongelijkheid versterken, blijkt uit het rapport. De huidige wetten hebben nog geen vat op deze vormen van onderscheid maken. Het risico van discriminatie loert ook als veel gegevens bij elkaar gebracht worden. ‘Er zijn systemen waarbij het algoritme een patroon herkent,’ zegt Van Eck. ‘We kunnen dan wel zeggen dat medische gegevens of die over ras niet verwerkt mogen worden. Maar als je met basale gegevens werkt en die bij elkaar brengt, kan de computer toch een onderscheid gaan maken en mensen uitsluiten.’

‘Vroeger kon je niet bewijzen dat iemand met de naam Mohammed gediscrimineerd werd,’ zegt Hildebrandt. ‘Maar nu kun je zowel directe als indirecte discriminatie zichtbaar maken. Dan moet je wel de data opvragen. Advocaten kunnen daarmee gaan spelen.’

Niet alleen de data, maar ook het functioneren van algoritmes is een aandachtspunt voor experts. Kunstmatige intelligentie is notoir intransparant – de bekende black box. ‘Wat in het hoofd van een ambtenaar gebeurt, weet je niet. Dus toen overheidsbesluiten voor het eerst door computers werden genomen, was het idee dat er meer transparantie zou komen. Die verwachting is helemaal niet uitgekomen,’ zegt Van Eck. ‘De overheid werkt met simpele systemen, eenvoudige beslisbomen. Alles wat de computer doet, is op instructie van een mens. Maar door de jaren heen hebben er zoveel mensen aan gewerkt, bouwt oude code zich op, ontbreekt documentatie.’ Uit Van Ecks onderzoek blijkt dat eigenlijk niemand meer weet wat die computer doet.

‘In het bestuursrecht hebben de Afdeling bestuursrechtspraak van de Raad van State en de Hoge Raad al geoordeeld dat de overheid geen black box mag zijn omdat er anders een ongelijkwaardige procespositie ontstaat. Het is aan de overheid om op een toegankelijke wijze informatie te verstrekken over gemaakte keuzes, gebruikte gegevens en aannames,’ zegt Van Eck. ‘Eenvoudige beslissingen moeten gewoon kunnen worden uitgelegd. Maar er zijn ook toepassingen die we nooit zullen begrijpen, hoe transparant alles gemaakt wordt. Bij die systemen moeten we misschien meer vertrouwen op getuigen-deskundigen,’ meent de onderzoeker. ‘De echte bètamensen vergelijken het met het recht. Je gaat ook naar een jurist voor duiding en uitleg.’

Enige basiskennis helpt juristen, zeggen de experts. Weet bijvoorbeeld dat computers alleen een correlatie signaleren. ‘Mensen zijn slecht in staat om een correlatie te negeren, ook als het geen causaliteit heeft,’ zegt Van Eck. ‘Denk maar aan die plaatjes die je op twee manieren kunt zien: is het een eend of een haas? Als je de eend eenmaal gespot hebt, kun je die niet meer níét zien. Maar het feit dat twee voorvallen zich na elkaar voordoen, wil niet zeggen dat ze ook met elkaar te maken hebben. Juristen denken in kloppende verhalen of reconstructies. Dat is echt iets anders.

En denk niet dat hele wereld zich automatisch voegt naar juridische wetten. Dat is de grootste fout die juristen maken. Een data scientist heeft geen idee dat de Awb bestaat. Als je vertelt dat er ook nog zoiets is al ongeschreven recht, wordt hij helemaal gek. Ga er daarom vanuit dat er altijd elementen ontbreken.’

Bij die omzetting van taal naar computercode kan inderdaad van alles misgaan, bijvoorbeeld bij de reikwijdte van een regeling, zegt Hildebrandt. ‘Wetten en regelgeving zijn in mensentaal opgeschreven, zodat mensen het kunnen begrijpen. Je mag per slot van rekening niet onderworpen worden aan een regel die je niet kent, dus je moet dat ergens kunnen opzoeken en begrijpen. Voor geautomatiseerde beslissingen moet die regel geïnterpreteerd worden om daarna omgezet te kunnen worden in machinetaal, want machines begrijpen alleen ondubbelzinnige taal. Dat betekent dat de interpretatieslag ineens ligt bij degene die de omzetting doet. Dat laat geen speling toe. Met een machine is het lastig discussiëren. Advocaten zijn natuurlijk gewend aan argumentatieproblemen. Nu is het zaak dat zij zich instellen op het feit dat een besluit geautomatiseerd is genomen en dat hierbij een andere type argumenten speelt, bijvoorbeeld: die omzetting is onjuist.’

Volgens Hildebrandt is er ten aanzien van de rechtsstaat belangrijk werk te doen voor advocaten. ‘Ik begrijp de verleiding voor de overheid om met geautomatiseerde besluitvorming te werken, want de regeldruk is enorm. Maar er bestaat ook een risico op kafkaëske situaties. Denk aan ervaringen die we nu hebben helpdeskmedewerkers, die alleen maar kunnen vertellen wat er op hun schermpje staat. Zij kunnen niet uitleggen hoe het besluit tot stand is gekomen. Dat leidt tot boze mensen. Ik zie de gele hesjes al komen. Het risico bestaat dat de overheid de hele rechtsstaat uitholt doordat burgers continu worden geconfronteerd met beslissingen die ze niet begrijpen.’

Daarom vond Van Eck de uitspraak van de rechter in de Amsterdamse schoolloting zo schokkend. ‘Het verzoek van de ouders om meer informatie werd onder het tapijt geveegd, met het verweer: breek je hoofd daar nou maar niet over, dat is iets heel ingewikkeld, neem het nou maar van ons aan.’ Anno 2019 komen organisaties met zulke tegenwerpingen niet meer weg, benadrukt Hildebrandt. ‘Op grond van artikel 15 AVG heeft de betrokkene het recht om uitsluitsel te krijgen over het bestaan van geautomatiseerde besluitvorming, de onderliggende logica en het belang en verwachte gevolgen van de verwerking. Bovendien kun je op grond van de AVG altijd naar de rechter. Dat wordt nog superinteressant.’