De automatisering van het recht groeit de laatste jaren flink. Soms heeft dat ernstige gevolgen: denk maar aan het toeslagenschandaal van de Nederlandse Belastingdienst en vergelijkbaar leed in andere landen (bijvoorbeeld het Postmaster schandaal in de UK, waarbij medewerkers ten onrechte van fraude werden beticht en ontslagen). Of denk aan juridische software, die met varianten op ChatGPT in wetboeken en rechterlijke uitspraken duikt om een aanzet te schrijven voor een pleidooi van een advocaat. Of aan de rechter die recentelijk ChatGPT gebruikte om een schadevergoeding vast te stellen. Dat brengt vele risico’s met zich mee, en daarom is het belangrijk dat de juridische informatica van de toekomst door juristen en informatici samen ontwikkeld wordt, voor zover dat Überhaupt nuttig is, en steeds in lijn met rechtsstatelijke waarborgen, aldus Mireille Hildebrandt.
Hildebrandt, emeritus hoogleraar ICT en Rechtstaat aan de Radboud Universiteit en de Vrije Universiteit Brussel, heeft samen met een team van juristen en informatici sinds 2019 onderzoek gedaan naar de ontwikkeling van wat sommigen ’computationeel recht’ noemen. Nog ver voordat de meeste mensen van OpenAI en large language models (LLMs) gehoord hadden, dus. Dat deed ze als Principal Investigator (PI) van een prestigieus Europees project, het door de European Research Council gefinancieerde ERC Advanced Grant project COHUBICOL (’Counting as a Human Being in the Era of Computational Law’). Zij presenteerde daarvan recentelijk de bevindingen. ’Je zag in 2019 al dat steeds meer mensen automatisering van het recht als oplossing zagen van allerlei problemen. De hoeveelheid werk loopt bijvoorbeeld op: het Europees Hof voor de Rechten van de Mens in Straatsburg had op een gegeven moment een achterstand van 16.000 zaken. Er is te weinig geld en er zijn te weinig goede juristen om die achterstand in te halen, zo is de gedachte.’
Om te ontdekken of computationeel recht echt een oplossing biedt voor dit soort problemen, ontwikkelden Hildebrandt en haar teamleden onder andere een online webtool, de Typologie van juridische technologieën. Daarin worden de meest relevante type applicaties, datasets en andere systemen op handzame wijze in kaart gebracht, onderling vergeleken en zowel technisch als juridisch geëvalueerd. Daarmee is de Typologie niet zomaar een database. Het biedt een methode en een mindset, waarmee de beloftes van de softwarebedrijven kunnen worden getoetst aan hun daadwerkelijke impact.
Onder de motorkap
Want met name de commerciële makers van die systemen hebben er geen belang bij om die beloftes te onderbouwen. ’Er wordt door de advocatuur en het bedrijfsleven, maar ook door overheden vaak zonder kennis van zaken software ingekocht, bang om achter te lopen waar het gaat om AI. Maar aan verificatie van de geclaimde functionaliteiten wordt vervolgens nauwelijks geld of tijd besteed’, legt Hildebrandt uit. ’De makers van die systemen verstoppen zich vaak achter het bedrijfsgeheim of de intellectuele eigendom, en laten niemand onder de motorkap meekijken. Daarmee wordt het heel lastig om de betrouwbaarheid van die systemen te onderzoeken. En dan staat er in de Terms of Service vaak ook nog dat aan de claims inzake functionaliteit geen rechten ontleend kunnen worden en dat alle risico’s en gevolgen van gebruik voor eigen risico zijn. Met de Typologie - en de onderliggende methode - houden we die claims tegen het licht, en leggen we voor een dertigtal relevant type tools uit of ze hun beloftes waarmaken en wat - los daarvan - de impact is op recht en rechtsstaat. Cruciaal is dat de Typologie is ontworpen en ingericht door zowel juristen als computer wetenschappers.’
Volgens Hildebrandt is het essentieel dat juristen en informatici beter gaan samen werken om toekomstige tools te ontwikkelen. ’Informatici denken vaak dat het recht een probleem is dat moet worden opgelost. Maar het recht gaat er juist om dat problemen benoemd moeten worden en oplossingen aanvechtbaar zijn. Aan de andere kant heb je juristen, die al die cijfers en data en programmeertalen te moeilijk of niet interessant vinden, en zich op die manier overgeven aan wat softwaremakers beloven: het is duur, dus dan zal het wel goed zijn, is te vaak de gedachte. Wij juristen zijn bij uitstek uitstekende vragenstellers, dat is ons vak: onderzoek doen op tegenspraak. Wij moeten leren scherpe vragen te stellen als het gaat om deze systemen, zodat er een echte dialoog ontstaat tussen juristen en de ontwikkelaars van juridische technologie.’
Hildebrandt heeft, om dat doel te bereiken, tevens een nieuw internationaal wetenschappelijk tijdschrift opgezet, samen met toonaangevende internationale juristen en informatici: het Journal of Cross-Disciplinary Research in Computational Law ( CRCL ). Het tijdschrift publiceert papers van juristen en informatici na de gebruikelijke double blind peer review (altijd door reviewers van dezelfde discipline als de auteur). De toegevoegde waarde van het tijdschrift is niet alleen dat het excellent werk van zowel juristen als informatici, filosofen en sociaal wetenschappers publiceert. Bij ieder geaccepteerd artikel wordt bovendien een korte reply gepubliceerd door iemand van de ’andere’ discipline, die weer wordt gevolgd door een respons van de auteur. Zo komt een serieus, wetenschappelijk verantwoord gesprek op gang over de betrouwbaarheid en de implicaties van de inzet van juridische technologieën.
Computer output loopt altijd achter
Hildebrandt waarschuwt voor het feit dat AI-systemen hun antwoorden baseren op historische data (of op in het verleden geschreven code). ’Je kunt een AI-systeem niet trainen op toekomstige data en je kunt de code niet voortdurend herschrijven. Als je op dit soort systemen vaart, versteen je eigenlijk het recht. Deze systemen lopen immers per definitie achter, ze zijn getraind om het verleden te herhalen. Maar het recht is er juist op gericht om zich te ontwikkelen, het is adaptief en toekomstgericht zonder het lijntje met gewekte verwachtingen te breken - dat is geen sinecure. Onze omstandigheden en inzichten veranderen continu, en het is aan de rechtspraak om te bepalen wat die omstandigheden betekenen voor de interpretatie van het recht.’
Hildebrandt heeft intussen goede hoop voor de toekomst. ’Ik heb het idee dat juristen wel wakker geschud zijn sinds de introductie van ChatGPT. Daarvoor werden er vaak vrijblijvend abstracte, of juist heel technische gesprekken gevoerd, nu komt het voor veel mensen een stuk dichterbij. Hele concrete vraagstukken: als een burger nadelig geraakt wordt door een geautomatiseerde beslissing, wie is er dan aansprakelijk? Vinden we het wel oké dat grote commerciële bedrijven al die juridische data en persoonsgegevens verwerken en verkopen? En moeten al die algoritmes wel zo ondoorgrondelijk zijn? Het is dus van groot belang dat juristen en informatici zich serieus gaan verdiepen in de onderliggende methode van elkaars discipline, zodat de implicaties van nieuwe juridische technologie voor recht en samenleving tijdig worden onderkend. Het tijdschrift CRCL en de Typologie zullen daar zeker blijvend aan bijdragen.’