De mens moet meer zijn dan de morele kreukelzone van de machine

- EN- NL

Hoe kunnen AI-systemen zo worden ontworpen dat de mens nog steeds voldoende controle heeft? Na jaren onderzoek hebben Delftse onderzoekers samen met internationale collega’s het eerste handboek geschreven over ’betekenisvolle menselijke controle’ op systemen met autonome eigenschappen. David Abbink, hoogleraar haptic human-robot interaction en wetenschappelijk directeur van het interdisciplinaire onderzoeksinstituut AiTech van de TU Delft, en Geert-Jan Houben, pro-vice rector van AI, Data and Digitalisation en leider van het TU Delft AI Initiative, spreken over hoe het Delftse onderzoek naar ’betekenisvolle menselijke controle’ tot meer verantwoorde ontwikkeling en implementatie van systemen met autonome eigenschappen moet leiden en hoe Delft hier wereldwijd een leidende rol in heeft genomen.

Jeremy Banner hield van auto’s en computers. Deze twee passies kwamen perfect samen in zijn Tesla Model 3, zou zijn vrouw later zeggen. Op 1 maart 2019 reed de vijftigjarige Banner in zijn Tesla over een provinciale weg in Florida (VS). Hij had net tien seconden geleden de autopilot aangezet toen er plotseling een eindje voor hem, uit een zijweg van rechts, een vrachtwagen met oplegger de weg opdraaide, ook naar rechts, maar met een stuk lagere snelheid. De Tesla schoot op volle snelheid onder de oplegger, het dak scheurde eraf en Banner kwam om het leven.

In een wereld waarin steeds meer beslissingen die voorheen door mensen werden genomen in de handen van AI-systemen worden gelegd, is het tragische ongeluk van Jeremy Banner een van de vele voorbeelden die vragen oproepen over de controle die de mens nog heeft over automatische of semi-automatische systemen. Tesla kan wel zeggen dat de menselijke bestuurder altijd verantwoordelijk is, maar hoe realistisch is dat wanneer een auto op de autopilot rijdt en zich plotseling een noodsituatie voordoet? Hoe snel kan een mens dan nog ingrijpen?

Binnen het onderzoek naar autonome systemen is daarom het concept ’betekenisvolle menselijke controle’ geïntroduceerd. Dit concept is in de afgelopen tien jaar een steeds belangrijkere rol gaan spelen in het wetenschappelijk onderzoek aan de TU Delft naar systemen met autonome eigenschappen. En met het oprukken van lerende systemen door kunstmatige intelligentie (AI) in alledaagse toepassingen is het belang alleen maar groter geworden.

Het concept ’betekenisvolle menselijke controle’ klinkt abstract, maar ik begrijp dat het van groot belang is om het goed uit te werken, omdat dat kan leiden tot het beter ontwerpen, bouwen en uiteindelijk gebruiken van AI-toepassingen in de echte wereld. Kunnen jullie dat nader uitleggen?

Abbink: "In de kern draait ’betekenisvolle menselijke controle’ om het standpunt dat verantwoordelijkheid nooit aan een ’autonoom systeem’ toegedicht moet worden, maar aan mensen. Eigenlijk zijn er geen autonome systemen, alleen systemen met autonome eigenschappen, en die worden ontwikkeld, geïmplementeerd, gebruikt en misbruikt door mensen. Die moeten dan wel de juiste verantwoordelijkheid voelen en ook de reëel mogelijkheid hebben om te kunnen ingrijpen. Dan spreken we van betekenisvolle menselijke controle. Het is een concept waar ethici, bedrijfskundigen, ontwerpers en ingenieurs zich samen over moeten buigen, en dat maakt het wetenschappelijk en maatschappelijk ingewikkeld."

In de kern draait ’betekenisvolle menselijke controle’ om het standpunt dat verantwoordelijkheid nooit aan een ’autonoom systeem’ toegedicht moet worden, maar aan mensen

David Abbink

We weten uit de luchtvaart al lang hoe lastig het is om verantwoordelijkheid en veiligheid in het ontwerp van systemen mee te nemen. Binnen de luchtvaart heerst een stevige veiligheidscultuur, waarin piloten ook getraind worden op onverwachte situaties die zich met de automatische piloot kunnen voordoen. Maar kan dat zomaar vertaald worden naar geautomatiseerd rijden? Fabrikanten van auto’s met rijondersteuning zoals Tesla zeggen dat de bestuurder te allen tijde verantwoordelijk is. Maar de manier waarop het systeem is ontworpen heeft grote invloed op de kans die mensen in de praktijk hebben om in te grijpen.

Wat je bij veel ongelukken met semi-autonoom rijdende auto’s ziet, is dat mensen realistisch gezien niet op tijd kunnen ingrijpen. Eigenlijk wordt de mens als een morele kreukelzone gebruikt: we automatiseren wat mogelijk is, en de eindgebruiker moet het maar oplossen als er iets gebeurt dat het systeem niet aankan. ’Betekenisvolle menselijke controle’ draait om de vraag hoe we systemen zo kunnen ontwerpen dat het waarschijnlijker is dat zowel ontwikkelaars als gebruikers genoeg kennis van zaken, tijd en verantwoordelijkheidsgevoel hebben om te zorgen dat het gedrag van het systeem uiteindelijk maatschappelijk acceptabel is."

Houben: "De vraag of er betekenisvolle controle over een systeem met autonome eigenschappen is, is vanuit diverse perspectieven interessant: vanuit filosofisch perspectief, maar ook vanuit de technische wetenschappen en vanuit het ontwerp. In Delft zijn we ooit vanuit auto’s en vliegtuigen naar het concept ’betekenisvolle menselijke controle’ gaan kijken, maar inmiddels zien we dat het ook in AI-systemen een grote rol speelt, zoals medische diagnostiek met AI of AI-gebaseerde rekrutering van personeel. De verschillende perspectieven komen hier in Delft op een natuurlijke manier samen. We hebben ingenieurs, software-onderzoekers, ethici, ontwerpers en domeinexperts in de samenwerking tussen mens en machine. Aan de ene kant faciliteren we mensen om elkaar te ontmoeten en samen na te denken over ’betekenisvolle menselijke controle’, en aan de andere kant stimuleren we het onderzoek op dit terrein ook bewust."

Op welke manier?

Abbink: "Binnen AiTech hebben vijf postdocs met verschillende achtergronden in de afgelopen jaren onderzoek gedaan naar ’betekenisvolle menselijke controle’. Juist omdat ze uit verschillende disciplines kwamen, hebben ze eerst hard moeten werken aan het integreren van elkaars methodologieën. Elke week kwamen ze bij elkaar in wat we agora meetings noemen, een open plek waar iedereen kan komen om bij te dragen aan de discussie. Daarnaast hebben zij symposia georganiseerd om nog meer mensen met dezelfde interesse samen te brengen. En van begin af aan hebben we ernaar gestreefd om een soort position paper te schrijven waarin we uiteen wilden zetten hoe je systemen kunt bouwen die onder betekenisvolle menselijke controle staan. Hoe kun je een filosofisch concept operationaliseren zodat ingenieurs ermee aan de slag kunnen? Na drie jaar heeft dat geleid tot één gezamenlijk paper, eentje waarop ik heel trots ben, omdat het meer is dan alleen maar een paper, maar ook het concreet opzetten van interdisciplinair onderzoek."

Houben: "De inspanningen van de afgelopen jaren hebben ertoe geleid dat veel meer mensen in Delft, ook mensen die zich voorheen zuiver met AI, of met energie, of met zorg, bezighielden, het concept ’betekenisvolle menselijke controle’ hebben omarmd en gebruiken. Uiteindelijk willen we niet alleen de controle over een bepaald AI-gebaseerd systeem verbeteren, maar ook het functioneren van zo’n systeem in zijn omgeving. We onderzoeken bijvoorbeeld wat de impact is van AI-gebaseerde rekruteringssystemen, en hoe we bij de ontwikkeling van algoritmes, software en innovatieprocessen kunnen zorgen dat het uiteindelijke systeem onder meer betekenisvolle control staat."

Hoe stellen jullie voor om het concept ’betekenisvolle menselijke controle’ te operationaliseren zodat ingenieurs ermee aan de slag kunnen?

Abbink: "In ons position paper hebben we vier eigenschappen gedefinieerd die daarbij moeten helpen. Ter illustratie hebben we twee praktische toepassingen gekozen: geautomatiseerde overtuigen en AI-gebaseerde rekrutering van werknemers. Neem een semi-autonome auto. Hierbij kun je een technisch domein afbakenen waarbinnen de auto autonoom rijdt, bijvoorbeeld op de snelweg. Maar als er zich een onverwachte situatie voordoet, bijvoorbeeld een motorrijder die plotseling voorlangs kruist, dan moet de mens het overnemen. Op basis van de situaties die de mens zou moeten overnemen kunnen we dan ook een moral operational design domain afbakenen. Daarmee bakenen we af waarvoor mensen verantwoordelijk zijn en waarvoor de machine. Dat kunnen we ook doen bij AI-gebaseerde rekrutering of andere mens-AI-systemen. Het moral operational design domain is de eerste eigenschap die nodig is voor het operationaliseren van betekenisvolle menselijke controle.

Om een mens-AI systeem goed te laten functioneren moeten zowel de betrokken mensen als het AI-systeem een bepaalde voorstelling hebben van de taken, rolverdelingen, gewenste resultaten, en ook van de omgeving en de wederzijdse mogelijkheden en beperkingen. Dat is de tweede belangrijke eigenschap. Die voorstellingen of representaties worden vaak mentale modellen genoemd en deze tweede eigenschap is dus gebaseerd op gedeelde mentale modellen van alle betrokkenen bij het mens-AI-systeem. Wij bevelen aan om gesprekken hierover expliciet mee te nemen in het ontwikkelingsproces van het mens-AI-systeem. Dat gebeurt niet automatisch."

Houben: "Dit is het punt waarop al die verschillende disciplines waarover we eerder spraken bij elkaar komen. Juist hier kunnen verschillende wetenschappelijke disciplines elkaar gaan versterken."

En wat zijn laatste twee eigenschappen om het concept ’betekenisvolle menselijke controle’ te operationaliseren?

Abbink: "De derde eigenschap zegt dat de verantwoordelijkheid die aan een mens wordt toegekend in verhouding moet staan tot het vermogen en de autoriteit van die mens om het systeem ook daadwerkelijk te controleren. Wij vinden dat je als mens alleen maar verantwoordelijk gehouden kunt worden als je ook praktisch en realistisch gezien de mogelijkheid hebt om in te grijpen. Met deze gedachte in het achterhoofd kun je een bestuurder van een semi-autonome auto niet verantwoordelijk houden voor een ongeluk wanneer hij niet genoeg tijd heeft om de controle over de auto terug te krijgen van de autopilot.

Ten vierde moeten de handelingen van het AI-systeem altijd gelinkt kunnen worden aan minstens één persoon die zich ook nog eens bewust is van de morele verantwoordelijkheid."

Ik kan me voorstellen dat juist AI-software zo complex kan zijn dat juist dat linken aan één persoon heel lastig is...

Abbink: "Absoluut, we zeggen ook ’minstens één’, maar vaak zijn het organisaties en groepen. Het kan diffuus worden als het gaat om software die door vele handen gaat, die zich snel verspreidt en die snel wordt aangepast. Ons punt is dat ook die organisaties en betrokken mensen zich bewust moeten zijn van hun verantwoordelijkheid tijdens ontwerp of implementatie. Zo niet, dan moet je erkennen dat het systeem niet meer onder betekenisvolle controle is en niet doen alsof dat wel zo is, of het afschuiven op de eindgebruiker."

Hebben jullie behalve het formuleren van die vier eigenschappen nog andere resultaten behaald?

Abbink: "Zowel op het terrein van mobiliteit als op het terrein van rekruteringsalgoritmen hebben we veel papers gepubliceerd. Zo hebben we met simulatiestudies laten zien hoe mensen verantwoordelijkheid toekennen aan automatische systemen bij het autorijden. Daaruit blijkt dat zelfs als mensen weten dat je de bestuurder redelijkerwijs niet verantwoordelijk kunt houden, mensen toch zeggen dat de bestuurder verantwoordelijk is. Het lijkt erop dat mensen zich niet bewust zijn van de impact van geautomatiseerd rijden op hun vermogen om in te grijpen als dat nodig is. Er is dus een kloof tussen hoe gewone mensen verantwoordelijkheid zien en wat in de praktijk realistisch is."

Wat valt daar aan te doen?

Abbink: "Je kunt denken aan het beter informeren van mensen over de uitdagingen die geautomatiseerd rijden voor de bestuurder met zich meebrengen en ook aan het aanpassen van de opleiding van bestuurders. Bij de rekruteringsalgoritmen hebben we onderzocht hoe je ze zodanig kunt vormgeven dat de mensen die ze gebruiken, bijvoorbeeld binnen personeelszaken, beter snappen op basis waarvan het systeem beslissingen maakt, zodat ze ook nog tegen het advies in kunnen gaan."

Abbink: "De vier eigenschappen die we hebben geïdentificeerd zijn een eerste belangrijke stap op weg naar het volledig operationaliseren van het concept ’betekenisvolle menselijke controle’. Dat leggen we naast onderzoek van collega Simeon Calvert van Civiele Techniek en Geowetenschappen die gewerkt heeft aan gestructureerde voorwaarden over hoe we het concept kunnen operationaliseren voor automatisering in transportsystemen: op de weg, maar ook toepasbaar op water en in de lucht.

De grote uitdaging waar we als gemeenschap nog niet aan zijn toegekomen is die eigenschappen en voorwaarden echt vertalen naar het ontwerpen van zulke systemen in de praktijk. Liefst wil je ervaren wat de impact is van meer of minder betekenisvolle controle. Niet alleen zijn wij in Delft daaraan nog niet toegekomen, maar ook wereldwijd niet. Wij willen in de komende jaren aan de hand van concrete experimenten empirisch laten zien dat als je draait aan deze parameters in het proces, in het handwerk, in de techniek, in de algoritmes en zelfs in de organisatie, dat dan de ervaring van menselijke verantwoordelijkheid zus en zo verandert. Ik noem dat ’where the rubber hits the road’. Daarmee gaan we als onderzoekers nu aan de slag."

Houben: "Wat David heeft beschreven is de fundamentele kant van het verhaal. Tegelijkertijd willen we graag weten hoe het concept van ’betekenisvolle menselijke controle’ in specifieke Delftse toepassingsdomeinen als energie, zorg en mobiliteit vorm moet krijgen en doorontwikkeld kan worden. We zien nu al dat ons onderzoek van de afgelopen jaren begint door te sijpelen naar de 24 AI-labs die we in Delft hebben. Enkele van de postdocs die de fundamenten hebben gelegd voor het onderzoek naar ’betekenisvolle menselijke controle’ zijn doorgegroeid naar andere posities in die labs."

Hoe verhoudt het Delftse werk aan betekenisvolle menselijke controle zich tot wat er elders in de wereld op dit terrein gebeurt?

Abbink: "Ik denk dat onze bijdrage is dat we internationale samenwerking proberen te stimuleren om tot scherper debat, beter onderzoek en meer samenwerking te komen. Dat hebben we concreet bereikt door ons initiatief om samen met internationale collega’s het eerste handboek over betekenisvolle menselijke controle te schrijven. Dat brengt perspectieven uit onder andere ethiek en filosofie, recht en bestuur, en design en engineering samen. Het handboek gaat in december van dit jaar verschijnen. In het voorjaar van 2024 gaan we een symposium organiseren om nog meer internationale onderzoekers rond dit thema samen te brengen. Door al onze activiteiten wordt er gezamenlijk meer holistisch nagedacht over betekenisvolle controle, mensen met verschillende achtergronden en toepassingsgebieden hebben elkaars papers bediscussieerd en beoordeeld om tot dit boek te komen.

Ik heb het gevoel dat er een beweging is om ook buiten ons netwerk meer debat en consensus te bereiken, maar daar zijn we nog niet. Sommige mensen vinden het concept toch nog te weinig geoperationaliseerd, anderen vinden dat je verantwoordelijk gewoon juridisch moet afdekken. Maar ik heb er vertrouwen in dat de typisch Delftse aanpak om verschillende perspectieven te integreren én concepten te vertalen naar praktische toepassingen meer voet aan de grond gaat krijgen."

Meer interview in deze reeks

Dit interview is onderdeel van een serie interviews. In andere interviews gaat Geert-Jan Houben in gesprek met Jeroen van den Hoven over het ontwikkelen en behouden van waarden in AI en in een digitale samenleving , met Alessandro Bozzon over de relatie tussen AI en design , en met Arie van Deursen over AI en software engineering.

Meer over Meaningful Human Control

TU Delft richt een Centre for Meaningful Human Control over AI op. Het belangrijkste doel is om een robust begrip, network en succesverhalen te delen, die bijdragen aan een verantwoorde ontwikkeling van AI. Het Centre wordt in het voorjaar van 2024 gelanceerd.
Meer lezen:

Meer over AI aan de TU Delft

Bij de TU Delft geloven we dat AI-technologie van groot belang is voor een duurzamere, veiligere en gezondere toekomst. Wij onderzoeken, ontwerpen en bouwen AI-technologie en bestuderen de toepassing ervan in de samenleving. AI-technologie speelt een sleutelrol in elk van onze acht faculteiten en is een integraal onderdeel van het onderwijs van onze studenten. Door AI-onderwijs, -onderzoek en -innovatie creëren we impact voor een betere samenleving. Bezoek onze website en ontdek meer over AI-onderzoek, -onderwijs en -innovatie in AI, Data & Digitalisering: www.tudelft.nl/ai