Login

KI und die Ära des automatisierten Marketings

Die heikle Herausforderung, Maschinen Moral beizubringen: Ethische Dilemmas autonomer Fahrzeuge

Edmond Awad, Jean-François Bonnefon, Azim Shariff und Iyad Rahwan

Keywords

Ethik, Entscheidungsfindung, KI, Autonome Fahrzeuge, Moralische Maschinen

Artikel als pdf downloaden

Selbstfahrende Fahrzeuge: Sicher, aber nicht zu hundert Prozent
Autonome, selbstfahrende Fahrzeuge (AFs) werden ausgiebig getestet und trainiert und haben bereits Tausende von Kilometern im realen Straßenverkehr zurückgelegt. Heikle Zwischenfälle sind bemerkenswert selten. Wenn jedoch etwas passiert – und insbesondere bei Todesfällen – hagelt es weltweit Schlagzeilen, und viele Menschen fragen sich, ob autonome Fahrzeuge tatsächlich sicher sind und man ihnen jemals vertrauen kann. Experten sind sich hingegen einig, dass autonome Fahrzeuge tatsächlich Nutzen stiften, indem sie die Verkehrseffizienz steigern, die Umweltverschmutzung reduzieren und bis zu 90 % der Verkehrsunfälle vermeiden - solche, die durch Fahrfehler, Müdigkeit, Trunkenheit oder andere menschliche Faktoren verursacht werden. Obwohl die Sicherheit ständig verbessert wird und Verletzungen und Todesfälle deutlich reduziert werden können, wird es niemals gelingen, Unfälle komplett auszuschließen. Und wenn ein Crash droht, müssen die Roboterautos schwierige Entscheidungen treffen.

 Wie reagiert man am bestem, wenn ein Crash unmittelbar bevorsteht?
Stellen Sie sich beispielsweise Situationen vor, wie sie Abbildung 1 darstellt. Das autonome Fahrzeug kann entweder vermeiden, mehrere Fußgänger zu verletzen, indem es ausweicht und dabei einen anderen Passanten opfert (A), oder es steht vor der Wahl, die eigenen Insassen zu opfern, um einen (B) oder mehrere (C) Fußgänger zu retten.

​Obwohl diese Szenarien sehr unwahrscheinlich sind, kann man sie nicht ausschließen, wenn Millionen von AFs unterwegs sind. Außerdem werden ähnliche Trade-Offs in weniger extremen Szenarien sogar häufiger auftreten: Auch wenn es nicht um Tod oder Leben geht, muss das Auto wählen, für welche Gruppe es mehr Risiko eingeht und für welche weniger. Die AF-Programmierung muss Entscheidungsregeln liefern, was in solchen Situationen zu tun ist. Während ein menschlicher Fahrer in Sekundenbruchteilen spontan reagiert, muss ein autonomes Fahrzeug im Vorfeld bewusst programmiert werden, und irgendwer muss die Regeln dafür definieren, bevor AFs zu einem globalen Massenprodukt werden.

Algorithmen zur Steuerung von AFs müssen moralischen Prinzipien folgen, die ihre Entscheidungen in Situationen unvermeidlichen Schadens leiten. Aber was ist in solchen Fällen eine moralisch richtige Entscheidung und ein gutes Entscheidungsprinzip? Wie soll die künstliche Intelligenz (KI) für solche Momente programmiert werden?  Hersteller und Regulierungsbehörden müssen drei potenziell inkompatible Ziele erreichen: konsistent sein, keine öffentliche Empörung hervorrufen und keine Käufer verschrecken. Unsere Studie zu „moralischen Maschinen“ ist der Versuch herauszufinden, wie die Menschen über alternative Entscheidungsmöglichkeiten denken, die selbstfahrende Fahrzeuge mittels KI treffen müssen (siehe Box 1).

Box 1: ERFORSCHUNG MORALISCHER PRÄFERENZEN – DAS „MORAL MACHINE EXPERIMENT“
Mit einer Gruppe von MIT-Forschern haben wir uns das Ziel gesetzt, gesellschaftliche Erwartungen und gewünschte ethische Prinzipien für das Verhalten von Maschinen zu erheben. Zu diesem Zweck haben wir die „Moral Machine“ entwickelt, eine Online-Experimentierplattform zur Untersuchung von moralischen Dilemmas autonomer Fahrzeuge. Diese Plattform sammelte 40 Millionen Entscheidungen bei unvermeidlichen Unfällen. Mehr als zwei Millionen Menschen aus 233 Ländern und Regionen nahmen online an unserem mehrsprachigen „Serious Game“ teil und zeigten damit, welche Schäden den meisten Menschen erträglicher erschienen.
Die klarsten globalen Präferenzen ergab die Umfrage beim Schutz von Menschenleben gegenüber Tieren, beim Sichern vieler Menschenleben gegenüber wenigen und bei der Bevorzugung von jungen gegenüber älteren Menschen (siehe die ersten drei Präferenzen in Abbildung 2).

Saving passengers or pedestrians?
Another online study among U.S. residents sheds more light on the complexity of the topic of AI-driven decision-making in dangerous situations. This study explored the trade-off between saving driver and passengers versus saving pedestrians and other road users – the dilemma illustrated in Figure 1. In principle, participants approved of utilitarian AVs minimizing the number of casualties. Their moral approval increased with the number of lives that could be saved. Participants’ approval of passenger sacrifice was even slightly positive when they had to imagine themselves and another person, particularly a family member, in the AV.
Consumers would like other people to buy AVs relying on such a utilitarian algorithm, but they would themselves prefer to ride in AVs that protect their passengers at all costs. Further, study participants disapproved of enforcing utilitarian regulations for AVs, and would be less willing to buy such AVs. Thus, the moral dilemma triggers a social dilemma that needs to be solved.

Wen retten – Fahrzeuginsassen oder Fußgänger?
Eine weitere Online-Studie unter US-Bürgern setzte sich noch intensiver mit der Komplexität des Themas KI-gesteuerter Entscheidungsfindung in Gefahrensituationen auseinander. Diese Studie untersuchte den Trade-off zwischen der Rettung von Fahrer und Fahrgästen gegenüber der Rettung von Fußgängern und anderen Verkehrsteilnehmern - das in Abbildung 1 veranschaulichte Dilemma. Im Prinzip begrüßten die Teilnehmer utilitaristische AFs, bei denen die Zahl der Opfer minimiert wurde. Die moralische Zustimmung nahm mit der Anzahl der zu rettenden Leben zu. Die Zustimmung der Teilnehmer, Insassen zu opfern, war sogar dann noch leicht positiv, wenn sie sich selbst und ein Familienmitglied als Insassen des AFs vorstellen mussten. Die Konsumenten wünschen jedoch vor allem, dass die anderen Konsumenten AFs mit einem utilitaristisch ausgerichteten Algorithmus kaufen, während sie selbst ein autonomes Fahrzeug bevorzugen würden, das um jeden Preis die eigenen Insassen schützt. Darüber hinaus lehnten die Studienteilnehmer die Durchsetzung utilitaristischer Vorschriften für AFs ab und würden ein AF, bei dem nicht die Insassen an erster Stelle stehen, weniger gern kaufen. Das moralische Dilemma bedingt also ein soziales Dilemma, das es zu lösen gilt.

Mögliche Maßnahmen zur Lösung des ethischen Dilemmas von selbstfahrenden Fahrzeugen
Fahrzeuge, die über Tod oder Leben selbstständig und ohne unmittelbare menschliche Eingriffsmöglichkeiten entscheiden können, sind eine neue globale Herausforderung.  Das Problem betrifft nicht nur einen Nischenmarkt, sondern täglich alle Verkehrsteilnehmer, egal ob sie mit dem Auto, dem Rad oder zu Fuß unterwegs sind. Bevor wir AFs unsere Straßen überlassen, müssen Produzenten deshalb nicht nur technische, sondern auch gesellschaftliche Herausforderungen meistern:

  • Führen allgemeiner Diskussionen über die Ethik künstlicher Intelligenz
    Alle Stakeholdergruppen sollten die Herausforderungen der „Maschinenethik“ als einzigartige Chance nutzen, um gemeinschaftlich zu entscheiden, was richtig und falsch ist. Danach sollten wir sicherstellen, dass Maschinen im Gegensatz zu Menschen den vereinbarten moralischen Präferenzen ausnahmslos folgen. Wir werden vermutlich keine universelle Übereinstimmung erzielen, wie die Umfrage zu moralischen Maschinen zeigt, aber dass sich weite Teile der Welt doch ziemlich einig sind, ist ermutigend. 
  • Erarbeitung eines neuen gesellschaftlichen Vertrags
    Vor mehr als hundert Jahren haben Automobile begonnen, die Straßen der Welt zu erobern. Damals wurden die ersten gesetzlichen Vorgaben eingeführt, die das Verhalten von Autofahrern und Fußgängern sowie die Produktionsstandards der Hersteller regelten. Dieses Regelwerk wurde laufend weiterentwickelt und stellt insgesamt ein Verkehrssystem dar, dem die Gesellschaft im Großen und Ganzen vertraut. Die Integration autonomer Fahrzeuge wird sehr bald einen neuen Gesellschaftsvertrag mit klaren Richtlinien dafür erfordern, wer für verschiedene Arten von Unfällen verantwortlich ist, wie die Überwachung und Durchsetzung von Regeln erfolgen soll und wie man Vertrauen zwischen allen Beteiligten schaffen kann. Dieser Prozess wird ähnlich transformativ sein wie damals, aber wahrscheinlich in einem viel kürzeren Zeitraum stattfinden.
     
  •  Vertrauensfördernde Maßnahmen zur Vorbereitung der Öffentlichkeit setzen
    Das moralische Dilemma, wer bei lebensbedrohlichen Vorfällen gerettet werden soll, führt zu einem sozialen Dilemma. Die Menschen erkennen den utilitaristischen Ansatz als den ethischeren an, und als Mitbürger wollen sie, dass Autos so viele Menschenleben retten wie möglich.  Als Konsumenten hingegen möchten sie ein Auto, das sie selbst am besten schützt. Sowohl die Umsetzung der einen als auch der anderen Strategie birgt für Hersteller gewisse Risiken: Setzen sie auf Selbstschutz, riskieren sie öffentliche Empörung, setzen sie hingegen auf eine utilitaristische Strategie, könnten sie Konsumenten abschrecken. Damit sich die Menschen sicher fühlen und AFs vertrauen können, brauchen wir einen öffentlichen Diskurs darüber, dass AFs ganz generell zu einer Verringerung der Unfallquote führen und dadurch auch das Risiko für Fahrgäste reduzieren. Andernfalls könnte die intensive Medienberichterstattung über seltene Unfälle die Risikowahrnehmung potenzieller Insassen verzerren und die positiven, weitaus größeren Sicherheitseffekte irrational überschatten.

Die nächste Zeit wird spannend
Die Konzeption ethisch autonomer Maschinen ist eine der schwierigsten Herausforderungen in der aktuellen Entwicklung der künstlichen Intelligenz. Da wir im Begriff sind, Millionen von Fahrzeugen mit Entscheidungsautonomie auszustatten, ist eine ernsthafte Beschäftigung mit der Moral von Algorithmen dringlicher denn je. Unser datenbasierter Ansatz zeigt, wie der Bereich der experimentellen Ethik wichtige Erkenntnisse über die moralischen, kulturellen und rechtlichen Standards liefern kann, die Menschen von den Algorithmen selbstfahrender Fahrzeuge erwarten. Und selbst wenn wir diese Probleme angehen und schließlich lösen, bleiben weitere Herausforderungen im Zusammenhang mit AFs nach wie vor brisant, wie z.B. Hacking, Haftungsfragen und die Verdrängung menschlicher Arbeitskräfte. Es ist und bleibt interessant!

 

Autor/en

Edmond Awad
The Media Lab, Institute for Data, Systems and Society, Massachusetts Institute of Technology, Cambridge, MA, USA, awad@mit.edu

Jean-François Bonnefon
Toulouse School of Economics (TSM-R, CNRS), Université Toulouse-1 Capitole, Toulouse, France, jean-francois.bonnefon@tse-fr.eu

Azim Shariff
Department of Psychology, University of British Columbia, Vancouver, Canada, shariff@psych.ubc.ca

Iyad Rahwan
The Media Lab, Massachusetts Institute of Technology, Cambridge, MA, USA
Center for Humans and Machines, Max-Planck Institute for Human Development, Berlin, Germany, irahwan@mit.edu

Literaturhinweise

Awad, E.; Dsouza, S.; Kim, Ri.; Schulz, J.; Henrich, J.; Shariff, A.; Bonnefon, J.F. & Rahwan, I. (2018): “The Moral Machine Experiment”, Nature. 563. doi 10.1038/s41586-018-0637-6

Bonnefon, Jean-François; Shariff, Azim & Rahwan, Iyad (2016): “The Social Dilemma of Autonomous Vehicles”, Science. 352. doi: 10.1126/science.aaf2654

Bonnefon J. F.; Shariff A.; Rahwan, I. (2019): “The trolley, the bull bar, and why engineers should care about the ethics of autonomous cars“, Proceedings of the IEEE, Vol. 107, 502-504.

Shariff, A.; Bonnefon, J. F. ;  Rahwan, I. (2017): “Psychological roadblocks to the adoption of self-driving vehicles”, Nature Human Behaviour, https://doi.org/10.1038/s41562-017-0202-6