Forschungsprojekt: Algorithmenrecht

Forschungsprojekt: Algorithmenrecht

"algorithms are opinions embedded in math, embedded in formal code"
Cathy O'Neil (Click, BBC World Service, 11. 07. 2017)


Was kann rechtsstaatlicher Datenschutz angesichts des inhärenten Steuerungsanspruchs von Technologie leisten? Wie kann der Output eines Systems von aussen gesteuert werden, dessen Algorithmen sich ohne menschliches Zutun entwickeln? Diese und weitere Fragen sind Gegenstand des Projekts "Algorithmenrecht".

Ausgangslage

Mit der Fragestellung verbunden ist der Verdacht, dass die Steuerung durch Algorithmen jener durch Rechtssätze in Bezug auf Geschwindigkeit, Aktualität und Präzision überlegen ist. In Bezug auf rechtsstaatliche Parameter, wie insbesondere Transparenz, Nachvollziehbarkeit, Berechenbarkeit, Gleichbehandlung-/Differenzierungsgebot, Willkürverbot und Legitimation durch Mitwirkung zeigt sich indes ein komplett anderes Bild.

  • Algorithmen sind zunehmend von einer Komplexität, welche es mit sich bringen kann, dass ihre genaue Wirkungsweise von ihren ursprünglichen Programmierern nicht mehr nachvollzogen werden kann.
  • Codes stellen regelmässig ein Geschäftsgeheimnis dar und dürfen deshalb den Betroffenen vorenthalten werden.
  • Die Entscheidungsgrundlagen ändern sich laufend, indem neue Daten in die betreffenden Systeme eingespeist werden; dies ändert wiederum die aus dem Training hervorgehenden Modelle.
  • Zunehmend werden Algorithmen als selbstlernende Systeme generiert und vernetzt, die mittels Konzepten wie machine learning, cognitive computing, neuromorphic computing oder deep learning eine machine intelligence entwickeln sollen, und deren Wirkung nur am Output gemessen werden kann.[1]
  • Unter den Bedingungen der noch moderneren Datenbearbeitung wird das Abwägungsproblem vor allem auch ein Messproblem: wie kann man erfassen, welche Prinzipien/Interessen/Rechte in eine Entscheidung eingeflossen sind und wie kann man den Wert messen, der diesen vom Algorithmus innerhalb der Entscheidungsmatrix zugewiesen wurde.

Der Mensch erschafft sich mit anderen Worten freiwillig eine unüberschaubare Anzahl von vernetzten Black Box-Systemen, deren Gesamtheit in Zukunft die Gesellschaft durch möglichst automatisierte, granulare Steuerung Optimierung ihrer Mitglieder formen wird. Dieser Entwicklung scheint das Recht, wie wir es heute kennen, nicht gewachsen zu sein. Ungeklärt ist insbesondere die Frage der Zuweisung (und damit auch Wahrnehmung) von Verantwortung für den Output.[2] Darüber hinaus erschwerend ist der Umstand, dass in diesem Bereich kein gefestigter Konsens bezüglich der ethischen Grundlagen auszumachen ist, wenngleich verschiedene Akteure sich in diese Richtung bewegen.[3] Zur Sicherung ihrer Legitimation sollte indes die rechtliche Entwicklung von einer entsprechenden ethischen Entwicklung im gesellschaftlichen Diskurs begleitet werden.[4]

  • Zur rechtlichen Erfassung "ethischer" Erklärungen bezüglich des gemeinverträglichen Einsatzes von KI-Systemen durch staatliche und private Akteure siehe meinen Beitrag zum IRIS 2020 hier.

  • Für einen Überblick über die datenschutzrechtlichen Fragen, die sich in Zusammenhang mit dem Einsatz von KI-Systemen in der Verwaltung stellen, siehe meinen Beitrag im Sammelband "Datenschutz - Rechtliche Schnittstellen“, herausgegeben von Michael Widmer und erschienen im Januar 2023 bei Dike.
    Den kompletten Sammelband gibt es hier, den Einzelbeitrag aus dem Open-Access-Repositorium ZHAW digitalcollection hier.

  • Für eine konzise Zusammenfassung der Herausforderung, welche künstlich intelligente Algorithmen für die Menschenrechte bedeuten, siehe den Bericht des "Special Rapporteurs on the promotion and protection of the right to freedom of opinion and expression" der Vereinten Nationen hier.

Projektskizze

Das Projekt Algorithmenrecht ist darauf angelegt, die Schnittstellen zwischen informationstechnologischer und rechtlicher Einflussnahme auf Entscheidungen auszuloten, nach Funktionen zu gliedern und an die grundlegenden Prinzipien des Rechtsstaats rückzubinden. Angedacht ist eine Folge von thematisch zusammenhängenden Beiträgen. Darin sollen Begriffe, Konzepte, Mechanismen und Lösungsansätze aus datenschutzrechtlicher Sicht näher beleuchtet und eingeordnet sowie die damit zusammenhängenden Fragen offengelegt und untersucht werden. Thematisch stehen zunächst die folgenden Bereiche im Vordergrund.

Recht vs. Code

Zwei normative Systeme, die sich auf binäre Entscheidungen reduzieren lassen (1/0, "Recht/Unrecht"), sich indes bezüglich ihrer Legitimation sowie ihres Steuerungsanspruchs und -vermögens deutlich unterscheiden.[5]
Als zentrales Thema schält sich die Erkenntnis heraus, dass Algorithmen die erste Regelungsmaterie des Rechts darstellen, deren Regulierbarkeit durch das Recht nicht selbstverständlich ist. Eine der Herausforderungen wird darin bestehen, die externe logische Erfassbarkeit von Algorithmen und damit die Voraussetzung für eine Regulierung durch Recht sicherzustellen. Diese Fragen werden unter Stichworten wie accountability by design, explainability by desing und interpretability by design diskutiert. Allerdings muss man in Bezug auf diese grundlegende Frage eher von regulability by design sprechen.[6] Aus Sicht des Rechts handelt es sich hierbei insbesondere auch um eine rechtstheoretische und -methodische Frage.

  • Siehe dazu meinen Beitrag zum IRIS 2019 hier sowie die englische Fassung hier.

Identifizierung vs. Singularisierung

  • Siehe den Beitrag vom 24. Februar 2018 hier sowie die englische Fassung hier.

Die Grenzen der sachlichen Begründung im Diskriminierungsrecht

Was geschieht, wenn Datenanalysen an Diskriminierungsmerkmale anknüpfen? Reichen mathematisch berechnete Datenkorrelationen, um als sachliche Begründungen die Vermutung einer Diskriminierung zu entkräften? Oder untermauern sie im Gegenteil Vorwürfe struktureller Diskriminerung in der Gesellschaft? Und: können solche Analysen die Menschenwürde verletzen und dadurch selbst eine Diskriminierung darstellen?
Die Lehre hat auf solche Fragen bisher wenig Antworten. Möglicherweise kann das Konzept der statistischen Diskriminierung ("Generalisierungsunrecht")[7] weiterhelfen.

Rechtliche Probleme bezüglich Pseudopersonendaten

Das Datenschutzrecht ist auf die Mitbestimmung des Einzelnen in Bezug auf die Nutzung seiner persönlichen Information ausgelegt. Hingegen generieren Algorithmen zunehmend Daten, die Information verkörpern, welche einer bestimmten Person mit einer bestimmten Wahrscheinlichkeit zugerechnet werden kann. Die in solchen Daten verkörperte Information kann daher nicht als "persönliche Information" betrachtet werden, dennoch erfüllen sie auf den ersten Blick die Definition des Personendatums. Die Unterscheidung zwischen solchen Pseudopersonendaten[8] und echten Personendaten liegt im Grad der Wahrschenlichkeit begründet, mit der davon ausgegangen weden kann, dass die in den Daten kodierte personenbezogene Information wahre Tatsachen abbildet. Die hierdurch entstehenden rechtlichen Probleme umfassen unter anderem die folgenden Momente des Grundrechtsgefährdung.

  • Es besteht ein erhöhtes Risiko, dass die aus Pseudopersonendaten interpretierte Information im Einzelfall die Wirklichkeit nicht korrekt abbildet.
  • Die "mathematische Erhebung" von Pseudopersonendaten ist für die Betroffenen kaum nachvollziehbar. Erstens ist der Algorithmus in der Regel zu komplex und/oder unterliegt dem Geschäftsgeheimnis, und zweitens ist die Datenlage in der Regel intransparent.
  • Die in Pseudopersonendaten verkörperte Information ist als Ergebnisse von Datenanalysen stets schon in der Kombination der vorhandenen Daten und des eingesetzten Algorithmus angelegt. Die Löschrecht des Einzelnen in Bezug auf das Ergebnis drohen daher, ins Leere zu laufen.
  • Indem Personendaten durch Pseudopersonendaten ersetzt werden, wird ein Rechtfertigungsdruck erzeugt, der die Betroffenen dazu anhalten kann, ihre tatsächlichen Personendaten offenzulegen.

Das Recht versucht, diese Phänomene über den Begriff der Profilbildung sowie dem Instrument der datenschutzrechtlichen Folgeabschätzung bzw. grundrechtlichen Risikoanalyse in den Griff zu bekommen.

Rechtsstaatliche Designprinzipien für selbstlernende Algorithmen


"all technology is an echo of the wishes of whoever built it"
Cassie Kozyrkov, Pay attention to that man behind the curtain, Hackernoon.com, October 25th 2018


Algorithmen sollen in Zukunft die Fähigkeit entwickeln, sich selbst im Hinblick auf eine gestellte Aufgabe hin zu optimieren. Inwiefern dies sinnvoll machbar sein wird, bleibt angesichts der mangelnden semantischen Erfassung von Information durch Algorithmen abzuwarten. In dem Masse aber, wie eine Formel sich selber neu erfinden kann, verliert der ursprüngliche Code seine Definitionsmacht über seine späteren Differenzierungsmechanismen. Es stellt sich somit die Frage, ob die grundrechtlichen Risiken dieses antiziperten Kontrollverlusts durch intrinsische Entwicklungsvorgaben des Codes gemindert werden können.
Es handelt sich somit um Fragen, die gegenwärtig unter dem Stichwort "Privacy by Design" diskutiert werden.[9] Geschützt werden soll insbesondere die Autonomie der Akteure, was aufgrund der wechselseitigen Wirkung von Freiheitsbedingungen eine rechtsstaatliche Instruktion von Steuerungs- und Entsscheidungsalgorithmen bedingt.[10] In einem weiteren Sinne geht es sodann um die Entwicklung von robusten, auf die Grundrechtsverwirklichung bezogene Integritätsgarantien von Informationssystemen.[11] Ziel ist es, die Entwicklung von künstlich intelligenten Informationssystemen bzw. autodidaktischen Algorithmen menschenrechtsverträglich zu gestalten.[12]

  • Siehe dazu den Beitrag zum Thema Selbstbestimmung und Designdatenschutz vom 24. Februar 2019 hier sowie die englische Fassung vom 8. März 2019 hier.

Rechtsstaatliche und ethische Designprinzipien für AI/ML

  • Siehe den Beitrag vom 19. Dezember 2019 hier, zugleich ein Beitrag zum IRIS 2020.
    The translated version has been published in Jusletter, Sep. 7th 2020 here.

  • Eine Liste wichtiger Erklärungen und Arbeitspapiere zum Thema ethisches Design von KI habe ich hier zusammengestellt.


Eine Handvoll Literatur für den Einstieg

  • Alexy Robert, Begriff und Geltung des Rechts, erweiterte Neuausgabe, Freiburg/ München 2020
  • Bydlinski Franz/Bydlinski Peter, Grundzüge der juristischen Methodenlehre, 3. Auflage, Wien 2018
  • Boden Margaret A., Artificial Intelligence - A Very Short Introduction, Oxford 2018
  • Christian Brian, The Alignment Problem - Machine Learning and Human Values, W. W. Norton & Company 2020 (Paperback 2021)
  • Früh Alfred/Haux Dario, Foundations of Artificial Intelligence and Machine Learning (Arbeitspapier), Weizenbaum Institute for the Networked Society - The German Internet Institute, Berlin 2022
  • Hoffmann-Riem Wolfgang, Verhaltenssteuerung durch Algorithmen – Eine Herausforderung für das Recht, AöR 142 1/2017, S. 1-42
  • OECD, Künstliche Intelligenz in der Gesellschaft/ Artificial Intelligence in Society, Paris 2019 (in weiteren Sprachen verfügbar)
  • Rechsteiner David, Der Algorithmus verfügt - Verfassungs- und verwaltungsrechtliche Aspekte automatisierter Einzelentscheidungen, Jusletter 26. November 2018
  • Reiter Catherine, Künstliche Intelligenz im Verwaltungsverfahren - Ermessen als Stolperstein?, AJP/PJA 9/2022 S. 984 ff.
  • Remmers Peter, Mensch-Roboter-Interaktion, Berlin 2018
  • Wischmeyer Thomas, Regulierung intelligenter Systeme, AöR 143 1/2018, S. 1-66
  • Wolfram Stephen, What is ChatGPT doing ... and Why does it Work?, Wolfram Research Inc. 2023
  • Zippelius Reinhold, Juristische Methodenlehre, herausgegeben und bearbeitet von Thomas Würtenberger, 12. Auflage, München 2021 (insb. Kapitel V: Logische Formalisierung und Datenverarbeitung im Recht)

Weitere Ressourcen für den Einstieg (unvollständig)

  • Mindmap: Fundamental Concepts in AI Ethics des Montreal AI Ethics Institute
  • Brand Lukas, Künstliche Tugend - Roboter als moralische Akteure, Regensburg 2018
  • Burkov Andriy, The Hundred-Page Machine Learning Book, 2019
  • Braun Binder Nadja/ Spielkamp Matthias/ Egli Catherine/ Freiburghaus Laurent/ Kunz Eliane/ Laukenmann Nina/ Loi Michele/ Mätzener Anna/ Obrecht Liliane/ Wulf Jessica, Einsatz Künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen, Staatskanzlei Kanton Zürich/ AlgorithmWatch, 2021
  • Chetouani Mohamed/Dignum Virginia/Lukowicz Paul/Sierra Carles (Hrsg.), Human-Centered Artificial Intelligence - Advanced Lectures, Springer Nature Switzerland 2023 (open access)
  • Domingos Pedro, The Master Algorithm - How the Quest for the Ultimate Learning Machine Will Remake Our World, Penguin Books 2015
  • Ferreira Filho Wladston, Computer Science Distilled - Learn the Art of Solving Computational Problems, 1st Ed. 2017
  • Friedman Batya/Hendry David G., Value Sensitive Design - Shaping Technology with Moral Imagination, The MIT Press 2019
  • Gasser Urs/Almeide Virgilio A.F., A Layered Model for AI Governance, IEEE Internet Computing 21 (6) (November): 58–62
  • Gerard David, Attack of the 50 Foot Blockchain: Bitcoin, Blockchain, Ethereum & Smart Contracts, first edition, July 2017
  • Gleick James, The Information - A History, A Theory, A Flood, London 2012
  • Hartzog Woodrow, Privacy’s Blueprint - The Battle to Control the Design of New Technologies, Harvard University Press 2018
  • Hildebrandt Mireille, Law for Computer Scientists and Other Folk, Oxford 2020
  • Hoffmann-Riem Wolfgang (Hrsg.), Big Data - Regulative Herausforderungen, Baden-Baden 2018
  • Keats Citron Danielle, Technological Due Process, Washington University Law Review Vol 85 1249 (2008)
  • Larson Erik J., The Myth of Artificial Intelligence: Why Computers Can't Think the Way We Do, Harvard University Press 2021
  • Lessig Lawrence, Code: And Other Laws of Cyberspace, Version 2.0, Basic Books 2006
  • Misselhorn Catrin, Grundfragen der Maschinenethik, Reclam Ditzingen 2018
  • Mitchell Melanie, Artificial Intelligence for Thinking Humans, Pelican Books 2020
  • O'Neil Cathy, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York 2016
  • Pasquale Frank, The Black Box Society - The Secret Algorithms That Control Money and Information, Harvard University Press 2015

Robot_bottom1
Robot wants to play by Sven Ruthner (Twitter: @the_ptoing), used with kind permission.


  1. Siehe dazu etwa die Hinweise und Beispiele bei Michael Decker, Adaptive Robotik und Verantwortung, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, Robotik und Recht Bd. 9, Baden-Baden 2016, S. 34 ff.; "Entscheidend für die weiteren Überlegungen ist, dass das KNN (künstliche neuronale Netz) letztendlich als eine Signal-Input-Signal-Output-Black Box zu betrachten ist" (S.34). ↩︎

  2. Einleitend dazu Sabine Gless/Kurt Seelmann, Intelligente Agenten und das Recht - Verantwortungszuschreibung in Antike und Moderne, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, Robotik und Recht Bd. 9, Baden-Baden 2016, S. 11. ↩︎

  3. Siehe dazu die laufend aktualisierte Liste von Whitepapers zu AI und Ethik/Recht hier. ↩︎

  4. vgl. dazu meinen Beitrag zur IRIS 2020, Eine Skizze zur rechtlichen Verbindlichkeit «ethischer» KI-Prinzipien; Zusammenfassend zu den Herausforderungen von KI/AI siehe Urs Gasser, AI and the Law: Setting the Stage. ↩︎

  5. Zur logischen Struktur von Normen siehe Philip Glass, Die rechtsstaatliche Bearbeitung von Personendaten in der Schweiz, Zürich 2017, S. 14 ff. m.w.H.; zur Interdependenz zwischen Code und Recht Rolf H. Weber, Synchronisierung von Technologien zur Schaffung von Datenschutzstandards, in: Boehme-Nessler/Rehbinder (Hrsg.), Big Data: Ende des Datenschutzes? - Gedächtnisschrift für Martin Usteri, Bern 2017, S. 59 ff. ↩︎

  6. Zur Problematik grundlegend Lawrence Lessig, Code 2.0, 2006, S. 23 ff., 67 ff. ↩︎

  7. Zum Begriff siehe Gabriele Britz, Einzelfallgerechtigkeit versus Generalisierung - verfassungsrechtliche Grenzen statistischer Diskriminierung, Tübingen 2008, S. 15 ff. ↩︎

  8. Glass, Bearbeitung, S. 204 f. ↩︎

  9. Zum Begriff siehe Rolf H. Weber, Datenschutzkonforme Technikgestaltung: Privacy by Design und by Default, in: Jusletter IT Flash 21. Januar 2016, S. 2. ↩︎

  10. Glass, Bearbeitung, S. 197 ff. m.w.H. ↩︎

  11. Dazu Weber, Synchronisierung, S. 57 f. m.w.H.; "langfristig reicht somit der traditionelle subjektiv-rechtliche Ansatz des Grundrechtsschutzes im Lichte der digitalen Grundrechtsgefährdungen nicht mehr aus, um ein angemessenes gesamtgesellschaftliches Schutzniveau zu erreichen (S. 58) ↩︎

  12. Siehe zur Sicherung der Menschenrechte beim Einsatz von KI-Systemen David Kaye, Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression, 29. August 2018, UN General Assembly A/73/348 (reissue from 26 October 2018), S. 16 ff.; sowie die Schlussfolgerungen der entsprechenden Studie des Europarats, Algorithms and Human Rights - Study on the human rights dimensions of automated data processing techniques and possible regulatory implications, DGI(2017)12, Council of Europe, March 2018, S. 43 ff. ↩︎