"algorithms are opinions embedded in math, embedded in formal code"
Cathy O'Neil (Click, BBC World Service, 11. 07. 2017)


Was kann rechtsstaatlicher Datenschutz angesichts des inhärenten Steuerungsanspruchs von Technologie leisten? Wie kann der Output eines Systems von aussen gesteuert werden, dessen Algorithmen sich ohne menschliches Zutun entwickeln? Diese und weitere Fragen sind Gegenstand des Projekts "Algorithmenrecht".
Robot_top1-1

Ausgangslage

Mit der Fragestellung verbunden ist der Verdacht, dass die Steuerung durch Algorithmen jener durch Rechtssätze in Bezug auf Geschwindigkeit, Aktualität und Präzision überlegen ist. In Bezug auf rechtsstaatliche Parameter, wie insbesondere Transparenz, Nachvollziehbarkeit, Berechenbarkeit, Gleichbehandlung-/Differenzierungsgebot, Willkürverbot und Legitimation durch Mitwirkung zeigt sich indes ein komplett anderes Bild.

  • Algorithmen sind zunehmend komplex, sodass ihre genaue Wirkungsweise von ihren ursprünglichen Programmierern nicht nachvollzogen werden kann.
  • Codes stellen regelmässig ein Geschäftsgeheimnis dar und dürfen deshalb den Betroffenen vorenthalten werden.
  • Die Entscheidungsgrundlagen ändern sich laufend, indem neue Daten in die betreffenden Systeme eingespeist werden; dies ändert wiederum die zugrunde liegenden Algorithmen.
  • Zunehmend werden Algorithmen als selbstlernende Systeme generiert und vernetzt, die mittels Konzepten wie cognitive computing, neuromorphic computing oder deep learning eine machine intelligence entwickeln sollen, und deren Wirkung nur am Output gemessen werden kann.[1]
  • Unter den Bedingungen der noch moderneren Datenbearbeitung wird das Abwägungsproblem vor allem auch ein Messproblem: wie kann man erfassen, welche Prinzipien/Interessen/Rechte in eine Entscheidung eingeflossen sind und wie kann man den Wert messen, der diesen vom Algorithmus innerhalb der Entscheidungsmatrix zugewiesen wurde.

Der Mensch erschafft sich mit anderen Worten freiwillig eine unüberschaubare Anzahl von vernetzten Black Box-Systemen, deren Gesamtheit in Zukunft die Gesellschaft durch möglichst automatisierte, granulare Steuerung Optimierung ihrer Mitglieder formen wird. Dieser Entwicklung scheint das Recht, wie wir es heute kennen, nicht gewachsen zu sein. Ungeklärt ist insbesondere die Frage der Zuweisung (und damit auch Wahrnehmung) von Verantwortung für den Output.[2] Darüber hinaus erschwerend ist der Umstand, dass in diesem Bereich kein gefestigter Konsens bezüglich der ethischen Grundlagen auszumachen ist, wenngleich verschiedene Akteure sich in diese Richtung bewegen.[3] Zur Sicherung ihrer Legitimation sollte indes die rechtliche Entwicklung von einer entsprechenden ethischen Entwicklung im gesellschaftlichen Diskurs begleitet werden.[4]

  • Zur rechtlichen Erfassung "ethischer" Erklärungen bezüglich des gemeinverträglichen Einsatzes von KI-Systemen durch staatliche und private Akteure siehe meinen Beitrag zum IRIS 2020 hier.

  • Für eine konzise Zusammenfassung der Herausforderung, welche künstlich intelligente Algorithmen für die Menschenrechte bedeuten, siehe den Bericht des "Special Rapporteurs on the promotion and protection of the right to freedom of opinion and expression" der Vereinten Nationen hier.

Projektskizze

Das Projekt Algorithmenrecht ist darauf angelegt, die Schnittstellen zwischen informationstechnologischer und rechtlicher Einflussnahme auf Entscheidungen auszuloten, nach Funktionen zu gliedern und an die grundlegenden Prinzipien des Rechtsstaats rückzubinden. Angedacht ist eine Folge von thematisch zusammenhängenden Beiträgen. Darin sollen Begriffe, Konzepte, Mechanismen und Lösungsansätze aus datenschutzrechtlicher Sicht näher beleuchtet und eingeordnet sowie die damit zusammenhängenden Fragen offengelegt und untersucht werden. Thematisch stehen zunächst die folgenden Bereiche im Vordergrund.

Recht vs. Code

Zwei normative Systeme, die sich auf binäre Entscheidungen reduzieren lassen (1/0, "Recht/Unrecht"), sich indes bezüglich ihrer Legitimation sowie ihres Steuerungsanspruchs und -vermögens deutlich unterscheiden.[5]
Als zentrales Thema schält sich die Erkenntnis heraus, dass Algorithmen die erste Regelungsmaterie des Rechts darstellen, deren Regulierbarkeit durch das Recht nicht selbstverständlich ist. Eine der Herausforderungen wird darin bestehen, die externe logische Erfassbarkeit von Algorithmen und damit die Voraussetzung für eine Regulierung durch Recht sicherzustellen. Diese Fragen werden unter Stichworten wie accountability by design, explainability by desing und interpretability by design diskutiert. Allerdings muss man in Bezug auf diese grundlegende Frage eher von regulability by design sprechen.[6] Aus Sicht des Rechts handelt es sich hierbei insbesondere auch um eine rechtstheoretische und -methodische Frage.

  • Siehe dazu meinen Beitrag zum IRIS 2019 hier sowie die englische Fassung hier.

Identifizierung vs. Singularisierung

  • Siehe den Beitrag vom 24. Februar 2018 hier sowie die englische Fassung hier.

Die Grenzen der sachlichen Begründung im Diskriminierungsrecht

Was geschieht, wenn Datenanalysen an Diskriminierungsmerkmale anknüpfen? Reichen mathematisch berechnete Datenkorrelationen, um als sachliche Begründungen die Vermutung einer Diskriminierung zu entkräften? Oder untermauern sie im Gegenteil Vorwürfe struktureller Diskriminerung in der Gesellschaft? Und: können solche Analysen die Menschenwürde verletzen und dadurch selbst eine Diskriminierung darstellen?
Die Lehre hat auf solche Fragen bisher wenig Antworten. Möglicherweise kann das Konzept der statistischen Diskriminierung ("Generalisierungsunrecht")[7] weiterhelfen.

Rechtliche Probleme bezüglich Pseudopersonendaten

Das Datenschutzrecht ist auf die Mitbestimmung des Einzelnen in Bezug auf die Nutzung seiner persönlichen Information ausgelegt. Hingegen generieren Algorithmen zunehmend Daten, die Information verkörpern, welche einer bestimmten Person mit einer bestimmten Wahrscheinlichkeit zugerechnet werden kann. Die in solchen Daten verkörperte Information kann daher nicht als "persönliche Information" betrachtet werden, dennoch erfüllen sie auf den ersten Blick die Definition des Personendatums. Die Unterscheidung zwischen solchen Pseudopersonendaten[8] und echten Personendaten liegt im Grad der Wahrschenlichkeit begründet, mit der davon ausgegangen weden kann, dass die in den Daten kodierte personenbezogene Information wahre Tatsachen abbildet. Die hierdurch entstehenden rechtlichen Probleme umfassen unter anderem die folgenden Momente des Grundrechtsgefährdung.

  • Es besteht ein erhöhtes Risiko, dass die aus Pseudopersonendaten interpretierte Information im Einzelfall die Wirklichkeit nicht korrekt abbildet.
  • Die "mathematische Erhebung" von Pseudopersonendaten ist für die Betroffenen kaum nachvollziehbar. Erstens ist der Algorithmus in der Regel zu komplex und/oder unterliegt dem Geschäftsgeheimnis, und zweitens ist die Datenlage in der Regel intransparent.
  • Die in Pseudopersonendaten verkörperte Information ist als Ergebnisse von Datenanalysen stets schon in der Kombination der vorhandenen Daten und des eingesetzten Algorithmus angelegt. Die Löschrecht des Einzelnen in Bezug auf das Ergebnis drohen daher, ins Leere zu laufen.
  • Indem Personendaten durch Pseudopersonendaten ersetzt werden, wird ein Rechtfertigungsdruck erzeugt, der die Betroffenen dazu anhalten kann, ihre tatsächlichen Personendaten offenzulegen.

Das Recht versucht, diese Phänomene über den Begriff der Profilbildung sowie dem Instrument der datenschutzrechtlichen Folgeabschätzung bzw. grundrechtlichen Risikoanalyse in den Griff zu bekommen.

Rechtsstaatliche Designprinzipien für selbstlernende Algorithmen

Algorithmen entwickeln zunehmend die Fähigkeit, sich selbst im Hinblick auf eine gestellte Aufgabe hin zu oprimieren. In dem Masse, wie eine Formel sich selber neu erfinden kann, verliert der ursprüngliche Code seine Definitionsmacht über seine späteren Differenzierungsmechanismen. Es stellt sich somit die Frage, ob die grundrechtlichen Risiken dieses antiziperten Kontrollverlusts durch intrinsische Entwicklungsvorgaben des Codes gemindert werden können.
Es handelt sich somit um Fragen, die gegenwärtig unter dem Stichwort "Privacy by Design" diskutiert werden.[9] Geschützt werden soll insbesondere die Autonomie der Akteure, was aufgrund der wechselseitigen Wirkung von Freiheitsbedingungen eine rechtsstaatliche Instruktion von Steuerungs- und Entsscheidungsalgorithmen bedingt.[10] In einem weiteren Sinne geht es sodann um die Entwicklung von robusten, auf die Grundrechtsverwirklichung bezogene Integritätsgarantien von Informationssystemen.[11] Ziel ist es, die Entwicklung von künstlich intelligenten Informationssystemen bzw. autodidaktischen Algorithmen menschenrechtsverträglich zu gestalten.[12]

  • Siehe dazu den Beitrag zum Thema Selbstbestimmung und Designdatenschutz vom 24. Februar 2019 hier sowie die englische Fassung vom 8. März 2019 hier.

Rechtsstaatliche und ethische Designprinzipien für AI/ML

  • Siehe den Beitrag vom 19. Dezember 2019 hier, zugleich ein Beitrag zum IRIS 2020.

  • Eine zusammenstellung wichtiger Erklärungen und Arbeitspapiere zum Thema ethisches Desing von KI findet sich hier.

Literatur für den Einstieg (unvollständig)

  • Burkov Andriy, The Hundred-Page Machine Learning Book, 2019
  • Ferreira Filho Wladston, Computer Science Distilled - Learn the Art of Solving Computational Problems, 1st Ed. 2017
  • Friedman Batya/Hendry David G., Value Sensitive Design - Shaping Technology with Moral Imagination, The MIT Press 2019
  • Gasser Urs/Almeide Virgilio A.F., A Layered Model for AI Governance, IEEE Internet Computing 21 (6) (November): 58–62
  • Gerard David, Attack of the 50 Foot Blockchain: Bitcoin, Blockchain, Ethereum & Smart Contracts, first edition, July 2017
  • Hartzog Woodrow, Privacy’s Blueprint - The Battle to Control the Design of New Technologies, Harvard University Press 2018
  • Hildebrandt Mireille, Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology, Cheltenham, UK/ Northampton MA, USA, 2015
  • Hoffmann-Riem Wolfgang, Verhaltenssteuerung durch Algorithmen – Eine Herausforderung für das Recht, AöR 142 1/2017, S. 1-42
  • Lessig Lawrence, Code: And Other Laws of Cyberspace, Version 2.0, Basic Books 2006
  • Misselhorn Catrin, Grundfragen der Maschinenethik, Reclam Ditzingen 2018
  • O'Neil Cathy, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York 2016
  • Pasquale Frank, The Black Box Society - The Secret Algorithms That Control Money and Information, Harvard University Press 2015
  • Rechsteiner David, Der Algorithmus verfügt - Verfassungs- und verwaltungsrechtliche Aspekte automatisierter Einzelentscheidungen, Jusletter 26. November 2018
  • Wischmeyer Thomas, Regulierung intelligenter Systeme, AöR 143, 1-66

Robot_bottom1
Robot wants to play by Sven Ruthner (Twitter: @the_ptoing), used with kind permission.


  1. Siehe dazu etwa die Hinweise und Beispiele bei Michael Decker, Adaptive Robotik und Verantwortung, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, Robotik und Recht Bd. 9, Baden-Baden 2016, S. 34 ff.; "Entscheidend für die weiteren Überlegungen ist, dass das KNN (künstliche neuronale Netz) letztendlich als eine Signal-Input-Signal-Output-Black Box zu betrachten ist" (S.34). ↩︎

  2. Einleitend dazu Sabine Gless/Kurt Seelmann, Intelligente Agenten und das Recht - Verantwortungszuschreibung in Antike und Moderne, in: Gless/Seelmann (Hrsg.), Intelligente Agenten und das Recht, Robotik und Recht Bd. 9, Baden-Baden 2016, S. 11. ↩︎

  3. Siehe dazu etwa den Beitrag von Wired UK über die diesbezüglichen Projekte bei Google und Anderen; vgl. auch die Liste von Whitepapers zu AI und Ethik/Recht hier. ↩︎

  4. Zusammenfassend zu den Herausforderungen von "AI" siehe Urs Gasser, AI and the Law: Setting the Stage. ↩︎

  5. Zur logischen Struktur von Normen siehe Philip Glass, Die rechtsstaatliche Bearbeitung von Personendaten in der Schweiz, Zürich 2017, S. 14 ff. m.w.H.; zur Interdependenz zwischen Code und Recht Rolf H. Weber, Synchronisierung von Technologien zur Schaffung von Datenschutzstandards, in: Boehme-Nessler/Rehbinder (Hrsg.), Big Data: Ende des Datenschutzes? - Gedächtnisschrift für Martin Usteri, Bern 2017, S. 59 ff. ↩︎

  6. Zur Problematik grundlegend Lawrence Lessig, Code 2.0, 2006, S. 23 ff., 67 ff. ↩︎

  7. Zum Begriff siehe Gabriele Britz, Einzelfallgerechtigkeit versus Generalisierung - verfassungsrechtliche Grenzen statistischer Diskriminierung, Tübingen 2008, S. 15 ff. ↩︎

  8. Glass, Bearbeitung, S. 204 f. ↩︎

  9. Zum Begriff siehe Rolf H. Weber, Datenschutzkonforme Technikgestaltung: Privacy by Design und by Default, in: Jusletter IT Flash 21. Januar 2016, S. 2. ↩︎

  10. Glass, Bearbeitung, S. 197 ff. m.w.H. ↩︎

  11. Dazu Weber, Synchronisierung, S. 57 f. m.w.H.; "langfristig reicht somit der traditionelle subjektiv-rechtliche Ansatz des Grundrechtsschutzes im Lichte der digitalen Grundrechtsgefährdungen nicht mehr aus, um ein angemessenes gesamtgesellschaftliches Schutzniveau zu erreichen (S. 58) ↩︎

  12. Siehe zur Sicherung der Menschenrechte beim Einsatz von KI-Systemen David Kaye, Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression, 29. August 2018, UN General Assembly A/73/348 (reissue from 26 October 2018), S. 16 ff.; sowie die Schlussfolgerungen der entsprechenden Studie des Europarats, Algorithms and Human Rights - Study on the human rights dimensions of automated data processing techniques and possible regulatory implications, DGI(2017)12, Council of Europe, March 2018, S. 43 ff. ↩︎