Die Wissenschaftliche Vereinigung für das gesamte Regulierungsrecht hat sich in ihrem 5. Symposium dem Thema Regulierung von Algorithmen gewidmet. Es handelt sich dabei um eine Thematik die – nicht nur im Kartellrecht – seit einigen Jahren heiß diskutiert wird. Der kleine, feine Zusammenschluss von Professorinnen und Professoren aus dem Zivilrecht und dem Öffentlichen Recht tagt üblicherweise hinter verschlossenen Türen. Aber im Corona-Jahr ist alles anders: In diesem Jahr konnte sich jeder per Zoom einwählen. Adrian Deuschle hat’s getan und berichtet aus dem Home Office.

Name der Veranstaltung: Jahrestagung der Wissenschaftlichen Vereinigung für das gesamte Regulierungsrecht

Thema: Ob und Wie der Regulierung von Algorithmen in verschiedenen Rechtsgebieten

Zeit und Ort: 7.-8. September 2020, weltweit

Gastgeber: Der Lehrstuhl von Prof. Dr. Daniel Zimmer, Universität Bonn.

Publikum: Ca. 140 Teilnehmer überwiegend aus Deutschland, Österreich und der Schweiz.

Regulierung für Algorithmen? Brauchen wir das überhaupt?

Dieser Frage widmete sich Prof. Dr. Markus Gabriel von der Universität Bonn (aktuelles Buch: „Moralischer Fortschritt in dunklen Zeiten“) im ersten Panel. Als Professor der Philosophie befasste er sich in seinem Vortrag mit einer Ethik für das Digitale. Die Ethik fürs Digitale ist eine Teildisziplin der Philosophie und eine weitere Subdisziplin bildet die Technikethik. Der Begriff der Regulierung hat dabei aus philosophischer Perspektive verschiedene Dimensionen. Einerseits kann eine Regulierung moralisch unerheblich sein, aber juristisch normiert, so zum Beispiel beim Rechtsfahrgebot. Eine Regulierung kann gar nicht normiert sein, sich aber ergeben, beispielsweise wie ich vor meinem Bildschirm sitze. Eine Regulierung kann aber auch normiert sein und sich aus moralischen Gründen als Motiv ergeben. Ablehnend steht dem nur der Ethiknihilismus gegenüber – der aber laut Prof. Gabriel nicht mehr ernsthaft vertreten wird. Algorithmen und künstliche Intelligenz (KI) sind ein Teil der Digitalisierung. Für das Digitale gibt es aber bisher noch keine Ethik – wer Platon, Kant und Sokrates liest wird über diese neuen Phänomene keine Ausführungen finden. Eine Regulierung von Algorithmen befindet sich immer in einem Spannungsfeld. Einerseits sind zu hohe regulatorische Anforderungen an KI problematisch, weil sie dann anfällig für falsche, in der Regulierung angelegte, Fehler ist. Andererseits kann auch die absolute Effizienz von Algorithmen und KI im Vergleich zum Menschen zu Problemen führen. Als Beispiel werden von Prof. Gabriel Plattformen in Form von sozialen Netzwerken genannt: hier führe der Geschäftskern – die Datenanalyse – zwangsläufig zu einer Erosion des demokratischen Systems. Dies liege daran, dass mit einem Dissens bzw. einem fehlenden Dissensmanagement Geld verdient wird. Auf den Plattformen gibt es keinen Streitschlichtungsmechanismus, der bei einem Dissens für einen Ausgleich zwischen den Parteien sorgt. Auf eine Hate Speech folgt in der Regel kein Gerichtsverfahren, sondern eine Bestätigung der Ansichten in den Filterblasen und Echokammern. Eine Regulierung könnte hier die Einführung eines Dissensmanagements umfassen. Allerdings darf ein Intermediär bei der Regulierung nicht die Aufgabe des Rechtsstaats übernehmen – eine Kontrolle durch rechtsstaatliche Institutionen muss weiterhin gewährleistet sein.

Genug von der Philosophie. Welche Auswirkungen haben Algorithmen auf unsere Wohlfahrt?

Der von den Lesern dieses Blogs sehr geschätzte Prof. Dr. Justus Haucap zeigte die Wohlfahrtswirkungen des Einsatzes von Algorithmen auf. Bei der Produkt- und Prozessverbesserung haben Algorithmen laut Haucap in erster Linie einen wohlfahrtsfördernden Effekt. Dies zeige sich zum Beispiel durch Smart Farming, Spotify, Netflix und Matching Plattformen, die von vielen Menschen geschätzt und intensiv genutzt werden. In zweiter Linie könne es durch die selbstverstärkenden Effekte bei der Datensammlung (Netzwerkeffekte) zu einer Vermachtung und Missbrauch kommen. Diese Situationen könnten im Kartellrecht gut durch eine Einzelfall-Analyse erfasst werden. Wünschenswert wäre aus Sicht von Haucap aber ein Datenzugangsanspruch, der weniger hohe Anforderungen als die „essential facility doctrine“ verlangt, aber nicht beliebig ist. Auch bei der Steuerung von Produkten durch personalisierte Werbung/Ansprache ergeben sich zunächst wohlfahrtsmehrende Effekte, da Nutzern Angebote gemacht werden, die diese tatsächlich gut finden (die Unpopularität dieser Feststellung war dem Referenten bewusst). Andererseits könnten dadurch naive Nutzer ausgenutzt werden und es finde eine Professionalisierung von Haustürgeschäften statt.

Die digitale Drückerkolonne sozusagen… und dann auch noch mit personalisierten Preisen!

Für eine Preisdifferenzierung gibt es bisher wenig Evidenz. Bei einer personalisierten Preissetzung könnte der Wettbewerb seine Schutzfunktion verlieren, da träge Verbraucher nicht mehr vor Schnäppchenjägern geschützt werden. Dies sei aber nicht unbedingt wohlfahrtsmindernd, da die Komsumentenrenten nur anders verteilt würden. Zudem könne sich diese Preissetzung positiv auf das Verhalten auswirken, beispielweise bei Autoversicherungen, die für unfallfreie Fahrer günstiger angeboten werden. Weitgehende Evidenz gebe es aber für eine Zunahme von dynamischen Preisen, die nicht nur online stark zunehmen. Diese Form der Preissetzung könne wohlfahrtsmindern sein, da dynamische Preise Verbraucher „müde“ machten.

Ging es auch um Algorithmen und Kartelle?

Ja. Dazu wurden drei Szenarien dargestellt, in denen Algorithmen eine mindernde Wirkung auf die Wohlfahrt haben. Erstens wenn Kartelle effizienter durch Algorithmen umgesetzt werden – wie im Posterkartell-Fall in den USA und GB. Zweitens wenn eine Plattform als Hub die Preise für die Spokes setzt wie im Eturas Fall. Drittens wenn die Algorithmen sich autonom koordinieren ohne menschliche Abstimmung.

Und ohne Kartelle?

Die Marktbeherrscher nutzen natürlich auch Algorithmen. Haucap warnte vor der Darstellung von verzerrten Informationen (Marktmanipulationen). Die Plattformen haben hier einen Anreiz, ihre Algorithmen nicht neutral einzusetzen, sondern beispielweise eigene Angebote zu bevorzugen. Dieser Anreiz besteht unabhängig von Marktmacht, aber potenziert sich bei marktmächtigen Unternehmen. Hier besteht ein Eingriffsbedarf, der vom Gesetzgeber in der 10. GWB Novelle mit § 19a GWB-RefE adressiert wird.

So etwas habe ich hier auf D’Kart schon einmal gelesen. Man kommt sich ja langsam vor, wie in einer Echokammer hier…

Tja. Laut Professor Jörn Lüdemann von der Universität Rostock haben sich die anfänglichen Verheißungen der freien Welt im Internet in Ernüchterung umgewandelt, Bedrohungen der Demokratie eingeschlossen. Allerdings gibt es bisher keine Evidenz für die Verstärkung von Filterblasen und Echokammern durch Algorithmen. Was nachgewiesen werden konnte: Radikale suchen eher nach homogenen Informationen in Echokammern. Eine echte Gefahrenlage durch Algorithmen ist aber bisher nicht verifiziert, weswegen nichts für eine Regulierung, die über den aktuellen Status hinausgeht, spricht.

Abzulehnen sei laut Lüdemann in jedem Fall eine positive Regulierung zur Vielfaltssicherung. Dies würde eine staatliche Bewertung von Informationen voraussetzen, die einen erheblichen Eingriff in die Informationsfreiheit darstellt: Man stelle sich nur vor, in der analogen Welt bekäme jeder Taz-Leser bzw. jede Taz-Leserin zusätzlich Springers „Welt“ in den Briefkasten geworfen. In seinem Kommentar sprach sich Professor Jürgen Kühling von der Uni Regensburg für einen Mix aus hoheitlicher und unternehmerischer Verantwortung aus. Die Novellierung des Rundfunkstaatsvertrags zum Medienstaatsvertrag sei dabei ein „sinnvoller Mittelweg zwischen Regulierungsatheismus und Regulierungsutopie“. Hervorgehoben wurde vor allem das Transparenzgebot aus § 93 MStV und das Diskriminierungsverbot gem. § 94 MStV.

Was können Transparenzanforderungen für Algorithmen leisten?

Professorin Miriam Buiten von Universität St. Gallen sprach über Transparenzpflichten von Algorithmen und das Dauerthema Haftung für algorithmische Handlungen. Auf europäischer Ebene gibt es hierzu in der Mitteilung „KI für Europa“ der Kommission von 2018 und dem Weißbuch zur künstlichen Intelligenz (2020) erste Regulierungsansätze. Es bleibt allerdings fraglich, ob erhöhte Transparenzanforderungen in Bezug auf die Haftungsfrage einen wesentlichen Vorteil darstellen. Anhand von drei konkreten Beispielen illustrierte Buiten die Probleme der Haftung im Falle eines automatischen Rasenmähers, einem diskriminierenden Bewerbungsalgorithmus und einer smarten Alarmanlage. Ihr Fazit: Transparenz ist kein Allheilmittel und kann die Haftungsfrage nicht unbedingt vereinfachen.

Welche Standards müssen bei der Entwicklung von KI beachtet werden?

Mit Professor Stefan Wrobel äußerte sich der Leiter des Fraunhofer-Instituts IAIS und Professor für Informatik von der Universität Bonn zur Zertifizierung von KI und den Kriterien der Beurteilung von Algorithmen. Bei KI handelt es sich um eine Black Box, die anders agiert als der Mensch. Schönes Beispiel: Eine Medizin-KI konnte eine Kardiomegalie (eine krankhafte Herzvergrößerung) zwar richtig diagnostizieren, aber aus den falschen Gründen. Die KI orientierte sich zu stark an einem auf dem Röntgenbild eingeblendeten Schriftzuges eines portablen Röntgengeräts. Dieses Gerät wird insbesondere bei schwer kranken Menschen eingesetzt, die nicht zu einem stationären Gerät transportiert werden können. Daraus zog die KI den Schluss auf eine Erkrankung des Patienten. Zutreffendes Ergebnis, falscher Lösungsweg – das gibt, wie aus der Jura-Klausur bekannt, wenig Punkte. Aus diesem Grund seien eine Zertifizierung von KI und einheitliche Standards wichtig. Die europäische Kommission hat dazu Ethikleitlinien für eine vertrauenswürdige KI veröffentlicht. Ein Prüfkatalog zur Zertifizierung von KI ist der „Bonner Katalog“, darin sind Kriterien wie Ethik/Recht, Transparenz und Datenschutz enthalten. Auf lange Sicht sollen die Rahmenbedingungen nicht nur durch kluge Menschen vorgegeben werden, sondern vom Algorithmus selbst integriert werden. Ob dies gelingen kann, ist laut Wrobel noch offen.

Ganz schön viele Vorträge aus der Wissenschaft. Sind die Praktiker auch zu Wort gekommen?

Ähm, zumindest ein Politiker. Am Ende des ersten Abends hielt Prof. Ulrich Kelber – seines Zeichens Bundesbeauftragter für Datenschutz und Informationsfreiheit – eine Keynote Speech. Das war so eine Art Dinner Speech, während man vor dem Bildschirm seine Nudeln mit Pesto löffelte. Aus der Perspektive des Datenschutzes sind Algorithmen bisher nicht sehr stark reguliert. Auch die DSGVO stelle keinen wesentlichen Fortschritt dar. Die dort vorgesehenen Transparenzpflichten blieben weitgehend wirkungslos. Werde beispielsweise ein Kredit aufgrund der Bewertung durch einen Algorithmus nicht gewährt, bekomme man keine Auskunft über den Grund der Ablehnung. Als Mitglied der Datenethikkommission bevorzugt Kelber den Begriff „algorithmische Systeme“, um die schwierige Abgrenzung, ab wann es sich um KI handelt, zu umgehen. In vielen Bereichen biete sich eine ex ante Regulierung algorithmischer Systeme an. So könnten beispielsweise dynamische Preise im Handel über eine Zertifizierungsstelle reguliert werden. Beim Hochfrequenzhandel könnte sich Europa durch eine smarte Regulierung einen Wettbewerbsvorteil verschaffen. Die aktuellen Entwicklungen zu einer europäischen Dateninfrastruktur mit dem GAIA-X Projekt könnten ein wichtiger Baustein für eine europäische Regulierung sein.

Apropos Hochfrequenzhandel: Müssten die Algorithmen hier nicht auch reguliert werden?

Ausgangspunkt für die Bedenken über den Hochfrequenzhandel ist der Flash Crash vom 6.5.2010. Der Dow Jones hatte hier teilweise über 9 Prozent nachgegeben und es kam zu erheblichen Preisanomalitäten. Danach stabilisierte sich der Kurs wieder, aber auf einem niedrigeren Niveau als vor dem Crash. Laut Professor Matthias Lehmann, einst Bonn, jetzt Uni Wien, ist die Ursache für den Flash Crash aber weiterhin ungeklärt. Im Report der SEC/CFTC von 2010 wurde die Software der Firma Waddell & Reed für den Crash verantwortlich gemacht. Ein Fehler im Algorithmus im Zusammenspiel mit anderen Hochfrequenzhändlern soll den Crash verursacht haben. Kurz darauf vermeldete die CME Group in einer Pressemitteilung, dass Waddell & Reed im Einklang mit der Marktpraxis gehandelt haben soll und dem Unternehmen kein Vorwurf gemacht werden kann. Im Folgenden wurde der 32-jährige Londoner Trader Navinder Singh Sarao als Schuldiger identifiziert. Er hat mit Hilfe eines automatisierten Programmes über 200 Millionen Order abgegeben, die zu einem großen Teil widerrufen oder geändert wurden, um dann zu einem niedrigeren Preis zu kaufen. Diese Technik wird „spoofing“ genannt. Im Januar 2020 wurde er an die USA ausgeliefert und lediglich zu einem Jahr Hausarrest verurteilt. Wenn es einer Einzelperson gelingen kann, einen solchen Crash zu verursachen, muss, so Lehmann, etwas mit der Marktstruktur auf den Finanzmärkten nicht stimmen. Ausführliche Informationen zu den verschiedenen Praktiken der Hochfrequenzhändler bietet das Buch Flash Boys von Michael Lewis. Ein Regulierungsansatz sollte hier für Transparenz und Fairness sorgen und bestimmte Sicherheitsmaßnahmen in Form von Erlaubnis- bzw. Organisationsanforderungen vorsehen. Eine enge Zusammenarbeit zwischen Finanzaufsicht und Behörden ist wünschenswert. Fiskalische Maßnahmen wie die vom SPD-Kanzlerkandidaten Scholz propagierte Finanztransaktionssteuer seien eher nicht geeignet, um den Hochfrequenzhandel zu regulieren.

Apropos Kriminalität: Gibt es nicht auch KI in der Verbrechensbekämpfung?

Ja, da ist die Rede von „predictive policing“. Selbstverständlich ist künstliche Intelligenz nicht in der Lage, anhand von Gesichtsfotos zu erkennen, ob eine Person kriminell wird. Allerdings kann KI als Verfahren automatisierter Verdachtsgewinnung eingesetzt werden. Timo Rademacher, Prof an der Universität Hannover, zeigte dies anhand von praktischen Beispielen auf. Beispielsweise ist eine intelligente Videoüberwachung in § 21 Abs. 4 PolG BW vorgesehen und wird aktuell in Berlin und Mannheim getestet. Die Videoüberwachung soll nur dann aufzeichnen, wenn eine Straftat begangen wird. Problem: Blindes Vertrauen in die Richtigkeit des Algorithmus muss verhindert werden. Dazu ist eine „Wachhaltestruktur“ in Form von bewussten Fehlermeldungen oder einer randomisierten Überprüfung durch Menschen unerlässlich.

Zudem droht eine diskriminierende Wirkung des Algorithmus, wenn dieser mit den falschen, rassistischen Daten gefüttert wird, könnte beispielsweise vorwiegend Menschen mit Migrationshintergrund eine eingehende Steuerprüfung drohen. Ein Diskrimierungsverbot ist beim Fluggastdatenabgleich in § 4 Abs. 3 S. 7 FlugDaG vorgesehen. Wenn solche Regelungen zum Standard werden, könnten Algorithmen potenziell sogar neutraler als Menschen agieren und problematische Verhaltensweisen wie „racial profiling“ vermeiden.

Kommen wir endlich wieder zum Kartellrecht. Kann das Kartellverbot dem algorithmenbasierten Handel überhaupt noch gerecht werden?

Diesem spannenden Thema widmete sich Professor Andreas Heinemann von der Universität Zürich, der ja zugleich Chef der Schweizer Wettbewerbskommission ist. Salil Mehra hat im Jahr 2014 das Thema aufgegriffen. Bahnbrechend war auch das Buch Virtual Competition von Ariel Ezrachi und Maurice Stucke, die Kategorisierungen herausgebildet haben, mit denen heute gearbeitet wird. Diese Szenarien sind das Messenger Szenario, Hub and Spoke, Predictable Agent und Digital Eye (KI). Tatsächliche Fälle gab es bisher nur in den ersten beiden Kategorien. Zu nennen sind die Posterkartelle, wo eine Kartellabsprache durch den Einsatz von Preissetzungssoftware umgesetzt wurde. Im Falle von Hub and Spoke sind die Class Action gegen Uber, die WebTaxi Entscheidung der luxemburgischen Kartellbehörde und der Eturas Fall vor dem EuGH hervorzuheben.

Was eine algorithmische Koordination durch eine Preissoftware betrifft muss festgestellt werden, dass eine Koordinierung ohne Absprache oder abgestimmte Verhaltensweise auf menschlicher Ebene derzeit nicht unter das Kartellverbot fällt. Der Vorschlag von Kaplow, auch ein bloßes Parallelverhalten, welches zu einem kollusiven Marktergebnis führt, unter das Kartellverbot zu packen, sei nicht zu unterstützen, so Heinemann. Eine normale Anpassung an Marktgegebenheiten dürfe nicht bestraft werden. Allerdings sollten die stark anthropozentrisch interpretierten Kriterien im Kartellverbot durch eine Einbeziehung von Maschinen ergänzt werden. Auch für das Kartell der Maschinen brauche das Kartellrecht eine Antwort.

Kartelle der Maschinen, das ist schon sehr Zukunft, oder? Bleiben wir doch nochmal bei der Marktmacht der GAFAs.

Richtig, die setzen natürlich auch Algorithmen ein. Prof. Dr. Petra Pohlmann von der Universität Münster verwies zunächst auf die übermäßige Datenerhebung und Nutzung zur Personalisierung durch einen Algorithmus – über das Facebook-Verfahren haben wir hier ja bereits ausführlich berichtet.

Beim Thema algorithmische Preissetzung kommen einerseits ein Preishöhenmissbrauch wie im Fall der Lufthansa Tickets nach der Air Berlin-Insolvenz in Betracht. Andererseits könnte durch den neuen § 19a Abs. 2 Nr. 2 GWB-RefE auch eine Preisunterbietung mit Verdrängungsabsicht untersagt werden. Eine Preisdifferenzierung durch Algorithmen könnte über § 19 Abs. 1, 2 Nr. 3 GWB untersagt werden. Die ökonomische Bewertung von Preisdifferenzierungen ist zwar indifferent, es könnte aber über die Privatautonomie des Verbrauchers als neue Schadenskategorie nachgedacht werden. Anknüpfungspunkt wäre die Kenntnis des Verbrauchers über die Preisbildung als Voraussetzung für seine Entscheidung am Markt. Die algorithmische Selbstbevorzugung von eigenen Diensten ist auch ein Thema mit dem sich Wettbewerbsbehörden bereits auseinandergesetzt haben, so etwa im Google Shopping Fall oder der Ermittlungen der italienischen Kartellbehörde AGCM gegen Amazon. Diesem Verhalten wird mit dem § 19a Abs. 2 Nr. 1 GWB-RefE ebenfalls eine eigene Kategorie gewidmet. Hier sollte insbesondere die Irreführung der Verbraucher berücksichtigt werden.

Gab es auch eine Diskussion?

Die Zeit zwischen den Panels war relativ knapp bemessen. Am Ende gab es noch eine Paneldiskussion mit Prof. Dr. Ulrich Schwalbe (Universität Hohenheim), Prof. Dr. Stefan Thomas (Universität Tübingen) und Prof. Dr. Maik Wolf (Freie Universität Berlin). Thomas griff nochmal das Phänomen der tacit collusion auf und machte einen eigenen Vorschlag zur Bewältigung des Problems. Er plädiert für die Subsumtion unter das geltende Kartellverbot beim Vorliegen bestimmter „Informationssignale“. Dies sei nach teleologischer Auslegung möglich. In eine ähnliche Kerbe schlug Wolf, der aufgrund der gesteigerten Kollusionsgefahr auf algorithmengeprägten Märkten für eine Neuinterpretation des Begriffs der abgestimmten Verhaltensweise warb. Ökonom Schwalbe hingegen stellte grundsätzlich in Frage, ob selbstlernende Algorithmen auf realen Märkten überhaupt zu einem erhöhten Kollusionsrisiko führen. Aktuelle Studien hätten gezeigt, dass eine Kollusion zwischen selbstlernenden Algorithmen ein mögliches Marktergebnis ist. Allerdings beruhen diese Studien auf einer Simulation, die von Ein-Produkt-Firmen, einem Preis, einer simplen Preiskalkulation und gleichen oder ähnlichen Algorithmen ausgehen. Das seien eher unrealistische Annahmen. Zudem gebe es hunderte von Firmen die Preissetzungsalgorithmen anbieten. Nur große Plattformen verwendeten im eigenen Unternehmen hergestellte Algorithmen. Die Wahrscheinlichkeit, dass alle Unternehmen auf einem Markt die gleichen Algorithmen verwenden, sei also gering. Unter diesen realen Bedingungen sei eine Kollusion deutlich schwerer zu erreichen als im Modell. Eine Evidenz für eine erhöhte Kollusionsgefahr durch Algorithmen auf realen Märkten gibt es bisher aber nicht.

Do say: „Solche Algorithmen werden ja nicht im Himmel vom lieben Gott geschrieben.“ (Andreas Mundt 2017 zu dem Einwand der Lufthansa, die möglicherweise überhöhten Flugpreise seien vom Algorithmus ausgeworfen worden)

Don’t say: „Houston, we got no problem.“

Next: Die Vorträge sollen als Publikation bei Nomos veröffentlicht werden. Der letzte Band der Reihe ist in diesem Jahr erschienen.

Adrian Deuschle ist Wissenschaftlicher Mitarbeiter am Lehrstuhl für Bürgerliches Recht, deutsches und europäisches Wettbewerbsrecht und Doktorand bei Prof. Dr. Rupprecht Podszun.

---