Kretischer Ruhrgebietsbayer (Cretan West South German): Ich verstehe nichts mehr in diesem tiefblauen Meer!!! (It's all greek to me in this deep blue sea!!!)
Dressur des demokratischen Willens – Wenn Computeralgorithmen Wahlen entscheiden
28.3.2018
digiday.com
Die Mechanismen öffentlicher Aufmerksamkeitserregung und Empörung besitzen eine nicht immer einfach nachvollziehbare Dynamik. Verständlich ist dagegen, dass die Geschäftspraxis der Firma Cambridge Analytica starke öffentliche Abwehrreaktionen hervorrufen. Die Kommentare in Print- und Onlinemedien sind selten so einhellig wie in diesem Fall: Hier wurden die Grundregeln der Demokratie verletzt. Weniger verständlich ist der Zeitpunkt dieser Erregung. Das Gebaren der Firma mit ihrem so unheimlich wie schnöselig auftretenden Chef Alexander Nix waren längst bekannt (auch dass in deren Vorstand lange der ultrarechte Nazi-Sympathisant Steve Bannon sass und dass deren Hauptanteilseigner der Hedge Fonds-Manager Robert Mercer ist, der größte Spender der Trump-Kampagne). Wer es wissen wollte, konnte ohne weiteres in Erfahrung bringen, dass Nix und seine Leute mit Methoden des so genannten „Micro Targeting“ sowohl für Trump als auch für die Brexit-Kampagne aktiv waren und entscheidenden Anteil an ihren so überraschenden wie beklemmenden Wahlsiegen hatten. So dienten Cambridge Analytica und Micro Targeting beispielsweise in meinem Buch Supermacht Wissenschaft vom August 2017 als prominente Beispiele dafür, wie der technogische Wandel die Spielregeln unserer Gesellschaft verändert.
Ein breiter öffentlicher Diskurs über diese Praktiken setzt aber erst jetzt sein. So überrascht (und ernüchtert) man von der späten Reaktion unserer Medien, Politiker und Wirtschaftsführer auf den technologischen Wandel oft auch sein mag, so ermutigend ist, dass die volle Wucht der öffentlichen Entrüstung sich nun diesem Thema zuwendet. Es war höchste Zeit: Wie wir unterdessen mit Hilfe der modernen digitalen Technologien, Big Data und künstlicher Intelligenz (KI) manipuliert werden, bedarf einer breiten politischen und gesellschaftlichen Reaktion, die weit über ein blosses Achselzucken für die üblichen Lügen der grossen Internetfirmen wie Facebook oder Google, dass ihr Datensammeln über uns doch nur dem Allgemeinwohl diene und dass unsere Daten bei ihnen sicher seien, hinausgehen muss. Endlich reagiert die Politik, auch wenn es erst Video-Aufnahmen schlüpfriger Details im Geschäftsgebaren von Cambridge Analytica bedurfte, um dafür den Anstoss zu geben. Denn nicht die skandalöse Manipulation des öffentlichen Willen mit Hilfe von KI und Big Data waren es, die Alexander Nix zum Rücktritt von seinem Posten zwangen, sondern das Bekanntwerden der von seiner Firma verwendeten jahrhundertealten Manipulationstechniken von Sexfallen („honey traps“) und Denunziation.
Bereits vor einiger Zeit prahlten Nix und seine Firma damit, über psychologische Daten von „ca. 220 Millionen Amerikanern mit vier bis fünftausend Datenpunkten für jeden einzelnen von ihnen“ zu verfügen und damit im Jahr 2014 Einfluss auf 44 politische Wahlen in den USA genommen zu haben (was auch eine Zusammenarbeit mit Trumps neuem Rechtsaussen-Sicherheitsberater John Bolten umfasste). Und 2017 war die Firma nach eigenen Angaben massgeblich am Wahlsieg Uhuru Kenyattas beteiligt. Der Kenyattas Wahlsieg vorangegangene Wahlkampf war wie kaum eine Wahl je zuvor von Fake news und Fehlinformationen geprägt, die über Smartphones und soziale Medien ihre Verbreitung fanden.
Die Methode, Daten für politische Zwecke auszunutzen, ist keineswegs neu. Seit Jahrhunderten versuchen Wahlkämpfer die Persönlichkeiten, politischen Ansichten und Neigungen der Wähler zu bestimmen und diese Information zum Nutzen ihrer Kandidaten zu verwenden. Doch zweierlei ist neu und wird die zukünftige Architektur der politischen Macht in demokratischen Gesellschaften massgeblich prägen: das schiere Volumen der verwendeten Daten und die immer intelligenteren Algorithmen, die zwecks Manipulation der Wähler eingesetzt werden. Dass dabei Facebook mit all den Daten, die die Firma über uns sammelt, eine massgelbliche Rolle spielt (aber auch Google, Microsoft und Apple), ist nun endlich in der öffentlichen Diskussion angekommen.
Wie stark wir bereits heute mit Hilfe von Big Data und KI-Algorithmen durchleuchtet werden, ist nur den wenigsten Menschen bekannt. Eine besonders ergiebige Datenquelle für KI-Anwendungen zur Bestimmungen unserer Eigenschaften sind die „Likes“ auf Facebook. Gemäss Studien des Psychometrik-Experten Michal Kosinski innerhalb seines Projektes „myPersonality“ lässt sich aus durchschnittlich 68 Likes eines Users mit Hilfe eines entsprechenden KI-Algorithmus mit 95-prozentiger Treffsicherheit vorhersagen, welche Hautfarbe, mit 88-prozentige Wahrscheinlichkeit, welche sexuelle Orientierung und mit 85 Prozent Treffsicherheit, welche politische Orientierung diese Person hat. Aber auch Dinge wie Drogenkonsum, Religionszugehörigkeit und sogar Intelligenzquotient und Familienverhältnisse in der Kindheit lassen sich so ermitteln. Kosinski behauptet: Sein Algorithmus kann anhand von zehn Facebook-Likes Charakter und Verhalten einer Person besser einschätzen als ein durchschnittlicher Arbeitskollege, mit 70 Likes besser als ein Freund, mit 150 besser als die Eltern und mit 300 Likes besser als deren Lebensgefährte. Und mit noch mehr Likes kann die Maschine sogar die Person bei ihrer Selbsteinschätzung übertreffen. Ein weiteres Beispiel für die Macht der Daten: im Frühjahr 2016 beschrieb der KI-Experte Eric Horvitz von Microsoft Research, wie ein Computerprogramm allein anhand öffentlich verfügbarer Daten zu dem Schluss kommen kann, welche Personen in Zukunft mit einer gewissen Wahrscheinlichkeit Opfer bestimmter Krankheiten werden. Horvitz zeigte zum Beispiel auf, wie intelligente Algorithmen aus Twitter- und Facebook-Meldungen einzelner Nutzer eine beginnende Depression erkennen können – noch bevor der Betroffene selber davon weiss.
Spätestens hier sollte jedem klar sein, dass diese Fähigkeiten von KI und Big Data ein gewaltiges Gefahrenpotential bergen. Denn von Kenntnis unserer Persönlichkeit ist es nur ein kurzer Weg zur Beeinflussung unseres Verhaltens, im politischen Zusammenhang, wie wir wählen. Dass wir mittels Algorithmen und Big Data beeinflussbar sind, zeigt bereits der gewaltige kommerzielle Erfolg Facebooks. Wäre dem nicht so, könnte Facebook mit personalisierter Digital-Werbung nicht Dutzende von Milliarden Dollar verdienen. Spätestens seit der Brexit-Abstimmung und der US-Präsidentenwahl 2016 ist aber klar, dass KI auch in politischen Auseinandersetzungen und demokratischen Wahlkämpfen eine immer bedeutendere Rolle spielt. Algorithmen wie der von Michal Kosinski lassen sich nämlich auch umgekehrt benutzen: Zur Suche nach bestimmten Profilen, beispielsweise nach ängstlichen, frustrierten oder zornigen Arbeitnehmern, nach Waffennarren und Rechtsextremen – oder auch: nach unentschlossenen Wähler. Und von dort ist es nicht mehr weit, Menschen zu manipulieren und sie in ihrem Wahlverhalten zu beeinflussen. So lassen sich die mit Hilfe von KI erstellten Profile dazu verwenden, jedem Wähler seine eigene auf ihn gemünzte Botschaft zukommen zu lassen. Potenziellen Clinton-Wählern – Latinos und Afroamerikaner, skeptische Liberale und Linke, junge Frauen – wurden 2016 massenweise „Nachrichten“ zugesandt, inklusive schamloser Lügen, über die Interessenkonflikte der Clinton-Stiftung oder angeblicher illegaler Machenschaften der demokratischen Präsidentschaftskandidatin, mit dem Ziel, sie davon abzuhalten, Hillary Clinton zu wählen. Zu diesem Zweck wurden computergenerierte automatisierte Skripte eingesetzt, so genannte „Bots“, die eine grosse Menge künstlich generierten Contents in sozialen Medien wie Twitter und Facebook veröffentlichten. Empfängliche User wurden so systematisch mit propagandistischen Beiträgen und dreisten Lügen bombardiert (z.B. dass der Papst Trump unterstütze oder dass Hillary Clinton einem Ring von Kinderpornografen vorstehe). Es gab sogar „Hispanic bots“, die vorspiegelten, für die Mehrheit der Latinos zu sprechen und Trump zu unterstützen (wobei allseits bekannt war, dass sich die Latinos in grosser Mehrheit gegen ihn waren). All diese Massnahmen zeigten Erfolg: die ländlichen Wählerschaft (traditionell republikanische Wähler) verzeichnete signifikante Zunahmen, afroamerikanische Stimmen dagegen einen Rückgang. Und unerwarteterweise wählten ein Drittel der Latinos Trump, trotz zahlreicher öffentlichen Beschimpfungen dieser Gruppe von seiner Seite.
Dies alles ist aber erst der Anfang, so Horvitz. Wie schnell und vor allem wie leicht die Algorithmen sozialer Medien uns zu extremen Positionen bringen und die Radikalisierung junger Menschen fördert, zeigt ein Experiment des französischen Informatikers Kave Salamatian. Dieser legte zahlreiche Scheinprofile bei Facebook an und liess studentische Mitarbeiter verschiedene Nachrichten und Informationen mit harmlosen Themen mit Likes markieren. Nach drei Tagen hatten die Mitarbeiter ihren Teil zum Experiment beigetragen. Von jetzt an liess Salamatian die Accounts automatisch jeden neuen Freund akzeptieren und jeden Beitrag, der ihnen präsentiert wurde, mit „Gefällt mir“ beantworten. Das Ergebnis war so erstaunlich wie unheimlich: Nach weiteren drei Tagen hatten zehn der Accounts direkten Kontakt zum terroristischen IS, erste Recruiter meldeten sich bei den „Schützlingen“.
Auch in Bezug auf die Verwendung unserer Daten für kommerzielle oder politische Zwecke ist der Skandal um Cambridge Analytica wohl nur die Spitze eines schnell wachsenden Eisbergs. Unzählige weitere Firmen haben via Facebook Zugang zu unseren Daten. Und eine wohl noch grössere Macht als Facebook hat der Internet-Riese Google: Sollte die Firma in Zukunft beispielsweise einen bestimmten Präsidentschaftsbewerber ausbooten wollen, könnte sie kurzerhand die Algorithmen modifizieren und so seinen Nutzern nur entsprechend gefilterte Informationen zukommen lassen. Mit diesen Möglichkeiten der Einflussnahme, wie sie die grossen amerikanischen Internetfirmen besitzen und wie sie von skrupellosen Firmen wie Cambridge Analytica ausgenutzt werden, steht unsere Demokratie selbst auf dem Prüfstand. Die digitale Revolution hat längst ihr Immunsystem angegriffen und unser Ortungssystem für richtig und falsch, für wahre oder fake News durcheinandergebracht.
Die Menschen taten sich immer schon schwer, mit neuen Medien kritisch umzugehen. Wir amüsieren uns zu Tode, prophezeite bereits in den 1980er Jahren der Philosoph Neil Postman (und beschrieb damit unsere Verhältnis zum TV). Aus heutiger Sicht eine geniale Vorwegnahme der Entwicklungen – auch wenn Postman die manipulative Kraft der sozialen Medien noch nicht kannte. Und man kann noch weiter zurückgehen: Das neu entwickelte Radio war in den späten 1920er und 1930er Jahren ein wesentliches Propagandainstrument der Nazis.
Dass Algorithmen der künstlichen Intelligenz massiv auf unsere alltägliche Erfahrung, das soziale Leben und das politische Geschehen Einfluss nehmen, dämmert uns so langsam. Doch die Tragweite dieser Entwicklung haben wir noch bei weitem nicht erfasst. Längst fordern KI-Experten wie Horvitz eine entsprechende Gesetzgebung, die als „ein wichtiger Teil der rechtlichen Landschaft der Zukunft helfen soll, Freiheit, Privatsphäre und das Allgemeinwohl zu bewahren.“
Big Data, Nudging, Verhaltenssteuerung: Droht uns die Automatisierung der Gesellschaft durch Algorithmen und künstliche Intelligenz? Ein gemeinsamer Appell zur Sicherung von Freiheit und Demokratie.
„Aufklärung ist der Ausgang des Menschen aus seiner selbstverschuldeten Unmündigkeit. Unmündigkeit ist das Unvermögen, sich seines Verstandes ohne Leitung eines anderen zu bedienen.“ Immanuel Kant, Was ist Aufklärung? (1784)Die digitale Revolution ist in vollem Gange. Wie wird sie unsere Welt verändern? Jedes Jahr verdoppelt sich die Menge an Daten, die wir produzieren. Mit anderen Worten: Allein 2015 kommen so viele Daten hinzu wie in der gesamten Menschheitsgeschichte bis 2014 zusammen. Pro Minute senden wir Hunderttausende von Google-Anfragen und Facebookposts. Sie verraten, was wir denken und fühlen. Bald sind die Gegenstände um uns herum mit dem „Internet der Dinge“ verbunden, vielleicht auch unsere Kleidung. In zehn Jahren wird es schätzungsweise 150 Milliarden vernetzte Messsensoren geben, 20-mal mehr als heute Menschen auf der Erde. Dann wird sich die Datenmenge alle zwölf Stunden verdoppeln. Viele Unternehmen versuchen jetzt, diese „Big Data“ in Big Money zu verwandeln.
Alles wird intelligent: Bald haben wir nicht nur Smartphones, sondern auch Smart Homes, Smart Factories und Smart Cities. Erwarten uns am Ende der Entwicklung Smart Nations und ein smarter Planet?
In der Tat macht das Gebiet der künstlichen Intelligenz atemberaubende Fortschritte. Insbesondere trägt es zur Automatisierung der Big-Data-Analyse bei. Künstliche Intelligenz wird nicht mehr Zeile für Zeile programmiert, sondern ist mittlerweile lernfähig und entwickelt sich selbstständig weiter. Vor Kurzem lernten etwa Googles DeepMind-Algorithmen autonom, 49 Atari-Spiele zu gewinnen. Algorithmen können nun Schrift, Sprache und Muster fast so gut erkennen wie Menschen und viele Aufgaben sogar besser lösen. Sie beginnen, Inhalte von Fotos und Videos zu beschreiben. Schon jetzt werden 70 Prozent aller Finanztransaktionen von Algorithmen gesteuert und digitale Zeitungsnews zum Teil automatisch erzeugt. All das hat radikale wirtschaftliche Konsequenzen: Algorithmen werden in den kommenden 10 bis 20 Jahren wohl die Hälfte der heutigen Jobs verdrängen. 40 Prozent der Top-500-Firmen werden in einem Jahrzehnt verschwunden sein.
Auf die Automatisierung der Produktion und die Erfindung selbstfahrender Fahrzeuge folgt nun die Automatisierung der Gesellschaft
Es ist absehbar, dass Supercomputer menschliche Fähigkeiten bald in fast allen Bereichen übertreffen werden – irgendwann zwischen 2020 und 2060. Inzwischen ruft dies alarmierte Stimmen auf den Plan. Technologievisionäre wie Elon Musk von Tesla Motors, Bill Gates von Microsoft und Apple-Mitbegründer Steve Wozniak warnen vor Superintelligenz als einer ernsten Gefahr für die Menschheit, vielleicht bedrohlicher als Atombomben. Ist das Alarmismus?
Größter historischer Umbruch seit Jahrzehnten
Fest steht: Die Art, wie wir Wirtschaft und Gesellschaft organisieren, wird sich fundamental ändern. Wir erleben derzeit den größten historischen Umbruch seit dem Ende des Zweiten Weltkriegs: Auf die Automatisierung der Produktion und die Erfindung selbstfahrender Fahrzeuge folgt nun die Automatisierung der Gesellschaft. Damit steht die Menschheit an einem Scheideweg, bei dem sich große Chancen abzeichnen, aber auch beträchtliche Risiken. Treffen wir jetzt die falschen Entscheidungen, könnte das unsere größten gesellschaftlichen Errungenschaften bedrohen.
Kostenloses Probeheft!
In den 1940er Jahren begründete der amerikanische Mathematiker Norbert Wiener (1894-1964) die Kybernetik. Ihm zufolge lässt sich das Verhalten von Systemen mittels geeigneter Rückkopplungen (Feedbacks) kontrollieren. Schon früh schwebte manchen Forschern eine Steuerung von Wirtschaft und Gesellschaft nach diesen Grundsätzen vor, aber lange fehlte die nötige Technik dazu.
Heute gilt Singapur als Musterbeispiel einer datengesteuerten Gesellschaft. Was als Terrorismusabwehrprogramm anfing, beeinflusst nun auch die Wirtschafts- und Einwanderungspolitik, den Immobilienmarkt und die Lehrpläne für Schulen. China ist auf einem ähnlichen Weg (siehe Kasten am Ende des Textes). Kürzlich lud Baidu, das chinesische Äquivalent von Google, das Militär dazu ein, sich am China-Brain-Projekt zu beteiligen. Dabei lässt man so genannte Deep-Learning-Algorithmen über die Suchmaschinendaten laufen, die sie dann intelligent auswerten. Darüber hinaus ist aber offenbar auch eine Gesellschaftssteuerung geplant. Jeder chinesische Bürger soll laut aktuellen Berichten ein Punktekonto („Citizen Score“) bekommen, das darüber entscheiden soll, zu welchen Konditionen er einen Kredit bekommt und ob er einen bestimmten Beruf ausüben oder nach Europa reisen darf. In diese Gesinnungsüberwachung ginge zudem das Surfverhalten des Einzelnen im Internet ein – und das der sozialen Kontakte, die man unterhält (siehe „Blick nach China“).
Mit sich häufenden Beurteilungen der Kreditwürdigkeit und den Experimenten mancher Onlinehändler mit individualisierten Preisen wandeln auch wir im Westen auf ähnlichen Pfaden. Darüber hinaus wird immer deutlicher, dass wir alle im Fokus institutioneller Überwachung stehen, wie etwa das 2015 bekannt gewordene „Karma Police“-Programm des britischen Geheimdienstes zur flächendeckenden Durchleuchtung von Internetnutzern demonstriert. Wird Big Brother nun tatsächlich Realität? Und: Brauchen wir das womöglich sogar im strategischen Wettkampf der Nationen und ihrer global agierenden Unternehmen?
Programmierte Gesellschaft, programmierte Bürger
Angefangen hat es scheinbar harmlos: Schon seit einiger Zeit bieten uns Suchmaschinen und Empfehlungsplattformen personalisierte Vorschläge zu Produkten und Dienstleistungen an. Diese beruhen auf persönlichen und Metadaten, welche aus früheren Suchanfragen, Konsum- und Bewegungsverhalten sowie dem sozialen Umfeld gewonnen werden. Die Identität des Nutzers ist zwar offiziell geschützt, lässt sich aber leicht ermitteln. Heute wissen Algorithmen, was wir tun, was wir denken und wie wir uns fühlen – vielleicht sogar besser als unsere Freunde und unsere Familie, ja als wir selbst. Oft sind die unterbreiteten Vorschläge so passgenau, dass sich die resultierenden Entscheidungen wie unsere eigenen anfühlen, obwohl sie fremde Entscheidungen sind. Tatsächlich werden wir auf diese Weise immer mehr ferngesteuert. Je mehr man über uns weiß, desto unwahrscheinlicher werden freie Willensentscheidungen mit offenem Ausgang.
Auch dabei wird es nicht bleiben. Einige Softwareplattformen bewegen sich in Richtung „Persuasive Computing„. Mit ausgeklügelten Manipulationstechnologien werden sie uns in Zukunft zu ganzen Handlungsabläufen bringen können, sei es zur schrittweisen Abwicklung komplexer Arbeitsprozesse oder zur kostenlosen Generierung von Inhalten von Internetplattformen, mit denen Konzerne Milliarden verdienen. Die Entwicklung verläuft also von der Programmierung von Computern zur Programmierung von Menschen.
Diese Technologien finden auch in der Politik zunehmend Zuspruch. Unter dem Stichwort Nudging versucht man, Bürger im großen Maßstab zu gesünderem oder umweltfreundlicherem Verhalten „anzustupsen“ – eine moderne Form des Paternalismus. Der neue, umsorgende Staat interessiert sich nicht nur dafür, was wir tun, sondern möchte auch sicherstellen, dass wir das Richtige tun. Das Zauberwort ist „Big Nudging“, die Kombination von Big Data und Nudging (siehe „Big Nudging“). Es erscheint manchem wie ein digitales Zepter, mit dem man effizient durchregieren kann, ohne die Bürger in demokratische Verfahren einbeziehen zu müssen. Lassen sich auf diese Weise Partikularinteressen überwinden und der Lauf der Welt optimieren? Wenn ja, dann könnte man regieren wie ein weiser König, der mit einer Art digitalem Zauberstab die gewünschten wirtschaftlichen und gesellschaftlichen Ergebnisse quasi herbeizaubert.
Vorprogrammierte Katastrophen
Doch ein Blick in die relevante wissenschaftliche Literatur zeigt, dass eine gezielte Kontrolle von Meinungen im Sinne ihrer „Optimierung“ an der Komplexität des Problems scheitert. Die Meinungsbildungsdynamik ist voll von Überraschungen. Niemand weiß, wie der digitale Zauberstab, sprich die manipulative Nudging-Technik, richtig zu verwenden ist. Was richtig und was falsch ist, stellt sich oft erst hinterher heraus. So wollte man während der Schweinegrippeepidemie 2009 jeden zur Impfung bewegen. Inzwischen ist aber bekannt, dass ein bestimmter Prozentsatz der Geimpften von einer ungewöhnlichen Krankheit, der Narkolepsie, befallen wurde. Glücklicherweise haben sich nicht mehr Menschen impfen lassen!
Auch mag der Versuch, Krankenversicherte mit Fitnessarmbändern zu verstärkter Bewegung anzuregen, die Anzahl der Herz-Kreislauf-Erkrankungen reduzieren. Am Ende könnte es dafür aber mehr Hüftoperationen geben. In einem komplexen System wie der Gesellschaft führt eine Verbesserung in einem Bereich fast zwangsläufig zur Verschlechterung in einem anderen. So können sich großflächige Eingriffe leicht als schwer wiegende Fehler erweisen.
Unabhängig davon würden Kriminelle, Terroristen oder Extremisten den digitalen Zauberstab früher oder später unter ihre Kontrolle bringen – vielleicht sogar ohne dass es uns auffällt. Denn: Fast alle Unternehmen und Einrichtungen wurden schon gehackt, selbst Pentagon, Weißes Haus und Bundestag. Hinzu kommt ein weiteres Problem, wenn ausreichende Transparenz und demokratische Kontrolle fehlen: die Aushöhlung des Systems von innen. Denn Suchalgorithmen und Empfehlungssysteme lassen sich beeinflussen. Unternehmen können bestimmte Wortkombinationen ersteigern, die in den Ergebnislisten bevorzugt angezeigt werden. Regierungen haben wahrscheinlich Zugriff auf eigene Steuerungsparameter. Bei Wahlen wäre es daher im Prinzip möglich, sich durch Nudging Stimmen von Unentschlossenen zu sichern – eine nur schwer nachweisbare Manipulation. Wer auch immer diese Technologie kontrolliert, kann also Wahlen für sich entscheiden, sich sozusagen an die Macht nudgen.
Innerhalb weniger Jahre hat die rasante Vernetzung der Welt die Komplexität unserer Gesellschaft explosionsartig erhöht. Dies ermöglicht zwar jetzt, auf Grund von „Big Data“ bessere Entscheidungen zu treffen, aber das althergebrachte Prinzip der Kontrolle von oben funktioniert immer weniger. Verteilte Steuerungsansätze werden immer wichtiger. Nur mittels kollektiver Intelligenz lassen sich noch angemessene Problemlösungen finden.
Mit welchen unerwünschten Nebenwirkungen ist zu rechnen? Damit Manipulation nicht auffällt, braucht es einen so genannten Resonanzeffekt, also Vorschläge, die ausreichend kompatibel zum jeweiligen Individuum sind. Damit werden lokale Trends durch Wiederholung allmählich verstärkt, bis hin zum „Echokammereffekt“: Am Ende bekommt man nur noch seine eigenen Meinungen widergespiegelt. Das bewirkt eine gesellschaftliche Polarisierung, also die Entstehung separater Gruppen, die sich gegenseitig nicht mehr verstehen und vermehrt miteinander in Konflikt geraten. So kann personalisierte Information den gesellschaftlichen Zusammenhalt unabsichtlich zerstören. Das lässt sich derzeit etwa in der amerikanischen Politik beobachten, wo Demokraten und Republikaner zusehends auseinanderdriften, so dass politische Kompromisse kaum noch möglich sind. Die Folge ist eine Fragmentierung, vielleicht sogar eine Zersetzung der Gesellschaft.
Einen Meinungsumschwung auf gesamtgesellschaftlicher Ebene kann man wegen des Resonanzeffekts nur langsam und allmählich erzeugen. Die Auswirkungen treten mit zeitlicher Verzögerung ein, lassen sich dann aber auch nicht mehr einfach rückgängig machen. So können zum Beispiel Ressentiments gegen Minderheiten oder Migranten leicht außer Kontrolle geraten; zu viel Nationalgefühl kann Diskriminierung, Extremismus und Konflikte verursachen. Noch schwerer wiegt der Umstand, dass manipulative Methoden die Art und Weise verändern, wie wir unsere Entscheidungen treffen. Sie setzen nämlich die sonst bedeutsamen kulturellen und sozialen Signale außer Kraft – zumindest vorübergehend. Zusammengefasst könnte der großflächige Einsatz manipulativer Methoden also schwer wiegende gesellschaftliche Schäden verursachen, einschließlich der ohnehin schon verbreiteten Verrohung der Verhaltensweisen in der digitalen Welt. Wer soll dafür die Verantwortung tragen?
Dies wirft rechtliche Fragen auf, die man angesichts der Milliardenklagen gegen Tabakkonzerne, Banken, IT- und Automobilunternehmen in den vergangenen Jahren nicht vernachlässigen sollte. Doch welche Gesetze werden überhaupt tangiert? Zunächst einmal ist klar, dass manipulative Technologien die Entscheidungsfreiheit einschränken. Würde die Fernsteuerung unseres Verhaltens perfekt funktionieren, wären wir im Grunde digitale Sklaven, denn wir würden nur noch fremde Entscheidungen ausführen. Bisher funktionieren manipulative Technologien natürlich nur zum Teil. Jedoch verschwindet unsere Freiheit langsam, aber sicher – langsam genug, dass der Widerstand der Bürger bisher noch gering war.
Die Einsichten des großen Aufklärers Immanuel Kant scheinen jedoch hochaktuell zu sein. Unter anderem stellte er fest, dass ein Staat, der das Glück seiner Bürger zu bestimmen versucht, ein Despot ist. Das Recht auf individuelle Selbstentfaltung kann nur wahrnehmen, wer die Kontrolle über sein Leben hat. Dies setzt jedoch informationelle Selbstbestimmung voraus. Es geht hier um nicht weniger als unsere wichtigsten verfassungsmäßig garantierten Rechte. Ohne deren Einhaltung kann eine Demokratie nicht funktionieren. Ihre Einschränkung unterminiert unsere Verfassung, unsere Gesellschaft und den Staat.
Da manipulative Technologien wie Big Nudging ähnlich wie personalisierte Werbung funktionieren, sind noch weitere Gesetze tangiert. Werbung muss als solche gekennzeichnet werden und darf nicht irreführend sein. Auch sind nicht alle psychologischen Tricks wie etwa unterschwellige Reize erlaubt. So ist es untersagt, ein Erfrischungsgetränk im Kinofilm für eine Zehntelsekunde einzublenden, weil die Werbung dann nicht bewusst wahrnehmbar ist, während sie unterbewusst vielleicht eine Wirkung entfaltet. Das heute gängige Sammeln und Verwerten persönlicher Daten lässt sich außerdem nicht mit dem geltendem Datenschutzrecht in europäischen Ländern vereinen.
Schließlich steht auch die Rechtmäßigkeit personalisierter Preise in Frage, denn es könnte sich dabei um einen Missbrauch von Insiderinformationen handeln. Hinzu kommen mögliche Verstöße gegen den Gleichbehandlungsgrundsatz, das Diskriminierungsverbot und das Wettbewerbsrecht, da freier Marktzugang und Preistransparenz nicht mehr gewährleistet sind. Die Situation ist vergleichbar mit Unternehmen, die ihre Produkte in anderen Ländern billiger verkaufen, jedoch den Erwerb über diese Länder zu verhindern versuchen. In solchen Fällen gab es bisher empfindliche Strafzahlungen.
Mit klassischer Werbung oder Rabattmarken sind personalisierte Werbung und Preise nicht vergleichbar, denn Erstere sind unspezifisch und dringen auch bei Weitem nicht so sehr in unsere Privatsphäre ein, um unsere psychologischen Schwächen auszunutzen und unsere kritische Urteilskraft auszuschalten. Außerdem gelten in der akademischen Welt selbst harmlose Entscheidungsexperimente als Versuche am Menschen und bedürfen der Beurteilung durch eine Ethikkommission, die der Öffentlichkeit Rechenschaft schuldet. Die betroffenen Personen müssen in jedem einzelnen Fall ihre informierte Zustimmung geben. Absolut unzureichend ist dagegen ein Klick zur Bestätigung, dass man einer 100-seitigen Nutzungsbedingung pauschal zustimmt, wie es bei vielen Informationsplattformen heutzutage der Fall ist.
Dennoch experimentieren manipulative Technologien wie Nudging mit Millionen von Menschen, ohne sie darüber in Kenntnis zu setzen, ohne Transparenz und ohne ethische Schranken. Selbst große soziale Netzwerke wie Facebook oder Onlinedating-Plattformen wie OK Cupid haben sich bereits öffentlich zu solchen sozialen Experimenten bekannt. Wenn man unverantwortliche Forschung an Mensch und Gesellschaft vermeiden möchte (man denke etwa an die Beteiligung von Psychologen an den Folterskandalen der jüngsten Vergangenheit), dann benötigen wir dringend hohe Standards, insbesondere wissenschaftliche Qualitätskriterien und einen ethischen Kodex analog zum hippokratischen Eid.
Wurden unser Denken, unsere Freiheit, unsere Demokratie gehackt?
Angenommen, es gäbe eine superintelligente Maschine, die quasi gottgleiches Wissen und übermenschliche Fähigkeiten hätte – würden wir dann ehrfürchtig ihren Anweisungen folgen? Das erscheint durchaus möglich. Aber wenn wir das täten, dann hätten sich die Befürchtungen von Elon Musk, Bill Gates, Steve Wozniak, Stephen Hawking und anderen bewahrheitet: Computer hätten die Kontrolle über die Welt übernommen. Es muss uns klar sein, dass auch eine Superintelligenz irren, lügen, egoistische Interessen verfolgen oder selbst manipuliert werden kann. Vor allem könnte sie sich nicht mit der verteilten, kollektiven Intelligenz der Bevölkerung messen.
Das Denken aller Bürger durch einen Computercluster zu ersetzen, wäre absurd, denn das würde die Qualität der erreichbaren Lösungen dramatisch verschlechtern. Schon jetzt ist klar, dass sich die Probleme in der Welt trotz Datenflut und Verwendung personalisierter Informationssysteme nicht verringert haben – im Gegenteil! Der Weltfrieden ist brüchig. Die langfristige Veränderung des Klimas könnte zum größten Verlust von Arten seit dem Aussterben der Dinosaurier führen. Die Auswirkungen der Finanzkrise auf Wirtschaft und Gesellschaft sind sieben Jahre nach ihrem Beginn noch lange nicht bewältigt. Cyberkriminalität richtet einen jährlichen Schaden von drei Billionen Dollar an. Staaten und Terroristen rüsten zum Cyberkrieg.
In einer sich schnell verändernden Welt kann auch eine Superintelligenz nie perfekt entscheiden – die Datenmengen wachsen schneller als die Prozessierbarkeit, und die Übertragungsraten sind begrenzt. So werden lokales Wissen und Fakten außer Acht gelassen, die jedoch von Bedeutung sind, um gute Lösungen zu erzielen. Verteilte, lokale Steuerungsverfahren sind zentralen Ansätzen oft überlegen, vor allem in komplexen Systemen, deren Verhalten stark variabel, kaum voraussagbar und nicht in Echtzeit optimierbar ist. Das gilt schon für die Ampelsteuerung in Städten, aber noch viel mehr für die sozialen und ökonomischen Systeme unserer stark vernetzten, globalisierten Welt.
Weiterhin besteht die Gefahr, dass die Manipulation von Entscheidungen durch mächtige Algorithmen die Grundvoraussetzung der „kollektiven Intelligenz“ untergräbt, die sich an die Herausforderungen unserer komplexen Welt flexibel anpassen kann. Damit kollektive Intelligenz funktioniert, müssen Informationssuche und Entscheidungsfindung der Einzelnen unabhängig erfolgen. Wenn unsere Urteile und Entscheidungen jedoch durch Algorithmen vorgeben werden, führt das im wahrsten Sinne des Wortes zur Volksverdummung. Vernunftbegabte Wesen werden zu Befehlsempfängern degradiert, die reflexhaft auf Stimuli reagieren. Das reduziert die Kreativität, weil man weniger „out of the box“ denkt.
Anders gesagt: Personalisierte Information baut eine „filter bubble“ um uns herum, eine Art digitales Gedankengefängnis. In letzter Konsequenz würde eine zentrale, technokratische Verhaltens- und Gesellschaftssteuerung durch ein superintelligentes Informationssystem eine neue Form der Diktatur bedeuten. Die von oben gesteuerte Gesellschaft, die unter dem Banner des „sanften Paternalismus“ daherkommt, ist daher im Prinzip nichts anderes als ein totalitäres Regime mit rosarotem Anstrich.
Die Entwicklung verläuft von der Programmierung von Computern zur Programmierung von Menschen
In der Tat zielt „Big Nudging“ auf die Gleichschaltung vieler individueller Handlungen und auf eine Manipulation von Sichtweisen und Entscheidungen. Dies rückt es in die Nähe der gezielten Entmündigung des Bürgers durch staatlich geplante Verhaltenssteuerung. Wir befürchten, dass die Auswirkungen langfristig fatal sein könnten, insbesondere wenn man die oben erwähnte, teils kulturzerstörende Wirkung bedenkt.
Wir stehen an einem Scheideweg: Würden die immer mächtiger werdenden Algorithmen unsere Selbstbestimmung einschränken und von wenigen Entscheidungsträgern kontrolliert, würden wir in eine Art Feudalismus 2.0 zurückfallen, da wichtige gesellschaftliche Errungenschaften verloren gingen. Aber wir haben jetzt die Chance, mit den richtigen Weichenstellungen den Weg zu einer Demokratie 2.0 einzuschlagen, von der wir alle profitieren werden.
Trotz des harten globalen Wettbewerbs tun Demokratien gut daran, ihre in Jahrhunderten erarbeiteten Errungenschaften nicht über Bord zu werfen. Gegenüber anderen politischen Regimes haben die westlichen Demokratien den Vorteil, dass sie mit Pluralismus und Diversität bereits umzugehen gelernt haben. Jetzt müssen sie nur noch stärker davon profitieren lernen.
In Zukunft werden jene Länder führend sein, die eine gute Balance von Wirtschaft, Staat und Bürgern erreichen. Dies erfordert vernetztes Denken und den Aufbau eines Informations-, Innovations-, Produkte- und Service-„Ökosystems“. Hierfür ist es nicht nur wichtig, Beteiligungsmöglichkeiten zu schaffen, sondern auch Vielfalt zu fördern. Denn es gibt keine Methode, um zu ermitteln, was die beste Zielfunktion ist: Soll man das Bruttosozialprodukt optimieren oder Nachhaltigkeit? Macht oder Frieden? Lebensdauer oder Zufriedenheit? Oft weiß man erst hinterher, was vorteilhaft gewesen wäre. Indem sie verschiedene Ziele zulässt, ist eine pluralistische Gesellschaft besser in der Lage, mit verschiedenen Herausforderungen zurechtzukommen.
Zentralisierte Top-down-Kontrolle ist eine Lösung der Vergangenheit, die sich nur für Systeme geringer Komplexität eignet. Deshalb sind föderale Systeme und Mehrheitsentscheidungen die Lösungen der Gegenwart. Mit der wirtschaftlichen und kulturellen Entwicklung nimmt die gesellschaftliche Komplexität jedoch weiter zu. Die Lösung der Zukunft lautet kollektive Intelligenz: Citizen Science, Crowd Sourcing und Online-Diskussionsplattformen sind daher eminent wichtige neue Ansätze, um mehr Wissen, Ideen und Ressourcen nutzbar zu machen.
Kollektive Intelligenz benötigt einen hohen Grad an Diversität. Diese wird jedoch durch heutige personalisierte Informationssysteme zu Gunsten der Verstärkung von Trends reduziert. Soziodiversität ist genauso wichtig wie Biodiversität. Auf ihr beruhen nicht nur kollektive Intelligenz und Innovation, sondern auch gesellschaftliche Resilienz – also die Fähigkeit, mit unerwarteten Schocks zurechtzukommen. Die Verringerung der Soziodiversität reduziert oft auch die Funktions- und Leistungsfähigkeit von Wirtschaft und Gesellschaft. Dies ist der Grund, warum totalitäre Regimes oft in Konflikte mit ihren Nachbarn geraten. Typische Langzeitfolgen sind politische Instabilitäten und Kriege, wie sie in unserer Geschichte immer wieder auftraten. Pluralität und Partizipation sind also nicht in erster Linie als Zugeständnisse an die Bürger zu sehen, sondern als maßgebliche Funktionsvoraussetzungen leistungsfähiger, komplexer, moderner Gesellschaften.
Zusammenfassend kann man sagen: Wir stehen an einem Scheideweg. Big Data, künstliche Intelligenz, Kybernetik und Verhaltensökonomie werden unsere Gesellschaft prägen – im Guten wie im Schlechten. Sind solche weit verbreiteten Technologien nicht mit unseren gesellschaftlichen Grundwerten kompatibel, werden sie früher oder später großflächigen Schaden anrichten. So könnten sie zu einer Automatisierung der Gesellschaft mit totalitären Zügen führen. Im schlimmsten Fall droht eine zentrale künstliche Intelligenz zu steuern, was wir wissen, denken und wie wir handeln. Jetzt ist daher der historische Moment, den richtigen Weg einzuschlagen und von den Chancen zu profitieren, die sich dabei bieten. Wir fordern deshalb die Einhaltung folgender Grundprinzipien:
die Funktion von Informationssystemen stärker zu dezentralisieren;
informationelle Selbstbestimmung und Partizipation zu unterstützen;
Transparenz für eine erhöhte Vertrauenswürdigkeit zu verbessern;
Informationsverzerrungen und -verschmutzung zu reduzieren;
von den Nutzern gesteuerte Informationsfilter zu ermöglichen;
gesellschaftliche und ökonomische Vielfalt zu fördern;
die Fähigkeit technischer Systeme zur Zusammenarbeit zu verbessern;
digitale Assistenten und Koordinationswerkzeuge zu erstellen;
kollektive Intelligenz zu unterstützen; und
die Mündigkeit der Bürger in der digitalen Welt zu fördern – eine „digitale Aufklärung“.
Mit dieser Agenda würden wir alle von den Früchten der digitalen Revolution profitieren: Wirtschaft, Staat und Bürger gleichermaßen. Worauf warten wir noch?
Blick nach China: Sieht so die Zukunft der Gesellschaft aus?
Wie würden die Möglichkeiten der Verhaltens- und Gesellschaftssteuerung unser Leben verändern? Das nun in China umgesetzte Konzept eines Citizen Scores gibt uns eine Vorstellung davon: Durch Vermessung der Bürger auf einer eindimensionalen Rankingskala ist nicht nur eine umfassende Überwachung geplant. Da die Punktezahl einerseits von den Clicks im Internet und politischem Wohlverhalten abhängt, andererseits aber die Kreditkonditionen, mögliche Jobs und Reisevisa bestimmt, geht es auch um die Bevormundung der Bevölkerung und ihre soziale Kontrolle.
Weiterhin beeinflusst das Verhalten der Freunde und Bekannten die Punktezahl, womit das Prinzip der Sippenhaft zum Einsatz kommt: Jeder wird zum Tugendwächter und zu einer Art Blockwart; Querdenker werden isoliert. Sollten sich ähnliche Prinzipien in demokratischen Staaten verbreiten, wäre es letztlich unerheblich, ob der Staat die Regeln dafür festlegt oder einflussreiche Unternehmen. In beiden Fällen wären die Säulen der Demokratie unmittelbar bedroht:
Durch Verfolgen und Vermessen aller Aktivitäten, die digitale Spuren hinterlassen, entsteht ein gläserner Bürger, dessen Menschenwürde und Privatsphäre auf der Strecke bleiben.
Entscheidungen wären nicht mehr frei, denn eine falsche Wahl aus Sicht der Regierung oder Firma, welche die Kriterien des Punktesystems festlegt, würde bestraft. Die Autonomie des Individuums wäre vom Prinzip her abgeschafft.
Jeder kleine Fehler würde geahndet, und kein Mensch wäre mehr unverdächtig. Das Prinzip der Unschuldsvermutung wäre hinfällig. Mit „predictive policing“ könnten sogar voraussichtliche Regelverletzungen bestraft werden.
Die zu Grunde liegenden Algorithmen können aber gar nicht völlig fehlerfrei arbeiten. Damit würde das Prinzip von Fairness und Gerechtigkeit einer neuen Willkür weichen, gegen die man sich wohl kaum mehr wehren könnte.
Mit der externen Vorgabe der Zielfunktion wäre die Möglichkeit zur individuellen Selbstentfaltung abgeschafft und damit auch der demokratische Pluralismus.
Lokale Kultur und soziale Normen wären nicht mehr der Maßstab für angemessenes, situationsabhängiges Verhalten.
Eine Steuerung der Gesellschaft durch eine eindimensionale Zielfunktion würde zu Konflikten und damit zu einem Verlust von Sicherheit führen. Es wären schwer wiegende Instabilitäten zu erwarten, wie wir sie von unserem Finanzsystem bereits kennen.
Eine solche Gesellschaftssteuerung wendet sich ab vom Ideal des selbstverantwortlichen Bürgers, hin zu einem Untertan im Sinne eines Feudalismus 2.0. Dies ist den demokratischen Grundwerten diametral entgegengesetzt. Es ist daher Zeit für eine Aufklärung 2.0, die in einer Demokratie 2.0 mündet, basierend auf digitaler Selbstbestimmung. Das erfordert demokratische Technologien: Informationssysteme, die mit den demokratischen Prinzipien vereinbar sind – andernfalls werden sie unsere Gesellschaft zerstören.
Weitere Artikel des Digitalen Manifestes finden Sie hier:
digiday.com 
