Die Kernideen
Angriff der Algorithmen
Warum wird eine gute Lehrerin auf Beschluss eines Programms entlassen, und warum zahlt ein Fahrer mit makelloser Vergangenheit mehr für die Versicherung als ein Fahrer, der wegen Trunkenheit am Steuer verurteilt wurde? Cathy O'Neil, Mathematikerin und früher in einem Hedgefonds tätig, zeigt, wie Modelle, die niemand prüfen kann, entscheiden, wen man einstellt, wem man einen Kredit gibt und wer eine längere Strafe bekommt. Du erfährst, an welchen drei Merkmalen man einen gefährlichen Algorithmus erkennt, und lernst, hinter einer unparteiischen Zahl jemandes Meinung zu sehen.
Für wen
Für alle, die schon einmal von einem Programm bewertet wurden: bei der Bewerbung, in der Bank, bei der Versicherung oder in der Schule. Und für alle, die selbst Rankings, Berichte und Modelle bauen und nicht wollen, dass daraus Waffen werden.
Die Privilegierten werden, wie wir noch oft sehen werden, von Menschen bearbeitet, die Massen von Maschinen.
Die beste Lehrerin, die von einem Programm entlassen wurde
2011 wurde in Washington Sarah Wysocki entlassen, eine Lehrerin für fünfte Klassen. Der Schulleiter lobte ihren Unterricht, die Eltern waren zufrieden, in einer Beurteilung hieß es, sie sei eine der besten Lehrerinnen, die der Verfasser je erlebt habe. Aber die Entscheidung trafen nicht sie. Getroffen hat sie eine Punktzahl, die ein Computersystem zur Bewertung von Lehrern vergeben hatte. Aufgrund derselben Punktzahl wurden mit ihr mehr als zweihundert weitere Menschen entlassen. Warum das Programm anders entschied als alle, die ihre Arbeit gesehen hatten, konnte niemand klar erklären. Auf diese Frage kommen wir noch zurück.
Cathy O'Neil ist Mathematikerin und hat in Harvard promoviert. Sie unterrichtete, ging dann zum Hedgefonds D.E. Shaw, um Modelle für den Finanzmarkt zu bauen. Nach der Krise von 2008 wurde sie zu einer der bekanntesten Kritikerinnen der Art, wie Mathematik auf Menschen angewandt wird. 2016 erschien dieses Buch.
O'Neils wichtigste Entdeckung ist eine besondere Art von Modellen, die über das Schicksal von Menschen entscheiden. Solchen Modellen gab sie einen Namen: Mathevernichtungswaffe, in Anlehnung an Massenvernichtungswaffe. Eine solche Waffe hat drei Merkmale. Sie ist undurchsichtig: Der Mensch weiß nicht, wie genau er bewertet wurde. Sie ist groß angelegt: Ein und dieselbe Berechnung wird auf Millionen angewandt. Und sie richtet Schaden an, meist bei denen, die ohnehin die wenigsten Möglichkeiten haben.
Als Nächstes kommen Geschichten aus Schulen, Gerichten, Banken, Personalabteilungen und sogar aus Wahlen. In jeder entscheidet eine Zahl, der alle glauben, still über das Schicksal eines Menschen. Du lernst, jeder Bewertung unbequeme Fragen zu stellen, und siehst, wo sich hinter einer objektiven Punktzahl die Meinung von jemandem versteckt.
Das Abendessen für die Kinder ist auch ein mathematisches Modell
O'Neil beginnt mit einer ganz häuslichen Szene. Jeden Abend entscheidet sie, was sie der Familie zu essen gibt. In ihrem Kopf steckt ein Modell: wer was mag, was im Kühlschrank liegt, was die Lebensmittel kosten, welcher Tag heute ist. Wenn die Kinder das Gesicht verziehen oder um Nachschlag bitten, verfeinert sich das Modell wie von selbst.
Das Interessanteste daran ist, was als Erfolg gilt. Die Kinder würden mit Freude jeden Tag die süßen Teigtaschen Pop-Tarts essen. Wenn ihre Freude als Erfolg gälte, würde das Modell sie mit Süßem füttern. Aber für O'Neil ist Erfolg, dass die Kinder satt sind und auch Gemüse essen. Die Definition von Erfolg ist eine Wahl, keine Berechnung, und sie trifft derjenige, der das Modell baut.
Daher kommt ihre berühmte Formel: Modelle sind Meinungen, eingebettet in Mathematik. Jedes Modell vereinfacht die Welt und entscheidet, was wichtig ist und was man weglassen kann. An der Vereinfachung selbst ist nichts Schlechtes: Ohne sie ist ein Modell nutzlos. Gefährlich ist etwas anderes: wenn die Meinung von jemandem als unparteiische Zahl ausgegeben wird.
Ein Gegenbeispiel findet die Autorin im Baseball. Dort sind die Modelle durchsichtig: Die Statistik sieht jeder Fan. Es gibt viele Daten, sie beschreiben das Spiel selbst, und jedes Spiel zeigt, ob sich das Modell geirrt hat. Ein gutes Modell erfährt ständig, wo es falschlag. Ein schlechtes erfährt es nie.
Über den Autor
Catherine (Cathy) O'Neil ist eine amerikanische Mathematikerin, die in Harvard promoviert hat. Sie lehrte am Barnard College, arbeitete als Analystin in einem Hedgefonds und wurde nach der Krise von 2008 zu einer der bekanntesten Kritikerinnen undurchsichtiger Algorithmen.
Alle Bücher des Autors: Cathy O'Neil
Begriffe aus dem Buch
- Taylor
- Obama
- Pop-Tarts
- Bipolare Störung
- Hedgefonds
- Clifford
- Starbucks
- Ratingagenturen
- FICO
- Rückkopplungsschleife
- Rückfall
- Wysocki: Sarah Wysocki, eine Lehrerin aus Washington, die 2011 aufgrund ihrer Punktzahl im Lehrerbewertungssystem IMPACT entlassen wurde. Ihre Geschichte eröffnet das Buch.
- D.E. Shaw: Ein amerikanischer Hedgefonds, der dafür bekannt ist, mit Hilfe mathematischer Modelle zu handeln. O'Neil arbeitete dort ab 2007 als Analystin.
- Mathevernichtungswaffe: Ein Bild aus dem Buch, kein wissenschaftlicher Begriff: So nennt O'Neil Modelle, die undurchsichtig sind, massenhaft eingesetzt werden und Schaden anrichten.
- IMPACT: Das System zur Bewertung von Lehrern an den Schulen von Washington, eingeführt 2009. Die Hälfte der Punktzahl einer Lehrkraft lieferte darin das Mehrwertmodell.
- Mehrwertmodell: Eine Methode, eine Lehrkraft danach zu bewerten, wie stark die Ergebnisse ihrer Schüler in einem Jahr über die Prognose hinaus gestiegen sind.
- Hypothekenwertpapiere: Finanzpapiere, die aus Paketen von Hypothekenkrediten zusammengesetzt sind. Die Erträge daraus stammen aus den Zahlungen der Kreditnehmer. Sie wurden zu einer der Ursachen der Krise von 2008.
- RiskMetrics: Ein amerikanisches Unternehmen, das Risiken für Banken und Investmentfonds berechnete. O'Neil arbeitete dort nach D.E. Shaw.
- U.S. News & World Report: Eine amerikanische Zeitschrift, die seit 1983 das einflussreichste Ranking der Universitäten der USA veröffentlicht.
- Proxy: Eine indirekte Kennzahl: etwas, das sich leicht zählen lässt, anstelle dessen, was man eigentlich messen will.
- Texas Christian University: Eine private Universität in Fort Worth, Texas. Sie stieg im Ranking auf, indem sie in Sport und in ihre Anziehungskraft auf Studienbewerber investierte.
- Gewinnorientierte Colleges: Private Bildungseinrichtungen in den USA, die auf Gewinn ausgerichtet sind. Einen großen Teil ihres Geldes bekommen sie über staatliche Studienkredite.
- Leads: Ein Wort aus dem Marketing: Kontaktdaten von Menschen, die Kunden werden könnten. Man sammelt sie und verkauft sie an Firmen.
- Reading: Eine Stadt im US-Bundesstaat Pennsylvania. Ihre Polizei gehörte zu den ersten, die das Programm PredPol nutzten.
- Heim: William Heim, Polizeichef von Reading, der das Programm zur Vorhersage von Verbrechen PredPol einführte.
- PredPol: Ein amerikanisches Programm für vorausschauende Polizeiarbeit: Es zeigt anhand früherer Daten an, wo in den nächsten Stunden ein Verbrechen wahrscheinlicher ist.
- Stop and Frisk: Eine Praxis der New Yorker Polizei: Passanten auf Verdacht anhalten und durchsuchen. Sie wurde in den 2000er-Jahren und Anfang der 2010er-Jahre massenhaft angewandt.
- LSI-R: Ein Fragebogen zur Einschätzung des Risikos einer erneuten Straftat, den Gerichte und Gefängnisse in den USA nutzen. Die Abkürzung steht für Level of Service Inventory, Revised, also das überarbeitete Verzeichnis des Betreuungsbedarfs.
- Behm: Kyle Behm, ein Student, den ein Persönlichkeitstest bei Bewerbungen aussortierte, und sein Vater Roland Behm, ein Jurist, der gegen solche Tests vorging.
- St George's: Ein Krankenhaus in London mit einer medizinischen Hochschule, deren Programm zur Auswahl von Studienbewerbern in den 1980er-Jahren Frauen und Menschen mit ausländischen Namen diskriminierte.
- Navarro: Jannette Navarro, Barista bei Starbucks, über deren Dienstplan 2014 die New York Times schrieb.
- Clopening: Eine Schicht, bei der ein Beschäftigter ein Lokal spät am Abend schließt und es früh am nächsten Morgen öffnet.
- E-Scores: Undurchsichtige Bewertungen eines Menschen anhand indirekter Daten: Postleitzahl, Einkäufe, Verhalten im Netz.
- Microtargeting: Jedem Wähler oder Käufer eine eigene Botschaft zeigen, die nach den Daten über ihn ausgewählt wurde.
- Ghani: Rayid Ghani, Datenanalyst, der im Wahlkampf Obamas 2012 die Arbeit mit Daten leitete.
Ähnliche Bücher
- Das steckt hinter ChatGPT, Stephen Wolfram
- Zero to One, Peter Thiel
- KI 2041. Zehn Zukunftsvisionen, Kai-Fu Lee, Chen Qiufan
- Kurze Antworten auf große Fragen, Stephen Hawking
- Unser Kosmos, Carl Sagan
- Die Abstammung des Menschen und die geschlechtliche Zuchtwahl, Charles Darwin
- Die Genesis-Maschine, Amy Webb, Andrew Hessel
- Hooked: Wie Sie Produkte erschaffen, die süchtig machen, Nir Eyal
- Menschen lesen, Joe Navarro, Marvin Karlins
- Was Sie hierher gebracht hat, wird Sie nicht weiterbringen. Wie erfolgreiche Menschen noch mehr erreichen, Marshall Goldsmith, Mark Reiter

