Goodharts Gesetz ist ein berühmtes Sprichwort, benannt nach dem britischen Ökonomen Charles Goodhart, das in der Regel lautet:
„Wenn eine Maßnahme zu einem Ziel wird, hört sie auf, eine gute Maßnahme zu sein.“
Diese Idee ist für Geschäftsleute, Manager und Datenanalysten gleichermaßen interessant – und das aus gutem Grund:
Unternehmen werden in der Regel mit Hilfe von Metriken geführt, und nur wenige Dinge sind schlimmer als eine gut gemeinte Metrik, die sich als schlecht herausstellt.
Ein berühmtes Beispiel dafür ist das, was heute als „Kobra-Effekt“ bezeichnet wird. Die Geschichte geht wie folgt: In Indien, unter britischer Herrschaft, war die Kolonialregierung besorgt über die Anzahl der giftigen Kobras in Delhi. Die Regierung hielt es für eine gute Idee, die einheimische Bevölkerung für ihre Bemühungen zu gewinnen, die Zahl der Schlangen zu reduzieren, und setzte ein Kopfgeld für jede tote Kobra aus, die ihr vor die Tür gebracht wurde.
Anfänglich war diese Strategie erfolgreich: Die Leute brachten eine große Anzahl geschlachteter Schlangen. Doch mit der Zeit begannen geschäftstüchtige Personen, Kobras zu züchten, um sie später zu töten, um ein zusätzliches Einkommen zu erzielen.
Als die britische Regierung dies entdeckte, strich sie das Kopfgeld, die Kobrazüchter ließen ihre Kobras in die freie Wildbahn, und Delhi erlebte einen Boom an Kapuzennattern.
Das Kobraproblem des Raj war damit nicht besser als zu Beginn.
Die vier Formen des Goodhartschen Gesetzes
Heute wissen wir, dass es vier Ausprägungen des Goodhartschen Gesetzes gibt. David Manheim und Scott Garrabrant legten diese Varianten in ihrem Paper Categorizing Variants of Goodhart’s Law dar. Manheim schrieb später ein weiteres Paper mit dem Titel Building Less Flawed Metrics, das er über das Munich Personal RePEc Archive verbreitete.
In ihrem Papier legen Manheim und Garrabrant ihre Argumente für die vier Kategorien in einer extrem verallgemeinerten Weise dar – was sinnvoll ist, wenn man über die Anwendungen von Goodharts Gesetz nachdenkt.
Manheim und Garrabrant interessierten sich zum Beispiel für die Auswirkungen der Idee auf die KI-Forschung (stellen Sie sich vor, Sie sagen einer superintelligenten KI, sie solle die Herstellung von Büroklammern optimieren, und sie beschließt, Menschen zu verflüssigen, um mehr Büroklammern zu produzieren …), aber ein besseres Verständnis von Goodharts Gesetz ist breit anwendbar auf die öffentliche Politik, die Unternehmensführung und die Gestaltung von Anreizsystemen.
Dieser Beitrag ist eine laienhafte Zusammenfassung der vier Ausprägungen – er soll keine erschöpfende Darstellung aller Unterfälle und Feinheiten der Theorie sein. Aber ein breites Verständnis der vier Bereiche sollte sich für den durchschnittlichen Geschäftsmann als nützlich erweisen, denke ich. Lassen Sie uns beginnen.
Regressiver Goodhart
Die erste Ausprägung von Goodharts Gesetz ist die einzige, die unmöglich zu verhindern ist.
Stellen wir uns vor, Sie müssen Kandidaten für einen Job einstellen. Was Sie wirklich messen wollen, ist ihre zukünftige Arbeitsleistung – aber Sie können dies nicht direkt während des Vorstellungsgesprächs messen. Dann erfahren Sie, dass der IQ mit der Arbeitsleistung mit etwa 0,6 korreliert. Sie beschließen, stattdessen einen IQ-Test durchzuführen. Was kann da schiefgehen?
Zunächst ist der Test ein Erfolg – Ihr Unternehmen schafft es, Mitarbeiter einzustellen, die besser sind als diejenigen, die mit dem alten Verfahren eingestellt wurden. Dadurch ermutigt, beginnen Sie langsam, Ihre Einstellungen auf den IQ und nur auf den IQ zu optimieren: Sie werben zum Beispiel damit, dass Ihr Unternehmen unglaublich wählerisch ist, dass es wunderbar ist, dort zu arbeiten, dass es voller kluger Leute ist, und so weiter. Aber nach einiger Zeit stellen Sie fest, dass die Leute mit den höchsten IQs dazu neigen, schlechtere Leistungen zu erbringen als einige der überdurchschnittlichen Kandidaten. Und mit einigen dieser Leute mit hohem IQ kann man einfach nicht zusammenarbeiten! Glückwunsch: Sie haben gerade regressives Goodhart erlebt.
Regressiver Goodhart tritt auf, weil die Messung, die Sie als Ersatz für Ihr Ziel verwenden, unvollkommen mit diesem Ziel korreliert ist. In unserem obigen Beispiel hat der IQ eine Korrelation von 0,6 mit der Arbeitsleistung, was nach sozialwissenschaftlichen Maßstäben eine gute Korrelation ist, aber das bedeutet auch, dass es noch andere Faktoren gibt, die für die Arbeitsleistung wichtig sind. Wenn Sie nur auf den IQ optimieren, werden Sie wahrscheinlich suboptimale Ergebnisse erzielen, weil Sie diese anderen Faktoren ignorieren.
Um zu verstehen, warum das so sein könnte, nehmen wir an, dass die psychologische Eigenschaft Gewissenhaftigkeit auch ein Prädiktor für die zukünftige Arbeitsleistung ist (ist sie auch, nur falls Sie sich das fragen). Wenn Sie für Leute mit einem sehr hohen IQ optimiert haben, wählen Sie im Grunde aus einem kleinen Pool von Leuten aus, da es in jeder Population weniger Leute mit einem sehr hohen IQ gibt. Die Wahrscheinlichkeit, dass Sie aus diesem kleinen Pool jemanden auswählen, der auch eine hohe Gewissenhaftigkeit hat, ist sehr gering; daher sollten wir ein Ergebnis sehen, bei dem Menschen mit den besten Arbeitsleistungen einen überdurchschnittlichen IQ haben, aber Menschen mit den höchsten IQs nicht die besten Arbeitsleistungen haben (da es unwahrscheinlich ist, dass sie auch eine hohe Gewissenhaftigkeit haben, und Gewissenhaftigkeit trägt zur Arbeitsleistung bei). Dieser Effekt wird manchmal als „der Schwanz geht auseinander“ bezeichnet.
In der Praxis ist der regressive Goodhart-Effekt unmöglich zu vermeiden, weil fast jede Messung, die man sich vorstellen kann, eine unvollkommene Reflexion der wahren Sache ist, die man messen möchte. Wenn diese Messgröße zu einem Ziel wird, dann werden Sie wahrscheinlich von Ihren wahren Zielen abdriften.
Was können Sie dagegen tun? Eine Lösung könnte darin bestehen, gegensätzliche Indikatoren zu kombinieren, wie der legendäre Intel-CEO Andy Grove einst vorschlug. Aber eine andere Möglichkeit, die Manheim vorschlägt, besteht darin, nach genaueren Messungen für Ihr wahres Ziel zu suchen – leicht gesagt, als getan.
Extremer Goodhart
Extremer Goodhart tritt auf, wenn Sie eine Messung wählen, weil sie in normalen Situationen mit Ihrem Ziel korreliert. Aber wenn Sie diese Messung dann annehmen, optimieren Sie für diese Messung, und an den extremen Enden dieser Messung bricht die Beziehung zu Ihrem Ziel zusammen.
Garrabrant gibt ein Beispiel für unsere Beziehung zu Zucker: Menschen entwickeln sich dazu, Zucker zu mögen, weil Zucker in der Umgebung unserer Vorfahren mit Kalorien korreliert war. Das funktionierte hervorragend, als wir Löwen jagten; heute jedoch führt dieselbe Optimierung dazu, dass wir Cola trinken und Doritos essen und in die Fettleibigkeit abrutschen.
Beim maschinellen Lernen geschieht dies manchmal aufgrund von „Unteranpassung“. Beispielsweise wird angenommen, dass eine Beziehung zwischen zwei Variablen ein Polynom niedrigen Grades ist, weil Polynomterme höherer Ordnung im beobachteten Raum klein sind. Dann bewegt sich die Auswahl auf der Basis dieser Metrik in Richtung der Regionen, in denen die Terme höherer Ordnung wichtiger sind, so dass die Verwendung des maschinellen Lernsystems einen Goodhart-Effekt erzeugt.
Kausaler Goodhart
Sie sind Direktor einer High School. Sie erfahren, dass Schüler mit guten Highschool-Prüfungsergebnissen bei College-Prüfungen besser abschneiden. Sie kommen zu dem Schluss, dass es sich positiv auswirkt, wenn Sie Ihren Schülern helfen, die Highschool-Prüfungen gut zu bestehen, also führen Sie ein Programm ein, das ihnen Fertigkeiten im Umgang mit Tests vermittelt. Außerdem setzen Sie Ihre Klassenlehrer unter Druck, die Schüler in leichtere Fächer zu stecken, weil das ihre durchschnittlichen Prüfungsergebnisse erhöht.
Es funktioniert nicht. Sie haben gerade den kausalen Goodhart erlebt.
Ein anderes, eher triviales Beispiel: Sie sind ein Kind. Sie haben gelesen, dass Basketballspieler mit größerer Wahrscheinlichkeit groß sind. Sie wollen groß sein. Deshalb spielen Sie Basketball.
Die kausale Variante von Goodharts Gesetz ist leicht zu verstehen. Kernidee ist, dass Sie denken, dass eine Maßnahme ein Ergebnis hervorbringt, obwohl die beiden tatsächlich korreliert sind (und möglicherweise durch einen dritten Faktor verursacht werden). Wenn Sie das eine oder das andere optimieren, beeinflussen Sie natürlich in der Regel nicht das gewünschte Ergebnis. In unserem obigen Prüfungsbeispiel ist es klar, dass High-School-Prüfungen College-Prüfungen nur insofern vorhersagen, als sie die Intelligenz, das Wissen und die harte Arbeit der Schüler (neben anderen Dingen) widerspiegeln. Der Versuch, bessere College-Resultate zu erzielen, indem man die Fähigkeit, Highschool-Tests zu absolvieren, ausreizt, ist bestenfalls von begrenztem Nutzen.
Diese Idee ist es, was die Leute meinen, wenn sie sagen
„Korrelation impliziert nicht Kausalität„.
Konfliktärer Goodhart
Der Konfilktäre (Adversarial) Goodhart ist die Geschichte der Cobras unter dem britischen Raj, der auch als Kobra-Effekt bekannt ist und auch in Varianten vorkommt:
Im Jahr 1902 rief die französische Kolonialregierung in Hanoi ein Kopfgeldprogramm ins Leben, das eine Belohnung für jede getötete Ratte zahlte. Um das Kopfgeld zu kassieren, mussten die Leute den abgetrennten Schwanz einer Ratte abgeben.
Die Kolonialbeamten bemerkten jedoch Ratten ohne Schwanz in Hanoi. Die vietnamesischen Rattenfänger fingen die Ratten ein, trennten ihre Schwänze ab und setzten sie wieder in der Kanalisation aus, damit sie sich fortpflanzen und weitere Ratten produzieren konnten, was die Einnahmen der Rattenfänger erhöhte.
Ein verwandtes Beispiel für einen kontradiktorischen Goodhart ist Campbells Gesetz:
„Je mehr ein quantitativer sozialer Indikator für die gesellschaftliche Entscheidungsfindung verwendet wird, desto mehr unterliegt er dem Druck der Korruption und desto eher ist er geeignet, die sozialen Prozesse, die er überwachen soll, zu verzerren und zu korrumpieren.“
Sie können sich eine Situation vorstellen, in der eine Regierung sagt, dass alle ihre politischen Maßnahmen auf „Beweisen“ basieren müssen, und daher entsteht ein großer Druck (und ein großer Anreiz!) für die verschiedenen Akteure im System, die „Beweise“ zu manipulieren, zu polieren und zu massieren, um die Regierungspolitik zu rechtfertigen.
Die allgemeine Idee hierbei ist, dass ein Agent für eine Metrik auf eine Art und Weise optimieren kann, die das Ziel der Metrik vereitelt (der Kobra-Effekt), oder der Agent kann sich dafür entscheiden, für eine Maßnahme auf eine Art und Weise zu optimieren, die den Vorhersageeffekt dieser Maßnahme reduziert.
Lösungsvorschlag?
Manheim schlägt vor, „Pre-Mortems“ durchzuführen, wie z. B.: „Ok, diese Maßnahme, die wir gerade wählen, ist in der Zukunft schief gelaufen, was ist passiert?“ Er weist darauf hin, dass in einer Gruppe gar nicht so viele Leute anwesend sein müssen, bevor sich jemand ein plausibles Schreckensszenario einfallen lässt.
Zusammenfassung
Da haben Sie es also: vier Varianten von Goodharts Gesetz. Wenn Sie sich an nichts anderes aus diesem Beitrag erinnern, dann merken Sie sich dies:
Wenn Sie weniger Schlangen in Ihrem Garten haben wollen, dann zahlen Sie nicht für tote Schlangen.