Wenn die Kennzahl zum Ziel wird

In dieser Ausgabe

Eine Zahl an der Tafel ist ein Signal. Sobald Lohn, Rangfolge oder Schuld von ihr abhängen, wird sie auch zu etwas, das Menschen steuern. Diese Ausgabe handelt davon, was mit einer Kennzahl geschieht, wenn sie zum Ziel wird, und wie eine Führungskraft eine Zahl, die besser wurde, von Arbeit unterscheidet, die besser wurde.

Charles Goodhart formulierte die Regel 1975 für das Geld, Donald Campbell ein Jahr später für soziale Indikatoren, und Marilyn Strathern gab ihr 1997 die kurze Form. In englischen Notaufnahmen lag der amtliche Anteil der binnen vier Stunden behandelten Patienten 2004/05 bei 96 %; Patienten in einer Umfrage nannten 77 %. Gwyn Bevan und Christopher Hood benennen drei Arten des Austricksens, Wells Fargo zeigt, was Verkaufsziele belohnen können, und Jerry Muller warnt vor der Kennzahlenfixierung.

Stiven Janaqi, Herausgeber

Titelthema

Ein Gesetz, drei Urheber

Im Juli 1975 stellte Charles Goodhart von der Bank of England auf einer Konferenz der Reserve Bank of Australia in Sydney einen Aufsatz über die Geldpolitik im Vereinigten Königreich vor. Er enthält die erste Fassung dessen, was Goodharts Gesetz wurde:

Jede beobachtete statistische Regelmäßigkeit neigt dazu zusammenzubrechen, sobald zu Kontrollzwecken Druck auf sie ausgeübt wird.

• 1975 Goodhart: Eine Regelmäßigkeit, mit der man steuert, bricht zusammen.
• 1976 Campbell: Ein Indikator für Entscheidungen verzerrt die Arbeit, die er beobachtet.
• 1996 Keith Hoskin nennt die Idee Goodharts Gesetz.
• 1997 Strathern gibt der Idee ihre kurze Form.

„Wenn eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein“, schrieb Strathern über Audits an britischen Universitäten: Je mehr eine gute Note erwartet wird, desto schlechter unterscheidet sie die Studierenden.

Unsere Lesart

Goodhart sagt, die Zahl hört auf, die Wahrheit zu sagen. Campbell fügt hinzu, dass sich auch die Arbeit verändert. Eine Führungskraft muss beides im Blick haben.

Der Band trägt das Datum 1976, der Aufsatz wird meist mit 1975 zitiert; ein Nachdruck von 1984 wird mit „on“ statt „upon“ zitiert. Campbells Zeitschriftenfassung ist von 1979. Die Übersetzungen sind unsere.

Quellen: Charles Goodhart, 1975; Donald T. Campbell, Evaluation and Program Planning, 1979 (über Dartmouth occasional paper (1976), reprinted in the Journal of MultiDisciplinary Evaluation (2011)); Marilyn Strathern, European Review, 1997

Die Zahlen

Gemeldet und erlebt

Anfang der 2000er-Jahre bewertete England seine Kliniken mit Sternen, und vier Stunden in der Notaufnahme waren ein Schlüsselziel. Gwyn Bevan und Christopher Hood stellten die amtlichen Zahlen neben unabhängige Patientenumfragen.

Patienten in englischen Notaufnahmen, binnen vier Stunden behandelt: Amtliche Zahl, 2004/05 96 %, Patientenumfrage, 2004/05 77 %, Patientenumfrage, 2002/03 69 %.

2002/03 wiesen die amtlichen Meldungen 139 von 158 Akutkliniken aus, die 90 % der Patienten binnen vier Stunden behandelten. Rettungswagen mussten 75 % der lebensbedrohlichen Notrufe in acht Minuten erreichen; in einem Drittel der Rettungsdienste fanden Prüfer auf unter acht Minuten „korrigierte“ Zeiten, mit einer Spitze genau bei acht Minuten.

Unsere Lesart

Ein Ziel, über das nur die Gemessenen berichten, prüft ihr Berichten, nicht ihre Arbeit.

Die amtlichen Zahlen meldeten die Kliniken, die Umfragen beantworteten Patienten: Die Lücke ist eine Warnung, kein Maß für Manipulation. Bevan & Hood stützen sich auf das National Audit Office, die Healthcare Commission und die Commission for Health Improvement.

Quelle: Gwyn Bevan & Christopher Hood, Public Administration, 2006 (über LSE Research Online; full text in a copy of the published article)

Das Modell

Drei Wege, eine Zahl zu treffen

Bevan und Hood beschreiben das Austricksen als „das Ziel treffen und den Sinn verfehlen“. Aus Studien zu sowjetischen Produktionszielen übernehmen sie drei Arten, jede mit eigenem Warnzeichen.

• Ratscheneffekt. das Ziel des nächsten Jahres baut auf dem Ergebnis dieses Jahres auf, also lohnt es nicht, es weit zu übertreffen
• Schwelle. Ergebnisse drängen sich an der Linie, und wer darüber liegt, rutscht womöglich auf sie zurück
• Verzerrung. das Ziel wird auf Kosten dessen erreicht, was niemand misst

„Ein kluger Direktor erfüllt den Plan zu 105 Prozent, aber nie zu 125 Prozent“, schrieb Alec Nove 1958 über sowjetische Manager. In einem Arbeitsamt, das Campbell nennt, nahmen Beschäftigte, die nach Vermittlungen gezählt wurden, die leichtesten Fälle. In einer großen englischen Klinik wurde das Ziel für neue Augentermine erreicht, indem Nachuntersuchungen abgesagt und verschoben wurden, die kein Ziel zählte; ein Parlamentsausschuss berichtete, dass dadurch 25 Patienten binnen zwei Jahren ihr Augenlicht verloren.

Unsere Lesart

Jedes Ziel hat einen Schatten: die Arbeit daneben, die niemand zählt. Ihn benennen, bevor man das Ziel setzt.

Die drei Arten und Noves Satz folgen Bevan & Hood (2006); der Fall der Augenklinik stammt aus einem von ihnen zitierten Ausschussbericht von 2003, das Arbeitsamt von Campbell. Die Deutung stammt von der Redaktion.

Quellen: Gwyn Bevan & Christopher Hood, Public Administration, 2006 (über LSE Research Online; full text in a copy of the published article); Donald T. Campbell, Evaluation and Program Planning, 1979 (über Dartmouth occasional paper (1976), reprinted in the Journal of MultiDisciplinary Evaluation (2011))

Mehr im Essay: Wie wir mit Schäden gearbeitet haben

Was die Forschung sagt

Wenn der Lohn der Zahl folgt

Im September 2016 verhängte die US-Verbraucherschutzbehörde für Finanzen (CFPB) eine Strafe gegen Wells Fargo. Angetrieben von Verkaufszielen und Vergütungsanreizen hatten Tausende Beschäftigte heimlich Konten eröffnet, die Kunden nicht genehmigt hatten. Nach der Analyse der Bank selbst:

• 1,5 Mio. Einlagenkonten, die womöglich nicht genehmigt waren
• 565.000 Kreditkartenkonten, ohne Genehmigung beantragt
• 185 Mio. $ Strafen von CFPB, OCC sowie Stadt und County Los Angeles

2020 willigte die Bank ein, 3 Milliarden Dollar zu zahlen, um die Bundesermittlungen zu ihren Verkaufspraktiken von 2002 bis 2016 beizulegen. Das Muster ist älter: Anfang der 1990er-Jahre gab Sears den Beschäftigten seiner Kfz-Werkstätten ein Ziel von 147 Dollar pro Stunde vor, und die Beschäftigten berechneten zu viel und machten unnötige Reparaturen. In einer Laborstudie fanden Schweitzer, Ordóñez und Douma, dass Menschen mit einem konkreten, schweren Ziel ihre Ergebnisse eher übertreiben als ohne Ziel, vor allem, wenn sie es knapp verfehlt haben.

Unsere Lesart

Das Risiko ist knapp unter der Linie am größten. Dort braucht ein Ziel eine Prüfung, keinen zusätzlichen Druck.

Kontozahlen: Schätzung der Bank, wie die CFPB sie meldete; 2020: Mitteilung der Bank. Sears und die Laborstudie nach Ordóñez et al. (2009).

Quellen: Consumer Financial Protection Bureau, 2016; Wells Fargo & Company, 2020; Lisa D. Ordóñez, Maurice E. Schweitzer, Adam D. Galinsky & Max H. Bazerman, 2009

Wie man es misst

Die Kennzahl messen

Jerry Muller nennt das Problem Kennzahlenfixierung: den Glauben, Zahlen könnten Urteilskraft ersetzen, ihre Veröffentlichung sichere Rechenschaft, und daran geknüpfte Belohnungen motivierten am besten. Er ist nicht gegen das Messen, und Bevan und Hood zeigen, wie ein Ziel schwerer auszutricksen ist.

• Mit einer zweiten Quelle vergleichen. Die Patientenumfragen zeigten eine Lücke, die die amtlichen Meldungen nicht zeigten.
• Die Verteilung ansehen, nicht nur den Anteil. Eine Spitze knapp unter der Linie, wie die bei acht Minuten, ist ein Zeichen.
• Prüfen, wo niemand damit rechnet. Im Nachhinein offen, im Moment ungewiss: Stichproben und Besuche.

Hypothetisches Beispiel, ein Abfahrtsziel

• Ziel: 95 % der Transporter bis 7:00 Uhr unterwegs
• Gemeldet: 96 %, und ein Drittel der Abfahrten um 6:59 Uhr erfasst
• Zweite Quelle: Beschwerden über Verspätungen unverändert

Der Anteil stieg; Verteilung und Beschwerden zeigen, warum. Die Zahlen sind erfunden.

Mullers drei Annahmen stammen aus seinem Buch und einem Essay von 2018; die Schritte sind die Lesart der Redaktion zu Bevan & Hood (2006), keine geprüfte Methode.

Quellen: Jerry Z. Muller, Princeton University Press, 2018 (über Publisher's page, table of contents and the author's essay “Against metrics” (2018)); Gwyn Bevan & Christopher Hood, Public Administration, 2006 (über LSE Research Online; full text in a copy of the published article)

Werkzeug der Ausgabe

Die Karte zur Zielprüfung

Mit dem Team ausfüllen, bevor eine Zahl zum Ziel wird. Die vierte Zeile kennen meist die Menschen am besten, die die Arbeit machen: sie fragen.

1. Zahl und Ziel Definition, Datenquelle, die Linie
2. Was sie zeigen soll der Zweck dahinter, in einem Satz
3. Was von ihr abhängt Lohn, Rangfolge, Lob oder Schuld, und für wen
4. Wie man sie erreicht, ohne dass die Arbeit besser wird Ratscheneffekt, Schwelle, Verzerrung, Erfassung
5. Ihr Schatten die Arbeit daneben, die niemand zählt, und eine zweite Zahl dafür
6. Die unabhängige Prüfung eine Umfrage, eine Stichprobe oder ein Besuch; wer, wie oft
7. Prüftermin wann wir fragen, ob sie noch bedeutet, was sie bedeutete

Eine Praxis, die die Redaktion vorschlägt, nach Bevan & Hood (2006), Campbell (1979) und Muller (2018).

Quellen: Gwyn Bevan & Christopher Hood, Public Administration, 2006 (über LSE Research Online; full text in a copy of the published article); Donald T. Campbell, Evaluation and Program Planning, 1979 (über Dartmouth occasional paper (1976), reprinted in the Journal of MultiDisciplinary Evaluation (2011)); Jerry Z. Muller, Princeton University Press, 2018 (über Publisher's page, table of contents and the author's essay “Against metrics” (2018))

Tool öffnen: KPI-Diagnose

Quellen und Methode

Jede Zahl hat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

• Charles Goodhart, “Problems of Monetary Management: The U.K. Experience”, 1975.
• Donald T. Campbell, Evaluation and Program Planning, “Assessing the impact of planned social change”, 1979 (über Dartmouth occasional paper (1976), reprinted in the Journal of MultiDisciplinary Evaluation (2011)). https://doi.org/10.1016/0149-7189(79)90048-X
• Marilyn Strathern, European Review, “‘Improving ratings’: audit in the British University system”, 1997. https://www.cambridge.org/core/journals/european-review/article/improving-ratings-audit-in-the-british-university-system/FC2EE640C0C44E3DB87C29FB666E9AAB
• Gwyn Bevan & Christopher Hood, Public Administration, “What’s measured is what matters: targets and gaming in the English public health care system”, 2006 (über LSE Research Online; full text in a copy of the published article). https://doi.org/10.1111/j.1467-9299.2006.00600.x
• Consumer Financial Protection Bureau, “Consumer Financial Protection Bureau Fines Wells Fargo $100 Million for Widespread Illegal Practice of Secretly Opening Unauthorized Accounts”, 2016. https://www.consumerfinance.gov/archive/newsroom/consumer-financial-protection-bureau-fines-wells-fargo-100-million-widespread-illegal-practice-secretly-opening-unauthorized-accounts/
• Wells Fargo & Company, “Wells Fargo Reaches Settlements to Resolve Outstanding DOJ and SEC Investigations Related to Historical Community Bank Sales Practices (Form 8-K, exhibit 99.1)”, 2020. https://www.sec.gov/Archives/edgar/data/72971/000007297120000214/exhibit991settlementpres.htm
• Lisa D. Ordóñez, Maurice E. Schweitzer, Adam D. Galinsky & Max H. Bazerman, “Goals Gone Wild: The Systematic Side Effects of Overprescribing Goal Setting”, 2009. https://repository.upenn.edu/mgmt_papers/325
• Jerry Z. Muller, Princeton University Press, “The Tyranny of Metrics”, 2018 (über Publisher's page, table of contents and the author's essay “Against metrics” (2018)). https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und genaue Bedeutung geprüft. Wo die Seite des Herausgebers nicht erreichbar war, wurde sie an unabhängigen Zusammenfassungen geprüft und mit „über“ markiert. Die Deutung der Redaktion ist als „Unsere Lesart“ markiert. Zahlen, die sich nicht bestätigen ließen, stehen nicht in der Ausgabe.