Regression zur Mitte

In dieser Ausgabe

Jeden Monat greift ein Standort seine schlechteste Schicht heraus, seinen schlechtesten Fahrer, seine schlechteste Filiale, und greift ein. Im Monat darauf sieht der Schlechteste meist besser aus und der Beste etwas schlechter. Ein Teil dieser Bewegung wäre ohnehin gekommen. Diese Ausgabe handelt davon, beides zu unterscheiden.

Kahnemans Fluglehrer glaubten, Anschreien wirke besser als Lob. Galtons Körpergrößen von 1886 zeigen denselben Zug: Kinder großer Eltern waren groß, aber weniger. In einer Simulation sanken die Kosten des teuersten Fünftels ohne Programm um 1.417 $, wenn zwei Jahre schwach übereinstimmten, um 472 $ bei guter Übereinstimmung. In einer echten Kontrollgruppe gewannen die Schwächsten acht Punkte ohne Hilfe. Fünf Prüfungen und eine Karte helfen zu entscheiden, was eine Änderung wirklich bewirkt hat.

Stiven Janaqi, Herausgeber

Titelthema

Lob, dann eine schlechtere Landung

Als junger Dozent in Jerusalem lehrte Daniel Kahneman die Ausbilder einer Flugschule der Luftwaffe, dass Lob besser wirke als Strafe. Einer der erfahrensten Ausbilder widersprach.

Kadetten, die er für ein sauberes Manöver lobte, sagte er, machten es beim nächsten Mal meist schlechter; die er anschrie, meist besser. Kahneman sah: Die Beobachtung stimmte, der Schluss nicht. Ausbilder loben nach einem ungewöhnlich guten Versuch und schreien nach einem ungewöhnlich schlechten, und der nächste Versuch liegt in beiden Fällen meist näher am üblichen Niveau des Kadetten.

Wir werden statistisch dafür bestraft, andere zu belohnen, und dafür belohnt, sie zu bestrafen.

Sofort ließ er jeden Teilnehmer zwei Münzen rückwärts auf ein Ziel werfen, ohne Rückmeldung. Wer beim ersten Wurf am besten lag, lag beim zweiten meist schlechter, und umgekehrt.

Unsere Lesart

Auf der Schichtfläche sieht dasselbe Muster aus wie ein Beweis, dass Druck wirkt. Es beweist nur, dass Extreme nicht anhalten.

Kahnemans eigene Darstellung in seiner Nobel-Autobiografie (2002), die kein Jahr dafür nennt. Das Zitat ist gekürzt; die Übersetzungen stammen von uns. Feedback, das Verhalten ändert, steht in Nr. 19.

Quelle: Daniel Kahneman, Les Prix Nobel 2002, Nobel Foundation, 2002

Die Zahlen

Große Eltern, kleinere Kinder

1886 veröffentlichte Francis Galton die Körpergrößen von 930 erwachsenen Kindern und ihren Eltern, 205 Paaren, gesammelt über Preise für Familienaufzeichnungen. Jedes Paar fasste er zu einem „Mittel-Elternteil“ zusammen, die Größen der Frauen mit 1,08 multipliziert.

Größe in Zoll, nach Gruppe der Mittel-Eltern (1886): Groß: Mittel-Elternteil 72,5, Kinder, Median 72,2; Eher groß: Mittel-Elternteil 70,5, Kinder, Median 69,5; Mitte: Mittel-Elternteil 68,5, Kinder, Median 68,2; Eher klein: Mittel-Elternteil 66,5, Kinder, Median 67,2; Klein: Mittel-Elternteil 64,5, Kinder, Median 65,8.

Galtons Regel: Der Abstand eines Kindes vom Durchschnitt beträgt im Mittel zwei Drittel des Abstands seines Mittel-Elternteils. Umgekehrt gelesen ist der wahrscheinlichste Mittel-Elternteil eines Mannes nur ein Drittel so weit vom Durchschnitt entfernt wie er. Der Zug wirkt in beide Richtungen.

Unsere Lesart

Niemand hat die Größen zurückgeschoben. Es genügte, die Extreme auszuwählen, damit sie sich scheinbar bewegten.

Mediane aus Galtons Tabelle I (928 Kinder in den Summen), fünf der neun Zeilen mit Median; Größen in Zoll. Galton erklärte den Zug mit Vererbung; er zeigt sich bei je zwei Messungen, die nur lose übereinstimmen.

Quellen: Francis Galton, Journal of the Anthropological Institute of Great Britain and Ireland 15, 1886; Veronica Morton & David J. Torgerson, BMJ 326(7398), 2003

Das Modell

Warum die Extreme zurückkommen

Der Effekt tritt immer auf, wenn eine Gruppe wegen eines extremen Werts ausgewählt und erneut gemessen wird und die beiden Messungen nicht vollständig korrelieren. Je schwächer die Korrelation und je extremer die Auswahl, desto größer die Verschiebung.

Rückgang der Kosten des teuersten Fünftels ohne Programm, nach Korrelation der Jahre (Simulation, 2013): ρ = 0,25 1.417 $, ρ = 0,50 945 $, ρ = 0,75 472 $.

Ariel Linden simulierte 10.000 Personen mit Jahreskosten von im Mittel 5.000 $ und einer Standardabweichung von 1.350 $. Wer im ersten Jahr über etwa 6.136 $ lag, das teuerste Fünftel, kostete im zweiten weniger, obwohl nichts geschah. Je besser die beiden Jahre übereinstimmten, desto kleiner der Rückgang.

Unsere Lesart

Das Ergebnis einer Schicht ist teils Muster, teils Zufall. Wer die schlechteste auswählt, wählt auch das Pech mit; es wiederholt sich selten.

Die Bedingungen stammen von Morton & Torgerson (2003). Die Säulen zeigen den mittleren Rückgang in einer Simulation, keine echten Patienten; ρ ist die Korrelation der beiden Jahre. Streuung steht in Nr. 20.

Quellen: Veronica Morton & David J. Torgerson, BMJ 326(7398), 2003; Ariel Linden, BMC Medical Research Methodology 13, 2013

Was die Forschung sagt

Verbesserung, die niemand machte

Linden untersuchte auch eine echte Kontrollgruppe: 118 Personen in einer Studie zu Gesundheitscoaching, die kein Coaching bekamen. Sie beantworteten denselben Fragebogen zur körperlichen Gesundheit zweimal, im Abstand von drei Monaten.

• +8,3 Punkte für die 34, die unter der Hochrisikogrenze begannen; die übrigen blieben gleich
• >80 % der Frauen, deren Knochendichte im ersten Behandlungsjahr sank, legten im zweiten zu, ohne Änderung der Behandlung

Morton und Torgerson ziehen die Lehre für das Management. Gibt man den Krankenhäusern am Ende einer Rangliste mehr Mittel, steigen die meisten auf; belohnt man die an der Spitze, fallen sie. Jede Maßnahme für eine Gruppe weit weg vom Durchschnitt wird erfolgreich wirken. Weil der Effekt auf Gruppen wirkt, kann sich eine einzelne Einheit trotzdem in die andere Richtung bewegen.

Unsere Lesart

Die schlechteste Schicht des Monats lässt sich am leichtesten drehen. Deshalb beweist ihre Wende am wenigsten.

Kontrollgruppe: mittlerer Wert 36,7, dann 44,9 (2013). Knochendichte, wie Morton & Torgerson (2003) sie aus einer Studie von 2000 berichten, die wir nicht gesehen haben. Gelesen im Volltext beider Artikel.

Quellen: Ariel Linden, BMC Medical Research Methodology 13, 2013; Veronica Morton & David J. Torgerson, BMJ 326(7398), 2003

Wie es gemessen wird

Bevor die Maßnahme das Verdienst bekommt

Die Abhilfen in der Literatur sind wenige und schlicht. Ein Team kann die meisten auf die eigenen Zahlen anwenden, bevor es einer Änderung das Verdienst zuschreibt.

• Ein Vergleich. Gleich ausgewählte Einheiten ohne die Änderung; wenn möglich per Los.
• Ein Mittelwert, kein Einzelwert. Das Ziel über mehrere Perioden wählen, nicht nach einer schlechten.
• Die erwartete Verschiebung. Abstand der Gruppe vom Durchschnitt × (1 − Korrelation der Perioden).
• Die ganze Gruppe. Der Effekt wirkt auf Gruppen; eine Einheit kann sich in jede Richtung bewegen.
• Die Reihe, nicht zwei Punkte. Vorher und nachher über viele Perioden, gegen die übliche Streuung.

Hypothetisches Beispiel, die schlechteste von acht Schichten

• Schicht C, Monat 1: 4,1 % verspätet, die schlechteste
• Nach dem Coaching: 3,0 %
• Schicht C, zehn Monate davor: 2,9 % im Schnitt

Schicht C kehrte auf ihr übliches Niveau zurück. Die Zahlen sind erfunden.

Zeilen 1 bis 4 nach Linden (2013) und Morton & Torgerson (2003); die Formel gilt für normalverteilte Daten und unterschätzt bei schiefen. Zeile 5 und das Beispiel stammen von der Redaktion. Regelkarten stehen in Nr. 25.

Quellen: Ariel Linden, BMC Medical Research Methodology 13, 2013; Veronica Morton & David J. Torgerson, BMJ 326(7398), 2003

Mehr im Essay: Ein schlechter Tag oder ein Problem?

Werkzeug der Ausgabe

Die Vorher-nachher-Karte

Eine Karte für jedes Ergebnis, das einer Änderung zugeschrieben werden soll. Eine Regelkarte zeigt, ob die Zeit danach außerhalb der üblichen Streuung der Zeit davor liegt.

1. Änderung und Behauptung was getan wurde, und was es verbessert haben soll
2. Wie das Ziel gewählt wurde ein schlechter Wert oder ein Mittel über mehrere Perioden?
3. Vorher die Kennzahl über viele Perioden, und der Mittelwert aller Einheiten
4. Vergleich Einheiten ohne die Änderung, gleich ausgewählt, in denselben Wochen
5. Erwartete Verschiebung Abstand vom Durchschnitt × (1 − Korrelation), falls bekannt
6. Urteil Änderung über Verschiebung und Vergleich hinaus? behalten, erneut testen oder verwerfen; Termin der nächsten Prüfung

Eine Karte, die die Redaktion vorschlägt, nach den Abhilfen bei Linden (2013) und Morton & Torgerson (2003).

Quellen: Ariel Linden, BMC Medical Research Methodology 13, 2013; Veronica Morton & David J. Torgerson, BMJ 326(7398), 2003

Tool öffnen: Sigma & Regel­karte

Quellen und Methode

Jede Zahl hat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

• Daniel Kahneman, Les Prix Nobel 2002, Nobel Foundation, „Daniel Kahneman – Biographical“, 2002. https://www.nobelprize.org/prizes/economic-sciences/2002/kahneman/biographical/
• Francis Galton, Journal of the Anthropological Institute of Great Britain and Ireland 15, „Regression towards Mediocrity in Hereditary Stature“, 1886. https://galton.org/essays/1880-1889/galton-1886-jaigi-regression-stature.pdf
• Veronica Morton & David J. Torgerson, BMJ 326(7398), „Effect of regression to the mean on decision making in health care“, 2003. https://doi.org/10.1136/bmj.326.7398.1083
• Ariel Linden, BMC Medical Research Methodology 13, „Assessing regression to the mean effects in health care initiatives“, 2013. https://doi.org/10.1186/1471-2288-13-119

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und Bedeutung geprüft, am Volltext, wo er sich öffnen ließ. Eine nur in einer Zusammenfassung, einem Abstract oder Auszügen gelesene Quelle ist mit „über“ markiert. Eine Zahl, die sich im Gelesenen nicht bestätigen ließ, ist auf ihrer Seite so markiert oder fehlt. Die Deutung des Herausgebers ist als „Unsere Lesart“ markiert.

Herausgegeben von Stiven Janaqi, der sie verantwortet; „die Redaktion“ ist in dieser Publikation er. Texte, Übersetzungen, Layout und die Prüfung der Zahlen an ihren Quellen entstehen in Arbeitssitzungen mit Claude, einem KI-Modell von Anthropic. Wie diese Seite entsteht