Management Review · Dritte Serie · November 2026 · Nr. 97

Wie sicher ist die Führungskraft?

80-%-Spannen von Finanzchefs, die in einem Drittel der Fälle hielten, drei Arten, zu sicher zu sein, 90 %, die zu 73 % eintrafen, Prognostiker, die Kalibrierung lernten, und eine Karte zum Mitzählen.

Nr.
97
Seiten
10
Quellen
4
Themen
Rolle
Online seit
3. November 2026
Stiven CatalystDritte Serie · November 2026
ManagementReview

Management ohne Theater.

Rolle

Wie sicherist die Führungskraft?

80-%-Spannen von Finanzchefs, die in einem Drittel der Fälle hielten, drei Arten, zu sicher zu sein, 90 %, die zu 73 % eintrafen, Prognostiker, die Kalibrierung lernten, und eine Karte zum Mitzählen.

Nr.97

36 %

der einjährigen Börsenprognosen von US-Finanzchefs, 2001–2011, lagen in der Spanne, die sie als zu 80 % wahrscheinlich angaben.Ben-David, Graham & Harvey, 2013

In dieser Ausgabe

  1. TitelthemaZu achtzig Prozent sicherSeite 03
  2. Was die Forschung sagtWie Prognostiker kalibriert wurdenSeite 06
  3. Werkzeug der AusgabeDas PrognosebuchSeite 08

stivencatalyst.com

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst2

Nr. 97 · Rolle

In dieser Ausgabe

Eine Führungskraft prognostiziert ständig: das Volumen der nächsten Woche, wann eine Reparatur fertig ist, ob eine neue Kraft es schafft. Jede Prognose trägt ein Gefühl, wie sicher sie ist. Diese Ausgabe fragt, wie oft dieses Gefühl stimmt und was manche Prognostiker darin treffsicher machte.

Die 80-%-Spannen von Finanzchefs für die Börse enthielten das Ergebnis in etwa 36 % der Fälle. Die Psychologie unterscheidet drei Arten, zu sicher zu sein; die in einer Prognose ist eine zu enge Spanne. Die 90-%-Spannen von Studierenden enthielten ihr echtes Ergebnis zu 73,1 %. In einem Prognosewettbewerb waren Freiwillige zu 65,4 % sicher und lagen zu 63,3 % richtig; eine Stunde Training und Arbeit im Team verkleinerten die Lücke weiter. Ein Weg zum Mitzählen und eine Karte schließen die Ausgabe.

  1. 03TitelthemaZu achtzig Prozent sicher
  2. 04Das ModellDrei Arten, zu sicher zu sein
  3. 05Die ZahlenNeunzig Prozent sicher, und das Ergebnis
  4. 06Was die Forschung sagtWie Prognostiker kalibriert wurden
  5. 07Wie es gemessen wirdDie eigene Sicherheit nachzählen
  6. 08Werkzeug der AusgabeDas Prognosebuch
  7. 09QuellenQuellen und Methode

So lesen Sie diese Ausgabe

Zahl

Jede Zahl hat Quelle und Jahr unten auf ihrer Seite.

Unsere Lesart

Wo der Herausgeber deutet und nicht die Forschung, steht es dabei.

Praxis

Schritte und Karte sind Vorschläge zum Ausprobieren, keine Forschungsergebnisse.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst3

Titelthema

Zu achtzig Prozentsicher

Von 2001 bis 2011 fragte die Duke University US-Finanzvorstände, meist CFOs, jedes Quartal nach der S&P-500-Rendite des nächsten Jahres, mit einem unteren Wert, den sie mit 1 zu 10 unterschreiten, und einem oberen, den sie mit 1 zu 10 übertreffen würde. Eine gut kalibrierte Spanne enthielte das Ergebnis in 80 % der Fälle.

Einjahresprognosen, deren 80-%-Spanne die tatsächliche Rendite enthielt, 2001–2011

Was eine kalibrierte Spanne erreichte80 %Alle Quartale36 %Quartale mit hoher Marktunsicherheit24,1 %

Die Spannen waren viel zu eng. Im Schnitt umfassten sie 14,5 Prozentpunkte; von 1950 bis 2011 umfassten die mittleren 80 % der Einjahresrenditen 42,2. Auch die Werte in der Mitte der Spannen sagten den Markt nicht voraus.

Unsere Lesart

Als der Markt am unsichersten war, wurden die Spannen breiter, aber nicht genug: Die Lücke war genau dann am größten, als Vorsicht am meisten zählte.

Quelle: Itzhak Ben-David, John R. Graham & Campbell R. Harvey, National Bureau of Economic Research, 2013

13.346 Einjahresprognosen aus 40 Quartalsumfragen; 5–8 % der Befragten antworteten. Die Studie nennt in verschiedenen Abschnitten 36,3 % und 36,6 %, ihr Abstract 36 %. Hohe Unsicherheit: Quartale mit VIX über dem Median. NBER-Arbeitspapier, überarbeitet 2013.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst4

Das Modell

Drei Arten,zu sicher zu sein

Don Moore und Paul Healy stellten fest, dass die Forschung ein Wort, Selbstüberschätzung, für drei verschiedene Fehler benutzt hatte, die oft in entgegengesetzte Richtungen weisen. Ihre Zählung der Studien von 2008 zeigt, wie oft jeder untersucht wurde.

64 %

Überschätzung

zu glauben, man sei besser gewesen oder werde besser sein, als man tatsächlich ist

5 %

Überplatzierung

zu glauben, man sei besser als andere, wenn man es nicht ist

31 %

Überpräzision

zu sicher zu sein, die Antwort zu kennen: eine zu eng gezogene Spanne

Bei schweren Aufgaben überschätzen Menschen ihr Ergebnis, glauben aber, schlechter als andere zu sein; bei leichten umgekehrt. Die Überpräzision, schreiben Moore und Healy, ist die hartnäckigste der drei.

Unsere Lesart

Die Prognose einer Führungskraft kann in der Mitte stimmen und trotzdem zu sicher sein: Der dritte Fehler steckt in der Breite der Spanne.

Quelle: Don A. Moore & Paul J. Healy, Psychological Review 115(2), 2008

Anteile der empirischen Studien aus einer Datenbanksuche nach „overconfidence“ (365 Treffer, 72 % empirisch), wie Moore und Healy sie 2008 zählten; die drei Anteile ergeben 100. Die Deutung für Führungskräfte stammt von der Redaktion.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst5

Die Zahlen

Neunzig Prozentsicher, und das Ergebnis

82 Studierende der Carnegie Mellon University lösten 18 Quiz mit je zehn Fragen und verteilten jedes Mal 100 % Wahrscheinlichkeit auf die möglichen Ergebnisse. Moore und Healy nahmen aus jeder Verteilung die Spanne, die 90 % am nächsten kam, und prüften, wie oft sie das echte Ergebnis enthielt.

Wie oft die 90-%-Spannen das echte Ergebnis enthielten (2008)

90,5 %Angegeben73,1 %Alle55,1 %Vor dem Quiz85,6 %Gleich danach

Frühere Studien, so die Autoren, fanden, dass 90-%-Spannen die Antwort in 30 % bis 50 % der Fälle enthielten. Nach schweren Quiz schätzten die Studierenden ihr Ergebnis 0,79 Punkte zu hoch, nach leichten 0,22 zu niedrig, und über 18 Runden wurden diese Fehler nicht kleiner.

Unsere Lesart

Mehr Wissen verkleinerte die Lücke, schloss sie aber nicht. Sicher sein ist nicht dasselbe wie informiert sein.

Quelle: Don A. Moore & Paul J. Healy, Psychological Review 115(2), 2008

„Angegeben“ liegt über 90 %, weil 20 % der Schätzungen als zu 100 % sicher abgegeben wurden. Bezahlt nach einer Bewertungsregel, die ehrliche Schätzungen belohnt; ein einzelnes Experiment, von den Autoren als illustrativ bezeichnet.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst6

Was die Forschung sagt

Wie Prognostikerkalibriert wurden

Ab 2011 veranstaltete eine US-Forschungsbehörde der Nachrichtendienste einen Wettbewerb zu Weltereignissen. Im Good Judgment Project gaben 2.860 Freiwillige in drei Jahren 494.552 Prognosen zu 344 Fragen ab, bewertet nach der Brier-Regel. Im Schnitt waren sie zu 65,4 % sicher und lagen zu 63,3 % richtig.

Überschätzung: Sicherheit minus Trefferquote, in Punkten, drei Jahre

Allein, ohne Training4,3Im Team, ohne Training2,8Allein, trainiert2,0Im Team, trainiert0,7

Das Training dauerte unter einer Stunde. In allen vier Wettbewerbsjahren schnitten Trainierte um 6 % bis 12 % besser ab als Untrainierte; von den gelehrten Grundsätzen war das Denken in Vergleichsklassen am stärksten mit Treffsicherheit verbunden. Mehr Jahre im Wettbewerb allein verbesserten die Kalibrierung nicht.

Unsere Lesart

Die Autoren vergleichen sie mit Wetterprognostikern, dem langjährigen Vorbild der Kalibrierung. Beide hatten eine klare Bewertung und schnelle Rückmeldung.

Quellen: Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016; Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016

Moore et al. (2016), drei Jahre, Tabelle 1; die Fragen waren bewusst schwer gewählt. Trainingsgewinne nach Brier-Wert, Jahre 1–4, Chang et al. (2016). Die Prognostiker waren selbst gemeldete Freiwillige, meist Männer mit Hochschulabschluss.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst7

Wie es gemessen wird

Die eigene Sicherheitnachzählen

Die Prognostiker des Wettbewerbs wurden kalibriert, weil sie bewertet wurden. Eine Führungskraft kann sich selbst bewerten: jede Prognose vor dem Ergebnis als Wahrscheinlichkeit oder als Spanne mit unterem und oberem Wert aufschreiben, dann zählen.

Erfundenes Beispiel, das Buch eines Quartals
Trefferquote
20 Prognosen mit 90 %; 14 trafen ein: 70 %, 20 Punkte zu sicher
Brier, eine Prognose
90 %, trat nicht ein: (0,9 − 0)² = 0,81; trat ein: (0,9 − 1)² = 0,01

Buch und Zahlen sind von der Redaktion erfunden, um das Zählen zu zeigen. Niedrigere Brier-Werte sind besser.

  1. Vorher, schriftlich

    mit dem Datum, an dem die Frage entschieden ist

  2. Eine Zahl, kein Wort

    „70 %“, nicht „wahrscheinlich“; unterer und oberer Wert bei Mengen

  3. Nach Stufe zählen

    die 90-%-Prognosen zusammen, die 70-%-Prognosen zusammen

Quellen: Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016; Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016

Das Buch ist ein Vorschlag der Redaktion; eine Trefferquote sagt wenig, solange es nicht viele Prognosen auf einer Stufe gibt. Das einfache Brier-Quadrat gilt für ein Ergebnis; der Wettbewerb nutzte die Originalform von 0 bis 2. Die Außensicht steht in Nr. 74, unabhängige Schätzungen in Nr. 83.

Management Review · Nr. 97 · November 2026Rolle
stivencatalyst.comStiven Catalyst8

Werkzeug der Ausgabe

Das Prognose-buch

Eine Zeile pro Prognose, ein Quartal lang geführt und bewertet, wenn jede Frage entschieden ist. Bevor Sie eine Spanne für eine Quote setzen, zeigt das Werkzeug Sigma & Control Chart, wie stark sie tatsächlich schwankte: Eine viel engere Spanne ist wahrscheinlich zu sicher.

  1. 01Die Fragewas genau eintreten soll, und wann es entschieden ist

  2. 02Vergleichsklassewie oft so etwas früher eintrat

  3. 03Meine Prognoseeine Wahrscheinlichkeit, oder unterer und oberer Wert mit je 1 zu 10 darüber hinaus

  4. 04Was sie ändern würdedie Nachricht, die die Zahl bewegen würde, und in welche Richtung

  5. 05Ergebniswas eintrat; innerhalb der Spanne oder nicht

  6. 06BewertungTreffer oder nicht, und das Brier-Quadrat

Quellen: Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016; Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016

Das Buch ist ein Vorschlag der Redaktion, gestützt auf die Bewertung des Wettbewerbs und seine Vergleichsklassen; der unten verlinkte Essay erzählt von Tagen, an denen die Nachfrage die Prognose übertraf.

Management Review · Nr. 97 · November 2026Quellen
stivencatalyst.comStiven Catalyst9

Quellen und Methode

Jede Zahlhat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

  1. Managerial Miscalibration (NBER Working Paper 16215, revised September 2013)Itzhak Ben-David, John R. Graham & Campbell R. Harvey, National Bureau of Economic Research, 2013https://www.nber.org/system/files/working_papers/w16215/w16215.pdf
  2. The Trouble With OverconfidenceDon A. Moore & Paul J. Healy, Psychological Review 115(2), 2008https://doi.org/10.1037/0033-295X.115.2.502
  3. Confidence Calibration in a Multiyear Geopolitical Forecasting CompetitionDon A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016https://doi.org/10.1287/mnsc.2016.2525
  4. Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournamentsWelton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016https://journal.sjdm.org/16/16511/jdm16511.pdf
Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und Bedeutung geprüft, am Volltext, wo er sich öffnen ließ. Eine nur in einer Zusammenfassung, einem Abstract oder Auszügen gelesene Quelle ist mit „über“ markiert. Eine Zahl, die sich im Gelesenen nicht bestätigen ließ, ist auf ihrer Seite so markiert oder fehlt. Die Deutung des Herausgebers ist als „Unsere Lesart“ markiert.

ManagementReview

Management ohne Theater.

Jede Ausgabe eine Führungsfrage, geprüft an der besten Forschung.

Alle Ausgaben

stivencatalyst.com/de/magazine/management-review.html

Management Review · Nr. 97 · November 2026 · Stiven Catalyst
Herausgegeben von Stiven Janaqi, der sie verantwortet; „die Redaktion“ ist in dieser Publikation er. Texte, Übersetzungen, Layout und die Prüfung der Zahlen an ihren Quellen entstehen in Arbeitssitzungen mit Claude, einem KI-Modell von Anthropic.
stivencatalyst.com/de/how-this-is-made.html

Management Review · Nr. 97

Die Zahlen der Ausgabe

Die Grafiken der gedruckten Seiten, mit ihren Quellen.

TitelthemaEinjahresprognosen, deren 80-%-Spanne die tatsächliche Rendite enthielt, 2001–2011
Was eine kalibrierte Spanne erreichte80 %Alle Quartale36 %Quartale mit hoher Marktunsicherheit24,1 %
Was eine kalibrierte Spanne erreichte80 %Alle Quartale36 %Quartale mit hoher Marktunsicherheit24,1 %

13.346 Einjahresprognosen aus 40 Quartalsumfragen; 5–8 % der Befragten antworteten. Die Studie nennt in verschiedenen Abschnitten 36,3 % und 36,6 %, ihr Abstract 36 %. Hohe Unsicherheit: Quartale mit VIX über dem Median. NBER-Arbeitspapier, überarbeitet 2013.

Quelle: Itzhak Ben-David, John R. Graham & Campbell R. Harvey, National Bureau of Economic Research, 2013

Die ZahlenWie oft die 90-%-Spannen das echte Ergebnis enthielten (2008)
90,5 %Angegeben73,1 %Alle55,1 %Vor dem Quiz85,6 %Gleich danach
90,5 %Angegeben73,1 %Alle55,1 %Vor dem Quiz85,6 %Gleichdanach

„Angegeben“ liegt über 90 %, weil 20 % der Schätzungen als zu 100 % sicher abgegeben wurden. Bezahlt nach einer Bewertungsregel, die ehrliche Schätzungen belohnt; ein einzelnes Experiment, von den Autoren als illustrativ bezeichnet.

Quelle: Don A. Moore & Paul J. Healy, Psychological Review 115(2), 2008

Was die Forschung sagtÜberschätzung: Sicherheit minus Trefferquote, in Punkten, drei Jahre
Allein, ohne Training4,3Im Team, ohne Training2,8Allein, trainiert2,0Im Team, trainiert0,7
Allein, ohne Training4,3Im Team, ohne Training2,8Allein, trainiert2,0Im Team, trainiert0,7

Moore et al. (2016), drei Jahre, Tabelle 1; die Fragen waren bewusst schwer gewählt. Trainingsgewinne nach Brier-Wert, Jahre 1–4, Chang et al. (2016). Die Prognostiker waren selbst gemeldete Freiwillige, meist Männer mit Hochschulabschluss.

Quelle: Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016

Der ganze Text Die Ausgabe als Text lesen Zum Lesen auf kleinen Bildschirmen, zum Suchen oder mit Screenreader. Dieselben Worte, ohne die Seitengestaltung.

In dieser Ausgabe

Eine Führungskraft prognostiziert ständig: das Volumen der nächsten Woche, wann eine Reparatur fertig ist, ob eine neue Kraft es schafft. Jede Prognose trägt ein Gefühl, wie sicher sie ist. Diese Ausgabe fragt, wie oft dieses Gefühl stimmt und was manche Prognostiker darin treffsicher machte.

Die 80-%-Spannen von Finanzchefs für die Börse enthielten das Ergebnis in etwa 36 % der Fälle. Die Psychologie unterscheidet drei Arten, zu sicher zu sein; die in einer Prognose ist eine zu enge Spanne. Die 90-%-Spannen von Studierenden enthielten ihr echtes Ergebnis zu 73,1 %. In einem Prognosewettbewerb waren Freiwillige zu 65,4 % sicher und lagen zu 63,3 % richtig; eine Stunde Training und Arbeit im Team verkleinerten die Lücke weiter. Ein Weg zum Mitzählen und eine Karte schließen die Ausgabe.

Stiven Janaqi, Herausgeber

Titelthema

Zu achtzig Prozent sicher

Von 2001 bis 2011 fragte die Duke University US-Finanzvorstände, meist CFOs, jedes Quartal nach der S&P-500-Rendite des nächsten Jahres, mit einem unteren Wert, den sie mit 1 zu 10 unterschreiten, und einem oberen, den sie mit 1 zu 10 übertreffen würde. Eine gut kalibrierte Spanne enthielte das Ergebnis in 80 % der Fälle.

Einjahresprognosen, deren 80-%-Spanne die tatsächliche Rendite enthielt, 2001–2011: Was eine kalibrierte Spanne erreichte 80 %, Alle Quartale 36 %, Quartale mit hoher Marktunsicherheit 24,1 %.

Die Spannen waren viel zu eng. Im Schnitt umfassten sie 14,5 Prozentpunkte; von 1950 bis 2011 umfassten die mittleren 80 % der Einjahresrenditen 42,2. Auch die Werte in der Mitte der Spannen sagten den Markt nicht voraus.

Unsere Lesart

Als der Markt am unsichersten war, wurden die Spannen breiter, aber nicht genug: Die Lücke war genau dann am größten, als Vorsicht am meisten zählte.

13.346 Einjahresprognosen aus 40 Quartalsumfragen; 5–8 % der Befragten antworteten. Die Studie nennt in verschiedenen Abschnitten 36,3 % und 36,6 %, ihr Abstract 36 %. Hohe Unsicherheit: Quartale mit VIX über dem Median. NBER-Arbeitspapier, überarbeitet 2013.

Quelle: Itzhak Ben-David, John R. Graham & Campbell R. Harvey, National Bureau of Economic Research, 2013

Das Modell

Drei Arten, zu sicher zu sein

Don Moore und Paul Healy stellten fest, dass die Forschung ein Wort, Selbstüberschätzung, für drei verschiedene Fehler benutzt hatte, die oft in entgegengesetzte Richtungen weisen. Ihre Zählung der Studien von 2008 zeigt, wie oft jeder untersucht wurde.

  • 64 %: Überschätzung. zu glauben, man sei besser gewesen oder werde besser sein, als man tatsächlich ist
  • 5 %: Überplatzierung. zu glauben, man sei besser als andere, wenn man es nicht ist
  • 31 %: Überpräzision. zu sicher zu sein, die Antwort zu kennen: eine zu eng gezogene Spanne

Bei schweren Aufgaben überschätzen Menschen ihr Ergebnis, glauben aber, schlechter als andere zu sein; bei leichten umgekehrt. Die Überpräzision, schreiben Moore und Healy, ist die hartnäckigste der drei.

Unsere Lesart

Die Prognose einer Führungskraft kann in der Mitte stimmen und trotzdem zu sicher sein: Der dritte Fehler steckt in der Breite der Spanne.

Anteile der empirischen Studien aus einer Datenbanksuche nach „overconfidence“ (365 Treffer, 72 % empirisch), wie Moore und Healy sie 2008 zählten; die drei Anteile ergeben 100. Die Deutung für Führungskräfte stammt von der Redaktion.

Quelle: Don A. Moore & Paul J. Healy, Psychological Review 115(2), 2008

Die Zahlen

Neunzig Prozent sicher, und das Ergebnis

82 Studierende der Carnegie Mellon University lösten 18 Quiz mit je zehn Fragen und verteilten jedes Mal 100 % Wahrscheinlichkeit auf die möglichen Ergebnisse. Moore und Healy nahmen aus jeder Verteilung die Spanne, die 90 % am nächsten kam, und prüften, wie oft sie das echte Ergebnis enthielt.

Wie oft die 90-%-Spannen das echte Ergebnis enthielten (2008): Angegeben 90,5 %, Alle 73,1 %, Vor dem Quiz 55,1 %, Gleich danach 85,6 %.

Frühere Studien, so die Autoren, fanden, dass 90-%-Spannen die Antwort in 30 % bis 50 % der Fälle enthielten. Nach schweren Quiz schätzten die Studierenden ihr Ergebnis 0,79 Punkte zu hoch, nach leichten 0,22 zu niedrig, und über 18 Runden wurden diese Fehler nicht kleiner.

Unsere Lesart

Mehr Wissen verkleinerte die Lücke, schloss sie aber nicht. Sicher sein ist nicht dasselbe wie informiert sein.

„Angegeben“ liegt über 90 %, weil 20 % der Schätzungen als zu 100 % sicher abgegeben wurden. Bezahlt nach einer Bewertungsregel, die ehrliche Schätzungen belohnt; ein einzelnes Experiment, von den Autoren als illustrativ bezeichnet.

Quelle: Don A. Moore & Paul J. Healy, Psychological Review 115(2), 2008

Was die Forschung sagt

Wie Prognostiker kalibriert wurden

Ab 2011 veranstaltete eine US-Forschungsbehörde der Nachrichtendienste einen Wettbewerb zu Weltereignissen. Im Good Judgment Project gaben 2.860 Freiwillige in drei Jahren 494.552 Prognosen zu 344 Fragen ab, bewertet nach der Brier-Regel. Im Schnitt waren sie zu 65,4 % sicher und lagen zu 63,3 % richtig.

Überschätzung: Sicherheit minus Trefferquote, in Punkten, drei Jahre: Allein, ohne Training 4,3, Im Team, ohne Training 2,8, Allein, trainiert 2,0, Im Team, trainiert 0,7.

Das Training dauerte unter einer Stunde. In allen vier Wettbewerbsjahren schnitten Trainierte um 6 % bis 12 % besser ab als Untrainierte; von den gelehrten Grundsätzen war das Denken in Vergleichsklassen am stärksten mit Treffsicherheit verbunden. Mehr Jahre im Wettbewerb allein verbesserten die Kalibrierung nicht.

Unsere Lesart

Die Autoren vergleichen sie mit Wetterprognostikern, dem langjährigen Vorbild der Kalibrierung. Beide hatten eine klare Bewertung und schnelle Rückmeldung.

Moore et al. (2016), drei Jahre, Tabelle 1; die Fragen waren bewusst schwer gewählt. Trainingsgewinne nach Brier-Wert, Jahre 1–4, Chang et al. (2016). Die Prognostiker waren selbst gemeldete Freiwillige, meist Männer mit Hochschulabschluss.

Quellen: Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016; Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016

Wie es gemessen wird

Die eigene Sicherheit nachzählen

Die Prognostiker des Wettbewerbs wurden kalibriert, weil sie bewertet wurden. Eine Führungskraft kann sich selbst bewerten: jede Prognose vor dem Ergebnis als Wahrscheinlichkeit oder als Spanne mit unterem und oberem Wert aufschreiben, dann zählen.

Erfundenes Beispiel, das Buch eines Quartals

  • Trefferquote: 20 Prognosen mit 90 %; 14 trafen ein: 70 %, 20 Punkte zu sicher
  • Brier, eine Prognose: 90 %, trat nicht ein: (0,9 − 0)² = 0,81; trat ein: (0,9 − 1)² = 0,01

Buch und Zahlen sind von der Redaktion erfunden, um das Zählen zu zeigen. Niedrigere Brier-Werte sind besser.

  • Vorher, schriftlich. mit dem Datum, an dem die Frage entschieden ist
  • Eine Zahl, kein Wort. „70 %“, nicht „wahrscheinlich“; unterer und oberer Wert bei Mengen
  • Nach Stufe zählen. die 90-%-Prognosen zusammen, die 70-%-Prognosen zusammen

Das Buch ist ein Vorschlag der Redaktion; eine Trefferquote sagt wenig, solange es nicht viele Prognosen auf einer Stufe gibt. Das einfache Brier-Quadrat gilt für ein Ergebnis; der Wettbewerb nutzte die Originalform von 0 bis 2. Die Außensicht steht in Nr. 74, unabhängige Schätzungen in Nr. 83.

Quellen: Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016; Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016

Werkzeug der Ausgabe

Das Prognosebuch

Eine Zeile pro Prognose, ein Quartal lang geführt und bewertet, wenn jede Frage entschieden ist. Bevor Sie eine Spanne für eine Quote setzen, zeigt das Werkzeug Sigma & Control Chart, wie stark sie tatsächlich schwankte: Eine viel engere Spanne ist wahrscheinlich zu sicher.

  1. Die Frage was genau eintreten soll, und wann es entschieden ist
  2. Vergleichsklasse wie oft so etwas früher eintrat
  3. Meine Prognose eine Wahrscheinlichkeit, oder unterer und oberer Wert mit je 1 zu 10 darüber hinaus
  4. Was sie ändern würde die Nachricht, die die Zahl bewegen würde, und in welche Richtung
  5. Ergebnis was eintrat; innerhalb der Spanne oder nicht
  6. Bewertung Treffer oder nicht, und das Brier-Quadrat

Das Buch ist ein Vorschlag der Redaktion, gestützt auf die Bewertung des Wettbewerbs und seine Vergleichsklassen; der unten verlinkte Essay erzählt von Tagen, an denen die Nachfrage die Prognose übertraf.

Quellen: Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), 2016; Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), 2016

Mehr im Essay: Tage mit hohem Aufkommen: der Standard unter Druck

Tool öffnen: Sigma & Regel­karte

Quellen und Methode

Jede Zahl hat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

  • Itzhak Ben-David, John R. Graham & Campbell R. Harvey, National Bureau of Economic Research, „Managerial Miscalibration (NBER Working Paper 16215, revised September 2013)“, 2013. https://www.nber.org/system/files/working_papers/w16215/w16215.pdf
  • Don A. Moore & Paul J. Healy, Psychological Review 115(2), „The Trouble With Overconfidence“, 2008. https://doi.org/10.1037/0033-295X.115.2.502
  • Don A. Moore, Samuel A. Swift, Angela Minster, Barbara Mellers, Lyle Ungar, Philip Tetlock, Heather H. J. Yang & Elizabeth R. Tenney, Management Science (Articles in Advance), „Confidence Calibration in a Multiyear Geopolitical Forecasting Competition“, 2016. https://doi.org/10.1287/mnsc.2016.2525
  • Welton Chang, Eva Chen, Barbara Mellers & Philip Tetlock, Judgment and Decision Making 11(5), „Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments“, 2016. https://journal.sjdm.org/16/16511/jdm16511.pdf

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und Bedeutung geprüft, am Volltext, wo er sich öffnen ließ. Eine nur in einer Zusammenfassung, einem Abstract oder Auszügen gelesene Quelle ist mit „über“ markiert. Eine Zahl, die sich im Gelesenen nicht bestätigen ließ, ist auf ihrer Seite so markiert oder fehlt. Die Deutung des Herausgebers ist als „Unsere Lesart“ markiert.

Herausgegeben von Stiven Janaqi, der sie verantwortet; „die Redaktion“ ist in dieser Publikation er. Texte, Übersetzungen, Layout und die Prüfung der Zahlen an ihren Quellen entstehen in Arbeitssitzungen mit Claude, einem KI-Modell von Anthropic. Wie diese Seite entsteht

Management Review · Monatsausgabe

Eine andere Ausgabe lesen

Alle Ausgaben