Erst schätzen, dann diskutieren

In dieser Ausgabe

Viele Planungsrunden beginnen damit, dass jemand eine Zahl nennt. Danach reden die anderen meist um sie herum. Die Forschung zur Weisheit der Vielen stellt eine einfache Frage: Was ist die Schätzung einer Gruppe wert, wenn ihre Mitglieder einander schon gehört haben?

Auf einer Viehschau in Plymouth schrieben 787 Besucher je eine Schätzung auf eine Karte; die mittlere verfehlte das Gewicht des Ochsen um 0,8 %. In Zürich wurden 144 Studierende für genaue Antworten bezahlt. Der Blick auf die Schätzungen der anderen engte ihre Spannweite ein, machte die Gruppe nicht signifikant genauer und machte sie sicherer. In einem Online-Experiment mit 1360 Personen half der Austausch, wenn jede Stimme gleich viel wog, und schadete, wenn eine gut vernetzte Person weit von der Wahrheit lag. Eine Karte macht daraus eine Routine für Schätzungen.

Stiven Janaqi, Herausgeber

Titelthema

787 Karten und ein Ochse

Im März 1907 beschrieb Francis Galton in Nature einen Wettbewerb im Gewichtschätzen auf der Mastvieh- und Geflügelschau Westenglands in Plymouth. Für sechs Pence schrieben Besucher auf eine Karte, was ein Mastochse geschlachtet und ausgenommen wiegen würde.

• ≈800 Karten wurden ausgegeben; Galton legte 13 als fehlerhaft oder unleserlich beiseite
• 1207 Pfund die mittlere der 787 verbliebenen Schätzungen
• 1198 Pfund das Schlachtgewicht des Ochsen

Galton nahm die mittlere Schätzung, wie bei einer Abstimmung, in der jede andere Schätzung als zu hoch oder zu niedrig überstimmt wird. Sie lag 9 Pfund oder 0,8 % zu hoch. Die Hälfte der Karten lag zwischen 29 Pfund darunter und 45 Pfund darüber. Er nannte einen Grund, warum das Material gut war:

Die Urteile waren von Leidenschaft unverzerrt und von Redekunst und dergleichen unbeeinflusst.

Unsere Lesart

Die Menge war nicht klug, weil sie redete. Sie war klug, weil jede Karte geschrieben war, bevor jemand eine Rede hören konnte.

Galton, Nature 75, 7. März 1907, S. 450–451. Er nennt die mittlere Schätzung, den Median; wir verwenden nur seine Zahlen. Das Zitat ist seins, die Übersetzungen sind unsere.

Quelle: Francis Galton, Nature 75 (No. 1949), 1907

Die Zahlen

Der Durchschnitt, der täuscht

Jan Lorenz, Heiko Rauhut und Kollegen an der ETH Zürich stellten 144 Studierenden in 12 Sitzungen zu je 12 Personen sechs Sachfragen. Eine fragte nach der Länge der Grenze zwischen der Schweiz und Italien. Bezahlt wurde nur Genauigkeit, nicht Übereinstimmung mit anderen.

Wie oft die Gruppenzahl die Einzelschätzungen schlug (2011): Einfaches Mittel 21,3 %, Geometrisches Mittel 77,1 %.

Antworten auf solche Fragen sind rechtsschief: Wenige sehr hohe Schätzungen ziehen das einfache Mittel von der Wahrheit weg. Das geometrische Mittel, ein Mittel auf logarithmischer Skala, hält ihnen stand, ebenso wie der Median, den Galton nahm.

Unsere Lesart

Bevor Sie die Schätzungen eines Teams mitteln, schauen Sie auf die Streuung. Eine wilde Zahl kann den Durchschnitt stärker bewegen als zehn vernünftige.

Anteil der Fälle, in denen die Gruppenzahl näher an der Wahrheit lag als Einzelschätzungen: das einfache Mittel gegen erste Schätzungen, das geometrische auf Logarithmen. 144 Personen, sechs Fragen. Gelesen im Volltext.

Quelle: Jan Lorenz, Heiko Rauhut, Frank Schweitzer & Dirk Helbing, PNAS 108(22), 2011

Das Modell

Drei Wege, wie eine Menge verliert

Jede Frage lief über fünf Runden. In der Kontrollbedingung sah niemand etwas. In den anderen sahen die Teilnehmenden den Durchschnitt der Vorrunde oder alle bisherigen Schätzungen. Der Befund der Autoren:

Schon milder sozialer Einfluss kann den Effekt der Weisheit der Vielen untergraben.

• Effekt des sozialen Einflusses. Die Schätzungen rücken zusammen; der kollektive Fehler der Gruppe sinkt nicht signifikant.
• Effekt der verengten Spannweite. Die Wahrheit landet am Rand der Spannweite statt in der Mitte; die Gruppe sagt Außenstehenden weniger.
• Effekt der Zuversicht. Die Menschen werden nach der Annäherung sicherer, obwohl sie nicht genauer sind.

Unsere Lesart

Einigkeit ist kein Beleg. Ein Team, das sich im Meeting angenähert hat, hat sich vielleicht nur angenähert.

Lorenz et al. (2011), Abstract und Ergebnisse, im Volltext gelesen; das Zitat stammt aus dem Abstract. Die drei Namen sind die der Autoren, die kurzen Beschreibungen unsere.

Quelle: Jan Lorenz, Heiko Rauhut, Frank Schweitzer & Dirk Helbing, PNAS 108(22), 2011

Was die Forschung sagt

Nicht jeder Einfluss ist gleich

Joshua Becker, Devon Brackbill und Damon Centola von der University of Pennsylvania warben 1360 Personen online an; 1040 davon arbeiteten in Netzwerken zu je 40. Sie schätzten Größen wie die Kalorien eines Tellers Essen, jeweils dreimal, und sahen den Durchschnitt der Personen, mit denen sie verbunden waren.

Veränderung des Fehlers, erste bis dritte Schätzung (2017): Einzelne, ohne Netzwerk (Kontrolle) −3 %, Einzelne, gleiches Netzwerk −23 %, Gruppenmittel, gleiches Netzwerk −10 %, Gruppenmittel, zentrale Person fern der Wahrheit +19 %.

In den gleichen Netzwerken hatten alle gleich viele Verbindungen; in zentralisierten hatte ein Mitglied weit mehr, und die Gruppe bewegte sich zu dessen erster Antwort hin, im Guten wie im Schlechten. Wer anfangs genau lag, änderte weniger.

Unsere Lesart

Austausch half dort, wo jede Stimme gleich viel wog. In vielen Meetings erreicht eine Stimme alle zuerst: die der Chefin oder des Chefs.

Online-Experimente mit Schätzaufgaben, keine Arbeitsteams; 13 Durchgänge je Netzwerktyp. −10 % ist unsere Rechnung aus dem Fehler des Gruppenmittels von 0,69 und 0,62 Standardabweichungen. Gelesen im Volltext.

Quelle: Joshua Becker, Devon Brackbill & Damon Centola, PNAS 114(26), 2017

Wie es gemessen wird

Ist die Gruppe noch klug?

Die Studien maßen eine Menge auf wenige Arten. Ein Team kann dieselben Aufzeichnungen für die eigenen Schätzungen führen und sie prüfen, sobald die wahre Zahl bekannt ist.

• Erste Notizen aufbewahrt. Jede Schätzung allein notiert, bevor jemand spricht, und nach dem Meeting aufbewahrt.
• Median und Streuung. Der mittlere Wert und wo die mittlere Hälfte der Notizen liegt, wie Galton seine Karten las.
• Wo die Wahrheit lag. In der Mitte der Notizen oder an ihrem Rand: der Indikator der Weisheit der Vielen bei Lorenz und Kollegen.
• Fehler vorher und nachher. Der Median der ersten Notizen und die vereinbarte Zahl, jeweils gegen den wahren Wert.
• Zuversicht vorher und nachher. Wie sicher jede Person war, zweimal gefragt. Steigende Zuversicht ohne kleineren Fehler ist ein Warnsignal.

Unsere Lesart

Ist die vereinbarte Zahl nicht besser als der Median der ersten Notizen, hat das Meeting Zuversicht hinzugefügt, kein Wissen.

Die Maße folgen Galton (1907) und Lorenz et al. (2011); sie auf die Schätzungen eines Teams anzuwenden, ist ein Vorschlag der Redaktion. Das Noise-Audit steht in Nr. 20, das Pre-Mortem in Nr. 44, unabhängiges Bewerten im Interview in Nr. 65.

Quellen: Francis Galton, Nature 75 (No. 1949), 1907; Jan Lorenz, Heiko Rauhut, Frank Schweitzer & Dirk Helbing, PNAS 108(22), 2011

Werkzeug der Ausgabe

Die Karte für unabhängige Schätzungen

Eine Karte pro Schätzung: das Volumen der nächsten Woche, die Dauer eines Auftrags, die Kosten einer Änderung. Zeilen 1–3 werden allein ausgefüllt; geredet wird, wenn alle Karten da sind. Ein vereinbartes Volumen kann dann in Shift Capacity einfließen.

1. Die Frage was genau, in welcher Einheit, und wann die wahre Zahl bekannt ist
2. Meine Schätzung, allein eine Zahl, und wie sicher: wenig, mittel, sehr
3. Worauf ich mich stütze eine Zeile: Daten, Erfahrung, ein Vergleich
4. Die Streuung niedrigste, Median und höchste aller Karten, vorgelesen, bevor jemand argumentiert
5. Nach der Diskussion die vereinbarte Zahl; wer sich bewegt hat und warum
6. Die wahre Zahl Fehler des Medians und der vereinbarten Zahl; was wir nächstes Mal ändern

Diese Karte ist ein Vorschlag der Redaktion, gestützt auf Galton (1907), Lorenz et al. (2011) und Becker et al. (2017); als Karte wurde sie nicht getestet.

Quellen: Francis Galton, Nature 75 (No. 1949), 1907; Jan Lorenz, Heiko Rauhut, Frank Schweitzer & Dirk Helbing, PNAS 108(22), 2011; Joshua Becker, Devon Brackbill & Damon Centola, PNAS 114(26), 2017

Tool öffnen: Schichtkapazität

Quellen und Methode

Jede Zahl hat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

• Francis Galton, Nature 75 (No. 1949), „Vox populi“, 1907. https://galton.org/essays/1900-1911/galton-1907-vox-populi.pdf
• Jan Lorenz, Heiko Rauhut, Frank Schweitzer & Dirk Helbing, PNAS 108(22), „How social influence can undermine the wisdom of crowd effect“, 2011. https://doi.org/10.1073/pnas.1008636108
• Joshua Becker, Devon Brackbill & Damon Centola, PNAS 114(26), „Network dynamics of social influence in the wisdom of crowds“, 2017. https://doi.org/10.1073/pnas.1615978114

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und Bedeutung geprüft, am Volltext, wo er sich öffnen ließ. Eine nur in einer Zusammenfassung, einem Abstract oder Auszügen gelesene Quelle ist mit „über“ markiert. Eine Zahl, die sich im Gelesenen nicht bestätigen ließ, ist auf ihrer Seite so markiert oder fehlt. Die Deutung des Herausgebers ist als „Unsere Lesart“ markiert.

Herausgegeben von Stiven Janaqi, der sie verantwortet; „die Redaktion“ ist in dieser Publikation er. Texte, Übersetzungen, Layout und die Prüfung der Zahlen an ihren Quellen entstehen in Arbeitssitzungen mit Claude, einem KI-Modell von Anthropic. Wie diese Seite entsteht