Entscheidungen mit Daten

In dieser Ausgabe

Jedes Jahr erreichen Führungskräfte mehr Daten, als sie lesen können. Diese Ausgabe fragt, wo Daten eine Entscheidung wirklich verbessern: wo sie die Streuung ersetzen, wo sie ins Urteil einfließen und wo Menschen ihnen nicht mehr trauen.

Bei einem Versicherer lagen zwei Underwriter beim selben Fall im Median 55 % auseinander. Unter 179 großen Firmen hatten jene, die mit Daten entschieden, eine um 5–6 % höhere Produktion und Produktivität, als ihre übrigen Investitionen und ihre IT erwarten ließen. In Vorhersagestudien waren Formeln im Schnitt genauer als Fachleute, doch Menschen geben einen Algorithmus auf, sobald sie ihn irren sehen, außer sie dürfen ihn ein wenig anpassen.

Stiven Janaqi, Herausgeber

Titelthema

Das Noise- Audit

In einem Noise-Audit bei einem Versicherer, beschrieben von Daniel Kahneman, Olivier Sibony und Cass Sunstein, bepreisten Underwriter dieselben Fälle, jeder für sich, und Schadenregulierer bewerteten dieselben Schäden.

Medianabstand zwischen zwei Fachleuten beim selben Fall: Erwartet ≈10 %, Prämien 55 %, Schäden 43 %.

Kahneman und seine Mitautoren nennen die Methode Noise-Audit: Menschen derselben Einheit beurteilen dieselben Fälle, und wie weit ihre Antworten auseinanderliegen, ist das Maß der Streuung. Ihre Abhilfen sind Algorithmen oder Verfahren, die Urteile zu mehr Einheitlichkeit führen.

Unsere Lesart

Streuung bleibt unsichtbar, bis zwei Menschen denselben Fall beurteilen. Die meisten Teams tun das nie und sehen sie daher nie.

Quellen: Daniel Kahneman, Olivier Sibony & Cass R. Sunstein, 2021; Daniel Kahneman et al., Harvard Business Review, 2016

Die Zahlen

Was Entscheiden mit Daten bringt

Erik Brynjolfsson, Lorin Hitt und Heekyung Kim untersuchten, wie 179 große börsennotierte Firmen entscheiden. Jene, die mit Daten entschieden, hatten eine um 5–6 % höhere Produktion und Produktivität, als ihre übrigen Investitionen und ihre IT-Nutzung erwarten ließen.

US-Fabriken, die mit Daten entscheiden: 2005 11 %, 2010 30 %.

In der US-Industrie fanden Brynjolfsson und Kristina McElheran, dass sich der Anteil der Fabriken, die mit Daten entscheiden, in fünf Jahren fast verdreifachte. Unter den Datenverantwortlichen großer Firmen, die Wavestone befragte, nannten 48,1 % ihre Organisation 2024 datengetrieben, nach 23,9 % ein Jahr zuvor.

Unsere Lesart

Daten zahlen sich aus, wenn sie ändern, wie entschieden wird, nicht wenn sie mehr Berichte füllen.

Die Firmenstudie zeigt einen Zusammenhang, keine Ursache. Die zweite Studie zählt Fabriken, nicht Firmen. Die Wavestone-Zahlen sind die Sicht der Datenverantwortlichen, keine repräsentative Stichprobe.

Quellen: Erik Brynjolfsson, Lorin M. Hitt & Heekyung Hellen Kim, SSRN, 2011; Erik Brynjolfsson & Kristina McElheran, American Economic Review, 2016; Wavestone, 2024

Das Modell

Regel, Urteil oder beides

Daten können auf drei Arten in eine Entscheidung eingehen. Welche passt, hängt davon ab, wie oft sich die Entscheidung wiederholt und wie verschieden Menschen denselben Fall beurteilen.

• Eine Regel entscheidet. Für häufige, ähnliche Fälle mit klarem Ergebnis: Die Formel gibt die Antwort, Menschen kümmern sich um die Ausnahmen.
• Eine Regel schlägt vor, ein Mensch passt an. Die Formel liefert einen Wert; die Person darf ihn in einem festen Rahmen verschieben und notiert, warum.
• Ein Mensch entscheidet, mit Daten vor sich. Für seltene oder neue Entscheidungen: Die Daten sind Belege, das Urteil gehört der Person und wird festgehalten, damit man es später prüfen kann.

Hypothetisches Beispiel, die wöchentliche Personalplanung

• Regel: Personal = Auftragsprognose ÷ 120 pro Person
• Anpassung: Die Schichtleitung darf bis zu 2 Personen dazu- oder abziehen
• Notiz: Jede Änderung, mit einer Zeile zum Grund

Nach einem Monat zeigen die Notizen, ob die Änderungen geholfen haben. Die Zahlen sind erfunden.

Unsere Lesart

Daten ersetzen das Urteil nicht. Sie ersetzen die Streuung darin: den Teil, der davon abhängt, wer entscheidet, und an welchem Tag.

Die drei Wege sind eine Zusammenfassung der Redaktion; der zweite folgt Dietvorst, Simmons und Massey (2018).

Quelle: Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Management Science, 2018

Mehr im Essay: Kennzahlen werden nicht in Excel besser

Was die Forschung sagt

Die Formel und der Experte

William Grove und Kollegen verglichen das Urteil von Fachleuten mit mechanischer, statistischer Vorhersage, über Vorhersagestudien zu Gesundheit und menschlichem Verhalten hinweg.

• ≈10 % genauer im Schnitt: die Formel
• 33–47 % der Studien: die Formel klar besser
• 6–16 % der Studien: der Experte klar besser

Dennoch nutzen Menschen Formeln ungern. In fünf Studien fanden Berkeley Dietvorst, Joseph Simmons und Cade Massey, dass Menschen, die einen Algorithmus irren sahen, ihm weniger trauten und ihn seltener wählten als einen schwächeren Menschen, selbst wenn er besser abgeschnitten hatte. Sie verloren das Vertrauen in ihn schneller als in einen Menschen nach demselben Fehler.

Wenn Menschen die Prognose des Algorithmus ein wenig ändern durften, nutzten sie ihn viel öfter und schnitten besser ab, selbst wenn die erlaubte Änderung sehr klein war.

Unsere Lesart

Menschen die Formel ein wenig anpassen und den Grund notieren lassen. So bleibt die Formel in Gebrauch, und die Anpassungen bleiben sichtbar.

In vielen Studien waren beide etwa gleich genau. Die Spannen hängen davon ab, wie ein klarer Unterschied gezählt wird.

Quellen: William M. Grove et al., Psychological Assessment, 2000; Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Journal of Experimental Psychology: General, 2015; Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Management Science, 2018

Wie man es misst

Ein Noise-Audit im eigenen Team

Das Audit lässt sich im Kleinen durchführen: dieselben Fälle, getrennt beurteilt von den Menschen, die sonst darüber entscheiden.

• Eine wiederkehrende Entscheidung wählen. Eine, die mehrere Menschen treffen: eine Priorität, eine Schätzung, eine Einstufung.
• Fünf echte Fälle vorbereiten. Gleich aufbereitet, ohne Namen.
• Einzeln urteilen lassen. Keine Diskussion, bis alle Antworten vorliegen.
• Die Streuung ansehen. Für jeden Fall den Abstand zwischen höchster und niedrigster Antwort.
• Bei der größten Streuung eine Regel vereinbaren. Festhalten, wie ein solcher Fall entschieden wird, und in drei Monaten erneut testen.

Hypothetisches Beispiel, fünf Schichtleitungen schätzen dieselben Verspätungen

• Fall 1: von 20 bis 45 Minuten
• Fall 2: von 10 bis 15 Minuten
• Fall 3: von 30 bis 90 Minuten

Fall 3 braucht zuerst eine Regel. Fälle und Zahlen sind erfunden.

Schritte und Beispiel stammen von der Redaktion, nach dem Noise-Audit, das Kahneman und Kollegen beschreiben.

Quelle: Daniel Kahneman et al., Harvard Business Review, 2016

Werkzeug der Woche

Die Karte für Datenentscheidungen

Eine Karte für eine Entscheidung, die sich wiederholt. Mit den Menschen ausfüllen, die sie treffen, und nach einem Monat wieder ansehen.

1. Die Entscheidung was entschieden wird, wie oft, von wem
2. Die Daten welche Zahlen, woher, wie aktuell
3. Die Regel wie aus den Daten eine Antwort wird
4. Was ein Mensch ändern darf wie viel, mit notiertem Grund
5. Streuungstest Datum, fünf Fälle, wer sie beurteilt
6. Review nach einem Monat: Haben die Änderungen geholfen?

Eine Praxis, die die Redaktion vorschlägt, nach dem Noise-Audit von Kahneman und Kollegen und den anpassbaren Algorithmen von Dietvorst, Simmons und Massey.

Quellen: Daniel Kahneman et al., Harvard Business Review, 2016; Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Management Science, 2018

Quellen und Methode

Jede Zahl hat eine Quelle.

Die Zahlen dieser Ausgabe stammen aus den folgenden Quellen. Das Jahr zeigt, wie aktuell jede ist.

• Daniel Kahneman, Olivier Sibony & Cass R. Sunstein, “Noise: A Flaw in Human Judgment”, 2021.
• Daniel Kahneman et al., Harvard Business Review, “Noise: How to Overcome the High, Hidden Cost of Inconsistent Decision Making”, 2016. https://hbr.org/2016/10/noise
• Erik Brynjolfsson, Lorin M. Hitt & Heekyung Hellen Kim, SSRN, “Strength in Numbers: How Does Data-Driven Decisionmaking Affect Firm Performance?”, 2011. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1819486
• Erik Brynjolfsson & Kristina McElheran, American Economic Review, “The Rapid Adoption of Data-Driven Decision-Making”, 2016. https://doi.org/10.1257/aer.p20161016
• Wavestone, “2024 Data and AI Leadership Executive Survey”, 2024. https://www.wavestone.com/en/insight/data-ai-executive-leadership-survey-2024/
• William M. Grove et al., Psychological Assessment, “Clinical versus mechanical prediction: A meta-analysis”, 2000. https://doi.org/10.1037/1040-3590.12.1.19
• Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Journal of Experimental Psychology: General, “Algorithm aversion: People erroneously avoid algorithms after seeing them err”, 2015. https://doi.org/10.1037/xge0000033
• Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey, Management Science, “Overcoming Algorithm Aversion: People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them”, 2018. https://doi.org/10.1287/mnsc.2016.2643

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und genaue Bedeutung geprüft. Wo die Seite des Herausgebers nicht erreichbar war, wurde sie an unabhängigen Zusammenfassungen geprüft und mit „über“ markiert. Die Deutung der Redaktion ist als „Unsere Lesart“ markiert. Zahlen, die sich nicht bestätigen ließen, stehen nicht in der Ausgabe.