Der menschliche Eingriff: wenn die Automatik irrt

Editorial

Die Entscheidung nach dem Signal

Ein Bildschirm kann eine Antwort liefern, bevor die Person, die der Arbeit am nächsten steht, die Frage erklären kann.

Eine automatisierte Route, ein Scan, eine rote Anzeige im Dashboard und ein Hotelstatus sind nicht austauschbar. Jedes ist ein Datensatz, der für einen bestimmten Zweck erzeugt wurde. Im besten Fall verdichtet das System Routinearbeit und hilft Teams, sich abzustimmen. Im schlechtesten Fall verleitet seine Geschwindigkeit die Organisation, einen langsameren Schritt zu überspringen: festzustellen, was geschehen ist und wer handeln darf. Dieser Band verfolgt eine praktische Frage durch Logistik, Disposition und die Nachtschicht im Hotel: Was geschieht, wenn eine automatisierte Ausgabe vollständig erscheint, die Arbeit aber nicht ist? Der Leser trifft auf konstruierte Szenen, veröffentlichte Studien und dokumentierte Arbeitskategorien. Sie sind nicht dieselbe Art von Beleg. Ein erfundener Fall kann einen Mechanismus klären; er kann nicht beweisen, dass ein bestimmter Betrieb diesen Fehler erlitt. Kein Gast, Fahrer oder Arbeitgeber wird genannt, und kein internes Systemverfahren wird offengelegt.

Stiven Janaqi, Herausgeber

So ist jedes Kapitel gebaut

1. Die lebendige Szene. Eine Schicht, eine Rampe, eine Rezeption um 03:00: ein Stück Arbeit, verfolgt, wie es wirklich geschieht, mit der Übergabe, an der es bricht. Szenen sind aus echten Arbeitskategorien gebaut und als solche gekennzeichnet.
2. Die begriffliche und wissenschaftliche Aufschlüsselung. Der Mechanismus hinter der Szene, benannt mit dem Modell, das ihn erklärt, und die Forschung, die ihn prüft: die Studie, ihre Population, ihr Jahr und ihre Grenzen, bevor sie anderswo angewandt wird.
3. Das operative Handlungsprotokoll. Was ein Team am Montag ausprobieren kann: Felder, Fragen, einen Takt und eine Zählung, jeweils mit Verantwortlichem, nächstem Schritt und Rückmeldung an die Menschen, die die Arbeit tun.

Der Lesevertrag

• Feld. Nur geprüfter Hintergrund aus echten Rollen; keine erfundenen persönlichen Vorfälle.
• Wissenschaft. Forscher, Daten, Populationen und Grenzen stehen neben jeder Aussage.
• Handeln. Ein befugter nächster Schritt, ein Verantwortlicher und ein beobachtbares Ergebnis.

Forschungsnotiz

Was diese Belege sagen können

Forschung zu Piloten, Leitwartenpersonal und klinischer Entscheidungsunterstützung liefert Mechanismen, keine lokalen Leistungsschätzungen.

Bainbridge (1983) untersuchte die Paradoxien der industriellen Automatisierung. Endsley und Kiris (1995) erforschten die Leistung nach dem Ausfall einer automatisierten Navigationshilfe. Parasuraman und Riley (1997) unterschieden Verlassen, Überverlassen und das Verwerfen nützlicher Automatik. Goddard und Kollegen (2012) sichteten empirische Studien über Fachgebiete hinweg; Romeo und Conti (online 2025) richteten den Blick auf die heutige Mensch-KI-Zusammenarbeit. Ihre Umgebungen unterscheiden sich von einer Laderampe, einem Dispositionsschreibtisch oder einer Hotelrezeption bei Nacht. Eine Übertragung ist nur auf der Ebene eines zu prüfenden Mechanismus vertretbar: nachlassende Überwachung, veraltete Datensätze, Übervertrauen, ignorierte Alarme, fehlendes Wiederanlaufwissen oder unklare Befugnis. Nicht vertretbar ist, eine veröffentlichte Fehlerquote zu übernehmen, als stammte sie aus den Betrieben des Autors.

• Beobachtet. Veröffentlichte Studie, gemessenes Ergebnis, Population und Jahr.
• Gefolgert. Ein plausibles betriebliches Risiko, als Hypothese formuliert.
• Vorgeschlagen. Eine Praxis oder Kennzahl, die auf lokale Prüfung wartet.

Unsere Lesart

Die Forschung dient hier dazu, unsere Aussagen zu disziplinieren, nicht, eine konstruierte Szene geprüft aussehen zu lassen.

Vollständige Angaben auf der Quellenseite; jede Studie ist mit ihrer DOI zitiert und in der veröffentlichten Fassung oder im Abstract gelesen.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), 1995; Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997; Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012; Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), 2025

Kapitel I: Das grüne Dashboard, die unfertige Arbeit

Ebene 1 · Die lebendige Szene

Das grüne Dashboard, die unfertige Arbeit

Ein Bildschirm kann in dem Feld, das er erfasst, richtig liegen, während die Leistung als Ganzes unvollständig bleibt.

Hypothetische Zusammensetzung, kein dokumentierter Vorfall

Das Dashboard markiert eine Abfahrt als erledigt. Ein Fahrzeug hat den Ladebereich verlassen; der Zeitstempel stimmt. Doch Augenblicke zuvor wurde eine ungeklärte Abweichung in der Ladung besprochen. Ein Kollege hat die Ausnahme an einer Stelle erfasst, ein anderer sieht nur den erfolgreichen Abfahrtsstatus. Die Anzeige ist grün, weil die Abfahrt stattfand. Der Prozess, der beim Kunden ankommt, ist nicht unbedingt grün.

Die Versuchung ist, darüber zu streiten, welcher Mitarbeiter den falschen Eintrag gemacht hat. Eine bessere Untersuchung beginnt mit der genauen Aussage des Bildschirms. Bedeutet „abgefahren“, dass das Fahrzeug sich bewegt hat? Dass alle Artikel gescannt wurden? Dass die Ladung als vollständig geprüft wurde? Das sind verschiedene Behauptungen. Ein Status wird irreführend, wenn seine Leser ihm stillschweigend mehr Bedeutung geben, als seine Definition trägt. Gemischte Wagen, fehlende Taschen und Ladedisziplin sind dokumentierte Kategorien aus der Last-Mile-Erfahrung des Autors. Dieses Fahrzeug, diese Abfolge und diese Abweichung sind erfunden.

Unsere Lesart

Ein wahres Ereignis kann trotzdem eine unvollständige Erklärung sein.

Kein tatsächlicher Vorfall wird rekonstruiert; der unten genannte Essay erzählt dieselbe Form vom Dispositionsschreibtisch aus.

Mehr im Essay: Der Bericht, den eine Maschine geschrieben hat

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Von erfasst zu gelöst

Drei Bedeutungen von „erledigt“ können sich still in eine einzige Farbe verwandeln.

• Erfasst. Das System hat ein Ereignis erfasst.
• Geprüft. Das Ereignis und die geforderte Bedingung wurden geprüft.
• Gelöst. Die Verpflichtung gegenüber dem Kunden wurde erfüllt.

Die Kategorien oben sind ein redaktionelles Diagnosemodell, keine dreistufige Taxonomie aus einer veröffentlichten Studie. Sie helfen einer Führungskraft zu fragen, was das System wirklich behauptet. Ein Scan kann ein Beleg für eine Transaktion sein; ein Status kann festhalten, dass ein Vorgang einen bestimmten Punkt passiert hat. Keines von beiden beweist allein, dass jede Anforderung weiter unten erfüllt ist. Parasuraman, Sheridan und Wickens (2000) unterscheiden die Automatisierung der Informationsaufnahme, der Informationsanalyse, der Entscheidungsauswahl und der Handlungsausführung. Die Unterscheidung zählt, weil dasselbe Dashboard gemessene Fakten mit gefolgerten Bewertungen oder empfohlenen Handlungen mischen kann. Wer damit arbeitet, sollte wissen, wo das Erfassen endet und das Folgern beginnt.

• Beobachtung. Was wurde gemessen, eingegeben oder mit Zeit versehen?
• Deutung. Welche Regel machte daraus einen Status?
• Entscheidung. Welche Handlung ist geboten, durch wen, mit welcher Befugnis?

Unsere Lesart

Bevor Sie die Farbe anzweifeln, definieren Sie die Bedingung, die sie darstellen soll.

Die vier Klassen automatisierter Funktionen stammen von Parasuraman, Sheridan und Wickens (2000); angemessenes Verlassen nach Lee und See (2004). Erfasst, geprüft, gelöst ist redaktionell.

Quellen: Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Ebene 3 · Das operative Handlungsprotokoll

Prüfen, bevor Sie eskalieren

Ein Signal, eine geprüfte Bedingung, eine verantwortete nächste Entscheidung.

• Das Signal benennen. Anzeige, Quelle, Zeitstempel und offizielle Definition festhalten.
• Aktualität prüfen. Klären, ob der Wert live, verzögert, aggregiert oder endgültig ist.
• Mit der Arbeit vergleichen. Zulässige unabhängige Belege der Person oder des Prozesses nutzen, die dem Ergebnis am nächsten sind.
• Die Abweichung einordnen. Ist es eine Erfassungslücke, ein Problem der Geschäftsregel oder eine echte Prozessausnahme?
• Befugnis zuweisen. Festhalten, wer nach geltender Regelung über Korrektur oder Eskalation entscheiden darf.
• Das Ergebnis zurückgeben. Dokumentieren, was bestätigt wurde und was das Team als Nächstes wissen muss.

Eine Statusabweichung erlaubt nicht, eine Sicherheits-, Datenschutz- oder Compliance-Kontrolle zu umgehen: Eine akute Gefahr folgt dem Notfallweg, eine routinemäßige Abweichung dem lokalen Prüfweg. Die Prüfung dient einer besseren Entscheidung, nicht einem inoffiziellen zweiten System.

Unsere Lesart

Eine Führungskraft sollte sagen können, was die Zahl bedeutet, wann sie galt und was sie nicht belegt.

Redaktionelles Protokoll nach den Funktionsklassen von Parasuraman et al. (2000) und dem Vertrauensrahmen von Lee und See (2004); kein für einen bestimmten Arbeitgeber zertifiziertes Verfahren.

Quellen: Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Kapitel II: Die Ironie der Automatisierung

Ebene 1 · Die lebendige Szene

Der Operator, der zusah

Für einen automatisierten Prozess verantwortlich zu sein ist nicht dasselbe wie darauf vorbereitet zu bleiben, ihn zu steuern.

Hypothetische Illustration, kein behaupteter Betriebsfehler

Stundenlang läuft der Plan wie gewohnt. Stopps sind geordnet, Ausnahmen werden angezeigt, und die Person am Schreibtisch bearbeitet die Fälle, die die Software hervorhebt. Dann taucht eine ungewöhnliche Lage auf. Das System hat keinen brauchbaren nächsten Zug geliefert. Der Operator muss rekonstruieren, was geschehen ist, wovon die Route abhängt und welche Änderungen noch erlaubt sind.

Es liegt nahe, das schlicht als Bedarf an besserer technischer Schulung zu bezeichnen. Doch der schwierige Teil kann der Übergang selbst sein. Routineautomatik lädt dazu ein, Ergebnisse zu überwachen, statt das gesamte Lagebild aufzubauen und laufend zu aktualisieren. Kann die Software die Aufgabe nicht abschließen, muss das fehlende Bild unter Zeitdruck neu aufgebaut werden. Dies ist eine konstruierte Szene. Der Autor hat in der Last-Mile-Disposition und in der betrieblichen Koordination gearbeitet, doch ein bestimmter Ausfall der Routenplanung oder eine fehlerhafte Übernahme wird hier nicht behauptet.

Unsere Lesart

Die schwierigste menschliche Aufgabe ist vielleicht die, die das System zuletzt übrig lässt.

Eine konstruierte Illustration eines allgemeinen Risikos; ihre Bedeutung stützt sich auf Bainbridge (1983) und Endsley und Kiris (1995), gelesen in den Umgebungen, in denen sie entstanden.

Mehr im Essay: Das System ist schneller als Sie

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Bainbridges unbequeme Ironie

Automatisierung kann Routinetätigkeit entfernen und den Menschen die Verantwortung für die Ausnahmefälle lassen.

In einem kurzen Aufsatz von 1983 widersprach Lisanne Bainbridge der Annahme, technische Raffinesse beseitige Probleme des Faktors Mensch von selbst. Industrielle Automatisierung kann die Schwierigkeiten, die dem Operator bleiben, vergrößern, besonders wenn abnormale Zustände eine Diagnose verlangen. Es geht nicht darum, dass Automatisierung unerwünscht wäre; es geht darum, dass die verbleibende menschliche Rolle durch die Gestaltung der Automatik verändert wird.

• Routine entlastet. Weniger wiederkehrende manuelle Entscheidungen.
• Kontext schwerer. Weniger direkte Beteiligung an der Arbeit, die Vertrautheit schafft.
• Ausnahme bleibt. Menschen müssen weiterhin ungewöhnliche, folgenreiche Zustände deuten.

Eine Logistikroute, eine Scanspur und ein Hotelbericht sind keine industriellen Regelkreise der Art, die Bainbridge analysierte. Die Übertragung ist enger: Erwartet ein Prozess, dass eine Person Anomalien bewältigt, muss er dieser Person auch den Zugang zu Kontext, Befugnis, Übung und brauchbarer Rückmeldung erhalten. Ein benannter Verantwortlicher ohne diese Bedingungen trägt womöglich Verantwortung ohne Kontrolle. Die gefährlichste Gestaltungsfrage lautet daher nicht „Was können wir automatisieren?“, sondern „Was muss die Person noch verstehen, wenn es aufhört zu helfen?“

Unsere Lesart

Eine Routineaufgabe zu entfernen hebt die Notwendigkeit nicht auf, das System zu lernen.

Bainbridge, „Ironies of Automation“, Automatica 19(6), 1983: ein konzeptioneller Aufsatz zur industriellen Prozesssteuerung, kein Experiment; die drei Karten sind eine redaktionelle Zusammenfassung.

Quelle: Lisanne Bainbridge, Automatica 19(6), 1983

Ebene 3 · Das operative Handlungsprotokoll

Menschen im Regelkreis halten

Die Antwort auf ein seltenes abnormales Ereignis sollte geübt sein, bevor es eintritt. Im Navigationsexperiment von Endsley und Kiris (1995) ging geringeres Lagebewusstsein mit langsameren Entscheidungen nach dem Ausfall des Expertensystems einher; die Kontrollstufe milderte den Verlust. Das misst kein Hotel und keine Disposition, macht das Gestaltungsanliegen aber konkret.

• Die Grenzen erklären. Zeigen, was das System abdeckt, was es nicht folgern kann und wer die Ausnahmen verantwortet.
• Eigenständige Orientierung üben. Den Arbeitsablauf regelmäßig aus zulässigen Belegen rekonstruieren, ohne die Empfehlung als richtig vorauszusetzen.
• Sichere Eskalation proben. Wissen, wie man Hilfe holt, eine unsichere Handlung anhält und eine befugte Entscheidung einholt.
• Wiederanlauf prüfen, nicht Gedächtnis. Szenariobasiert schulen und bestätigen, dass der Operator den nächsten Schritt beschreiben kann.
• Nach dem Lernen aktualisieren. Tritt ein unbekannter Fehler auf, die freigegebene Schulung nach dokumentierter Prüfung anpassen.

Unsere Lesart

Ein geschulter Operator weiß nicht nur, wie man das Werkzeug benutzt, sondern auch, wann es nicht mehr ausreicht.

Redaktionelles Schulungsprotokoll nach Bainbridge (1983) und Endsley und Kiris (1995), deren Teilnehmer eine Navigationsaufgabe im Labor bearbeiteten, keinen Dispositionsschreibtisch.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), 1995

Kapitel III: Wenn jeder Alarm rot ist

Ebene 1 · Die lebendige Szene

Wenn jeder Alarm rot ist

Eine rote Anzeige verdient Aufmerksamkeit. Sie ist für sich genommen keine Diagnose.

Hypothetische Dispositionsszene, kein dokumentierter Alarm

Die Anzeige ist voller Rot. Manche Routen haben eine Verspätungsschwelle überschritten, manche Werte sind alt, andere spiegeln Probleme, die bereits bearbeitet werden. Der Koordinator weiß nicht, welcher Zustand neu ist, welcher ernst und welcher nicht mehr aktuell. Jedes Signal konkurriert um dieselbe begrenzte Aufmerksamkeit.

Eine Führungskraft mag das als mangelnde Disziplin bezeichnen: Warum reagiert das Team nicht auf jede rote Zeile? Doch eine wirksame Reaktion hängt von mehr als der Farbe ab. Der Alarm muss eine definierte Bedingung abbilden, zu einem brauchbaren Zeitpunkt kommen, den Schweregrad anzeigen und jemandem die Befugnis zum Handeln geben. Sonst wird ein Alarmsystem zu einer zweiten Arbeitsquelle: erst klären, was das System meinte, dann klären, was geschah. Aus der Rolle des Autors in der Ferndisposition gibt es keinen dokumentierten Fall eines bestimmten roten Alarms, der ohne Eingriff verschwand. Diese Szene illustriert das Entscheidungsproblem; sie gibt keine erfundenen Alarmstatistiken als Erfahrung aus.

Unsere Lesart

Wenn jede Änderung dieselbe Aufmerksamkeit verlangt, hat der Bildschirm nicht entschieden, was zählt.

Konstruierte Szene aus der Kategorie der Ferndispositionsarbeit; der unten genannte Essay erzählt denselben Morgen vom Schreibtisch des Autors.

Mehr im Essay: Wenn das Dashboard vor Ihnen rot wird

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Das Basisratenproblem

Ein System kann viele echte Ausnahmen erkennen und trotzdem überwiegend unnütze Alarme erzeugen. Angenommen, fünf von 100 Fällen brauchen wirklich Aufmerksamkeit. Das System erkennt vier dieser fünf, übersieht einen und schlägt bei 15 der übrigen 95 fälschlich an. Es gibt 19 Alarme aus: vier richtige und 15 Fehlalarme.

Rein hypothetisches Beispiel: 100 Fälle, keine Unternehmensdaten

Hundert erfundene Fälle, fünf davon echte Ausnahmen: Echte Ausnahmen 5, Ausgelöste Alarme 19, Richtige Alarme 4, Fehlalarme 15.

Nur 4 ÷ 19 = 21,1 % der Alarmmeldungen entsprechen in diesem Beispiel echten Ausnahmen. Das System erkannte 4 ÷ 5 = 80 % der echten Ausnahmen. Beide Werte beschreiben dieselbe hypothetische Auslegung, aus verschiedenen Blickwinkeln. Parasuraman und Riley (1997) merken an, dass Fehlalarme zum Nichtgebrauch der Automatik führen können. Das Beispiel macht ihre Warnung vor der Basisrate anschaulich: Der Nutzen eines Alarms hängt davon ab, wie oft die Bedingung eintritt, nicht nur davon, wie gut die Software sie erkennt. Eine betriebliche Fehlalarmquote wird hier nicht geschätzt.

Unsere Lesart

Zählen Sie die Alarme, die Handeln verlangen, nicht nur die, die das System erzeugen kann.

Die 100 Fälle sind erfunden, damit die Rechnung nachprüfbar ist; der Nichtgebrauch nach Fehlalarmen stammt von Parasuraman und Riley (1997).

Quelle: Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Zwei Zahlen, eine Auslegung

Dieselbe Alarmauslegung sieht gut oder schlecht aus, je nachdem, welcher Nenner verwendet wird. Die Präzision beantwortet die Frage dessen, der die Alarme erhält; die Sensitivität die Frage dessen, der den übersehenen Fall fürchtet. Eine Alarmprüfung braucht beides, samt den Kosten jeder Fehlerart.

Rein hypothetisches Beispiel: 100 Fälle, keine Unternehmensdaten

Die 100 erfundenen Fälle, von zwei Seiten gelesen: Echte Alarme (Präzision) 21,1 %, Erkannte echte Ausnahmen (Sensitivität) 80 %, Fehlalarme 78,9 %.

21,1 % positiver Vorhersagewert: 4 richtige Alarme ÷ 19 ausgelöste Alarme

Ein Team, das 19 Alarme erhält und vier echte Fälle findet, lernt über Wochen, vor dem Reagieren abzuwarten. Dieses Lernen ist vernünftig, und es ist genau der Mechanismus, den Parasuraman und Riley Nichtgebrauch nennen. Die Abhilfe besteht nicht darin, den Leuten zu sagen, sie sollten dem Bildschirm mehr vertrauen. Sie besteht darin, die Bedingung, die der Alarm abbildet, seinen Zeitpunkt oder seine Schwelle kontrolliert zu ändern und das Ergebnis zu zählen.

Die Prozentwerte folgen aus den erfundenen Zahlen der vorigen Seite; Präzision und Sensitivität sind Standarddefinitionen, keine Werte aus einer Studie.

Quelle: Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997

Ebene 3 · Das operative Handlungsprotokoll

Eine bessere Alarmprüfung

Behandeln Sie die Alarmauslegung als Qualitätsproblem mit messbaren Kosten auf beiden Seiten.

• Das Ergebnis definieren. Welche Bedingung braucht wirklich eine Entscheidung, nicht bloß eine Farbe?
• Richtige und falsche Signale erfassen. Unabhängig geprüfte Fälle mit klar definiertem Beobachtungsfenster verwenden.
• Übersehene Ausnahmen messen. Stille kann folgenreicher sein als Lärm; Übersehenes ausdrücklich definieren.
• Dringlichkeit von Unbequemlichkeit trennen. Eine sicherheitskritische Bedingung gehört nicht in eine Gruppe mit einer routinemäßigen Zeitabweichung.
• Eine Reaktion gestalten. Verantwortlichen, maximale Prüfverzögerung und sicheren Eskalationsweg festlegen.
• Nach Änderungen testen. Nachgelagerte Ergebnisse vergleichen, nicht nur die Zahl roter Zeilen.

„Verbessern“ Sie das Dashboard nie, indem Sie Schwellen anheben, nur damit der Bildschirm grüner wird. Eine Schwellenänderung ist eine kontrollierte Änderung der Risikoerkennung: Sie braucht Freigabe, dokumentierte Begründung und die Prüfung von Fehlalarmen und übersehenen Fällen, samt dem Zeitpunkt der letzten Datenaktualisierung.

Unsere Lesart

Ein Alarm ist gut, wenn er der richtigen Person hilft, rechtzeitig das Richtige zu tun.

Redaktionelles Prüfprotokoll nach Parasuraman und Riley (1997) zum Nichtgebrauch und Lee und See (2004) zum angemessenen Verlassen; keine Schwelle in den Betrieben des Autors getestet.

Quellen: Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Kapitel IV: Was der Fahrer weiß, das System nicht

Ebene 1 · Die lebendige Szene

Die Route weiß weniger als der Fahrer

Die Software kennt ihre Eingaben. Die Arbeitskraft erlebt, was jetzt geschieht.

Zusammengesetzte Illustration; das genaue Ereignis fand so nicht statt

Eine Route wirkt auf dem Bildschirm vernünftig. Eine Person, die in dem Gebiet schon zugestellt hat, bemerkt, dass ein Teil des Plans von einer Bedingung abhängt, die nicht mehr verlässlich ist. Sie fragt, ob die Route überprüft werden kann. Zugleich hat ein anderes System eine beruhigende Scanhistorie, doch eine physische Ladung muss noch geprüft werden. Der Koordinator steht vor zwei Arten von Belegen: einem Datensatz, der formal richtig sein kann, und lokalem Wissen, das noch nicht geprüft ist.

Die falsche Wahl ist, die Software automatisch als maßgeblich zu behandeln oder jeden menschlichen Einwand auf Vertrauen hin anzunehmen. Die arbeitsfähige Wahl ist, die Behauptung zu prüfen, den Beleg zu sichern und dem befugten Änderungsverfahren zu folgen. Die Beobachtung des Mitarbeiters hat Wert, auch wenn sie sich als Irrtum erweist: Sie benennt eine Bedingung, die es zu prüfen lohnt. Der geprüfte Hintergrund des Autors umfasst die Koordination von Fahrern, fehlende Taschen, gemischte Wagen und Scanregeln. Die konkrete Meinungsverschiedenheit über die Route, der Zeitpunkt und der Ausgang sind hier illustrativ, keine erinnerten Ereignisse.

Unsere Lesart

Eine Route kann mathematisch stimmig und betrieblich unvollständig sein.

Kein Fahrer, keine Route und kein Arbeitgeber wird genannt; der unten genannte Essay erzählt dieselbe Meinungsverschiedenheit von der Dispositionsseite.

Mehr im Essay: Die Tour, die der Fahrer nicht versteht

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Gebrauch, Missbrauch, Nichtgebrauch, Fehlgebrauch

Das Problem ist nicht einfach, Menschen dazu zu bringen, der Automatik mehr zu vertrauen.

• Gebrauch. Automatik bewusst einschalten oder ausschalten, wenn es angebracht ist.
• Missbrauch. Sich zu stark auf ihre Ausgabe verlassen und Prüfung oder Urteil zurückfahren.
• Nichtgebrauch. Ein nützliches System vernachlässigen, womöglich nach wiederholten Fehlalarmen.
• Fehlgebrauch. Automatik ohne ausreichende Rücksicht auf die menschlichen Folgen gestalten oder vorschreiben.

Diese Begriffe stammen von Parasuraman und Riley (1997). Ihr Modell verweigert die bequeme Zweiteilung zwischen „glaub dem Computer“ und „glaub dem Mitarbeiter“. Das angestrebte Ergebnis ist angemessenes Verlassen. Lee und See (2004) betonen, dass Vertrauen vom Kontext und von den Eigenschaften des Systems geprägt wird. Eine vertrauenswürdige Gestaltung hilft Menschen zu kalibrieren, worin das Werkzeug tatsächlich gut ist, und unter welchen Umständen. Wenn ein Fahrer eine ungewöhnliche Straßenlage meldet oder ein Kollege einen Scan anzweifelt, darf die Reaktion nicht allein von Dienstalter oder Selbstsicherheit abhängen. Welche unabhängigen Belege gibt es? Spiegelt die Eingabe die aktuelle Lage? Wer darf den Plan ändern? Kann die Beobachtung das System für den nächsten Nutzer verbessern?

Unsere Lesart

Das Ziel ist kalibriertes Vertrauen: weder blindes Verlassen noch reflexhafte Ablehnung.

Die vier Begriffe sind von Parasuraman und Riley; die vier Fragen am Ende sind redaktionell.

Quellen: Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Was die Übersichten wirklich fanden

Automation Bias hat eine empirische Literatur, doch die Belegstichproben müssen an ihre Kontexte gebunden bleiben.

• 13,821 gefundene Arbeiten
• 74 Studien erfüllten die Kriterien
• 35 begutachtete Studien gesichtet
• 2015–25 geprüftes Veröffentlichungsfenster

Goddard, Roudsari und Wyatt (2012) suchten in mehreren Fachgebieten, mit Schwerpunkt auf klinischer Entscheidungsunterstützung, und behielten 74 Studien von 13.821 gefundenen Arbeiten. Vertrauen und Zuversicht, Aufgabenerfahrung, Arbeitslast, Aufgabenkomplexität und Zeitdruck vermittelten Automation Bias; Schulung, Verantwortlichkeit der Nutzer und Gestaltung konnten ihn mildern. Diese Zahlen sind Arbeiten in einer Suche, nicht die Häufigkeit schlechter Entscheidungen bei der Arbeit.

Romeo und Conti (online 2025) untersuchten 35 begutachtete Studien zur Mensch-KI-Zusammenarbeit von Januar 2015 bis April 2025 und warnen, dass Erklärungen allein Überverlassen nicht zuverlässig verhindern; zur eigenständigen Prüfung anzuregen bleibt wichtig. Die beiden Übersichten haben verschiedene Einschlussregeln und Zeiträume und lassen sich nicht vergleichen, als zählten sie dasselbe Phänomen über die Zeit.

Unsere Lesart

Eine größere Literatur ist ein stärkerer Grund, einen Mechanismus zu prüfen, keine Erlaubnis, lokale Ergebnisse zu erfinden.

Die Zahlen stammen aus den beiden Abstracts: „Of 13 821 retrieved papers, 74 met the inclusion criteria“ (JAMIA 19(1), 2012) und „35 peer-reviewed studies … published between January 2015 and April 2025“ (AI & Society, online 2025).

Quellen: Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012; Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), 2025

Ebene 3 · Das operative Handlungsprotokoll

Lokales Wissen übertragbar machen

Verlangen Sie von Beschäftigten nicht, zwischen stiller Improvisation und blindem Gehorsam zu wählen.

• Eine Meldung annehmen. Ein einfacher, freigegebener Weg, eine womöglich falsche Route, einen Status oder einen Scan zu melden.
• Die Beobachtung beschreiben. Bedingung, Zeit, Auswirkung und unabhängige Prüfbarkeit.
• Den Standard schützen. Keine Änderung an Routen, Daten oder Compliance-Schritten ohne übertragene Befugnis.
• Gemeinsam prüfen. Der ursprüngliche Datensatz und die reale Lage, mit dem zuständigen Team.
• Entscheiden und dokumentieren. Eine befugte Quelle aktualisieren oder erklären, warum die Regel bleibt.
• Zurückmelden. Die Beschäftigten an der Front erfahren, was bestätigt wurde und was offen ist.

Was Straße, Rampe oder Schreibtisch lehren, sollte nicht im Gedächtnis einer Person bleiben; ebenso wenig sollte eine ungeprüfte Anekdote zur neuen Regel werden. Ein Rückmeldekanal wirkt, wenn er Beobachtung von Freigabe trennt und den Betroffenen eine begründete Entscheidung zurückgibt.

Unsere Lesart

Ein System verbessert sich, wenn eine Korrektur zu geteiltem Wissen wird, nicht zu einem privaten Umweg.

Redaktionelles Protokoll nach Parasuraman und Riley (1997) und Lee und See (2004); das Tool Shift Handover der Seite trägt die Felder der letzten beiden Schritte.

Quellen: Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Kapitel V: 03:00: wenn das System nicht verfügbar ist

Ebene 1 · Die lebendige Szene

Als die Schulung stehen blieb

Eine echte Erfahrung kann Abhängigkeit zeigen, ohne zu einem erfundenen Vorfall zu werden.

Dokumentierte Erfahrung, Einzelheiten aus Gründen der Betriebssicherheit begrenzt

Während einer frühen Schulungsschicht im Hotel ließ ein geplantes Systemupdate den Auszubildenden mehrere Stunden lang die gewohnten Systemaufgaben nicht üben. Ein Kollege konnte die Arbeit erklären, doch die übliche Live-Vorführung konnte nicht stattfinden. Die Schulung wurde kein dramatischer Notfall. Sie wurde eine ausgedehnte Lektion darüber, wie sehr das Erlernen der Abläufe vom Zugang zur Oberfläche abhing.

Das ist enger als eine „Nacht, in der das gesamte Hotelsystem ausfiel“. Die Belege stützen eine Unterbrechung im Zusammenhang mit Wartung und eine eingeschränkte praktische Schulung; sie stützen keine Behauptungen über beschädigte Daten, falsche Buchungen, Folgen für Gäste, Notfallzugang oder einen gescheiterten Wiederanlauf. Diese Fakten sind nicht bekannt und gehören nicht in eine öffentliche Erzählung. Die Episode führt zum späteren Vorhaben des Autors, freigegebenes Betriebswissen in eine durchsuchbare, visuelle Anleitung zu ordnen, das Projekt Front Desk Control. Eine solche Anleitung kann das Lernen stützen, darf aber nicht als Ersatz für das offizielle System, die lokale Betriebsanweisung oder einen befugten Notfallplan dargestellt werden.

Unsere Lesart

Wenn die Oberfläche nicht verfügbar ist, wird die Qualität der Vorbereitung sichtbar.

Die Schulungsschicht des Autors selbst, erzählt ohne Haus, System oder Datum; der unten genannte Essay und die Projektseite erzählen den Rest.

Mehr im Essay: Die Nacht, in der das System ausfiel

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Außerhalb des Kreises heißt nicht außer Dienst

Weniger aktive Arbeit kann ein schwächeres Lagebild genau in dem Moment bedeuten, in dem eingegriffen werden muss. Endsley und Kiris (1995) untersuchten Operatoren, die ein Expertensystem für eine Navigationsaufgabe nutzten. Sie verbanden geringeres Lagebewusstsein unter Automatik mit schlechterer Entscheidungszeit nach dem Ausfall des Expertensystems; die dem Operator verfügbare Kontrollstufe milderte den Effekt. Das war ein Experiment, keine Beobachtung von Nachtauditoren im Hotel oder Zustelldisponenten.

• Wahrnehmen. Was geschieht gerade?
• Verstehen. Was bedeuten die Beobachtungen?
• Vorausschauen. Was könnte als Nächstes geschehen, wenn sich nichts ändert?

Die drei Fragen oben sind ein redaktionelles Lehrmittel rund um das Lagebewusstsein, kein Ersatz für dessen gesamte Forschungsliteratur. In der betrieblichen Praxis kann eine Übergabe, die nur einen Endstatus festhält, der nächsten Arbeitskraft den Weg vorenthalten, auf dem dieser Status erreicht wurde. Ist das System nicht verfügbar, muss die Arbeitskraft außerdem die Grenzen ihrer Rolle kennen, wissen, wie sie befugte Anleitung erhält, und welche Handlungen warten müssen. Der Prüfstein der Widerstandsfähigkeit ist nicht, ob eine Person jeden Bildschirm aus dem Gedächtnis nachbilden kann. Er ist, ob die Organisation eine sichere, befugte Fähigkeit bewahrt hat, sich zu orientieren.

Unsere Lesart

Wer für ein System verantwortlich ist, braucht einen Weg, seinen Zustand zu verstehen.

Endsley und Kiris, Human Factors 37(2), 1995, eine Laborstudie; Bainbridge (1983) für den Verlust der Übung; die drei Fragen sind redaktionell.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), 1995

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Zuversicht ist nicht Kontrolle

Eine transparente Erklärung kann helfen, erzeugt aber nicht von selbst ein besseres Urteil.

Lee und See (2004) beschreiben Vertrauen in Automatik als entscheidend, wenn Komplexität oder unerwartete Bedingungen ein vollständiges Verständnis des Systems verhindern. Das Ziel ist angemessenes Verlassen unter den gegebenen Umständen, nicht maximales Vertrauen. Ein zuversichtlicher Nutzer kann sich trotzdem auf die falsche Ausgabe verlassen; ein vorsichtiger Nutzer kann auch nützliche Hilfe ablehnen. Die Übersicht von Romeo und Conti (online 2025) fand, dass Erklärungen in der Mensch-KI-Entscheidungsfindung Automation Bias nicht zuverlässig beseitigen. Komplexe Erklärungen können Menschen überlasten; vereinfachte Erklärungen können einen Vorschlag glaubwürdiger erscheinen lassen, ohne die eigenständige Prüfung zu stützen. Ihre Belege betreffen KI-gestützte Entscheidungen, nicht jede gewöhnliche Unternehmensanwendung.

• Erklärung. Was behauptet das System, und auf welchen Eingaben?
• Prüfung. Was kann ein befugter Nutzer eigenständig bestätigen?
• Befugnis. Welche Änderung darf diese Rolle freigeben, und was braucht Eskalation?
• Wiederanlauf. Wo ist die freigegebene Anleitung, wenn das Werkzeug nicht verfügbar ist?

Unsere Lesart

Gute Unterstützung steigert die Urteilsfähigkeit des Nutzers, nicht bloß seine Bereitschaft zuzustimmen.

Lee und See, Human Factors 46(1), 2004; Romeo und Conti, AI & Society, online 2025. Die vier Zeilen sind redaktionell.

Quellen: John D. Lee & Katrina A. See, Human Factors 46(1), 2004; Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), 2025

Ebene 3 · Das operative Handlungsprotokoll

Kontinuität ohne Improvisation

Ein Plan für den Systemausfall sollte bekannt, befugt und sicher sein, bevor er gebraucht wird.

• Die freigegebene Quelle kennen. Die freigegebenen Anweisungen in der Schulung finden, nicht im Ausfall.
• Grenzen festlegen. Welche Arbeit weitergeht, welche ruht, wer Ausnahmen freigibt.
• Die Kommunikation vereinbaren. Vorgesehene Kanäle; keine widersprüchlichen Zusagen an Kunden oder Kollegen.
• Nachvollziehbar dokumentieren. Offene Punkte mit freigegebenen, datenschutzgerechten Mitteln festhalten.
• Kontrollierte Rückkehr bestätigen. Befugte Beschäftigte prüfen die Bereitschaft und gleichen offene Punkte offiziell ab.
• Danach lernen. Lücken in Schulung und Dokumentation prüfen, ohne sensible Kontrollen preiszugeben.

Dieser Band gibt bewusst keine Anweisungen zu Gästezugang, Zahlungskontrolle, Zugangsdaten oder Wiederanlaufmechanik: Vorbereitung und Verantwortung lassen sich untersuchen, ohne ein Handbuch zu veröffentlichen, das die Sicherheit schwächen könnte.

Unsere Lesart

Vorbereitung ist eine Fähigkeit der Organisation, kein geheimer Umweg, den sich eine Person merkt.

Redaktionelles Kontinuitätsprotokoll nach Bainbridge (1983), Endsley und Kiris (1995) und Lee und See (2004); kein Notfallplan eines Hotels.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), 1995; John D. Lee & Katrina A. See, Human Factors 46(1), 2004

Kapitel VI: Der verantwortete Eingriff

Ebene 1 · Die lebendige Szene

Die Entscheidung zwischen zwei Systemen

Besonders schwierig ist der Moment, in dem alle auf einen Datensatz zeigen können, aber niemand den Entscheidungsverantwortlichen benennen kann.

Hypothetische Szene, ein redaktioneller Testfall

Eine automatisierte Empfehlung widerspricht einer geprüften Beobachtung. Der Operator erkennt die Abweichung, zögert aber: Die Software gilt als maßgeblich, während das Verfahren, sie anzufechten, unklar ist. Die Führungskraft fragt, ob das Team die Empfehlung „übersteuern“ soll. Doch der Eingriff ist kein Zauberknopf. Er kann bedeuten, eine Prüfung anzufordern, eine Ausnahme zu erfassen, eine unkritische Handlung anzuhalten oder an eine Person mit der nötigen Befugnis zu eskalieren.

Behandelt ein Unternehmen das Ereignis als persönlichen Wettstreit zwischen erfahrenem Personal und einer Maschine, verfehlt es die Gestaltungsfrage. Was geschieht, wenn beide Quellen sich widersprechen? Darf der Mitarbeiter anhalten? Wer trifft die nächste Entscheidung? Wie wird das System korrigiert, wenn sich die Beobachtung als verlässlich erweist? In dieser Szene wird kein bestimmter Nutzer von Front Desk Control, kein Hotelvorfall und keine Routenkorrektur behauptet. Sie ist ein Testfall für die Gestaltung menschlicher Verantwortlichkeit, kein Beleg dafür, dass ein Eingriff ausgeführt wurde.

Unsere Lesart

Das Recht, eine Empfehlung anzuzweifeln, hat nur Sinn, wenn jemand entscheiden kann, was als Nächstes geschieht.

Konstruierter Testfall; der unten genannte Essay vertritt denselben Punkt für den Scandatensatz.

Mehr im Essay: Der Scanner ist Zeuge, nicht Richter

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Was genau ist automatisiert?

Ein System kann Information automatisieren, ohne befugt zu sein, die endgültige Entscheidung zu automatisieren. Parasuraman, Sheridan und Wickens (2000) unterscheiden vier Funktionsklassen, die auf verschiedenen Stufen automatisiert werden können. Das ist ein nützliches Gegenmittel gegen die vage Behauptung „das System hat entschieden“. Ein Routenplaner kann Information aufnehmen und analysieren und dann einen Plan vorschlagen. Ein anderes System kann eine vorab freigegebene Handlung ausführen. Das sind verschiedene Verantwortungsregelungen.

• 1 · Aufnahme. Daten sammeln: Ereignisse, Positionen, Zeiten, Einträge.
• 2 · Analyse. Daten verarbeiten: berechnen, vergleichen, eine Ausnahme markieren.
• 3 · Auswahl. Eine Vorgehensweise empfehlen oder wählen.
• 4 · Ausführung. Die Handlung auf der gewählten Befugnisstufe ausführen.

Die zentrale Führungsaufgabe ist, diese Übergaben ausdrücklich zu machen. Ein Statusabzeichen kann eine regelbasierte Schlussfolgerung ausdrücken, keine unabhängige Beobachtung. Eine empfohlene Änderung kann die Freigabe einer anderen Rolle verlangen. Selbst wenn die Ausführung automatisiert ist, bleibt die Organisation für Regeln, Schulung, Kontrollen und Überprüfung verantwortlich.

Unsere Lesart

Fragen Sie, welche Funktion die Software ausführt, bevor Sie sagen, sie habe entschieden.

Parasuraman, Sheridan und Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; die betrieblichen Beispiele sind redaktionell.

Quelle: Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000

Ebene 2 · Die begriffliche und wissenschaftliche Aufschlüsselung

Das Modell des verantworteten Eingriffs

Ein Betriebszyklus in fünf Stufen für Ausnahmen, die die normale Anzeige nicht lösen kann.

1. Melden. Die ursprüngliche Empfehlung, ihre Zeit und den Grund des Zweifels sichern.
2. Prüfen. Mit unabhängigen, zulässigen Belegen vergleichen und die Unsicherheit festhalten.
3. Freigeben. Die Person oder Rolle bestimmen, die die Entscheidung ändern darf.
4. Handeln. Die freigegebene Korrektur vornehmen oder die Ausnahme nach dem offiziellen Verfahren behandeln.
5. Lernen. Das Ergebnis den Betroffenen melden und prüfen, ob Daten, Oberfläche, Schulung oder Schwelle überarbeitet werden müssen.

Der Zyklus ist eine redaktionelle Synthese, kein ISO-Standard, keine Zertifizierung und keine an den Daten des Autors validierte Kontrolle. Und „menschlich“ heißt nicht „unbegrenzter Ermessensspielraum“: Manche Entscheidungen sind rechtlich gebunden, manche verlangen sofortige Sicherheitseskalation, andere eine zweite Befugnis.

• Systemausgabe. Was empfiehlt oder erfasst es tatsächlich?
• Menschlicher Beleg. Welche unabhängige Bedingung wurde geprüft?
• Entscheidungsrechte. Wer darf korrigieren, anhalten oder eskalieren?
• Abschluss. Was belegt das Ergebnis, und wer erhält Rückmeldung?

Unsere Lesart

Der Zweck eines menschlichen Eingriffs ist verantwortete Korrektur, kein versteckter Weg um die Schutzvorkehrungen herum.

Redaktionelle Synthese nach Parasuraman et al. (2000), Lee und See (2004) und Goddard et al. (2012); keine Stufe ist als Kontrolle validiert.

Quellen: Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; John D. Lee & Katrina A. See, Human Factors 46(1), 2004; Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012

Ebene 3 · Das operative Handlungsprotokoll

Das Entscheidungssystem messen

Ein kontrollierter Pilot sollte Kunden- und Sicherheitsergebnisse messen, nicht, wie oft Menschen der Software widersprachen.

• Klein anfangen. Ein risikoarmer, zulässiger Arbeitsablauf mit definiertem Kundenergebnis.
• Definitionen festhalten. Beobachtete falsche Ausgaben getrennt von bloß angefochtenen Empfehlungen.
• Fälle fair auswählen. Angenommene wie angefochtene Empfehlungen; sonst ist die Prüfung verzerrt.
• Nachverfolgen. Prüfung, Verantwortlicher, endgültige Erledigung und Zeit bis zur Mitteilung.
• Auf Nebenwirkungen prüfen. Neue Verzögerungen, übersehene Fälle oder unbefugte Handlungen durch die Änderung.
• Weiterführen oder beenden. Das Gesamtergebnis gegen die Ausgangslage, und was die Nutzer als besser oder schlechter nennen.

• Prüfquote. Unabhängig geprüfte Fälle / Fälle in der Stichprobe.
• Durchlaufzeit bis zur Entscheidung. Zeit vom geprüften Problem bis zur befugten Entscheidung.
• Rückmeldeabschluss. Entscheidungen, die den betroffenen Beschäftigten mitgeteilt wurden.
• Ausnahmequalität. Einwände mit dokumentiertem Grund und Ergebnis.

Redaktionelles Pilotdesign und Kennzahlen nach Lee und See (2004), Goddard et al. (2012) und Romeo und Conti (2025); vorgeschlagen, nicht auf Gültigkeit geprüft.

Quellen: John D. Lee & Katrina A. See, Human Factors 46(1), 2004; Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012; Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), 2025

Werkzeug vor Ort

Das Eingriffsblatt

Eine strittige Ausgabe. Eine geprüfte Bedingung. Eine befugte Handlung. Nie persönliche, Zahlungs- oder Firmendaten auf eine öffentliche Kopie schreiben.

1. Systemausgabe was genau hat es gemeldet, empfohlen oder als erledigt markiert?
2. Aktueller Beleg was hat eine Person oder eine unabhängige Quelle tatsächlich geprüft?
3. Unsicherheit was bleibt unbekannt? ist die Information veraltet oder unvollständig?
4. Sicherheit und Befugnis darf die Arbeit weitergehen? wer darf entscheiden?
5. Handlung und Verantwortlicher welche freigegebene Handlung folgt, durch wen, und bis wann?
6. Ergebnis / Rückmeldung was hat sich geändert? wer erhält die geprüfte Aktualisierung?

Eigenes redaktionelles Werkzeug, das Bainbridge, Parasuraman et al., Lee und See und Goddard et al. zusammenführt. Ist die Ursache unsicher, den nächsten Prüfschritt notieren, keine Schlussfolgerung; das unten genannte Tool führt dieselben Felder für eine Schicht.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; John D. Lee & Katrina A. See, Human Factors 46(1), 2004; Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012

Tool öffnen: Schicht­übergabe

Schlussessay

Das System kann die Verantwortung nicht erben

Die Zukunft der betrieblichen Führung ist kein Wettstreit zwischen schnellerer Software und klügeren Menschen.

Ein Dashboard kann ein Muster zeigen, das niemand neben einer Laderampe sehen könnte. Ein Routenplaner kann Möglichkeiten in einem Tempo berechnen, mit dem kein Disponent mithält. Ein Hotelsystem kann einen einheitlichen Datensatz über Schichten hinweg bewahren. Das sind echte Vorteile. Die Lehre dieses Bandes ist nicht, ihnen zu misstrauen. Sie ist, ihre Grenzen genau genug zu verstehen, um sie gut zu nutzen. Eine Organisation beginnt diese Genauigkeit zu verlieren, wenn sie ein Datenfeld als vollständiges Ereignis, eine rote Anzeige als Diagnose oder eine Empfehlung als endgültige Anweisung behandelt. Sie verliert noch mehr, wenn der Kollege, der ein Ergebnis anzweifelt, als Hindernis statt als mögliche Belegquelle behandelt wird. Der umgekehrte Fehler ist ebenso real: Lokale Erfahrung kann irren, und „ich kenne die Gegend“ ersetzt keine geprüfte Regel. Gute Führung muss beide Behauptungen derselben Disziplin des Prüfens unterziehen.

Die Forschung bietet eine Warnung, keine Zauberformel. Bainbridge zeigte, dass Automatisierung menschliche Arbeit eher umformt als beseitigt. Endsley und Kiris wiesen eine Form verlorenen Lagebewusstseins unter bestimmten Versuchsbedingungen nach. Übersichten zu Automation Bias zeigen, warum Vertrauen, Arbeitslast, Schulung und die Gestaltung von Erklärungen zählen. Keine dieser Arbeiten misst die Betriebe des Autors. Sie geben uns Gründe, dort bessere Fragen zu stellen. Die praktische Antwort ist kein dramatischer „Override“. Sie ist eine bescheidene Kette von Verantwortlichkeiten: das Signal sichern, die Bedingung prüfen, die Befugnis klären, eine verhältnismäßige Entscheidung treffen und das Gelernte zurückgeben. Das Ziel ist, die Technik das tun zu lassen, was sie zuverlässig kann, und zugleich sicherzustellen, dass Menschen erkennen und bewältigen, was außerhalb ihres Blicks bleibt.

Unsere Lesart

Das System kann die Entscheidung empfehlen. Die Verantwortung kann es nicht erben.

Redaktionelles Fazit. Den Betrieben des Autors wird keine Verbesserung ohne unabhängig dokumentierte Messung zugeschrieben.

Methode

Belege vor Überzeugung

Wie Aussagen, Vergleiche, fiktive Szenen und vorgeschlagene Kontrollen behandelt wurden.

• Forschungsbasis. Sieben begutachtete Arbeiten oder wissenschaftliche Übersichten: 1983, 1995, 1997, 2000, 2004, 2012, online 2025.
• Geprüfter Hintergrund. Betriebliche Kategorien aus der letzten Meile, der Ferndisposition, dem Nachtaudit im Hotel und dem Wissensprojekt Front Desk Control.
• Konstruierte Szenen. Alle erfundenen Ereignisse sind ausdrücklich als hypothetisch, zusammengesetzt oder illustrativ gekennzeichnet.
• Vorgeschlagene Praxis. Kein Feldprotokoll, keine Alarmschwelle, kein Pilotergebnis und keine Freigabe wird als im Betrieb eines Arbeitgebers getestet behauptet.

Studientypen werden nicht vermischt. Bainbridge (1983) ist ein konzeptioneller Aufsatz zur industriellen Automatisierung. Endsley und Kiris (1995) berichten eine experimentelle Navigationsaufgabe. Parasuraman und Riley (1997) sowie Lee und See (2004) bieten Deutungsrahmen; Parasuraman und Kollegen (2000) klassifizieren Automatisierungsfunktionen. Goddard und Kollegen (2012) schließen 74 Studien nach Sichtung von 13.821 Treffern ein. Romeo und Conti sichteten 35 Studien von Januar 2015 bis April 2025; ihr Artikel erschien 2025 online. Grenzen: Die Studien belegen nicht die Rate falscher Routen, falscher Scans, schwacher Schulung oder KI-Fehler in den Rollen des Autors. Die Alarmübung mit 100 Fällen ist vollständig synthetisch. „Menschlicher Eingriff“ ist ein redaktioneller Name für befugte Prüfung und Korrektur, keine Softwarefunktion und keine Erlaubnis, Kontrollen zu umgehen. Redaktionelle Regel: Wo die Belege enden, muss der Satz aufhören zu behaupten.

Jede Quelle ist auf der nächsten Seite mit ihrer DOI zitiert; die beiden Zahlen der Übersichten wurden in deren Abstracts gelesen. Es gibt keine Namen von Gästen, Kollegen, Arbeitgebern oder internen Systemen.

Quellen: Lisanne Bainbridge, Automatica 19(6), 1983; Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), 1995; Raja Parasuraman & Victor Riley, Human Factors 39(2), 1997; Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), 2000; John D. Lee & Katrina A. See, Human Factors 46(1), 2004; Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), 2012; Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), 2025

Quellen und Methode

Woher die Aussagen stammen

Die Zahlen dieses Bandes stammen aus den folgenden Quellen, jede mit ihrem Jahr. Die Szenen sind konstruiert; die Protokolle sind Vorschläge; was Forschung ist, wird Forschung genannt.

• Lisanne Bainbridge, Automatica 19(6), „Ironies of Automation“, 1983. https://doi.org/10.1016/0005-1098(83)90046-8
• Mica R. Endsley & Esin O. Kiris, Human Factors 37(2), „The Out-of-the-Loop Performance Problem and Level of Control in Automation“, 1995. https://doi.org/10.1518/001872095779064555
• Raja Parasuraman & Victor Riley, Human Factors 39(2), „Humans and Automation: Use, Misuse, Disuse, Abuse“, 1997. https://doi.org/10.1518/001872097778543886
• Raja Parasuraman, Thomas B. Sheridan & Christopher D. Wickens, IEEE Transactions on Systems, Man, and Cybernetics A 30(3), „A Model for Types and Levels of Human Interaction with Automation“, 2000. https://doi.org/10.1109/3468.844354
• John D. Lee & Katrina A. See, Human Factors 46(1), „Trust in Automation: Designing for Appropriate Reliance“, 2004. https://doi.org/10.1518/hfes.46.1.50_30392
• Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, Journal of the American Medical Informatics Association 19(1), „Automation bias: a systematic review of frequency, effect mediators, and mitigators“, 2012. https://doi.org/10.1136/amiajnl-2011-000089
• Giuseppe Romeo & Daniela Conti, AI & Society (online 2025, volume 41, 2026), „Exploring automation bias in human–AI collaboration: a review and implications for explainable AI“, 2025. https://doi.org/10.1007/s00146-025-02422-7

Redaktionelle Methode

Jede Zahl wurde auf Jahr, Herausgeber und genaue Bedeutung geprüft, am Volltext, wo er sich öffnen ließ. Wo die Seite des Herausgebers nicht erreichbar war, wurde die Zahl an unabhängigen Zusammenfassungen geprüft und mit „über“ markiert. Die Deutung der Redaktion ist als „Unsere Lesart“ markiert. Zahlen aus den eigenen Arbeitsstellen des Autors werden nicht angeführt.