Geschichten · Betrieb
Vier berühmte Prozessfehler und das, was sie gemeinsam haben
Die 440 Millionen Dollar von Knight Capital, ein AWS-Ausfall wegen eines Tippfehlers, der Absturz, der die Checkliste erfand, und die Checkliste, die die Zahl der Todesfälle bei Operationen senkte. Verschiedene Branchen, dieselbe Lehre über dokumentierte Verfahren.
Prozessfehler schaffen es in die Nachrichten, wenn die Zahl groß genug ist. Hinter der Zahl steht fast immer ein Schritt, der aufgeschrieben, aber nicht ausgeführt wurde — oder in der falschen Verzweigung ausgeführt wurde. Vier öffentliche Fälle, kurz und nach öffentlicher Aktenlage erzählt, und der rote Faden, der sie verbindet.
Knight Capital, 2012: ein Server von acht
Knight Capital war ein Market Maker, der einen großen Teil des US-Aktienhandels abwickelte. Im August 2012 spielte das Unternehmen vor einer Marktänderung neue Handelssoftware auf seine Server auf. Das Deployment-Verfahren umfasste acht Server. Auf einem davon wurde der neue Code nicht installiert, und eine alte, lange inaktive Routine wurde durch ein wiederverwendetes Flag reaktiviert.
Als der Markt öffnete, begann dieser Server, Aufträge zu senden, die niemand beabsichtigt hatte. In etwa 45 Minuten baute die Firma Positionen auf, die sie rund 440 Millionen Dollar und innerhalb weniger Tage ihre Unabhängigkeit kosteten. Die spätere Anordnung der SEC beschrieb das Fehlen angemessener Kontrollen rund um das Deployment.
Der Schritt existierte. Das Verfahren sagte acht Server. Der Fehler war, dass nichts im Moment der Ausführung prüfte, ob der Schritt abgeschlossen wurde — und niemand rechtzeitig sehen konnte, dass er es nicht war.
Amazon S3, Februar 2017: ein Befehl mit größerem Wirkungsradius als beabsichtigt
Amazons eigene Nachbetrachtung ist ungewöhnlich offen. Ein Engineer im S3-Team folgte einem etablierten Playbook, um eine kleine Anzahl von Servern aus einem Abrechnungssubsystem zu entfernen. Eine der Eingaben des Befehls wurde falsch eingegeben, und eine viel größere Menge an Servern wurde entfernt, darunter solche, die kritische Index-Subsysteme unterstützten. S3 in der Region US-East-1 war über Stunden praktisch nicht verfügbar, und ein großer Teil des Internets, der davon abhing, fiel mit aus.
Amazons Lösung lautete nicht „Seien Sie vorsichtiger“. Sie änderten das Tool so, dass es Kapazität langsamer entfernte und sich weigerte, ein Subsystem unter sein Minimum zu bringen, und sie unterteilten die Subsysteme in kleinere Zellen. Mit anderen Worten: Der Prozess wurde befolgt; dem Prozess selbst fehlte eine Sicherung an dem Schritt, an dem ein Mensch eine Zahl eintippt.
Boeing, 1935: der Absturz, der die Checkliste hervorbrachte
Die Geschichte wird in Atul Gawandes The Checklist Manifesto gut erzählt. Im Oktober 1935 evaluierte das Army Air Corps Boeings Model 299, das Flugzeug, das zur B-17 werden sollte. Beim Testflug stieg es auf, überzog und stürzte ab; zwei der fünf Besatzungsmitglieder starben, darunter der Pilot — einer der erfahrensten der Army. Ursache war eine verriegelte Höhenruder-Steuerung, die vor dem Start niemand gelöst hatte.
Das Flugzeug wurde nicht als zu gefährlich zum Fliegen eingestuft; es wurde als zu komplex eingestuft, als dass eine einzelne Person es im Kopf behalten könnte. Eine Gruppe von Piloten erstellte eine kurze Checkliste, Schritt für Schritt, für Start, Flug, Landung und Rollen. Die B-17 flog danach enorm viele Stunden ohne schweren Unfall, der auf einen Pilotenfehler dieser Art zurückzuführen war, und die Checkliste wurde Teil der Luftfahrt.
Der Schritt — die Höhenruder-Sperre lösen — war jedem Piloten bekannt. Einer der besten übersprang ihn. Erfahrung schützt nicht vor dem Schritt, den man leicht vergisst; ein sichtbarer Hinweis im richtigen Moment tut es.
Die Checkliste der WHO für sichere Chirurgie, 2008: der Erfolgsfall
Gawandes eigenes Experiment. Eine Checkliste mit 19 Punkten, die an drei Zeitpunkten einer Operation verwendet wird (vor der Narkose, vor dem Schnitt, bevor der Patient den Raum verlässt), erprobt in acht Krankenhäusern in reichen und armen Ländern. Das veröffentlichte Ergebnis: Schwere Komplikationen gingen über alle Standorte um etwa ein Drittel zurück, die Todesfälle um fast die Hälfte. Nichts auf der Liste war den OP-Teams unbekannt. Die Identität des Patienten bestätigen, prüfen, ob das Antibiotikum gegeben wurde, die Tupfer zählen — alles dokumentiert, alles „selbstverständlich“, alles oft genug übersprungen, um Menschen zu töten.
Wirksam machte es nicht die Liste. Sondern dass die Liste im Moment selbst von einer benannten Person laut vorgelesen wurde und dass von jedem Teammitglied erwartet wurde, sich zu äußern. Die Einhaltung wurde im Raum sichtbar.
Was sie gemeinsam haben
- Der Schritt war dokumentiert. In jedem Fall gab es das Verfahren, und es war bekannt.
- Der Fehler lag im Moment der Ausführung, nicht im Moment des Schreibens. Eine Distanz zwischen dem Dokument und den Händen, die die Arbeit tun.
- Niemand konnte rechtzeitig sehen, dass der Schritt ausgelassen wurde. Knight erfuhr es vom Markt. Amazon erfuhr es vom Internet. Die Besatzung der B-17 erfuhr es auf 300 Fuß Höhe.
- Die Lösung hieß nie „Geben Sie sich mehr Mühe“. Sie war eine Sicherung am Schritt (Amazon), ein Hinweis im richtigen Moment (die Checkliste) und eine Möglichkeit, die Einhaltung zu sehen (das Vorlesen im OP).
Support- und Engineering-Teams bringen keine Flugzeuge zum Absturz, aber sie führen jeden Tag einen Prozess derselben Art aus: dokumentiert, verzweigt, abhängig von Fakten über das jeweilige Element und unsichtbar, wenn etwas übersprungen wird. Auch die Lösungen haben dieselbe Form: den Schritt zur Arbeit bringen, vor dem Handeln nach dem Fakt fragen und die Einhaltung sichtbar machen, damit sich das Dokument verbessern kann. Das ist es, was Prozessführung in der Praxis bedeutet.
Quellen: SEC-Anordnung gegen Knight Capital Americas LLC (2013); Amazons „Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region“ (2017); Atul Gawande, The Checklist Manifesto (2009); Haynes et al., „A Surgical Safety Checklist to Reduce Morbidity and Mortality in a Global Population“, NEJM (2009).