storie · operazioni
Quattro celebri fallimenti di processo e l'unica cosa che hanno in comune
I 440 milioni di dollari di Knight Capital, un'interruzione di AWS causata da un refuso, lo schianto che ha inventato la checklist e la checklist che ha ridotto i decessi chirurgici. Settori diversi, la stessa lezione sulle procedure documentate.
I fallimenti di processo finiscono sui giornali quando la cifra è abbastanza grande. Dietro la cifra c'è quasi sempre un passaggio che era scritto e non è stato eseguito, o è stato eseguito sul ramo sbagliato. Quattro casi pubblici, raccontati brevemente e sulla base dei documenti pubblici, e il filo che li attraversa.
Knight Capital, 2012: un server su otto
Knight Capital era un market maker che gestiva una larga quota delle negoziazioni azionarie statunitensi. Nell'agosto 2012 ha distribuito un nuovo software di trading sui propri server in vista di una modifica del mercato. La procedura di rilascio riguardava otto server. Su uno di essi il nuovo codice non è stato installato, e una vecchia routine, inattiva da tempo, è stata riattivata da un flag riutilizzato.
All'apertura del mercato, quel server ha iniziato a inviare ordini che nessuno voleva. In circa 45 minuti l'azienda ha accumulato posizioni che le sono costate circa 440 milioni di dollari e, nel giro di pochi giorni, la sua indipendenza. L'ordine successivo della SEC ha descritto l'assenza di controlli adeguati sul rilascio.
Il passaggio esisteva. La procedura diceva otto server. Il problema è stato che nulla verificava, nel momento dell'azione, che il passaggio fosse stato completato — e nessuno poteva vedere in tempo che non lo era.
Amazon S3, febbraio 2017: un comando con un raggio d'azione più ampio del previsto
Il riepilogo post-evento di Amazon è insolitamente sincero. Un ingegnere del team S3 stava seguendo un playbook consolidato per rimuovere un piccolo numero di server da un sottosistema di fatturazione. Uno degli input del comando è stato inserito in modo errato, e un insieme molto più grande di server è stato rimosso, inclusi alcuni che supportavano sottosistemi di indicizzazione critici. S3 nella regione US-East-1 è rimasto di fatto non disponibile per ore, e gran parte di internet che ne dipendeva è andata giù con lui.
La correzione di Amazon non è stata "fate più attenzione". Hanno modificato lo strumento in modo che rimuovesse capacità più lentamente e rifiutasse di portare un sottosistema sotto il proprio minimo, e hanno suddiviso i sottosistemi in celle più piccole. In altre parole: il processo è stato seguito; il processo stesso non aveva una protezione nel passaggio in cui una persona digita un numero.
Boeing, 1935: lo schianto che ha prodotto la checklist
La storia è ben raccontata in The Checklist Manifesto di Atul Gawande. Nell'ottobre 1935 l'Army Air Corps valutò il Model 299 di Boeing, l'aereo che sarebbe diventato il B-17. Nel volo di prova decollò, andò in stallo e precipitò, uccidendo due dei cinque membri dell'equipaggio, tra cui il pilota — uno dei più esperti dell'esercito. La causa fu un comando dell'equilibratore bloccato che nessuno aveva sbloccato prima del decollo.
L'aereo non fu giudicato troppo pericoloso per volare; fu giudicato troppo complesso perché una sola persona lo tenesse a mente. Un gruppo di piloti produsse una checklist breve, passo per passo, per decollo, volo, atterraggio e rullaggio. Il B-17 volò poi per moltissime ore senza gravi incidenti attribuibili a un errore del pilota di quel tipo, e la checklist entrò a far parte dell'aviazione.
Il passaggio — sbloccare il blocco dell'equilibratore — era noto a ogni pilota. Fu saltato da uno dei migliori. L'esperienza non protegge dal passaggio facile da dimenticare; un promemoria visibile, nel momento giusto, sì.
La checklist di sicurezza chirurgica del WHO, 2008: il caso di successo
L'esperimento di Gawande stesso. Una checklist di 19 voci, usata in tre momenti di un intervento (prima dell'anestesia, prima dell'incisione, prima che il paziente lasci la sala), sperimentata in otto ospedali di paesi ricchi e poveri. Il risultato pubblicato: le complicanze gravi sono calate di circa un terzo e i decessi di quasi la metà nei vari centri. Nulla nell'elenco era sconosciuto alle équipe chirurgiche. Confermare l'identità del paziente, controllare che l'antibiotico fosse stato somministrato, contare le garze — tutto documentato, tutto "ovvio", tutto saltato abbastanza spesso da uccidere delle persone.
Ciò che l'ha fatta funzionare non era l'elenco. Era il fatto che l'elenco veniva letto ad alta voce, nel momento giusto, da una persona designata, e che ogni membro del team doveva farsi sentire. L'aderenza è diventata visibile dentro la sala.
Cosa hanno in comune
- Il passaggio era documentato. In ogni caso la procedura esisteva ed era nota.
- Il fallimento è avvenuto nel momento dell'azione, non nel momento della scrittura. Una distanza tra il documento e le mani che fanno il lavoro.
- Nessuno ha potuto vedere in tempo che il passaggio era stato saltato. Knight l'ha scoperto dal mercato. Amazon l'ha scoperto da internet. L'equipaggio del B-17 l'ha scoperto a 300 piedi.
- La soluzione non è mai stata "impegnarsi di più". È stata una protezione nel passaggio (Amazon), un promemoria nel momento giusto (la checklist) e un modo per vedere l'aderenza (la lettura ad alta voce in sala operatoria).
I team di supporto e di ingegneria non fanno schiantare aerei, ma ogni giorno gestiscono processi della stessa forma: documentati, ramificati, dipendenti da fatti sull'elemento e invisibili quando vengono saltati. Anche le soluzioni hanno la stessa forma: portare il passaggio dove si lavora, chiedere il fatto prima di agire e rendere visibile l'aderenza così che il documento possa migliorare. Questo è ciò che significa in pratica la guida ai processi.
Fonti: ordine della SEC contro Knight Capital Americas LLC (2013); "Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region" di Amazon (2017); Atul Gawande, The Checklist Manifesto (2009); Haynes et al., "A Surgical Safety Checklist to Reduce Morbidity and Mortality in a Global Population", NEJM (2009).