The Risks of LSCITS: The Odds are Stacked Against Us - PDF document

21/03/2012 ¡ The ¡Risks ¡of ¡LSCITS: ¡ ¡ The ¡Odds ¡are ¡Stacked ¡Against ¡Us ¡ Professor ¡John ¡McDermid ¡OBE ¡FREng ¡ University ¡of ¡York ¡ Outline ¡ • ObjecNves ¡ • Methodology ¡ • Risk ¡Analysis ¡Orthodoxy ¡ • Examples ¡of ¡“adverse ¡events” ¡ – Analysis ¡of ¡signatures ¡ • Risk ¡Analysis ¡Theory ¡for ¡LSCITS ¡ – Risk ¡analysis ¡“in ¡the ¡stack” ¡ • Conclusions ¡ 1 ¡

21/03/2012 ¡ Background ¡and ¡ObjecNve ¡ • Many ¡LSCITS ¡are ¡used ¡in ¡criNcal ¡applicaNons ¡ – Safety, ¡security, ¡finance ¡… ¡ • TradiNonal ¡to ¡use ¡risk ¡assessment ¡in ¡managing ¡ such ¡applicaNons ¡ – ObservaNons ¡suggest ¡that ¡“adverse ¡events” ¡are ¡ not ¡predicted ¡by ¡the ¡“classical” ¡approaches ¡ • ObjecNve ¡ – To ¡define ¡a ¡new ¡approach ¡to ¡risk ¡analysis, ¡more ¡ appropriate ¡for ¡LSCITS, ¡covering ¡all ¡forms ¡of ¡risk ¡ Methodology ¡ • To ¡build ¡a ¡risk ¡ ¡ analysis ¡method ¡ for ¡LSCITS ¡ – First ¡problem ¡ ¡ formaNon ¡ • Examples ¡ – Seek ¡to ¡build ¡a ¡ theory ¡ • Iterate ¡ 2 ¡

21/03/2012 ¡ Risk ¡Orthodoxy ¡(1) ¡ • Risk ¡is ¡normally ¡computed ¡as: ¡ – Likelihood ¡x ¡severity ¡ – Variants, ¡including ¡exposure, ¡controllability, ¡etc. ¡ • O[en ¡risk ¡is ¡quanNfied ¡(target ¡and ¡esNmate) ¡ – Loss ¡per ¡unit ¡Nme, ¡e.g. ¡1.55 ¡x ¡10 -­‑8 /hour ¡for ¡ATM ¡ – Market ¡risk ¡ • In ¡some ¡cases, ¡qualitaNve ¡ – In ¡safety, ¡use ¡tables ¡to ¡rank ¡severity ¡vs ¡likelihood ¡ – In ¡security ¡assessment ¡against ¡criteria ¡ ¡ Risk ¡Orthodoxy ¡(2) ¡ • Risk ¡control ¡– ¡safety ¡ ¡ – Design ¡to ¡avoid/reduce, ¡detect ¡& ¡miNgate ¡causes ¡ – ComputaNon ¡of ¡likelihoods ¡ – Processes/objecNves ¡for ¡systemaNc ¡causes ¡ • Risk ¡control ¡– ¡finance ¡ – QuanNtaNve ¡assessment ¡of ¡market ¡risk ¡ – Mechanisms ¡to ¡reduce ¡risk ¡(can’t ¡avoid), ¡e.g. ¡ holidays, ¡access ¡controls ¡ – Monitoring ¡(detect), ¡liquidity ¡to ¡absorb ¡(miNgate) ¡ 3 ¡

21/03/2012 ¡ Adverse ¡Events ¡ Technical ¡ ¡ ¡ ¡Socio-­‑Technical ¡ ¡ ¡ ¡OrganisaNonal ¡ • Syringe ¡pump ¡ – Two ¡deaths, ¡company ¡bankruptcy ¡ • Cloud ¡“failure” ¡ – Loss ¡of ¡personal ¡data, ¡and ¡lots ¡of ¡retyping! ¡ • Flash ¡Crash ¡ – Temporary ¡loss ¡of ¡$800Bn, ¡and ¡parNal ¡recovery ¡ • Uberlingen ¡ – Loss ¡of ¡two ¡aircra[ ¡and ¡all ¡on ¡board ¡ • SocGen ¡ – Loss ¡of ¡circa ¡€5Bn ¡ Syringe ¡Pump ¡ • Device ¡used ¡to ¡deliver ¡ – Drugs ¡on ¡wards ¡ – AnaestheNcs ¡in ¡operaNng ¡theatres ¡ • Delivery ¡rates ¡can ¡be ¡very ¡low ¡ • Problems ¡of ¡availability ¡ – Cross-­‑checks ¡“tripped” ¡device ¡on ¡start-­‑up ¡ • Design ¡modificaNons ¡ – Delayed ¡start ¡of ¡cross-­‑check ¡ ¡ 4 ¡

21/03/2012 ¡ Safety ¡Concept ¡ • Main ¡controller ¡used ¡ quadrature ¡system ¡to ¡ measure ¡sha[ ¡rotaNon ¡ – Used ¡Schmii ¡trigger ¡to ¡ “clean ¡up” ¡sensor ¡signal ¡ • Linear ¡graNng ¡to ¡detect ¡ movement ¡for ¡safety ¡ – Diverse ¡ – Changed ¡to ¡delay ¡start ¡ unNl ¡controller ¡signals ¡… ¡ Hardware ¡and ¡So[ware ¡ • Schmii ¡trigger ¡output ¡ ¡ compared ¡to ¡reference ¡ – DirecNon ¡of ¡travel ¡ • So[ware ¡design ¡ – Signal ¡inclusion ¡(boiom) ¡ impossible ¡& ¡ignored ¡ – Motor ¡“run-­‑away” ¡and ¡ protecNon ¡system ¡not ¡ enabled ¡so ¡…. ¡ 5 ¡

21/03/2012 ¡ Signature ¡ • Intrinsic ¡flaw ¡(technical; ¡so[ware ¡limitaNon) ¡ – Exposed ¡by ¡change ¡ • ProtecNon ¡system ¡disabled ¡by ¡change ¡ – Now ¡single ¡point ¡failure ¡ – Schmii ¡trigger ¡at ¡limit ¡of ¡manufacturing ¡tolerance ¡ • OpportuniNes ¡for ¡further ¡protecNon ¡missed ¡ – So[ware ¡didn’t ¡“flag” ¡impossible ¡inputs ¡ • SystemaNc, ¡not ¡a ¡“quanNfied ¡risk” ¡ Uberlingen ¡ 6 ¡

21/03/2012 ¡ Only ¡one ¡person ¡in ¡charge ¡ Monitors ¡two ¡staNons ¡on ¡ two ¡different ¡frequencies ¡ Telephone ¡system ¡out ¡for ¡ maintenance ¡ Zurich ¡ATC ¡ 7 ¡

21/03/2012 ¡ Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ traffic ¡advisory ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ traffic ¡advisory ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ 8 ¡

21/03/2012 ¡ Alt: ¡FL360 ¡ Alt: ¡FL360 ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡Descending ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ traffic ¡advisory ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ ATC ¡controller ¡re-­‑ instructs ¡TU-­‑154 ¡to ¡ descend ¡ B757 ¡Descending ¡ Alt: ¡FL360 ¡ ATC ¡controller ¡re-­‑ Descending ¡ a.empts ¡to ¡hand ¡over ¡ the ¡landing ¡aircraL ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ resoluKon ¡advisory ¡ CLIMB ¡ DESCEND ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ Alt: ¡FL360 ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡Descending ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ traffic ¡advisory ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ 9 ¡

21/03/2012 ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ resoluKon ¡advisory ¡ ATC ¡controller ¡re-­‑ INCREASE ¡CLIMB ¡ INCREASE ¡DESCEND ¡ instructs ¡TU-­‑154 ¡to ¡ descend ¡ B757 ¡Descending ¡ ATC ¡controller ¡re-­‑ Descending ¡ a.empts ¡to ¡hand ¡over ¡ the ¡landing ¡aircraL ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ resoluKon ¡advisory ¡ resoluKon ¡advisory ¡ CLIMB ¡ DESCEND ¡ ATC ¡realises ¡conflict ¡ and ¡instructs ¡TU-­‑154 ¡ Descending ¡ to ¡descend ¡to ¡FL350 ¡ TU-­‑154 ¡Descending ¡ TU-­‑154 ¡TCAS ¡issues ¡ B757 ¡TCAS ¡issues ¡ traffic ¡advisory ¡ traffic ¡advisory ¡ ATC ¡a.empts ¡to ¡ handover ¡A320 ¡to ¡ Friedrichshafen ¡ approach ¡ 10 ¡

21/03/2012 ¡ OrganisaNonal ¡Factors ¡ TCAS ¡SpecificaNon ¡ • “TCAS ¡is ¡a ¡backup ¡to ¡ATC ¡…” ¡ TU-­‑154M ¡Flight ¡OperaNons ¡Manual ¡ • “For ¡the ¡avoidance ¡of ¡in-­‑flight ¡collisions ¡… ¡ correct ¡execuNon ¡of ¡all ¡instrucNons ¡issued ¡by ¡ ATC ¡to ¡be ¡regarded ¡as ¡the ¡most ¡important ¡… ¡ TCAS ¡is ¡an ¡addiNonal ¡instrument ¡…” ¡ But ¡most ¡airlines ¡train ¡pilots ¡to ¡obey ¡TCAS ¡… ¡ ¡ Signature ¡ • Intrinsic ¡flaw ¡(organisaNonal; ¡procedures) ¡ – One ¡airline ¡took ¡ATC ¡as ¡primary, ¡the ¡other ¡TCAS ¡ • ProtecNon ¡systems ¡(TCAS, ¡ATC) ¡ – Rendered ¡ineffecNve ¡by ¡the ¡flaw ¡ • Other ¡protecNon ¡systems ¡ – STCA, ¡communicaNons ¡rendered ¡ineffecNve ¡by ¡ ¡ reduced ¡staffing, ¡equipment ¡outages ¡ ¡ • SystemaNc, ¡not ¡a ¡quanNfied ¡risk ¡ – Not ¡covered ¡in ¡the ¡calculaNons ¡of ¡1.55 ¡x ¡10 -­‑8 /hour ¡ ¡ 11 ¡