OR Society Special Interest Group on Behavioural Operational Research Health care management, health care and health: better with behavioural O.R? Geoff Royston Immediate Past President December 17 th 2014 The OR Societ y 1
The ¡importance ¡of ¡percep/on ¡ and ¡behaviour ¡in ¡health ¡care ¡ analysis ¡and ¡modelling ¡– ¡ ¡ three ¡personal ¡stories ¡
Story ¡1 ¡-‑ ¡fetal ¡heart ¡monitoring ¡
A ¡very ¡simple ¡model ¡of ¡fetal ¡heart ¡monitoring ¡ + ¡ + ¡ ALARM Remedial !! Intervention by health worker -‑ ¡ Problem -‑ ¡ detected Problem + ¡
There ¡is ¡generally ¡a ¡trade-‑off ¡between ¡key ¡ opera/ng ¡characteris/cs ¡of ¡a ¡diagnos/c ¡test ¡ + ¡ GENUINE Monitor ALARMS sensitivity -‑ ¡ -‑ Monitor specificity FALSE ALARMS
False ¡alarms ¡lead ¡to ¡a ¡behavioural ¡response, ¡ degrading ¡the ¡performance ¡of ¡the ¡monitoring ¡ system ¡ ¡ -‑ ¡ sensitivity -‑ ¡ FALSE + ¡ Monitor ALARMS Monitor specificity Chance of health worker not + ¡ responding + ¡ -‑ ¡ + ¡ ALARM Remedial Intervention -‑ ¡ + ¡ Problem Problem detected
A ¡Bayesian ¡Analysis ¡ Suppose: • Sensitivity ( p a ) = 95% (i.e. the machine will correctly detect 95% of problems) • Specificity (p b ) = 70% (i.e. the machine will incorrectly classify 30% of non-problems as problems) • Problem prevalence (p c )= 5% Then, using Bayes’ formula: the probability that an alarm will be genuine = (p c x p a )/ [(p c x p a ) + (1 –p c ) x ( 1- p b )] 14% of alarms will be genuine and 86% will be false alarms
A ¡Bayesian ¡Behavioural ¡Analysis ¡ • The chance that a health care worker will respond to an alarm is a cognitive and behavioural factor. • It will depend on their knowledge or perception of the false alarm rate • Suppose, say, their probability of responding to any given alarm is simply equal to the overall proportion of alarms that are not false (14% in our example) The detection rate falls from 95% to just 13% (95% x 14%) once the behavioural effect is taken into account.
Press ¡perspec/ves ¡
Story ¡2-‑ ¡the ¡third ¡genera/on ¡pill ¡scare ¡ ¡ ¡ ¡ ¡ ¡
Health ¡risks ¡are ¡oFen ¡liGle ¡understood ¡…. ¡ ¡ ¡ ¡ ¡ ¡
……and ¡poorly ¡communicated….oFen ¡with ¡ serious ¡adverse ¡results ¡…... ¡ ¡ ¡ ¡ ¡ ¡ ¡
Confusion ¡between ¡absolute ¡and ¡ ¡ rela/ve ¡risk ¡is ¡a ¡major ¡problem ¡ • An ¡absolute ¡risk ¡is ¡about ¡the ¡chances ¡of ¡something ¡ happening. ¡A ¡ rela-ve ¡ risk ¡is ¡about ¡how ¡one ¡risk ¡ compares ¡to ¡anothe r ¡ • These ¡are ¡o7en ¡confused ¡– ¡either ¡accidentally ¡or ¡deliberately ¡-‑ ¡ especially ¡by ¡the ¡media ¡and ¡adver>sers ¡e.g. ¡ “30% ¡of ¡people ¡ suffer ¡from ¡occurrences ¡of ¡this ¡problem ¡and ¡this ¡drug ¡gives ¡a ¡ 20% ¡reduc;on ¡in ¡them”. ¡ ¡ • It ¡is ¡unclear ¡whether ¡this ¡means ¡that, ¡for ¡people ¡taking ¡the ¡ drug ¡: ¡ – ¡10% ¡will ¡now ¡suffer ¡from ¡occurrences ¡(absolute ¡risk ¡reduc>on) ¡ ¡ ¡ – ¡24% ¡will ¡now ¡suffer ¡from ¡occurrences ¡( ¡rela>ve ¡risk ¡reduc>on) ¡ ¡ 13 ¡
The ¡ ¡third ¡genera/on ¡pill ¡ scare ¡was ¡a ¡result ¡of ¡ confusion ¡between ¡rela/ve ¡ and ¡absolute ¡risk ¡ ¡ The papers screamed “new pill doubles risk of fatal thrombosis” This mortality risk (possibly) had doubled - from about 2 per million women per year to about 4 per million The scare has been estimated to have led to an extra 13,000 abortions in the UK alone
Communica/ng ¡risk ¡-‑ ¡rela/ve ¡or ¡absolute? ¡(1) ¡ The West of Scotland Coronary Prevention Study Press release: “People with high cholesterol can rapidly reduce their … risk of death by 22%, by taking a widely prescribed drug called pravastatin sodium.” The study figures – not given in the press release - show that the 22% is the reduction in the relative risk of death. See J-A Skolbekken, Communicating the risk reduction achieved by cholesterol reducing drugs, BMJ 1998 316 ;1956 15 ¡
Communica/ng ¡risk ¡-‑ ¡rela/ve ¡or ¡absolute? ¡(2) ¡ ¡ Consider the following much less dramatic way of presenting the same results in terms of reduction in absolute risk : “People with high cholesterol can reduce their risk of death in a five year period from about 4% to about 3% (an absolute reduction of about 1%), by taking a widely prescribed drug called pravastatin sodium ” What difference in prescribing behaviour do you think such a presentation of the results might have made? See J-A Skolbekken, Communicating the risk reduction achieved by cholesterol reducing drugs, BMJ 1998 316 ;1956 16 ¡
A ¡sea ¡change ¡on ¡communica/on ¡about ¡ screening ¡risks? ¡ ¡ 17 ¡
Readers ¡on ¡understanding ¡and ¡ communica/ng ¡risk ¡ Risk ¡Savvy: ¡How ¡to ¡Make The ¡Norm ¡Chronicles; ¡Stories ¡and ¡ A ¡Mathema;cian ¡Reads ¡ ¡Good ¡Decisions , ¡ ¡ Numbers ¡about ¡Danger ¡ ¡M ¡ the ¡Newspaper , ¡J ¡A ¡ G ¡Gigerenzer, ¡2014 ¡ Blastland ¡& ¡D ¡Spiegelhalter, ¡2013 ¡ Paulos, ¡1996 ¡ ¡ ¡Risk ¡Communica;on ¡and ¡Public ¡Health ¡eds ¡P ¡BenneP, ¡K ¡Calman, ¡ ¡S ¡Cur>s ¡and ¡D ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Fischbacher-‑Smith, ¡2 nd ¡edn, ¡2010 ¡ ¡ 18 ¡
WARNING! ¡ Poor ¡ ¡ mental ¡models ¡ ¡ can ¡be ¡damaging ¡to ¡health. ¡
Story ¡3-‑ ¡the ¡flaw ¡of ¡averages ¡ ¡ ¡
A ¡dangerous ¡misconcep/on ¡ ¡ about ¡hospital ¡bed ¡occupancy ¡ ¡ The Treasury view: “spare capacity is wasted capacity” Percentage wasted capacity Average Bed Occupancy 21 ¡
This ¡view ¡of ¡capacity ¡suffers ¡from ¡the ¡“flaw ¡of ¡ averages” ¡ ¡-‑ ¡it ¡ignores ¡varia/on ¡in ¡demand ¡ ¡ ¡ ¡ Demand for beds has some unpredictable highs and lows – some slack is required to cope with the peaks 22 ¡
Mental ¡models ¡were ¡shiFed ¡by ¡introducing ¡ the ¡concept ¡of ¡the ¡“price ¡of ¡responsiveness” ¡ ¡ ¡ The Treasury mental model? The O.R. model results Chance of refusing admissions Chance of refusing admissions 5% 5% 5% 5% 4% 4% 4% 4% 450 bed 450 beds 450 450 bed beds 3% 3% 3% 3% 2% 2% 2% 2% 1% 1% 1% 1% 0% 0% 0% 0% 75% 75% 80% 80% 85% 85% 90% 90% 95% 95% 100% 100% 75% 75% 80% 80% 85% 85% 90% 90% 95% 95% 100% 100% Average Bed Occupancy Average Bed Occupancy 23 ¡
¡The ¡importance ¡of ¡percep/on ¡ and ¡behaviour ¡in ¡health ¡care ¡ analysis ¡and ¡modelling ¡– ¡ ¡ What ¡do ¡these ¡stories ¡tell ¡us? ¡
These ¡stories ¡hopefully ¡illustrate ¡why ¡it ¡is ¡ important ¡to: ¡ ¡ ¡ (a) incorporate key behavioural factors into our analyses and models of human activity systems (“content” Behavioural O.R.) (b) take into account how people actually make ¡ ¡ decisions, especially under uncertainty (“process” Behavioural O.R.) (c) consider how we and our clients think about situations (and models), and how we engage and communicate with them on that thinking (“effects” Behavioural O.R.)
A ¡management ¡guru’s ¡cri/que ¡of ¡OR/MS ¡ Drucker ¡cri>cised ¡management ¡science ¡ ¡on ¡the ¡ grounds ¡of ¡it ¡not ¡adequately ¡reflec>ng ¡the ¡fact ¡ that ¡a ¡business ¡enterprise ¡is ¡made ¡up ¡of ¡human ¡ beings ¡and ¡so ¡its ¡opera>ons ¡could ¡not ¡be ¡ regarded ¡as ¡a ¡purely ¡mechanis>c ¡process; ¡ ¡ the ¡domain ¡of ¡study ¡of ¡management ¡science ¡ needed ¡to ¡include ¡people’s ¡– ¡especially ¡ managers’ ¡-‑ ¡assump>ons, ¡opinions ¡and ¡errors. ¡
Back to the talk’s title! Health care management, health care and health: better with behavioural O.R? 27
The three stories can be mapped onto these areas ¡ ¡ ¡ ¡Pill ¡scare ¡– ¡health ¡ ¡ ¡ ¡ ¡ ¡ ¡Fetal ¡monitoring ¡– ¡health ¡care ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Flaw ¡of ¡averages ¡– ¡health ¡care ¡management ¡ ¡
Recommend
More recommend
