Dynamic clinical predic.on models for cardiac surgery - PowerPoint PPT Presentation

Dynamic ¡clinical ¡predic.on ¡ models ¡for ¡cardiac ¡surgery ¡ Hickey ¡GL 1 , ¡Grant ¡SW 2 , ¡Caiado ¡C 3 , ¡Kendall ¡S 4 , ¡ ¡ Dunning ¡J 4 , ¡Poullis ¡M 5 , ¡Buchan ¡I 1 , ¡Bridgewater ¡B 1,2 ¡ ¡ 1 Northwest ¡Ins.tute ¡of ¡Bio-­‑Health ¡Informa.cs; ¡ 2 University ¡Hospital ¡of ¡South ¡ Manchester; ¡ 3 University ¡of ¡Durham; ¡ 4 The ¡James ¡Cook ¡University ¡Hospital; ¡ ¡ 5 Liverpool ¡Heart ¡and ¡Chest ¡Hospital ¡ This ¡research ¡was ¡generously ¡funded ¡by ¡ Heart ¡Research ¡UK ¡[Grant ¡Number ¡RG2583] ¡

History ¡of ¡clinical ¡predic.on ¡models ¡ for ¡cardiac ¡surgery ¡ 1989 ¡ • Parsonnet ¡ Dominant ¡ 1999 ¡ • Addi.ve ¡EuroSCORE ¡ European ¡model ¡ 2003 ¡ • Logis.c ¡EuroSCORE ¡ for ¡~10 ¡years ¡ Procedure ¡specific ¡ 2008 ¡ • STS ¡Models ¡ Mul.ple ¡outcomes ¡ 2012 ¡ • EuroSCORE ¡II ¡ Future ¡ • Where ¡next? ¡

What’s ¡wrong ¡with ¡the ¡ status ¡quo ? ¡ 0.02 0.10 Observed Actual O:E ratio 0.7 Expected Overall average LOESS Trend 0.08 Mortality (proportion) 0.6 O:E ratio 0.06 0.5 0.04 0.4 0.02 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 Time (annual quarter) Time (annual quarter) In ¡April ¡2010, ¡predicted ¡mortality ¡was ¡ 2.7 ¡x ¡observed ¡mortality ¡

Consequences ¡ Logistic EuroSCORE 15% MisrepresentaGon ¡ Mortality rate 10% 5% 0% 0 200 400 600 800 0 Number of pro Number ¡of ¡procedures ¡

Op.ons ¡a ¡ Approach ¡ DescripGon ¡ Develop ¡a ¡model ¡(e.g. ¡on ¡1-­‑years ¡data) ¡and ¡leave ¡to ¡ Do ¡nothing ¡ run ¡forever ¡ Periodically ¡refit ¡model ¡ Every, ¡e.g. ¡1-­‑year, ¡independently ¡refit ¡the ¡model ¡ Fit ¡model ¡to ¡a ¡fixed ¡window ¡(e.g. ¡2-­‑years) ¡of ¡data ¡and ¡ then ¡rolling ¡the ¡window ¡incrementally ¡(e.g. ¡every ¡1-­‑ Rolling ¡window ¡ year) ¡ Exploit ¡dynamic ¡sta.s.cal ¡models ¡that ¡can ¡update ¡in ¡ Dynamic ¡logisGc ¡regression ¡ ‘real ¡.me’ ¡(1-­‑month) ¡online ¡ a ¡ not ¡an ¡exhaus.ve ¡list ¡

‘Nuts ¡& ¡bolts’ ¡of ¡dynamic ¡regression ¡ • Described ¡by ¡McCormick ¡et ¡al. ¡ Biometrics ¡ 2012; ¡68:23-­‑30 ¡(with ¡sogware) ¡ • Assumes ¡a ¡state-­‑space ¡equa.on: ¡ β t ¡= ¡ β t-­‑1 ¡+ ¡ δ ¡ for ¡risk ¡factors ¡(cf. ¡log ¡odds ¡ra.os) ¡ • As ¡each ¡batch ¡of ¡new ¡data ¡arrives, ¡model ¡ updates ¡es.mate ¡of ¡ β t ¡ and ¡its ¡standard ¡error ¡ using ¡Bayesian ¡sta.s.cs ¡ • Assump.ons ¡made ¡about ¡ δ ¡and ¡ approxima.ons ¡in ¡calcula.ons ¡

Strategy ¡ • Focus ¡on ¡EuroSCORE ¡risk ¡factors ¡ • Train ¡all ¡3 ¡models ¡on ¡2001-­‑02 ¡clinical ¡registry ¡ data ¡for ¡all ¡adult ¡cardiac ¡surgery ¡ • ‘Update’ ¡models ¡on ¡2002-­‑11 ¡clinical ¡registry ¡ data ¡ • Monitor ¡model ¡coefficients ¡

Results ¡

• 316,713 ¡records ¡ • 37 ¡different ¡hospital ¡ • 120 ¡months ¡of ¡clinical ¡data ¡(10 ¡years) ¡ 37 35 3000 Number of contributing hospitals 33 31 Number of records 2500 29 27 25 2000 23 21 Procedures 19 Contributing hospitals 1500 17 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Time (months)

Age (adjusted) Female Pulmonary disease 0.6 0.07 0.4 0.4 0.06 0.2 0.2 0.05 Coefficient 0.0 Extracardiac arteriopathy Neurological dysfunction Previous cardiac surgery 1.0 1.3 0.8 0.5 1.1 0.6 0.0 0.9 0.4 − 0.5 0.7 0.2 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 Time No update Piecewise recalibration (1 − year) Dynamic logistic regression Rolling 2 − year window Piecewise recalibration (2 − year) Estimate 95% CI

Creatinine > 2.2mg/dl Active endocarditis Critical pre − op 1.50 1.2 1.25 0.9 0.8 1.00 0.6 0.4 0.75 0.3 Coefficient 0.0 0.50 Unstable angina LV function: moderate LV function: poor 0.8 1.50 0.6 0.4 1.25 0.4 0.0 1.00 0.2 0.75 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 Time No update Piecewise recalibration (1 − year) Dynamic logistic regression Rolling 2 − year window Piecewise recalibration (2 − year) Estimate 95% CI

Recent MI Pulmonary hypertension Emergency/salvage 1.50 0.8 0.75 1.25 0.6 0.50 1.00 0.4 0.25 0.75 0.2 0.00 Coefficient 0.0 0.50 Other than isolated CABG Surgery on thoracic aorta VSD 1.5 1.25 1.0 1.0 1.00 0.5 0.8 0.75 0.0 0.50 0.6 − 0.5 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 2002 2004 2006 2008 2010 Time No update Piecewise recalibration (1 − year) Dynamic logistic regression Rolling 2 − year window Piecewise recalibration (2 − year) Estimate 95% CI

Intercept Estimate − 5.25 95% CI Coefficient − 5.50 No update Rolling 2 − year window Piecewise recalibration (1 − year) − 5.75 Piecewise recalibration (2 − year) Dynamic logistic regression − 6.00 2002 2004 2006 2008 2010 Time

Conclusions ¡ • Doing ¡nothing ¡is ¡not ¡an ¡op.on ¡ • A ¡pa.ent ¡today ¡does ¡not ¡have ¡the ¡same ¡risk ¡as ¡ 10 ¡years ¡ago ¡ • Is ¡it ¡sensible ¡to ¡wait ¡for ¡EuroSCORE ¡III? ¡ • Dynamic ¡regression ¡is ¡more ¡methodologically ¡ complex ¡and ¡would ¡require ¡concerted ¡effort ¡ to ¡implement ¡