Too much informa-on: Problems when using mul-ple - PowerPoint PPT Presentation

Too ¡much ¡informa-on: ¡ ¡ ¡ Problems ¡when ¡using ¡mul-ple ¡malingering ¡tests ¡ ¡ Richard ¡Frederick ¡ Springfield, ¡Missouri ¡

Using ¡classifica-on ¡tests ¡to ¡detect ¡feigning ¡

FAKER ¡ If ¡you ¡get ¡a….. ¡ ¡ e r o c s ¡ e v - i s o p …you ¡are ¡called ¡a… ¡ n e g a - v e ¡ s c o r e ¡ A ¡faking ¡test ¡(classifica-on ¡test) ¡is ¡administered: ¡ NON-­‑FAKER ¡

Assump-ons ¡for ¡using ¡classifica-on ¡tests: ¡ ¡ (1) ¡There ¡are ¡two ¡groups ¡ ¡ (2) ¡The ¡local ¡base ¡rates ¡of ¡the ¡two ¡groups ¡are ¡known: ¡ ¡ p(Faking) ¡= ¡p(Feigning) ¡= ¡p(F) ¡ ¡ ¡p(not ¡Faking) ¡= ¡p(not ¡F) ¡ ¡ ¡ ¡ p(F) ¡+ ¡p(not ¡F) ¡= ¡1 ¡ ¡(See ¡assump-on ¡1) ¡ ¡ (3) ¡Valid ¡tests ¡exist ¡that ¡classify ¡the ¡two ¡groups ¡with ¡known ¡error ¡ rates ¡ ¡ ¡

Result: ¡ ¡ If ¡the ¡three ¡assump-ons ¡are ¡met, ¡then ¡one ¡can ¡ change ¡p(F) ¡in ¡a ¡way ¡that ¡leads ¡to ¡some ¡ decision ¡about ¡group ¡membership. ¡ ¡

Assump-on ¡1: ¡ ¡ There ¡are ¡two ¡groups ¡

Assump-on ¡2 ¡ ¡ The ¡local ¡base ¡rates ¡of ¡the ¡two ¡groups ¡are ¡known ¡ (or ¡reasonably ¡es-mated) ¡

Assume ¡I ¡know ¡the ¡rates ¡of ¡the ¡two ¡groups ¡in ¡which ¡I ¡work ¡ are ¡40% ¡and ¡60%, ¡faking ¡and ¡not ¡faking, ¡respec-vely ¡ ¡ If ¡40% ¡of ¡the ¡people ¡we ¡evaluate ¡are ¡feigning, ¡p(F) ¡= ¡.4 ¡ ¡ 2 ¡ .4 .4 The ¡ odds ¡ of ¡feigning ¡are ¡ ¡ .67 = = = 3 1 .4 .6 − ¡ This ¡means ¡for ¡every ¡ 1 ¡non-­‑faker, ¡there ¡are ¡ .67 ¡ fakers. ¡ ¡ For ¡every ¡ 2 ¡+ ¡ 3 ¡examinees, ¡ 2 ¡are ¡faking, ¡ 3 ¡are ¡not. ¡ ¡ ←⎯ → p(F) ¡= ¡.4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡odds ¡are ¡2/3; ¡ ¡ these ¡are ¡equivalent ¡statements. ¡

Note: ¡ ¡The ¡closer ¡p(F) ¡is ¡to ¡0 ¡or ¡1, ¡the ¡less ¡useful ¡classifica-on ¡ ¡ tests ¡will ¡be. ¡ ¡ In ¡low ¡base ¡rates, ¡tes-ng ¡will ¡generate ¡many ¡false ¡posi-ves. ¡ ¡ In ¡high ¡base ¡rates, ¡tes-ng ¡will ¡generate ¡many ¡false ¡nega-ves. ¡ ¡

To ¡say ¡that ¡p(F) ¡= ¡.4 ¡can ¡be ¡understood ¡in ¡many ¡ways. ¡ ¡ Perhaps ¡the ¡best ¡way ¡to ¡think ¡of ¡it ¡is ¡this ¡way: ¡ ¡ If ¡your ¡sample ¡(local ¡base ¡rate) ¡has ¡p(F) ¡= ¡.4, ¡then ¡ ¡ each ¡person ¡you ¡encounter ¡has ¡p(F) ¡= ¡.4. ¡ ¡ Your ¡goal ¡is ¡to ¡re-­‑compute ¡that ¡probability ¡for ¡ ¡ individuals ¡by ¡tes-ng. ¡ ¡ ¡ ¡ p(F) ¡= ¡.4 ¡

You ¡hope ¡to ¡change ¡informa-on ¡about ¡the ¡probability ¡of ¡ membership ¡for ¡each ¡individual ¡by ¡giving ¡a ¡valid ¡test. ¡ posi-ve ¡score ¡ p(F) ¡= ¡.9 ¡ nega-ve ¡score ¡ p(F) ¡= ¡.1 ¡ p(F) ¡= ¡.4 ¡ (This ¡was ¡a ¡useful ¡test.) ¡

p(F) ¡= ¡.9 ¡ ¡ For ¡every ¡10 ¡of ¡this ¡ type ¡of ¡individual, ¡9 ¡ are ¡faking. ¡ p(F) ¡= ¡.1 ¡ ¡ For ¡every ¡10 ¡of ¡this ¡ type ¡of ¡individual, ¡1 ¡ is ¡faking. ¡

pre-­‑test ¡probability ¡ ¡ ¡ ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ Single ¡test ¡ ¡ ¡ ¡ post-­‑test ¡probability ¡

pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ Mul-ple ¡tests ¡

pre-­‑test ¡p(F) ¡ = ¡ post-­‑test ¡odds 1 ¡ pre-­‑test ¡odds 1 ¡ pre-­‑test ¡odds 2 ¡ = ¡ post-­‑test ¡odds 2 ¡ pre-­‑test ¡odds n ¡ pre-­‑test ¡odds 2 ¡ pre-­‑test ¡odds n ¡ post-­‑test ¡odds n+1 ¡ post-­‑test ¡p(F) ¡

pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ LR 3 ¡ LR 4 ¡ LR n ¡ LR 1 ¡ LR 2 ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ LR ¡= ¡likelihood ¡ra-o; ¡some ¡combina-on ¡of ¡a ¡test’s ¡sensi-vity ¡and ¡specificity ¡

Likelihood ¡ra-os ¡vary ¡based ¡on ¡whether ¡the ¡test ¡outcome ¡is ¡posi-ve ¡or ¡nega-ve ¡ LR 1 + ¡ LR 3 + ¡ LR 2 + ¡ LR 4 + ¡ LR n + ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ LR 2 -­‑ ¡ LR 3 -­‑ ¡ LR 1 -­‑ ¡ LR 4 -­‑ ¡ LR n -­‑ ¡ LR + ¡is ¡the ¡likelihood ¡ra-o ¡when ¡the ¡test ¡score ¡is ¡posi-ve; ¡indicates ¡feigning ¡ ¡ LR -­‑ ¡is ¡the ¡likelihood ¡ra-o ¡when ¡the ¡test ¡score ¡is ¡nega-ve; ¡indicates ¡not ¡feigning ¡

LR 1 + ¡ LR 3 + ¡ LR 2 + ¡ LR 4 + ¡ LR n + ¡ pre-­‑test ¡odds ¡ post-­‑test ¡odds ¡ LR 2 -­‑ ¡ LR 3 -­‑ ¡ LR 1 -­‑ ¡ LR 4 -­‑ ¡ LR n -­‑ ¡ LR 4 -­‑ ¡ LR n + ¡ LR 3 + ¡ LR 1 -­‑ ¡ LR 2 + ¡ post-­‑test ¡odds ¡ pre-­‑test ¡odds ¡ “Chaining ¡likelihood ¡ra-os” ¡

Don’t ¡fret ¡over ¡the ¡math. ¡ ¡Use ¡Excel. ¡