CAT for Passage-Based Reading Assessments with Complex Test - PowerPoint PPT Presentation

CAT ¡for ¡Passage-­‑Based ¡Reading ¡Assessments ¡with ¡ Complex ¡Test ¡Specifica=ons: ¡ ¡ A ¡Shadow ¡Test ¡Approach ¡ Seung ¡W. ¡Choi, ¡Hao ¡Ren, ¡& ¡Wim ¡J. ¡van ¡der ¡Linden ¡ ¡ McGraw-­‑Hill ¡Educa=on ¡CTB ¡ 2015 ¡Na=onal ¡Conference ¡on ¡Student ¡Assessment, ¡June ¡22-­‑24, ¡San ¡Diego, ¡CA ¡

Establishing ¡Content ¡Validity ¡ • Establishing ¡content ¡validity ¡usually ¡takes ¡the ¡form ¡of ¡ professional ¡judgments ¡about ¡the ¡alignment ¡of ¡item ¡content ¡ to ¡the ¡domain ¡of ¡interest ¡and ¡specific ¡content ¡standards. ¡ It ¡ also ¡ describes ¡and ¡documents ¡the ¡content ¡standards ¡to ¡be ¡ included ¡in ¡the ¡test ¡and ¡the ¡representa2veness ¡with ¡which ¡ the ¡tasks ¡cover ¡the ¡domain ¡ (Messick, ¡1989). ¡ • “ Content ¡representa2on ¡ is ¡the ¡only ¡aspect ¡of ¡valida2on ¡that ¡ can ¡be ¡completed ¡ prior ¡to ¡administering ¡the ¡test ¡ and ¡ repor2ng ¡results. ¡If ¡this ¡process ¡yields ¡disappoin2ng ¡results, ¡ there ¡is ¡s2ll ¡2me ¡to ¡recoup ” ¡(Crocker, ¡2003) ¡ • But ¡for ¡CAT… ¡

Content ¡Validity ¡for ¡CAT ¡ • Having ¡an ¡item ¡pool ¡with ¡adequate ¡alignment ¡to ¡and ¡ coverage ¡of ¡the ¡required ¡content ¡standards ¡is ¡a ¡ prerequisite ¡ but ¡not ¡a ¡sufficient ¡condi1on ¡ for ¡establishing ¡the ¡content ¡ validity ¡of ¡CAT. ¡ • A ¡key ¡concern ¡and ¡a ¡poten=al ¡threat ¡to ¡validity ¡in ¡CAT ¡is ¡the ¡ lack ¡of ¡control ¡over ¡the ¡construct ¡ being ¡measured ¡by ¡ individual ¡CATs ¡rendered ¡in ¡real ¡=me. ¡ • CAT ¡with ¡item ¡sets, ¡such ¡as ¡passage-­‑based ¡item ¡sets ¡in ¡ Reading ¡assessments ¡must ¡address ¡an ¡ added ¡layer ¡of ¡ complexi1es ¡due ¡to ¡the ¡constraints ¡imposed ¡on ¡item ¡sets ¡as ¡ well ¡as ¡those ¡on ¡items. ¡

Objec=ves ¡ • In ¡this ¡presenta=on, ¡we ¡will ¡demonstrate ¡how ¡Shadow ¡Test ¡ approach ¡to ¡CAT ¡(“ Shadow ¡CAT ”) ¡can ¡effec=vely ¡address ¡ complex ¡content ¡constraints ¡and ¡test ¡blueprint ¡requirements ¡ for ¡Reading ¡assessments ¡with ¡passage-­‑based ¡item ¡sets. ¡ ¡ • In ¡addi=on ¡to ¡the ¡standard ¡ item-­‑level ¡adap1ve ¡tes1ng ¡ available ¡under ¡Shadow ¡CAT, ¡we ¡will ¡demonstrate ¡how ¡ simple, ¡addi=onal ¡constraints ¡can ¡render ¡ on-­‑the-­‑fly ¡mul1-­‑ stage ¡test ¡(MST) ¡within ¡the ¡same ¡framework. ¡ ¡ • We ¡will ¡then ¡present ¡some ¡empirical ¡results ¡highligh=ng ¡the ¡ rela=ve ¡efficiency ¡and ¡prac=cal ¡benefits ¡of ¡on-­‑the-­‑fly ¡MST ¡in ¡ comparison ¡to ¡full ¡item-­‑level ¡adap=ve ¡tes=ng. ¡ ¡

Best ¡things ¡come ¡in ¡small ¡packages… ¡

CAT ¡with ¡Discrete ¡Items ¡ 1 ¡ 2 ¡ 1 ¡

CAT ¡with ¡Item ¡Sets ¡ 1 ¡ 2 ¡ 1 ¡

+ ¡Complex ¡Constraints ¡ 1 ¡ 2 ¡ 1 ¡

+ ¡Large ¡Item ¡sets ¡ • Using ¡passages ¡with ¡lots ¡of ¡ items, ¡covering ¡a ¡wide ¡ range ¡of ¡difficulty ¡levels, ¡ runs ¡counter ¡to ¡the ¡ adapta=on ¡and ¡ effec=veness ¡of ¡CAT. ¡ • Item ¡sets ¡may ¡contain ¡ sisters, ¡cousins, ¡or ¡enemies. ¡

Adapta=on ¡within ¡Item ¡sets ¡

Number ¡of ¡Items ¡within ¡Passages ¡

Item ¡Difficul=es ¡within ¡Passages ¡

Within-­‑Passage ¡Adapta=on ¡ ¡ • Item ¡difficulty ¡varia=on ¡within ¡passages ¡ – Varia=on ¡in ¡item ¡difficul=es ¡within ¡passages ¡may ¡approach ¡ that ¡for ¡the ¡en=re ¡test. ¡ • Limited ¡allowable ¡naviga=ons ¡ – Allowing ¡for ¡moving ¡forward/backward ¡to ¡preview ¡items ¡and ¡ review ¡previous ¡responses ¡within ¡passages ¡is ¡highly ¡desired ¡ but ¡not ¡conducive ¡to ¡adapta=on ¡within ¡passages. ¡ ¡ • Ordering ¡of ¡items ¡within ¡passages ¡ – Global ¡ques=ons ¡before ¡ques=ons ¡on ¡specific ¡details ¡ – Order ¡of ¡subsec=ons ¡referenced ¡

Shadow ¡Test ¡Approach ¡to ¡CAT ¡ Maximum ¡ Content ¡ Measurement ¡ Psychometric ¡ Precision ¡ Constraints ¡ Sequen=al ¡ Simultaneous ¡ Selec=on ¡ Selec=on ¡ Shadow ¡CAT ¡

Item-­‑Level ¡Adap=ve ¡ . ¡. ¡. ¡ Previously ¡administered ¡item ¡ 1 ¡ n-­‑1 ¡ n ¡ 2 ¡ 3 ¡ 4 ¡ Item ¡Posi=on ¡

On-­‑the-­‑fly ¡MST ¡ . ¡. ¡. ¡ n-­‑4 ¡ n ¡ 1 ¡ … ¡ 5 ¡ 6 ¡ … ¡ 10 ¡ 11 ¡ … ¡ 15 ¡ … ¡ Item ¡Posi=on ¡

Linear ¡on-­‑the-­‑fly ¡ . ¡. ¡. ¡ 1 ¡ n-­‑1 ¡ n ¡ 2 ¡ 3 ¡ 4 ¡ Item ¡Posi=on ¡

Empirical ¡Study ¡ • Samples ¡ ¡ 1. N ¡= ¡1,000 ¡normal ¡deviates ¡from ¡~ N (0,1); ¡and ¡ ¡ 2. n ¡= ¡500 ¡replica=ons ¡at ¡θ ¡= ¡-­‑2.5, ¡-­‑1.5, ¡…, ¡2.5 ¡for ¡a ¡total ¡N ¡= ¡5,500. ¡ ¡ • Item ¡pool ¡– ¡modeled ¡aner ¡the ¡distribu=on ¡of ¡Smarter ¡Balanced ¡ Reading ¡item ¡aoributes ¡ • Test ¡specifica1ons ¡– ¡adapted ¡from ¡Smarter ¡Balanced ¡Reading ¡claim ¡ • CAT ¡configura1ons ¡ 1. LOFT ¡at ¡True ¡θ ¡ 2. Standard ¡Shadow ¡CAT ¡ 3. On-­‑the-­‑fly ¡MST ¡via ¡Shadow ¡CAT ¡ Evalua1on ¡Criteria ¡ • 1. RMSE ¡ 2. Bias ¡

Item ¡Pool ¡

Item ¡Pool ¡Informa=on ¡Func=on ¡

Test ¡Blueprint ¡Specifica=ons ¡

Results ¡

Observed ¡Counts ¡by ¡Tes=ng ¡Formats ¡

Sample ¡1 ¡(N ¡= ¡1,000) ¡

RMSE ¡for ¡Three ¡Tes=ng ¡Formats ¡

Bias ¡for ¡Three ¡Tes=ng ¡Formats ¡

Conclusions ¡ • Shadow ¡CAT ¡ provides ¡a ¡flexible ¡framework ¡for ¡adap=ve ¡tes=ng ¡ solu=ons ¡based ¡on ¡item ¡sets ¡and ¡requiring ¡complex ¡constraints. ¡ • On-­‑the-­‑fly ¡MST ¡ is ¡an ¡effec=ve ¡solu=on ¡to ¡some ¡of ¡the ¡prac=cal ¡ concerns ¡pertaining ¡to ¡passage-­‑based ¡CAT ¡(e.g., ¡adap=ng ¡within ¡ item ¡sets, ¡allowing ¡for ¡item ¡p/review). ¡ ¡ • Compared ¡to ¡tradi=onal ¡fixed ¡MSTs, ¡typically ¡involving ¡two ¡or ¡three ¡ stages, ¡it ¡is ¡clear ¡that ¡the ¡degree ¡of ¡adapta=on ¡of ¡on-­‑the-­‑fly ¡MST ¡ with ¡4-­‑7 ¡flexible ¡stages ¡using ¡ dynamically ¡and ¡op1mally ¡ constructed ¡ modules ¡can ¡be ¡substan=ally ¡higher. ¡ ¡ • The ¡poten=al ¡benefits ¡of ¡on-­‑the-­‑fly ¡MST ¡in ¡passage-­‑based ¡reading ¡ assessments ¡depends ¡on ¡the ¡depth ¡of ¡item ¡pools ¡and ¡the ¡ability ¡to ¡ assemble ¡test ¡modules ¡ in ¡real ¡1me ¡and ¡in ¡strict ¡compliance ¡ with ¡all ¡ test ¡blueprint ¡specifica=ons ¡without ¡sacrificing ¡the ¡measurement ¡ efficiency. ¡ ¡

Conclusions ¡ • Having ¡a ¡robust ¡pool ¡of ¡items ¡and ¡passages ¡is ¡necessary ¡but ¡ not ¡sufficient ¡for ¡ensuring ¡content ¡validity, ¡rendering ¡ individual ¡CATs ¡that ¡conform ¡strictly ¡to ¡the ¡test ¡specifica=ons. ¡ • ¡Unless ¡the ¡CAT ¡engine ¡has ¡a ¡failsafe ¡mechanism ¡to ¡guarantee ¡ the ¡full ¡conformance ¡to ¡the ¡test ¡specifica=ons, ¡there ¡is ¡no ¡ assurance ¡that ¡every ¡instance ¡of ¡CAT ¡is ¡rendered ¡to ¡the ¡test ¡ specifica=ons. ¡ ¡