CONCEPT PRESENTATION January 8, 2016 St. Louis MASA Region - PowerPoint PPT Presentation

CONCEPT ¡PRESENTATION ¡ January ¡8, ¡2016 ¡St. ¡Louis ¡MASA ¡Region ¡ 1 ¡

Agenda ¡ ¡ I. Welcome ¡ II. FoundaAon ¡ III. ¡ ¡ ¡Assessment ¡for ¡Learning ¡Study ¡ ¡-­‑ ¡MASA ¡Survey ¡Results ¡and ¡RecommendaAons ¡ ¡-­‑ ¡Study ¡Purpose, ¡Design ¡and ¡Legal ¡ ¡-­‑ ¡What ¡Results ¡Look ¡Like ¡ ¡-­‑ ¡Study ¡Time ¡Line ¡ 2 ¡

FOUNDATION ¡ Missouri ¡Associa7on ¡of ¡School ¡Administrators ¡ Show ¡Me ¡Accredita7on ¡and ¡Assessment ¡Task ¡Force ¡ Goal: ¡ Iden%fy ¡and ¡recommend ¡to ¡the ¡Missouri ¡Commissioner ¡of ¡ Educa%on ¡a ¡plan ¡for ¡accredita%on ¡and ¡assessment ¡that ¡ emphasizes : ¡ • local ¡control ¡ • conAnuous ¡improvement ¡ • individual ¡student ¡growth ¡with ¡conAnued ¡aMenAon ¡to ¡subgroup ¡ achievement ¡ • right ¡test, ¡right ¡Ame ¡ • adaptability ¡(flexible ¡enough ¡to ¡meet ¡current ¡and ¡future ¡federal/ state ¡guidelines ¡ • clarity ¡of ¡purpose ¡(can ¡be ¡explained ¡by ¡a ¡third ¡grader ¡to ¡an ¡adult ¡ audience) ¡ • achieving ¡Top ¡10 ¡state ¡status ¡one ¡student ¡at ¡a ¡Ame ¡ 3 ¡

FOUNDATION ¡ FEDERAL ¡ESSA ¡REQUIREMENTS ¡ ASSESSMENT ¡ ACCOUNTABILITY ¡ ACCREDITATION ¡ Math/ELA ¡ Assessment ¡ State ¡Control ¡ Annually ¡grades ¡3-­‑8 ¡ ¡ Once ¡in ¡H.S ¡ Gradua7on ¡ ¡ ¡ Science ¡ Support ¡boJom ¡ once ¡per ¡grade ¡span ¡ 5% ¡of ¡schools ¡ 3-­‑5, ¡6-­‑8, ¡9-­‑12 ¡ ¡ • up ¡to ¡7 ¡states ¡may ¡submit ¡a ¡proposal ¡to ¡create ¡an ¡innova7ve ¡state ¡ ¡assessment ¡system ¡that ¡includes ¡the ¡use ¡of ¡local ¡assessments. ¡A ¡ consor7um ¡of ¡up ¡to ¡4 ¡states ¡is ¡also ¡permiJed. ¡Grants ¡may ¡last ¡from ¡3-­‑5 ¡five ¡ years. ¡The ¡reauthorized ¡ESEA ¡takes ¡full ¡effect ¡in ¡17-­‑18. ¡ 4 ¡

Working ¡from ¡our ¡Founda7on ¡ Build ¡Bridge ¡of ¡Success ¡

Assessment ¡for ¡Learning ¡Study ¡ Create ¡an ¡assessment ¡framework ¡for ¡next ¡genera7on ¡MAP ¡ which ¡incorporates ¡the ¡following ¡concepts ¡and ¡supports ¡local ¡control. ¡ individual ¡student ¡growth ¡with ¡conAnued ¡aMenAon ¡to ¡subgroup ¡ • achievement ¡ right ¡test, ¡right ¡Ame ¡ • adaptability ¡(flexible ¡enough ¡to ¡meet ¡current ¡and ¡future ¡federal/state ¡ • guidelines ¡ Working ¡from ¡research ¡define ¡the ¡appropriate ¡rela7onship ¡ between ¡forma7ve, ¡interim ¡and ¡summa7ve ¡assessment ¡ ¡ ¡ Define ¡“proficient” ¡in ¡ways ¡meaningful ¡to ¡the ¡child , ¡including: ¡ providing ¡a ¡clear, ¡achievable ¡learning ¡target, ¡supporAng ¡goal ¡se[ng ¡with ¡ the ¡development ¡of ¡personalized ¡learning ¡plans, ¡providing ¡feedback ¡on ¡ depth ¡of ¡understanding, ¡and ¡informing ¡the ¡student, ¡their ¡parent(s)/guardian ¡ and ¡teacher(s) ¡about ¡readiness ¡for ¡next ¡stages ¡in ¡learning. ¡ 6 ¡

Summa7ve, ¡Interim ¡and ¡Forma7ve ¡Assessment ¡ Source: ¡A ¡Framework ¡for ¡Considering ¡Interim ¡Assessments; ¡Marianne ¡Perie, ¡ScoM ¡Marion, ¡ Gong ¡NaAonal ¡Center ¡for ¡the ¡Improvement ¡of ¡EducaAonal ¡Assessment ¡Feb ¡13, ¡2007 ¡ 7 ¡

Assessment ¡for ¡Learning ¡Study ¡ What ¡interim ¡assessments ¡are ¡ currently ¡used ¡by ¡MASA ¡ districts? ¡ 8 ¡

MASA ¡Survey ¡Results ¡& ¡ ¡ Proposed ¡Study ¡Assessments ¡ In ¡late ¡2015, ¡MASA ¡conducted ¡a ¡survey, ¡asking ¡districts ¡about ¡ the ¡interim ¡assessments ¡being ¡used. ¡ Assessment ¡ Yes ¡ No ¡ The ¡following ¡assessments ¡were ¡ Star ¡ 73 ¡ 103 ¡ idenAfied ¡as ¡robust ¡enough ¡to ¡ Study ¡Island ¡ 57 ¡ 119 ¡ assess ¡the ¡depth ¡and ¡breadth ¡of ¡ AIMSWeb ¡ 45 ¡ 131 ¡ Acuity ¡ 38 ¡ 138 ¡ the ¡standards ¡for ¡inclusion ¡in ¡the ¡ Other ¡ 38 ¡ 138 ¡ iniAal ¡study. ¡ MobyMax ¡ 24 ¡ 152 ¡ iReady ¡ 21 ¡ 155 ¡ ¡ USA ¡Test ¡Prep ¡ 20 ¡ 156 ¡ Discovery ¡ 18 ¡ 158 ¡ Star, ¡Acuity, ¡iReady, ¡Discovery, ¡ NWEA-­‑MAP ¡ 14 ¡ 162 ¡ NWEA-­‑MAP, ¡Evaluate, ¡Galileo ¡ Evaluate ¡ 5 ¡ 171 ¡ Ten ¡Marks ¡ 5 ¡ 171 ¡ Performance ¡Coach ¡ 4 ¡ 172 ¡ Galileo ¡ 2 ¡ 174 ¡ 9 ¡ Performance ¡Series ¡ 0 ¡ 176 ¡

Assessment ¡for ¡Learning ¡Study ¡ Phase ¡1: ¡ ¡February ¡– ¡May ¡2016 ¡ ¡ Purpose: ¡Conduct ¡research ¡regarding ¡the ¡appropriate ¡ role ¡of ¡interim ¡assessment ¡in ¡next ¡generaAon ¡MAP ¡and ¡ MSIP. ¡ ¡ Ques7ons: ¡ How ¡well ¡do ¡interim ¡assessments ¡predict ¡performance ¡ on ¡the ¡MAP? ¡(archival ¡test ¡data) ¡ ¡ How ¡is ¡interim ¡assessment ¡used ¡in ¡the ¡learning ¡process? ¡ (survey, ¡extant ¡research) ¡ ¡ 10 ¡ ¡

Assessment ¡for ¡Learning ¡Study ¡ Phase ¡1: ¡ ¡February ¡– ¡May ¡2016 ¡ ParAcipaAon ¡Requirements: ¡ -­‑ Provide ¡non-­‑idenAfiable ¡student ¡level ¡data ¡for ¡ interim ¡assessment ¡and ¡MAP ¡from ¡the ¡2014-­‑2015 ¡ school ¡year ¡according ¡to ¡prescribed ¡fields ¡on ¡excel ¡ spreadsheet ¡ -­‑ Adhere ¡to ¡legal ¡requirements ¡ -­‑ Meet ¡deadlines ¡for ¡data ¡submission ¡ -­‑ Support ¡other ¡school ¡districts ¡involved ¡in ¡study ¡as ¡ needed. ¡ INTERESTED? ¡ParAcipate ¡in ¡webinar ¡on ¡(date), ¡ learn ¡more ¡and ¡sign ¡up. ¡ 11 ¡

PROPOSED Process for Data Compilation, Analyses, and Reporting Analyses D = District Phase Data Compilation • Correlation by grade level by content D1 One Phase area Complete • Regression • Predict MAP Scale Score from D2 File per Interim Scale Score; Interim Data from the 14-15 • Attain adjusted predicted values school year: at the student level D3 Assessment • District Name • Scatterplots of adjusted predicted • Each row is a student values against observed MAP scale • Grade level scores D4 • Latest End-of-Year • Compare observed percent by (EOY) scale score from achievement level against predicted. internal assessment D5 ELA • MAP ELA scale score • Latest EOY scale score D6 *Note the individual level • Correlation by grade level by content from internal data could be returned to area the district, if the district assessment math • Achievement level comparison by wished to apply the findings • MAP math scale score. D7 grade by content area (observed vs. back to individual student • Random unique ID at predicted) records. The district would the student level, if the need to know the key • Produced at the total, full group level, district wishes to take D8 (random student ID to but also fully reproduced at the local, district ID) to make these the findings back to the participating district level. joins as the researcher(s) local level and apply • Interim scale score/achievement level doing this work would not them back to individual D9 concordance reference table for users want nor need access to students. MOSIS IDs or District Student IDs. D10 *Note this sample is for one Reporting assessment (e.g., Acuity). This Phase 12 ¡ process would be applied for every assessment studied.

Assessment ¡for ¡Learning ¡Study ¡ What ¡do ¡the ¡results ¡of ¡this ¡ study ¡look ¡like? ¡ 13 ¡

Assessment ¡for ¡Learning ¡Study ¡ Study ¡Results: ¡Actual ¡Example ¡ -­‑ Study ¡conducted ¡December ¡2015 ¡ ¡ -­‑ Student-­‑level ¡results ¡from ¡a ¡commercially ¡available ¡ interim ¡assessment ¡were ¡combined ¡with ¡MAP ¡scale ¡ scores ¡for ¡the ¡analysis ¡to ¡understand ¡how ¡well ¡the ¡ interim ¡assessments ¡predict ¡performance ¡on ¡the ¡ MAP. ¡ 14 ¡

Assessment ¡for ¡Learning ¡Study ¡ Number ¡of ¡Cases ¡by ¡Grade ¡Level ¡by ¡Content ¡Area ¡ ELA ¡ MATH ¡ 3 rd ¡Grade ¡ 352 ¡ 362 ¡ 4 th ¡Grade ¡ 366 ¡ 394 ¡ 5 th ¡Grade ¡ 365 ¡ 371 ¡ 6 th ¡Grade ¡ 359 ¡ 355 ¡ 7 th ¡Grade ¡ 357 ¡ 349 ¡ 8 th ¡Grade ¡ 340 ¡ 214 ¡ TOTAL ¡ 2,139 ¡ 2,045 ¡ 15 ¡