Statewide High School Exit Exams and Data-Based School - PowerPoint PPT Presentation

Statewide ¡High ¡School ¡Exit ¡Exams ¡and ¡ ¡ Data-­‑Based ¡School ¡Improvement: ¡ ¡ A ¡European ¡Story ¡ Esther ¡Dominique ¡Klein ¡ BEAR ¡Seminar ¡– ¡UC ¡Berkeley ¡– ¡February ¡23, ¡2016 ¡

Program ¡ What ¡is ¡a ¡“statewide ¡exit ¡exam”? ¡ Why ¡are ¡statewide ¡exit ¡exams ¡so ¡popular? ¡ ¡ One ¡size ¡doesn’t ¡fit ¡all ¡-­‑ ¡Different ¡statewide ¡ exit ¡exam ¡formats ¡ Statewide ¡exit ¡exams ¡and ¡school ¡ improvement ¡ State ¡intenTons… ¡ …and ¡school ¡responses: ¡Does ¡the ¡message ¡ “hit ¡home”? ¡ ¡

What ¡is ¡a ¡“statewide ¡exit ¡exam”? ¡

Statewide ¡exit ¡exams... ¡ are ¡exams ¡taken ¡ at ¡the ¡end ¡of ¡a ¡course ¡of ¡studies ¡ that ¡are… ¡ mandatory ¡for ¡graduaTon ¡ based ¡on ¡prescribed ¡syllabi ¡in ¡curriculum ¡ taken ¡in ¡a ¡common ¡test ¡situaTon ¡ controlled ¡by ¡an ¡agency ¡external ¡to ¡the ¡schools ¡ based ¡on ¡tasks ¡or ¡assignments ¡that ¡are ¡set ¡by ¡an ¡agency ¡external ¡to ¡the ¡schools ¡ usually ¡administered ¡by ¡a ¡naTonal ¡or ¡state ¡government ¡ (Defini'on ¡adapted ¡from ¡Kellaghan ¡and ¡Madaus‘, ¡2003, ¡defini'on ¡of ¡public ¡exams) ¡

Exit ¡Exams ¡in ¡Europe ¡(as ¡of ¡2010) ¡ state-­‑wide ¡exams ¡only ¡ state-­‑wide ¡and ¡school-­‑ based ¡exams ¡ school-­‑based ¡exams ¡only ¡ no ¡exit ¡exams ¡or ¡no ¡ common ¡procedure ¡

Germany ¡before ¡2005 ¡and ¡aDer ¡2008 ¡ before ¡2005 ¡ a^er ¡2008 ¡ Länder ¡with ¡statewide ¡Abitur ¡exams ¡(Zentralabitur) ¡ Länder ¡with ¡school-­‑based ¡Abitur ¡exams ¡ Länder ¡with ¡a ¡mix ¡of ¡both ¡

Curriculum-­‑based ¡statewide ¡exit ¡exams ¡ 2002 ¡ 2008 ¡ New ¡York ¡ Mississipi ¡ 2012 ¡ Alabama* ¡ Texas* ¡ New ¡York ¡ Arkansas ¡ Tennessee ¡ Indiana ¡ Virginia ¡ Louisiana ¡ Maryland ¡ Massachusegs* ¡ Mississippi ¡ New ¡York ¡ Oklahoma ¡ Virginia ¡ (McIntosh, ¡2012) ¡ (Zabala ¡et ¡al., ¡2008) ¡

Why ¡are ¡statewide ¡exit ¡exams ¡so ¡ popular? ¡

In ¡recent ¡years ¡educa'onal ¡policy ¡makers ¡have ¡recognized ¡what ¡was ¡known ¡ by ¡the ¡Imperial ¡Chinese ¡court ¡over ¡a ¡thousand ¡years ¡ago ¡(…): ¡that ¡a ¡ na'onal ¡external ¡examina'on ¡system ¡can ¡be ¡a ¡powerful ¡instrument ¡for ¡ moving ¡schooling ¡in ¡a ¡desired ¡direc'on. ¡ Noah ¡& ¡Eckstein, ¡1992 ¡ ¡ ¡ 10 ¡

SWEE ¡as ¡potenJal ¡“allrounders” ¡ • Formal: ¡e.g., ¡cerTficates, ¡ comparability ¡ • Contents: ¡e.g., ¡standards ¡ assurance, ¡control ¡of ¡the ¡ delivered ¡curriculum ¡ Achievement ¡ ImplementaTon ¡of ¡new ¡ curricula ¡or ¡new ¡methods ¡ of ¡delivery ¡and ¡ assessment ¡ • Teachers: ¡improving ¡ diagnosTc ¡skills, ¡reduce ¡ uncertainTes, ¡iniTate ¡ InnovaTon ¡ reflecTve ¡thinking ¡ • Schools: ¡External ¡ validaTon ¡and ¡evaluaTon, ¡ For ¡both ¡students ¡and ¡ improving ¡collaboraTon ¡ teachers/schools ¡ and ¡other ¡organizaTonal ¡ Professional ¡ Accounta-­‑ rouTnes ¡ learning ¡ bility ¡

Statewide ¡exit ¡exams ¡are ¡perceived ¡as ¡ Heterogenous ¡ exam ¡formats ¡ homogeneous ¡ ¡ SWEE ¡as ¡a ¡tool ¡for ¡ Research ¡focuses ¡on ¡the ¡effects ¡of ¡student ¡ school ¡ achievements ¡and ¡instrucJon ¡ improvement ¡

Research ¡Project ¡„Forms, ¡FuncJons, ¡and ¡Effects ¡of ¡Statewide ¡ Exit ¡Exams“, ¡funded ¡by ¡the ¡German ¡Research ¡FoundaJon ¡ Exam ¡ Features ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Review ¡of ¡Exam ¡Procedures ¡in ¡OECD ¡countries ¡ ● Document ¡Analysis ¡ ● Email ¡Interviews ¡ School ¡ ImplementaTon ¡ • Interview ¡Study ¡ • Document ¡Analysis ¡ • QuesTonnaire ¡ Survey ¡ State ¡IntenTons ¡

One ¡size ¡doesn‘t ¡fit ¡all: ¡ Different ¡Statewide ¡Exit ¡Exam ¡Formats ¡

Analyzing ¡different ¡SWEE ¡formats ¡ • e.g., ¡structure ¡of ¡secondary ¡ educaTon, ¡historical ¡context, ¡ development ¡of ¡exam ¡tasks, ¡ Exam ¡ student ¡choice, ¡exam ¡ procedures ¡ supervision, ¡marking ¡ procedures, ¡use ¡of ¡exam ¡ results, ¡... ¡ • e.g., ¡specificity, ¡ standardizaTon, ¡ Curriculum ¡ focal ¡/ ¡core ¡ Document ¡analysis ¡ themes, ¡... ¡ Interviews ¡ • e.g., ¡task ¡formats, ¡ complexity ¡/ ¡difficulty, ¡ Tasks ¡ curricular ¡validity, ¡... ¡ Curriculum ¡/ ¡Task ¡analysis ¡ • e.g., ¡specificity, ¡ ObservaTon ¡of ¡marking ¡ standardizaTon, ¡ behavior ¡ and ¡bindingness ¡ of ¡marking ¡ ... ¡ Marking ¡ schemes, ¡actual ¡ compliance ¡with ¡ marking ¡ schemes, ¡... ¡

Cycle ¡1 ¡Study ¡Procedures ¡ DescripTon ¡of ¡statewide ¡exit ¡exam ¡ procedures ¡at ¡the ¡ end ¡of ¡ISCED ¡3A ¡ 17 ¡OECD ¡countries ¡in ¡ A. ¡content ¡analysis ¡ B. ¡expert ¡interviews ¡in ¡ Europe** ¡ ¡ (Eurybase, ¡countries‘ ¡ some ¡countries ¡ ¡ relevant ¡websites, ¡ → ¡31 ¡naTonal ¡or ¡state ¡ (email, ¡unstructured) ¡ legal ¡documents) ¡ authoriTes ¡ ** ¡no ¡federal ¡countries ¡except ¡Germany ¡ (Klein ¡et ¡al., ¡2009; ¡Klein ¡& ¡van ¡Ackeren, ¡2011) ¡

Differences ¡in ¡the ¡organizaJon ¡ What ¡subjects ¡ What ¡type ¡ How ¡difficult ¡ • statewide ¡vs. ¡ • wrigen ¡vs. ¡ • different ¡ school-­‑based ¡ oral ¡ difficulty ¡ levels? ¡ • core ¡vs. ¡ • students‘ ¡ specializaTon ¡ ¡ choice? ¡ • role ¡of ¡ difficulty ¡level ¡ • students‘ ¡ for ¡final ¡grade ¡ choice? ¡ • students‘ ¡ choice? ¡

Development ¡of ¡exam ¡tasks ¡ Who ¡sets ¡the ¡papers ¡ How ¡are ¡papers ¡set ¡ • private ¡vs. ¡state-­‑run ¡ • guidelines ¡and ¡ specificaTons ¡ • bogom-­‑up ¡vs. ¡top-­‑ down ¡ • quality ¡assurance ¡ • unit ¡sexng ¡the ¡papers ¡ • standards ¡assurance ¡ • procedures ¡

Marking ¡ Who ¡does ¡it ¡ How ¡is ¡it ¡done ¡ • control ¡ • marking ¡stages ¡ • marking ¡schemes ¡ • role ¡of ¡class ¡teacher ¡ • Standards ¡assurance ¡ • role ¡of ¡second ¡marking ¡ • external ¡marking ¡ • marker ¡choice ¡ • marker ¡training ¡

Handling ¡of ¡results ¡ Final ¡grade ¡ Feedback ¡and ¡use ¡ High ¡or ¡ • weighTng ¡ • System ¡monitoring ¡ • role ¡of ¡school-­‑based ¡ • Control ¡and ¡ low ¡ exams ¡ Accountability ¡ stakes? ¡ • role ¡of ¡conTnuous ¡ • Benchmarking ¡and ¡ assessment ¡ ProfessionalizaTon ¡ • Student ¡selecTon ¡

Statewide ¡exit ¡exams ¡as ¡a ¡tool ¡to ¡support ¡improvement? ¡

Purposes ¡of ¡statewide ¡exit ¡exams ¡ • Formal: ¡e.g., ¡cerTficates, ¡ comparability ¡ • Contents: ¡e.g., ¡standards ¡ assurance, ¡control ¡of ¡the ¡ delivered ¡curriculum ¡ Achievement ¡ ImplementaTon ¡of ¡new ¡ curriculua ¡or ¡new ¡ methods ¡of ¡delivery ¡and ¡ assessment ¡ • Teachers: ¡improving ¡ diagnosTc ¡skills, ¡reduce ¡ uncertainTes, ¡iniTate ¡ InnovaTon ¡ reflecTve ¡thinking ¡ • Schools: ¡External ¡ validaTon ¡and ¡evaluaTon, ¡ For ¡both ¡students ¡and ¡ improving ¡collaboraTon ¡ teachers/schools ¡ and ¡other ¡organizaTonal ¡ Professional ¡ Accounta-­‑ rouTnes ¡ learning ¡ bility ¡