Got Choice? A Game-Based Model for Learning Assessments Kristen - PowerPoint PPT Presentation

Got Choice? A Game-Based Model for Learning Assessments Kristen Blair, Ph.D. Doris Chin, Ph.D. Daniel Schwartz, Ph.D. Stanford Graduate School of Education EWA: Bursting the Bubbles – Reassessing Assessments Seminar 2014-11-17

Outline Why choice? • Choice-Based Assessments vs. Knowledge-Based • Play Posterlet! • Research Results • Summary & Discussion 2 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Beliefs Shape Assessments What we think is What we measure important • Traditional assessments Ø Focus on knowledge Ø Retrospective What have students mastered? 3 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Changing Assessments “[A] gardener… would proceed incorrectly if he considered only the ripe fruit in the orchard and did not know …to evaluate the condition of the trees that had not yet produced mature fruit…” Vygotsky (1934) 4 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

5 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Why Choice? • The endpoint of education should not be simply accumulation of knowledge • Students must be prepared for future learning* Ø Learning is a life-long process Ø Do students make good choices about what, when, where, & how to learn • We should measure choices, not knowledge * Schwartz & Bransford, 1989; Schwartz & Arena, 2013 6

Posterlet 7 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Use Firefox, Chrome, or Safari: tinyurl.com/stanfordewa • Login: first name+last initial e.g. harryp • Password: ewa awesome.stanford.edu/choice/?group=/EduWriterAssoc.html 8

Posterlet: Critical Choices Choose Booth Design Poster Choose Focus Group Test Poster Post Poster (see Ticket Sales) Choose - or + No Read Feedback Feedback Revise? Yes 9 EWA: Bursting the Bubbles – Reassessing Assessments Seminar Re-design Poster

It's nice that the poster says how much the booth costs. Some words on your poster are cut off. I can't read them.

Research Study Design Thinking (Get feedback from stakeholders/clients.) • Population • 200+ 6 th graders • Local middle school • Treatment • Design thinking lessons Seek feedback from stakeholders • Interspersed over 4 weeks • Math, Social Studies, Science 11

Seeking Negative Feedback… • Correlates with achievement • Most relevant for lower-achieving students CST: r = .41 ** • A teachable skill that kids will transfer to a new situation • Also leads to better learning!

Choice-Based Assessments aaalab.stanford.edu CRITICAL THINKING PLANNING SCIENTIFIC DATA GENERATION & EXPLANATION SORTING 13 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

CRITICAL ¡THINKING ¡ • Strong ¡relaDonship ¡ between ¡game ¡ learning ¡choices ¡ and ¡ ¡school ¡ performance. ¡ ¡ • Students ¡who ¡ chose ¡to ¡engage ¡in ¡ criDcal ¡thinking ¡ doing ¡beMer ¡in ¡ school ¡ • Students ¡who ¡ primarily ¡engaged ¡ in ¡trial-­‑and-­‑error ¡ doing ¡worse. ¡ Chi, ¡Schwartz, ¡Blair, ¡& ¡Chin ¡(2014). ¡ Choice-­‑based ¡Assessment: ¡Can ¡Choices ¡Made ¡in ¡Digital ¡Games ¡Predict ¡6th-­‑ Grade ¡Students' ¡Math ¡Test ¡Scores? ¡ Proceedings ¡of ¡the ¡7th ¡Interna2onal ¡Conference ¡on ¡Educa2onal ¡Data ¡Mining. ¡ ¡

Why ¡Games? ¡ • Prepara@on ¡for ¡Future ¡Learning* ¡ ¡ Games ¡can ¡build ¡in ¡resources ¡to ¡offer ¡students ¡learning ¡ opportuni2es. ¡ ¡ • Freedom ¡of ¡Choice ¡ Mul2ple ¡ways ¡to ¡solve ¡challenge ¡ ¡ • Everyday ¡Excellence ¡ ¡ Capture ¡typical ¡performance ¡and ¡normal ¡learning ¡behaviors ¡ ¡ ¡ • Good ¡Fit ¡for ¡Informal ¡Learning ¡Enviornments ¡ ¡ ¡ * ¡Schwartz ¡& ¡Bransford, ¡1998 ¡

Choice-Based Assessments kristen.blair@stanford.edu dbchin@stanford.edu Thank ¡ you! ¡ 16

Extra 17 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

A thought experiment about where usual tests might lead to misdiagnosis. • Two candidates applying for a job: Bob • Bob took a 5-week Mike Test Score course in Excel spreadsheet so fu ware. • Mike does not know Excel, but he taught himself 2 other Test of Excel 6-months later spreadsheet programs. Aptitude tests only predict about 9% of • The company uses Excel the variance of job performance • Bob & Mike take an Excel immediately after training. It drops to 4% in 6 months. test.

20 EWA: Bursting the Bubbles – Reassessing Assessments Seminar

Choose Settings & START Take Photos Get Assignment Check Resources (optional) Get Feedback Sort Photos Submit Photo

Vizlet Play Pattern 24