Measuring what counts: Developing scales of Connectedness, - PowerPoint PPT Presentation

Measuring ¡what ¡counts: ¡Developing ¡ scales ¡of ¡Connectedness, ¡Empowerment, ¡ and ¡Meaning ¡in ¡the ¡Non-­‑Cognitive ¡ Domain ¡ ¡ Presented ¡by ¡Brent ¡Duckor, ¡Ph.D. ¡ Josh ¡Sussman, ¡Ph.D. ¡Candidate ¡ ¡ With ¡thanks ¡to ¡Xialou ¡Hu, ¡Ph.D., ¡Cara ¡ Maf@ini, ¡Ph.D. ¡and ¡Lorri ¡Capizzi, ¡Ed.D. ¡ ¡ BEAR ¡Seminar ¡ Berkeley, ¡CA ¡ October ¡4, ¡2016 ¡

What ¡comes ¡to ¡mind… ¡ NCO

Farrington ¡et ¡al., ¡2012 ¡ Academic ¡ behaviors ¡ Academic ¡ Social ¡skills ¡ perseverance ¡ Non-­‑ cognitive outcomes ¡ Learning ¡ Academic ¡ strategies ¡ mindset ¡

Chicago ¡Consortium ¡report ¡says ¡ Academic ¡ Attendance, ¡Completing ¡Work, ¡ Behaviors ¡ Organization, ¡Participation, ¡Studying ¡ Academic ¡ Grit, ¡Tenacity, ¡Delayed ¡Grati@ication, ¡ Perseverance ¡ Self-­‑Discipline, ¡Self-­‑Control ¡ Academic ¡ Belonging, ¡Self-­‑Ef@icacy, ¡ Mindsets ¡ Goal ¡Orientation, ¡Value ¡ Learning ¡ Study ¡Skills, ¡Metacognitive ¡Strategies, ¡ Strategies ¡ Self-­‑Regulated ¡Learning, ¡Goal ¡Setting ¡ Social ¡ Interpersonal ¡Skills, ¡Empathy, ¡ Skills ¡ Cooperation, ¡Assertion, ¡Responsibility ¡

So ¡why ¡NCOs? ¡ • Academic ¡success ¡is ¡more ¡than ¡cognitive ¡achievement ¡ • Academic ¡success ¡is ¡facilitated ¡by ¡non-­‑cognitive ¡ outcomes ¡such ¡as ¡self-­‑awareness, ¡self-­‑ef@icacy, ¡ perseverance, ¡ability ¡to ¡form ¡meaningful ¡relationships, ¡ self-­‑control, ¡meta-­‑cognition ¡(Blackwell ¡et ¡al., ¡2007; ¡ Duckworth ¡& ¡Seligman, ¡2005); ¡Good, ¡Aronson, ¡& ¡ Inzlicht, ¡2003; ¡Oyserman, ¡Terry, ¡& ¡Bybee, ¡2002; ¡Walton ¡ & ¡Cohen, ¡2007) ¡ • Development ¡of ¡these ¡qualities ¡in ¡childhood ¡impacts ¡ outcomes ¡in ¡labor ¡market ¡in ¡adulthood ¡(Heckman, ¡ 2008) ¡ • Predictors ¡of ¡post-­‑secondary ¡success ¡(Hein, ¡Smerdon, ¡& ¡ Sambolt, ¡2013) ¡

Context ¡for ¡Measuring: ¡ GEAR ¡UP ¡ ¡ Measurement ¡ Counselor ¡ consultants ¡ educators ¡ Xiaolu ¡Hu ¡ ¡ Brent ¡Duckor ¡ Dolores ¡Mena ¡ ¡ Cara ¡MafUini ¡ Lorri ¡Capizzi ¡ Josh ¡Sussman ¡ University ¡and ¡ Program ¡ school-­‑based ¡ evaluator ¡ program ¡staff ¡ (GU ¡alums ¡+) ¡ Carolyn ¡Huie ¡Hofstetter ¡ Edgar ¡Martinez ¡

SJSU’s ¡GEAR ¡UP ¡Mission: ¡ Connecting ¡kids, ¡Creating ¡meaning ¡and ¡ empowering ¡“at ¡risk” ¡students ¡on ¡the ¡path ¡ toward ¡College ¡and ¡Career ¡Readiness ¡

Counselor ¡Education ¡Training ¡Model ¡ • The ¡San ¡Jose ¡State ¡Counselor ¡Education ¡training ¡model ¡is ¡designed ¡ to ¡build ¡capacity ¡in ¡the ¡@ield ¡ • New ¡counselors ¡gain ¡experience ¡by ¡providing ¡services ¡to ¡GEAR ¡UP ¡ middle ¡and ¡high ¡school ¡students ¡ • Faculty ¡from ¡Counselor ¡Education ¡provide ¡supervision ¡and ¡ professional ¡guidance ¡ ¡ • The ¡program ¡employs ¡humanistic ¡therapies ¡that ¡focus ¡on ¡self– development, ¡growth, ¡and ¡responsibility ¡ • The ¡program ¡centers ¡on ¡building ¡social ¡capital ¡and ¡resiliency ¡ • Counselors ¡work ¡with ¡students ¡to ¡recognize ¡their ¡strengths, ¡ potential, ¡self-­‑worth, ¡creative ¡abilities, ¡and ¡the ¡choices ¡available ¡to ¡ them ¡in ¡the ¡“here ¡and ¡now” ¡ ¡

SJSU ¡GEAR ¡UP ¡results ¡by ¡2015 ¡ Served ¡over ¡ 3,100 ¡students ¡and ¡families ¡ ∗ 91% ¡of ¡GEAR ¡UP ¡students ¡graduated ¡from ¡high ¡school ¡ ∗ 85% ¡of ¡GEAR ¡UP ¡students ¡applied ¡to ¡postsecondary ¡ education ¡ ∗ 4-­‑year ¡college ¡eligibility ¡and ¡acceptance ¡rates: ¡ Ø 44% ¡UC/CSU ¡A-­‑G ¡eligible ¡ Ø 33% ¡accepted ¡to ¡4-­‑year ¡colleges/universities ¡ ¡

Is ¡there ¡more ¡than ¡meets ¡the ¡eye? ¡ Measures ¡that ¡ Indicators ¡that ¡ ¡ drive ¡changes ¡ tell ¡us ¡about ¡ ¡ ∗ % ¡of ¡graduates ¡ ∗ Sensitive, ¡meaningful ¡ and ¡reliable ¡data ¡ ∗ # ¡of ¡services ¡provided ¡ ∗ Based ¡on ¡well-­‑de@ined ¡ ∗ mean ¡and ¡standard ¡ trajectories ¡ deviation ¡for ¡self-­‑report ¡ “Progressions” ¡of ¡non-­‑ from ¡parents, ¡students, ¡ cognitive ¡capacity ¡and ¡ and ¡staff ¡surveys ¡ skill ¡ ∗ Linking ¡formative ¡and ¡ summative ¡“feedback” ¡ for ¡use ¡by ¡local ¡and ¡ national ¡stakeholders ¡ ¡

Got ¡NCOs? ¡Most ¡people ¡think… ¡ ∗ Belonging ¡ – Social ¡Learning ¡Theory ¡(Bandura, ¡1971) ∗ Self-­‑efUicacy ¡ – Locus ¡of ¡Control ¡(Rotter, ¡1954) ¡ – Self-­‑Ef@icacy ¡(Bandura, ¡1982) ¡ – Attribution ¡Theory ¡( Weiner, 1979) ∗ Perseverance ¡ – Grit ¡( Duckworth, Peterson, Matthews, & Kelly, 2007) ∗ Goal ¡orientation ¡ – Goal ¡Theory ¡( Dweck, 1986; Dweck & Leggett (1988) – Expectancy-­‑value ¡theory ¡(Eccles ¡et ¡al., ¡1983) ¡ ¡ ¡

Constructing ¡NCO ¡“Measures” ¡that ¡count ¡ for ¡SJSU ¡GEAR ¡UP ¡stakeholders ¡ ∗ We ¡wanted ¡to ¡know ¡more ¡about ¡our ¡students’ ¡ experiences ¡from ¡the ¡inside ¡out ¡ ∗ We ¡wondered ¡if ¡we ¡had ¡under-­‑theorized ¡and ¡failed ¡to ¡ capture ¡the ¡richness ¡and ¡meaning ¡of ¡the ¡GU ¡SJSU ¡ program ¡for ¡its ¡counselors ¡and ¡students ¡ ∗ We ¡became ¡increasingly ¡curious ¡about ¡NCO’s ¡from ¡ both ¡a ¡traditional ¡and ¡alternative ¡framing ¡ ∗ We ¡want ¡smart ¡“hard” ¡and ¡“soft” ¡data ¡that ¡is ¡useful ¡ for ¡our ¡stakeholders ¡and ¡constituents ¡

NCOs ¡that ¡make ¡a ¡difference ¡for ¡the ¡ GEAR ¡UP ¡community ¡ ✓ Evidence-­‑based ¡design ¡for ¡new ¡measures ¡of ¡NCO ¡ capacity ¡to ¡complement ¡existing ¡ones ¡ ✓ A ¡sharper ¡focus ¡on ¡social ¡capital ¡and ¡empowerment ¡ theory ¡ ✓ Innovative ¡NCO ¡“progressions” ¡that ¡link ¡formative ¡ and ¡summative ¡data ¡for ¡programs ¡ ✓ A ¡renewed ¡commitment ¡to ¡our ¡students’ ¡“authentic” ¡ experience ¡of ¡“the ¡program” ¡ ¡ ✓ Unrelenting ¡commitment ¡to ¡exploration ¡and ¡ discovery ¡of ¡learning, ¡career, ¡and ¡life ¡

NCO ¡ ¡ NCO ¡ ¡ NCO ¡ ¡ Items ¡ Construct ¡ Construct ¡ Design ¡ Maps ¡ Map ¡ Reliability ¡ Validity ¡ NCO ¡ ¡ Measurement ¡ Scoring ¡ Model ¡ Design ¡ ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing… ¡ Connectedness ¡ Empowerment ¡ Meaningfulness ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡ ∗ Connectedness – Theories • Social capital (Coleman, 1988); • Social Membership (Wehlage, 1989); • Social Bonding Theory (Hirschi, 1969) Connectedness ¡ – Existing measures • Psychological Sense of Membership Survey (PSSM; Goodenow, 1993) • School Attachment (Mouton, Hawkins, McPherson, & Copley, 1996) Empowerment ¡ Meaningfulness ¡ • School Bond (Jenkins, 1997) • School Connection (Brown & Evans, 2002)

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡ ∗ Meaningfulness ¡ – Theories ¡ ¡ • Meaning (Frankl, 1963) – Existing measures Connectedness ¡ • MLQ (Steger, Frazier, Osishi, Kaler, 2006) • Life Regard Index (LRI; Battista & Almond, 1973) • Purpose in Life Test (PIL; Crumbaugh & Maholick, 1964) Empowerment ¡ Meaningfulness ¡

Learning ¡from ¡and ¡listening ¡to ¡our ¡students ¡ helped ¡us ¡to ¡consider ¡alternative ¡framing ¡ ∗ Empowerment ¡ – Theories ¡ ¡ • Empowerment (Block, 1987) • Meaningfulness, Competence, Impact, Choice (Thomas & Velthouse, 1990) Connectedness ¡ – Existing measures • Job Empowerment Scale (Schultz & Shulman, 1993) • Learner Empowerment Measure (Frvmier, Shulman, & Houserm, 1996) Empowerment ¡ Meaningfulness ¡ • Learner Empowerment Scale (Martin & Cavanus, 2003)