The Life Cycle of A Million MOOC Users LAURA W. PERNA - PowerPoint PPT Presentation

The ¡Life ¡Cycle ¡of ¡ ¡ A ¡Million ¡MOOC ¡Users LAURA ¡W. ¡PERNA PRESENTATION ¡TO ¡ INSTITUTE ¡OF ¡INTERNATIONAL ¡EDUCATION APRIL ¡24, ¡2014

Improving ¡EducaDonal ¡AFainment ¡Is ¡ ¡ One ¡of ¡the ¡Most ¡Pressing ¡Issues ¡of ¡Our ¡Time

Recent ¡Technological ¡InnovaDon ¡

¡ ¡

Acknowledgements Research team – Laura ¡Perna, ¡Alan ¡Ruby, ¡Robert ¡Boruch, ¡ – Nicole ¡Wang, ¡Janie ¡Scull, ¡Chad ¡Evans, ¡Seher ¡Ahmad Funding – MOOC ¡Research ¡IniDaDve ¡funded ¡by ¡the ¡Gates ¡FoundaDon ¡through ¡ Athabasca ¡University. – InsDtute ¡of ¡EducaDon ¡Sciences, ¡U.S. ¡Department ¡of ¡EducaDon, ¡ through ¡Grant ¡#R305B90015 ¡to ¡the ¡University ¡of ¡Pennsylvania ¡ – QuanDtaDve ¡Methods ¡Division ¡of ¡Penn ¡GSE ¡ – Penn ¡AHEAD The opinions expressed are those of the authors and do not represent the views of the funders.

Our ¡Study: ¡16 ¡Penn ¡Coursera ¡Courses ¡ ¡ Offered ¡Between ¡June ¡2012 ¡and ¡July ¡2013

Course ¡Structure: ¡ ¡Course ¡Length # ¡Weeks ¡ # ¡Courses ¡ Course ¡Name ¡ 6 ¡ 3 ¡ -­‑Cardiac ¡Arrest ¡ -­‑Gamifica2on ¡ -­‑Networked ¡life ¡ ¡ 7 ¡ 2 ¡ -­‑Ra2oning ¡Scarce ¡Medical ¡Resources ¡ -­‑Listening ¡to ¡World ¡Music ¡ 8 ¡ 3 ¡ -­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡ ¡ -­‑Vaccines ¡ -­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡ 9 ¡ 2 ¡ -­‑Principles ¡of ¡Microeconomics ¡ ¡ -­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡ 10 ¡ 3 ¡ -­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡ -­‑Fundamental ¡of ¡Pharmacology ¡ ¡ -­‑Greek ¡and ¡Roman ¡Mythology ¡ 12 ¡ 3 ¡ -­‑Pay ¡ATen2on!! ¡ADHD ¡Through ¡the ¡Lifespan ¡ -­‑Calculus: ¡Single ¡Variable ¡ ¡ -­‑Experimental ¡Genome ¡Science ¡

InstrucDonal ¡Approach: ¡ ¡ Video ¡Length ¡& ¡Chunking 1 ¡– ¡3 ¡/ ¡Week ¡ 4 ¡– ¡6 ¡/ ¡Week ¡ 7+ ¡/ ¡Week ¡ (5) ¡ < ¡40 ¡Minutes ¡ -­‑Pharmacology -­‑Health ¡Policy ¡ ¡ -­‑ADHD -­‑Ra2oning ¡Resources -­‑Vaccines (2) ¡ (2) ¡ 40 ¡– ¡60 ¡ (1) ¡ -­‑Genome ¡Science -­‑Design ¡ Minutes ¡ -­‑Cardiac ¡Arrest -­‑World ¡Music -­‑Gamifica2on (4) ¡ 60+ ¡Minutes ¡ -­‑Mythology (2) ¡ -­‑Calculus ¡ -­‑Opera2ons ¡ Management -­‑Networked ¡Life -­‑Modern ¡Poetry ¡ -­‑Microeconomics

Use ¡of ¡Peer ¡Assessment Peer ¡ # ¡Courses ¡ Course ¡Name ¡ Assessment ¡ Yes ¡ 8 ¡ -­‑Design ¡ -­‑Gamifica2on ¡ -­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡ -­‑Greek ¡& ¡Roman ¡Mythology ¡ -­‑Principles ¡of ¡Microeconomics ¡ -­‑Ra2oning ¡& ¡Alloca2ng ¡Scarce ¡Resources ¡ -­‑Listening ¡to ¡World ¡Music ¡ No ¡ 8 ¡ -­‑Pay ¡ATen2on! ¡ADHD ¡through ¡Lifespan ¡ -­‑Cardiac ¡Arrest ¡ -­‑Calculus: ¡Single ¡Variable ¡ -­‑Experimental ¡Genome ¡Science ¡ -­‑Opera2ons ¡Management ¡ -­‑Networked ¡Life ¡ -­‑Fundamentals ¡of ¡Pharmacology ¡ -­‑Vaccines ¡

Use ¡of ¡Live ¡Chat Live ¡Chat ¡ # ¡Courses ¡ Course ¡Name ¡ -­‑Modern ¡and ¡Contemporary ¡American ¡Poetry Yes ¡ 2 ¡ -­‑Principles ¡of ¡Microeconomics No ¡ 14 ¡ -­‑Pay ¡aTen2on! ¡ADHD ¡through ¡Lifespan ¡ -­‑Cardiac ¡Arrest ¡ -­‑Calculus: ¡Single ¡Variable ¡ -­‑Design ¡ -­‑Gamifica2on ¡ -­‑Expermental ¡Genome ¡Science ¡ -­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡ -­‑Greek ¡and ¡Roman ¡Mythology ¡ -­‑Networked ¡Life ¡ -­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ -­‑Fundamentals ¡of ¡Pharmacology ¡ -­‑Ra2oning ¡and ¡Alloca2ng ¡Scarce ¡Resources ¡ -­‑Listening ¡to ¡World ¡Music ¡ -­‑Vaccines ¡

Use ¡of ¡Teaching ¡Assistants Course ¡Name ¡ # ¡Teaching ¡Assistants ¡ -­‑Cardiac ¡Arrest ¡ 1 ¡ -­‑Experimental ¡Genome ¡Science ¡ 2 ¡ -­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡ 2 ¡ -­‑Pay ¡ATen2on!! ¡ADHD ¡Through ¡the ¡Lifespan ¡ 2 ¡ -­‑Vaccines ¡ 2 ¡ -­‑Fundamentals ¡of ¡Pharmacology ¡ ¡ 3 ¡ -­‑Listening ¡to ¡World ¡Music ¡ 3 ¡ -­‑Ra2oning ¡and ¡Alloca2ng ¡Scarce ¡Medical ¡Resources ¡ 3 ¡ -­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡ 4 ¡ -­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡ ¡ 4 ¡ -­‑Networked ¡life ¡ ¡ 4 ¡ -­‑Greek ¡and ¡Roman ¡Mythology ¡ 5 ¡ -­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡ 5 ¡ -­‑Gamifica2on ¡ 6 ¡ -­‑Principles ¡of ¡Microeconomics ¡ ¡ 12 ¡ -­‑Calculus: ¡Single ¡Variable ¡ ¡ 13 ¡

Course ¡Content OrientaBon ¡ # ¡Courses ¡ Course ¡Name ¡ Math ¡and ¡ 3 ¡ -­‑Calculus: ¡Single ¡Variable ¡ Economics ¡ ¡ -­‑Principles ¡of ¡Microeconomics ¡ -­‑Networked ¡Life ¡ Health ¡ ¡ 6 ¡ -­‑Cardiac ¡Arrest ¡ -­‑Vaccines ¡ -­‑Health ¡Policy ¡& ¡Affordable ¡Care ¡Act ¡ -­‑Fundamentals ¡of ¡Pharmacology ¡ -­‑ADHD ¡through ¡Lifespan ¡ -­‑Experimental ¡Genome ¡Science ¡ Business ¡ 3 ¡ -­‑Gamifica2on ¡ -­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ -­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡ Humani2es ¡ 3 ¡ -­‑Modern ¡/ ¡Contemporary ¡American ¡Poetry ¡ -­‑Greek ¡and ¡Roman ¡Mythology ¡ -­‑Listening ¡to ¡World ¡Music ¡

Expected ¡Student ¡Workload Hours ¡/ ¡Week ¡ # ¡Courses ¡ Course ¡Name ¡ 2 ¡to ¡5 ¡ 4 ¡ -­‑Pay ¡aTen2on!! ¡ADHD ¡through ¡Lifespan ¡ -­‑Health ¡Policy ¡and ¡Affordable ¡Care ¡Act ¡ -­‑Ra2oning ¡/ ¡Alloca2ng ¡Scarce ¡Resources ¡ -­‑Vaccines ¡ 5 ¡to ¡9 ¡ 4 ¡ -­‑Listening ¡to ¡World ¡Music ¡ -­‑Principles ¡of ¡Microeconomics ¡ -­‑Modern ¡and ¡Contemporary ¡American ¡Poetry ¡ -­‑Exerimental ¡Genome ¡Science ¡ 8 ¡to ¡12 ¡ 2 ¡ -­‑Calculus: ¡Single ¡Variable ¡ -­‑Greek ¡and ¡Roman ¡Mythology ¡ Not ¡specified ¡ 6 ¡ -­‑Cardiac ¡Arrest ¡ -­‑Design: ¡Crea2on ¡of ¡Ar2facts ¡in ¡Society ¡ -­‑Fundamentals ¡of ¡Pharmacology ¡ -­‑Gamifica2on ¡ -­‑Introduc2on ¡to ¡Opera2ons ¡Management ¡ ¡ -­‑Networked ¡Life ¡

Conceptual ¡Framework: ¡ Flow ¡through ¡“ConvenDonal” ¡Courses Learn ¡/ Persist ¡/ ¡ Apply ¡ Enroll ¡ Engage ¡ Complete ¡ ¡ ¡

VariaBon ¡in ¡Number ¡of ¡ParBcipants ¡ ¡ by ¡Course ¡ 120000 ¡ 100000 ¡ 80000 ¡ 60000 ¡ Users ¡ Registrants ¡ Starters ¡ 40000 ¡ Ac2ve ¡Users ¡ Persisters ¡ 20000 ¡ 0 ¡

Example ¡of ¡PaFern ¡of ¡“Last ¡Access” ¡

Percent ¡of ¡Registrants ¡who ¡Accessed ¡At ¡Least ¡One ¡Lecture 56% ¡ 58% ¡ 58% ¡ 60% ¡ 64% ¡ 68% ¡ 50% ¡ 50% ¡ 36% ¡ 36% ¡ 36% ¡ 40% ¡ 41% ¡ 42% ¡ 42% ¡ 27% ¡

Percent ¡of ¡Registrants ¡who ¡Accessed ¡Lecture ¡in ¡Last ¡Module 18% ¡ 15% ¡ 14% ¡ 14% ¡ 13% ¡ 10% ¡ 8% ¡ 7% ¡ 7% ¡ 7% ¡ 6% ¡ 6% ¡ 6% ¡

Percent ¡of ¡Registrants ¡with ¡Final ¡Grade ¡80% ¡or ¡Higher 12% ¡ 10% ¡ 9% ¡ 8% ¡ 6% ¡ 5% ¡ 4% ¡ 4% ¡ 3% ¡ 3% ¡ 3% ¡ 2% ¡ 2% ¡ 1% ¡ 0% ¡

“SequenDal ¡Flow” ¡As ¡Measured ¡as ¡Share ¡of ¡Registrants ¡ Accessing ¡at ¡Least ¡One ¡Lecture ¡in ¡Each ¡Course ¡Module 70% ¡ ADHD ¡ 60% ¡ Calculus ¡ Cardiac ¡ 50% ¡ Design ¡ Gamifica2on ¡ 40% ¡ Axis ¡Title ¡ HealthPolicy ¡ MicroEcon ¡ 30% ¡ ModPo ¡ Myth ¡ 20% ¡ Networks ¡ Ra2oning ¡ 10% ¡ Vaccines ¡ Music ¡ 0% ¡ Module ¡1 ¡ Module ¡2 ¡ Module ¡3 ¡ Module ¡4 ¡ Module ¡5 ¡ Module ¡6 ¡ Module ¡7 ¡ Module ¡8 ¡ Module ¡9 ¡Module ¡10 ¡Module ¡11 ¡Module ¡12 ¡

“User-­‑Driven ¡Flow” ¡as ¡Measured ¡By ¡ ¡ Accessing ¡a ¡Lecture ¡for ¡Registrants 70% ¡ ADHD ¡ 60% ¡ Calculus ¡ Cardiac ¡ 50% ¡ Design ¡ Gamifica2on ¡ 40% ¡ HealthPolicy ¡ MicroEcon ¡ 30% ¡ ModPo ¡ Myth ¡ 20% ¡ Networks ¡ Ra2oning ¡ 10% ¡ Vaccines ¡ Music ¡ 0% ¡ Module ¡1 ¡ Module ¡2 ¡ Module ¡3 ¡ Module ¡4 ¡ Module ¡5 ¡ Module ¡6 ¡ Module ¡7 ¡ Module ¡8 ¡ Module ¡9 ¡ Module ¡10 ¡Module ¡11 ¡Module ¡12 ¡