Why "Why...?" Can Be the Most Important Question - PDF document

¡ ¡ T18 ¡ Test ¡Process ¡ Thursday, ¡October ¡4th, ¡2018 ¡1:30 ¡PM ¡ ¡ ¡ ¡ ¡ Why ¡"Why...?" ¡Can ¡Be ¡the ¡Most ¡ Important ¡Question ¡for ¡QA ¡to ¡Ask ¡ ¡ Presented ¡by: ¡ ¡ ¡ ¡ Jane ¡Jeffers ¡ ¡ Riot ¡Games ¡ ¡ Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 350 ¡Corporate ¡Way, ¡Suite ¡400, ¡Orange ¡Park, ¡FL ¡32073 ¡ ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡http://www.starwest.techwell.com/ ¡ ¡ ¡ ¡ ¡ ¡

¡ Jane ¡Jeffers ¡ ¡ A ¡QA ¡architect ¡on ¡League ¡of ¡Legends ¡at ¡Riot ¡Games, ¡Jane ¡Jeffers ¡has ¡more ¡than ¡seven ¡ years ¡in ¡the ¡games ¡industry. ¡Before ¡moving ¡into ¡the ¡MOBA ¡(Multiplayer ¡Online ¡ Battle ¡Arena), ¡she ¡worked ¡on ¡multi-­‑platform ¡AAA ¡RTS ¡titles ¡such ¡as ¡the ¡Battle ¡for ¡ Middle ¡Earth ¡II ¡and ¡Command ¡& ¡Conquer ¡3. ¡As ¡a ¡content ¡specialist ¡on ¡League ¡of ¡ Legends, ¡Jane ¡has ¡built ¡much ¡of ¡the ¡QA ¡process ¡around ¡features ¡that ¡allow ¡players ¡to ¡ personalize ¡their ¡experience, ¡fusing ¡her ¡previous ¡black ¡box ¡testing ¡background ¡with ¡ a ¡qualitative ¡approach ¡in ¡the ¡agile ¡arena. ¡ ¡

9/25/18 ¡ Why ¡“Why…?” ¡Can ¡Be ¡the ¡Most ¡ Important ¡Ques8on ¡for ¡QA ¡to ¡Ask ¡ Insert Coin Jane ¡Jeffers ¡ jjeffers@riotgames.com ¡ www.riotgames.com ¡ Summoner ¡Name : ¡Wilwariniel ¡ Introduc0on ¡ 1 ¡

9/25/18 ¡ Introduc0on ¡ Introduc0on ¡ ¡ ¡ 2 ¡

9/25/18 ¡ BE CURIOUS Introduc0on ¡ WHO ¡ HOW ¡ WHA WHEN ¡ T ¡ WHERE ¡ 3 ¡

9/25/18 ¡ ¡ ¡ ¡ ¡AGENDA ¡ Introduction 1 Product Whys 2 Process Whys 3 People Whys 4 Final Thoughts 5 PRODUCT 4 ¡

9/25/18 ¡ WHY are we doing what we’re doing? ¡ ¡Product ¡Whys ¡ Why do our players want it? Why do our players need it? Why is it good for us to make? 5 ¡

9/25/18 ¡ Product Whys Product Whys 6 ¡

9/25/18 ¡ ¡ ¡Product ¡Whys ¡ ¡ ¡Product ¡Whys ¡ Why do our players want it? Why do our players need it? Why is it good for us to make? 7 ¡

9/25/18 ¡ ¡ ¡Product ¡Whys ¡ Valida8on ¡Tes8ng ¡ Are we making the right thing? ¡ ¡Product ¡Whys ¡ Requirements ¡ Are our requirements in line with what we’re trying to accomplish? 8 ¡

9/25/18 ¡ ¡ ¡Product ¡Whys ¡ Verifica8on ¡Tes8ng ¡ Where do we focus our testing? What test cases do we prioritize? ¡ ¡Product ¡Whys ¡ Quality ¡Bar ¡& ¡ Defect ¡Management ¡ Where should we set the bar? What defects can we ship with? What must we fix now vs. later? 9 ¡

9/25/18 ¡ ¡ ¡Product ¡Whys ¡ Risk ¡Assessment ¡& ¡ Mi8ga8on ¡Strategy ¡ What risks should we prioritize? How should we handle failures? ¡ ¡Product ¡Whys ¡ Forbes ¡Ar8cle: ¡ “League of Legends’ DJ Sona is the Mona Lisa of Microtransactions” 10 ¡

9/25/18 ¡ ¡ ¡Product ¡Whys ¡ WHY do things go wrong? PROCESS 11 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ 5 ¡Whys ¡& ¡ Root ¡Cause ¡Analysis ¡ Originally developed by Sakichi Toyoda, 5 Whys is a technique used to determine the root cause of a problem or defect by repeating the question: “Why?” ¡ ¡Process ¡Whys ¡ 5 ¡Whys ¡& ¡ Root ¡Cause ¡Analysis ¡ Problem: The game crashes 1 The game failed to load a Why? ¡ character animation 5 2 The game cannot find the The animator doesn’t know Why? ¡ the naming conventions animation file Why? ¡ 3 The tool did not block Why? ¡ The file is incorrectly named non-standard names 4 The animator failed to use Why? ¡ standard naming conventions 12 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ 5 ¡Whys ¡& ¡ Root ¡Cause ¡Analysis ¡ Problem: The game crashes 1 The game failed to load a “ Q Why? ¡ A d character animation i d n ’ t c a t c i h s n i t e ” 2 5 v e r The game cannot find the a The animator doesn’t know r o Why? ¡ o t c animation file the naming conventions a u s e ! Why? ¡ 3 The tool did not block Why? ¡ non-standard names The file is incorrectly named 4 The animator failed to use Why? ¡ standard naming conventions ¡ ¡Process ¡Whys ¡ 13 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ ¡ ¡Process ¡Whys ¡ Blackfrost ¡Anivia ¡ Enemy ¡ Mwahaha! ¡ Wall ¡ 14 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ During ¡the ¡Retro… ¡ WHY ¡DIDN’T ¡ANYBODY ¡ Why ¡didn’t ¡QA ¡catch ¡it?! ¡ …you ¡didn’t ¡know? ¡ TELL ¡ME ¡IT ¡USES ¡ DIFFERENT ¡TECH?!!1? ¡ WHY do we do things the way we do them? 15 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ Documenta8on ¡ Standardized Design Documents Explanatory notes in changelists Comments in bug tickets ¡ ¡Process ¡Whys ¡ Analysis ¡ Definition of Done changed to include testing Information Checklist (who to inform when) Public Beta Environment Release Readiness standards 16 ¡

9/25/18 ¡ ¡ ¡Process ¡Whys ¡ Educa8on ¡ Taught team about QA work Learned about what tools and systems were failing artists Introduced artists to the concept of unit testing PEOPLE 17 ¡

9/25/18 ¡ WHY do people do what they do? ¡ ¡People ¡Whys ¡ Holistic Quality Ownership Every Rioter is accountable for the Quality of their work, resulting in the sustainable creation and delivery of world class player value. 18 ¡

9/25/18 ¡ ¡ ¡People ¡Whys ¡ NOT WHY do people do what they do? DON’T ¡ ¡People ¡Whys ¡ Reasons ¡Given ¡for ¡Not ¡Unit ¡Tes8ng… ¡ Why not? F e w e I want to r b u g s b o u t a l k a Don’t we e t ’ s t L t o f i x = m o d o n ’ t r e W e I don’t focus on c h w m u h o What tools t I DON’T KNOW HOW i m e pay o t o o u t d o a y y p s t u s s c o d e f e c t have are slowing my art a r t u n g t s k e i f f e b r e m a a t d people you down o f time g e s s t a D : for that? and need to e n t l o p m d e v e change? 19 ¡

9/25/18 ¡ ¡ ¡People ¡Whys ¡ Common ¡Issues ¡Unit ¡Test ¡Cards ¡ Front ¡ Back ¡ Details the most common Instructions for quick tests issues for the sub-discipline to check for said issues ¡ ¡People ¡Whys ¡ When ¡Cards ¡Are ¡Used… ¡ r t a h c e t a r u c c a a t a d r e p u S Common Issues over time 20 ¡

9/25/18 ¡ ¡ ¡People ¡Whys ¡ When issues stop occurring, they are pulled from the cards and the next most common issues replace them. FINAL ¡THOUGHTS ¡ 21 ¡

9/25/18 ¡ WHY scales with you Final ¡Thoughts ¡ “The important thing is not to stop questioning. Curiosity has its own reason for existing.” -Albert Einstein Jane ¡Jeffers ¡ jjeffers@riotgames.com ¡ www.riotgames.com ¡ Summoner ¡Name : ¡Wilwariniel ¡ 22 ¡