The Game of Continuous Delivery Presented by: Tanya - PDF document

¡ ¡ T5 ¡ Continuous ¡Delivery ¡ Thursday, ¡October ¡3rd, ¡2019 ¡9:45 ¡AM ¡ ¡ ¡ ¡ ¡ The ¡Game ¡of ¡Continuous ¡Delivery ¡ ¡ Presented ¡by: ¡ ¡ ¡ ¡ Tanya ¡ ¡Kravtsov ¡ ¡ Audible ¡ ¡ Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡http://www.starwest.techwell.com/ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Tanya ¡ ¡Kravtsov ¡ ¡ Tanya ¡Kravtsov ¡is ¡a ¡Senior ¡Director ¡of ¡QA ¡at ¡Audible, ¡helping ¡to ¡build ¡a ¡new ¡QA ¡org ¡ to ¡support ¡innovative ¡product ¡development ¡at ¡scale. ¡Previously, ¡as ¡the ¡head ¡of ¡ automation ¡and ¡continuous ¡delivery ¡at ¡ROKITT, ¡senior ¡QA ¡manager ¡at ¡Syncsort, ¡and ¡ VP ¡at ¡Morgan ¡Stanley, ¡Tanya ¡focused ¡on ¡quality, ¡automation, ¡and ¡DevOps ¡practices ¡ and ¡worked ¡with ¡internal ¡and ¡external ¡customers ¡to ¡transform ¡development ¡and ¡ testing ¡processes. ¡Tanya ¡is ¡passionate ¡about ¡process ¡automation, ¡which ¡ encompasses ¡test, ¡data, ¡and ¡environment ¡automation, ¡as ¡well ¡as ¡continuous ¡ integration ¡and ¡continuous ¡delivery. ¡She ¡has ¡extensive ¡experience ¡building ¡and ¡ training ¡new ¡teams ¡and ¡helping ¡organizations ¡adapt ¡agile ¡practices. ¡Tanya ¡is ¡a ¡ founder ¡of ¡the ¡DevOpsQA ¡NJ ¡Meetup ¡group ¡and ¡a ¡speaker ¡at ¡events ¡including ¡ Øredev, ¡TestBash, ¡STAREAST, ¡QUEST, ¡and ¡the ¡Jenkins ¡User ¡conference, ¡as ¡well ¡as ¡a ¡ keynote ¡at ¡Agile ¡+ ¡DevOps ¡West. ¡Follow ¡her ¡on ¡Twitter ¡@DevOpsQA. ¡ ¡

9/5/2019 “The bottleneck is never code or creativity; it’s lack of clarity” Scott Berkun Game of Continuous Delivery Tanya Kravtsov • Developer turned Tester Tanya • Founder of DevOpsQA Meetup group Kravtsov • Senior Director of QA at kravtst@audible.com @DevOpsQA 1

9/5/2019 Word on the street… Continuous What? Code Build Integrate Test Release Deploy 2

9/5/2019 Components of Transformation ULTURE UTOMATION EAN ONITORING HARING What is a Bottleneck? “Any improvements made anywhere besides the bottleneck are an illusion” 3

9/5/2019 4

9/5/2019 Understand your Delivery Pipeline  Identify all players in the system  Identify all handovers between the players Brainstorm  Speed Boat Game  Mind Maps  Six Thinking Hats  Interviews  Retrospectives 5

9/5/2019 Use the Five Whys Technique • Customer found a high severity bug in production 1. Gather the team Problem • The bug was missed during the regression run 2. Define the problem Why? • Regression run was only limited to subset of test cases Why? 3. Document the Timeline • There was not enough time to test everything Why? 4. Ask Why 5 or more times • Code was not completed until last day of the sprint Why? 5. Assign Action Items • There was a requirement change half way thru the sprint Why? Action Items • Lock the requirements until end of sprint 6

9/5/2019 Build and Deployment  Automate the build  Setup CI Server  Automate Code Deployment  Automate Unit Testing  Automate Code Documentation 7

9/5/2019 Environment  Infrastructure as Code  Automated Configuration  Virtualization Dev Integration QA Staging Prod • Unit Testing • Environment • Environment • Environment • Environment Smoke Test Smoke Test Smoke Test Smoke Test • Automated Functional • Product • Product • Product • Product Tests Smoke Test Smoke Test Smoke Test Smoke Test • Automated • Automated • UAT Integration Regression Tests • Manual Exploratory Testing Testing  Automated Test Data Management  Service Virtualization  Parallel Execution  Cross-Browser/Cross-Device  Selective/Smart Testing 8

9/5/2019 Performance  Performance  Capacity Test  Soak Test  Load Test  Stress Test  User Experience Test 9

9/5/2019 Static Analysis and Code Review  Security vulnerabilities  Accessibility evaluation  Coding Standards  Memory Leaks  Code Coverage  SEO analysis  Code Reviews Test Analysis and Reporting  Consolidated Results  Defect Logging  Email Notifications  Reporting Dashboard  Root Cause Analysis 10

9/5/2019 Data Driven Decision Making  Testing Scope  Test Case Prioritization  Time Estimates  Defect Prioritization  Go/ No Go Decisions 11

9/5/2019 Continuous Monitoring  Infrastructure Monitoring  Automated Environment Readiness test  Automated Product Readiness test  Application Performance Monitoring Feedback Loop and Continuous Improvement  Do Post-Mortem for Production Issues  Log Application and Process Data  Monitor Automation Health  Monitor KPIs and Technical Debt 24 12

9/5/2019 Continuous Delivery KPIs  Speed to deployment vs. Bugs missed  Change Volume and Complexity  Opened vs. Resolved & Defect Aging  Customer issues volume  Mean time to recovery (MTTR) 25 13

9/5/2019 Celebrate Wins and Learn from Misses If your audience isn’t listening, it’s not their fault, it’s yours  Show and Tell  Roadshows  Wallboards  Newsletters  Daily Standups 14

9/5/2019 Final Thoughts 15