What's Our Job When the Machines Do Testing? Presented - PDF document

¡ ¡ W10 ¡ Test ¡Analytics, ¡AI/ ¡ML ¡ Wednesday, ¡October ¡2nd, ¡2019 ¡1:30 ¡PM ¡ ¡ ¡ ¡ ¡ What's ¡Our ¡Job ¡When ¡the ¡Machines ¡Do ¡ Testing? ¡ ¡ Presented ¡by: ¡ ¡ ¡ ¡ Geoff ¡Meyer ¡ ¡ DellEMC ¡ ¡ Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡http://www.starwest.techwell.com/ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡ Geoff ¡Meyer ¡ ¡ Geoff ¡Meyer ¡is ¡a ¡test ¡architect ¡in ¡the ¡Dell ¡EMC ¡Infrastructure ¡Solutions ¡Group ¡and ¡ has ¡thirty-­‑five ¡years ¡of ¡industry ¡experience ¡as ¡a ¡software ¡developer, ¡manager, ¡ program ¡manager, ¡and ¡director. ¡He ¡drives ¡the ¡test ¡strategy ¡and ¡architecture ¡for ¡over ¡ four ¡hundred ¡software ¡and ¡hardware ¡testers ¡across ¡India, ¡Taiwan, ¡and ¡the ¡United ¡ States, ¡which ¡includes ¡initiatives ¡for ¡agile ¡testing, ¡test ¡automation, ¡continuous ¡ testing, ¡infrastructure ¡as ¡a ¡service ¡(IaaS), ¡analytics, ¡and ¡machine ¡learning. ¡Geoff ¡is ¡a ¡ member ¡of ¡the ¡Agile ¡Austin ¡community ¡and ¡frequent ¡speaker ¡at ¡international ¡agile ¡ and ¡testing ¡conferences. ¡He ¡is ¡a ¡board ¡member ¡of ¡the ¡Veterans4Quality.org ¡ 501(c)(3) ¡and ¡is ¡a ¡mentor ¡and ¡instructor ¡to ¡veterans ¡participating ¡in ¡the ¡program, ¡ which ¡provides ¡them ¡an ¡on-­‑ramp ¡to ¡a ¡career ¡in ¡software ¡quality ¡assurance. ¡You ¡can ¡ connect ¡with ¡Geoff ¡on ¡LinkedIn ¡or ¡Twitter. ¡ ¡

2 Oct 2019 Geoff Meyer, Test Architect What’s our job when the Machines do Testing?

• Envisioning the Future of Testing • Evolution of Automation Agenda • What’s a Smart Assistant? • The Dell EMC Journey • Re-imagine Your Future of Testing

Envisioning the Future of Testing Automation Dependencies Requirements • Unit tests Product roadmap Technologies • Code Complexity Technical Debt • Build Verification Testing • Regression Testing • Non-Functional Testing • Value Simulation/Emulation • DevOps Creation • Continuous Integration • Environment Provisioning • Continuous Deployment • Continuous Testing • Cognitive Tasks (AI/ML) Collaborative • Process Orchestration Value Resources • Autonomous ‘ Self- Driving’ Sustainment Regression Testing • Continuous Monitoring

Value Creation vs. Value Sustainment Testing vs. Checking Testing ~ Value Creation • Establishes Expected Behavior • Collaborative Sprints New Feature • Curious 1 2 3 4 5 6 Development/Test • Exploratory • Cognitive • Analyze Potential Risks Legacy test • Requires Thinking Legacy Regression Checking automation & maintenance Checking ~ Value Sustainment • Confirms Expected Behavior 1 1 1 1 1 • Robotic New feature test 2 2 2 2 automation development • Tedious & maintenance 3 3 3 • Scripted • 4 4 Vigilance for deviations • Monitor Known Risks New Feature Regression Checking 5 • Requires Processing

The Human Side of Testing • Creative, Collaborative, Problem Solving • Contextualized Intelligence • Empathy • Storytelling “Houston, we have a problem”

Autonomous Regression Testing “Self - driving” enabled by AI & Analytics Leverage Machine Insights to Improve Feature Teams (Out-of-band) Autonomous, “Self - Driving”, Regression Testing (In-band) Inputs • New Features • Test Cases/Scripts • Test Configurations • New Builds • Program Priorities

AI… The Evolution of Automation Waterfall Agile Scripted Automation Shift-left testing DevOps Automated UI Testing API Automation Cognitive Automation Workflow Automation Continuous Integration Reuse and Portability Continuous Test Configuration Assistants Continuous Deployment Test Suite Assistant Diagnostic Assistant AI-Assisted UI Automation

When Do Machines Do Testing? Tasks • Quick-thinking • Thoughtful • Contextual Courtesy of Jason Arbon, CEO Test.AI

Context at DellEMC Servers 465 Trillion Test Configurations!! Server Configuration Elements Chassis Processor Memory DIMM Memory Configuration How much?! Hard Disk Drive (HDD) Non-Volatile Memory (NVM) Embedded Systems Management Power Management BIOS Power Supply Bezel Network Daughter Card RAID Controller Network Interface Card (NIC) Host Bus Adapter (HBA) Additional PCIe Cards Cooling

What if we had a Smart Assistant?

What is the The Smart Assistant release risk given the testing that’s been completed? What are the high-value SUT What test scripts configurations? should be retired rather than be re-factored? What’s the optimal What tests can detect coverage for this the maximum number of defects build/test cycle? What automated test given the changes in the failures appear to be current build duplicates?

Selecting our Technology Partners

The Analytics Continuum How can we Self-Learning make it What will Happen? Happen? Artificial Intelligence Why did it Prescriptive Business Value Happen? Predictive What Diagnostic Happened? Descriptive Report Correlate Predict Recommend Autonomous Source: Gartner Data Analytics Sophistication

It’s all about the data “Nobody really goes out of their way to point out the importance of data…” ~ Brian Sletten, Bosatsu Consulting

Data Sources - Product Engineering

SUT Configuration Model Team “Q” - System Under Test Current Testing Scenario Challenges ➢ 465 Trillion possible server configs!!! ➢ Which are the High Value Configs? ➢ How to ensure Optimal Configs Coverage? Data Sources Objectives ➢ Quickly predict “best - available” SUT configurations during planning and test execution ➢ Ensure Optimal Configs Coverage ➢ Prioritizes High-Value Configs Q Technology Partner: Dell Performance Analytics Group

Test Planning Model “JARVIS” Objectives • Use historical test data and defects as predictors and to expose patterns • Automate deep-think testing tasks • Codify Subject-Matter Expertise • Real-time access to active Increased Test repositories Capacity Reduced test Which manual tests are most effective, and should be automated? cycle time How can I accelerate discovery of break/fix? Re-allocate to Which of my test cases appear to be obsolete? Exploratory Testing Am I over-testing or under-testing? Fast Find of Automation Break/Fix candidates Technology Partner: De-prioritization candidates

Testbots are here AI-assisted UI Automation • Increases UI test coverage • At substantially less cost of creation and maintenance

Duplicate Defect Prediction DellEMC XtremIO

Re-imagine Your Future of Testing

Assessing Your AI Opportunities • Field Issues • Customer logs • Test Case Planning/Analysis • Customer Sentiment • Development patterns Analysis • Coverage Optimization • Changed-based Regression • SUT Configuration Planning • Test Failure Diagnostics • Test Data Planning • Predicted Defect Root-cause • Automation Planning • SUT Configuration Re-planning • AI-Assisted UI Automation

Framework for Applying AI within the SDLC Assessing Proving Enabling Realizing Value, People, Demonstrate Feedback & Start with Why Process & Feasibility Business Value Technology

Assessing & Proving 1) Evaluate your SDLC landscape 4) Collect and Visualize Data 5) Select the right model 3) Select the right Data Science Partner 2) Pinpoint your Painpoints 6) Build the prototype

Enabling Value, People, Process & Technology Reduced Risk, Reduced Time, Increased Resource Availability Stakeholder buy-in, feedback, and validation Data cleansing/curation, process and organizational change management Implement your Analytic Models, Algorithms and Data Marts

Realizing Collecting Business Dividends • Stakeholder Validation & Feedback Loop • Dividend collection and reporting • Risk Reduction • Increased Capacity • Reduced Cycle Time • Continuous Improvement & Future Delivery

Start Your Smart Assistants Journey Capture your data Start with Why Establish deep stakeholder engagement Re-imagine Testing

Questions?