Future-Proofing Test Engineers in the Era of ML and AI - PDF document

¡ ¡ ¡ ¡ ¡ W15 ¡ Test ¡Automation ¡ 2019-­‑05-­‑01 ¡14:45 ¡ ¡ ¡ ¡ ¡ ¡ ¡ Future-­‑Proofing ¡Test ¡Engineers ¡in ¡the ¡ Era ¡of ¡ML ¡and ¡AI ¡ ¡ Presented ¡by: ¡ ¡ ¡ Eran ¡Kinsbruner ¡ Perfecto ¡ ‘ ¡ ¡ ¡ Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡ http://www.stareast.techwell.com ¡ ¡ ¡

¡ Eran ¡Kinsbruner ¡ ¡ Eran ¡Kinsbruner ¡is ¡the ¡mobile ¡evangelist ¡at ¡Perfecto ¡and ¡the ¡author ¡of ¡The ¡Digital ¡ Quality ¡Handbook, ¡as ¡well ¡as ¡a ¡monthly ¡columnist ¡at ¡InfoWorld.com. ¡He ¡is ¡a ¡software ¡ engineering ¡professional ¡with ¡nearly ¡twenty ¡years ¡of ¡experience ¡at ¡companies ¡such ¡as ¡ Matrix, ¡Sun ¡Microsystems, ¡General ¡Electric, ¡Texas ¡Instruments ¡and ¡NeuStar. ¡He ¡holds ¡ various ¡industry ¡certifications ¡from ¡ISTQB, ¡CMMI, ¡and ¡others. ¡Eran ¡is ¡a ¡recognized ¡ mobile ¡testing ¡influencer ¡and ¡thought ¡leader, ¡as ¡well ¡as ¡an ¡experienced ¡speaker ¡in ¡the ¡ major ¡software ¡engineering ¡conferences. ¡He ¡is ¡also ¡a ¡patent-­‑holding ¡inventor ¡for ¡a ¡test ¡ exclusion ¡automated ¡mechanism ¡for ¡mobile ¡J2ME ¡testing, ¡public ¡speaker, ¡researcher, ¡ and ¡blogger. ¡He ¡can ¡be ¡found ¡all ¡over ¡social ¡media, ¡including ¡on ¡Facebook, ¡Twitter ¡ (@ek121268), ¡LinkedIn, ¡and ¡his ¡professional ¡mobile ¡testing ¡blog. ¡

4/23/19 ¡ 1 ¡ ¡| ¡ Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Future ¡Proofing ¡Test ¡Engineers ¡in ¡The ¡Era ¡of ¡AI ¡and ¡ML 2 ¡ ¡| ¡ Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Chief ¡Evangelist ¡and ¡author ¡at ¡Perfecto ¡ • Today’s ¡Speaker: ¡ • Blogger ¡and ¡speaker ¡ Eran ¡Kinsbruner • 19+ ¡years ¡in ¡development ¡& ¡tesCng ¡ Author ¡of ¡ • “The ¡Digital ¡Quality ¡Handbook” ¡and ¡ “ConCnuous ¡TesCng ¡for ¡DevOps ¡ Professionals” ¡ • TwiNer: ¡@ek121268 ¡ Blog: ¡hNp://conCnuoustesCng.blog ¡ ¡ • Website: ¡hNp://perfecto.io ¡ ¡ • 1 ¡

4/23/19 ¡ 3 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Today’s ¡Agenda Defining ¡the ¡main ¡personas ¡involved ¡in ¡conCnuous ¡tesCng. ¡ 1 ¡ IntroducCon ¡to ¡codeless ¡tesCng ¡and ¡its ¡benefits ¡ 2 ¡ The ¡main ¡differences ¡and ¡consideraCons ¡to ¡be ¡aware ¡of ¡between ¡ ¡ 3 ¡ codeless ¡and ¡code-­‑based ¡tesCng. ¡ Live ¡demo: ¡Perfecto ¡Codeless! ¡ 4 ¡ Q&A ¡ 5 ¡ 4 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io What ¡is ¡ConCnuous ¡TesCng? ConCnuous ¡tesCng ¡is ¡the ¡process ¡of ¡execuCng ¡automated ¡ tests ¡as ¡part ¡of ¡the ¡so^ware ¡delivery ¡pipeline ¡in ¡order ¡to ¡ obtain ¡feedback ¡as ¡rapidly ¡as ¡possible. ¡ 2 ¡

4/23/19 ¡ 5 ¡ ¡| ¡ Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io The ¡Path ¡to ¡ConCnuous ¡TesCng D E V O P S ¡ F R I E N D L Y ¡ Z O N E ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ Stable ¡automaCon ¡ Daily ¡cycle ¡ Increase ¡coverage ¡ Reach ¡95% ¡ ConCnuous ¡tesCng ¡ W H A T ¡ Y O U ’ L L ¡ G E T ¡ • Create ¡scripts ¡ • Run ¡scripts ¡daily ¡ • Valuable ¡coverage ¡ • Automate ¡all ¡that ¡is ¡ • Nightly ¡ à ¡ • Maintain ¡scripts ¡ • Get ¡results ¡in ¡ • Meaningful ¡daily ¡ possible ¡ ConCnuously ¡ • Understand ¡what’s ¡ minutes ¡ feedback ¡ wrong ¡ W H A T ¡ Y O U ’ L L ¡ N E E D ¡ • Skillset ¡matched ¡ • 99.9% ¡availability ¡lab ¡ • Advance ¡validaCons ¡ • Advanced ¡ • Cloud ¡execuCon ¡ tool ¡ • Evidence ¡collecCon ¡ ¡ • Visual ¡automaCon ¡ orchestraCon ¡ • Very ¡high ¡scale ¡ • False ¡negaCve ¡ • Process ¡integraCon ¡ • Basic ¡orchestraCon ¡ • ElasCcity ¡ detecCon ¡in ¡reports ¡ • CI ¡ • Up-­‑to-­‑date ¡lab ¡ • Sharding ¡ • Defect ¡tracking ¡ • Scaled ¡lab ¡ • Environment ¡ • ExecuCon ¡control ¡ • Analysis ¡grouping ¡ ¡ control ¡ • Dashboarding ¡ • Scaled ¡reporMng ¡ ¡ ¡ 6 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Key ¡Personas ¡in ¡ConCnuous ¡TesCng 3 ¡

4/23/19 ¡ 7 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io ConCnuous ¡TesCng: ¡The ¡Three ¡Personas B U S I N E S S ¡ T E S T E R ¡ Performs ¡exploratory ¡and ¡structured ¡ manual ¡tesCng. ¡ S D E T ¡ ( S O F T W A R E ¡ D E V E L O P E R ¡ I N ¡ T E S T I N G ) ¡ Creates ¡funcConal ¡and ¡nonfuncConal ¡code-­‑based ¡test ¡ automaCon ¡scripts ¡(via ¡Selenium, ¡Appium, ¡etc.). ¡ S O F T W A R E ¡ D E V E L O P E R ¡ Creates ¡unit ¡and ¡build ¡acceptance ¡tests. ¡ 8 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Persona-­‑Based ¡Challenges ¡in ¡ConCnuous ¡TesCng D E V O P S ¡ C O N T I N U O U S ¡ F E E D B A C K ¡ U N O P T I M I Z E D ¡ M O D E L ¡ U N O P T I M I Z E D ¡ M O D E L ¡ ¡ P L A N ¡ C O D E ¡ B U I L D ¡ T E S T ¡ D E P L O Y ¡ R U N ¡ Developer ¡ SDET ¡ Unit/BAT ¡ FuncConal/NF ¡ 90% ¡Emulator/Local ¡Device ¡ 70% ¡Emulator ¡ 100% ¡Cloud ¡Devices ¡ 100% ¡Real ¡Devices ¡(S) ¡ Test ¡PlaXorm ¡ 10% ¡Cloud ¡Device ¡ 30% ¡Cloud ¡Devices ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Test ¡Framework ¡ Unit ¡ ¡ ¡ ¡ API ¡ API ¡ Espresso/XCUITest ¡ Espresso/XCUITest ¡ ¡ Espresso ¡/ ¡XCUITest ¡ Espresso ¡/ ¡XCUITest ¡ Appium ¡ ¡ ¡ Exploratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Trigger ¡Feedback ¡ Pre-­‑commit ¡ Commit ¡/ ¡Few ¡# ¡day ¡ Nightly ¡ 24/7 ¡ ? ¡ Manually ¡– ¡On-­‑demand ¡ AutomaCc ¡ AutomaCc ¡ AutomaCc ¡ Time ¡ Business ¡Tester: ¡ Few ¡minutes ¡ < ¡5-­‑10 ¡ ¡Min ¡ < ¡6 ¡Hours ¡ < ¡5 ¡Min ¡ Manual? ¡Exploratory? ¡ BDD? ¡Codeless? ¡ ¡ 4 ¡

4/23/19 ¡ 9 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Balancing ¡Test ¡CreaCon ¡for ¡the ¡Three ¡Different ¡ Personas ¡With ¡the ¡Right ¡Tools ¡ O P T I M I Z E D ¡ M O D E L ¡ ¡ Developers ¡& ¡SDETs ¡ ¡ Business ¡Testers ¡ (Code-­‑Based) ¡ Ownership ¡(Codeless) ¡ I N T E R A C T I V E ¡ T E S T S ¡ UI/UX ¡manual ¡tests ¡ Business ¡Testers ¡ Ownership ¡ 10 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io IntroducCon ¡to ¡Codeless ¡TesCng 5 ¡

4/23/19 ¡ 11 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io IntroducCon ¡to ¡Codeless ¡TesCng Codeless ¡tesCng ¡– ¡ R E C O R D ¡ ¡ S E L F ¡ H E A L I N G ¡ ¡ & ¡ P L A Y B A C K ¡ ( M L / A I ) ¡ process ¡of ¡creaCng ¡ ¡ automated ¡tests ¡ ¡ without ¡wriCng ¡a ¡single ¡ ¡ piece ¡of ¡code. ¡ S T A N D A R D ¡ C O N N E C T ¡ T O ¡ C O M P L E M E N T S ¡ F U N C T I O N A L I T I E S ¡ C I / C L O U D ¡ C O D E -­‑ B A S E D ¡ T E S T I N G ¡ 12 ¡ ¡| ¡ ¡Future ¡Proofing ¡Test ¡Engineers ¡in ¡the ¡Era ¡of ¡AI ¡and ¡ML ¡ perfecto.io Main ¡Differences ¡Between ¡Code-­‑Based ¡ and ¡Codeless ¡TesCng 6 ¡