Selenium IDE Is Making a Comeback - Can Codeless Testing - PDF document

T8 ¡ Test ¡Automation ¡ Thursday, ¡October ¡3rd, ¡2019 ¡11:15 ¡AM ¡ Selenium ¡IDE ¡Is ¡Making ¡a ¡ Comeback - Can ¡Codeless ¡Testing ¡ Scale? ¡ Presented ¡by: ¡ Moshe ¡Milman ¡ Applitools ¡ Brought ¡to ¡you ¡by: ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡http://www.starwest.techwell.com/ ¡

¡ ¡ ¡ ¡ Moshe ¡Milman ¡ ¡ Moshe ¡Milman ¡is ¡the ¡cofounder ¡of ¡Applitools, ¡a ¡cloud ¡service ¡for ¡automated ¡visual ¡ testing. ¡As ¡part ¡of ¡his ¡role ¡at ¡Applitools, ¡he ¡helps ¡dozens ¡of ¡companies ¡across ¡the ¡ industry ¡implement ¡state-­‑of-­‑the-­‑art ¡test ¡automation ¡suites. ¡Moshe ¡is ¡passionate ¡ about ¡software ¡testing ¡and ¡frequently ¡gives ¡talks ¡about ¡it ¡in ¡various ¡conferences ¡ around ¡the ¡globe. ¡Before ¡starting ¡Applitools, ¡he ¡served ¡at ¡various ¡VP ¡roles ¡ overseeing ¡product, ¡QA, ¡and ¡professional ¡services. ¡Moshe ¡holds ¡a ¡bachelor’s ¡degree ¡ in ¡information ¡systems ¡from ¡the ¡Technion€”Israel ¡Institute ¡of ¡Technology ¡and ¡an ¡ MBA ¡from ¡IDC ¡(Wharton ¡Business ¡School's ¡Global ¡Consulting ¡Practicum). ¡ ¡

SELENIUM IDE IS BACK!!! CAN CODELESS TESTING SCALE??? Moshe Milman Co-Founder @ Applitools @MosheMilman

INTRODUCTIONS WHO WHO AM I • Co-Founder of Applitools • Spent the last years working with multiple companies on software development and testing/automation projects 2

AGENDA • Codeless Testing • Codeless Testing Tools • Pros and Cons of Codeless Testing • Visual Testing • Codeless Visual Testing 3

4

http://bit.ly/rise-of-no-code 5 5

Your Brand Is Digital Microservices OS Types Browser Versions Devices & Screen Types 6

AUTONOMOUS TESTING? 7

AUTONOMOUS TESTING? 8

CODELESS TESTING • Record-Playback • Selenium IDE • Katalon • List of other commercial tools J • Self generated tests TEST = INTERACTION + VALIDATION 9

CODELESS TOOLS? 10

http://bit.ly/10-features-codeless 11

TOP 10 6. Reusable steps 1. Smart element locators 7. Cross-browser support 2. Conditional waiting 8. Reporting 3. Control structures 9. Ability to insert code 4. Easy assertions 10. Continuous integration 5. Modification w/o redo 12

Selenium m IDE is Back! IDE is Back! 13

NEW MODERN UI 14

SMART ELEMENT LOCATORS 15

SMART ELEMENT LOCATORS 16

REUSABLE STEPS 17

REUSABLE STEPS 18

19

MODIFICATION WITHOUT REDO 20

MODIFICATION WITHOUT REDO 21

CONTROL STRUCTURES 22

CONTROL STRUCTURES 23

CONTROL STRUCTURES Conditionals Loops

CONTROL STRUCTURES Conditionals

26

CONTROL STRUCTURES Loops

28

CI INTEGRATION + CROSS-BROWSER SUPPORT • Test runner to easily integrate with CI § Parallel execution § Grid execution § E2E test framework … 29

30

ABILITY TO INSERT CODE 31

CODE EXPORT Code Export Core Java JUnit Java TestNG Ruby RSpec Python pytest etc. 32

3 3

WHAT’S NEW IN SELENIUM IDE? • Test cases sharing between multiple suites groups • Takes care of waiting for you • Smart and stable selectors • Recording on Chrome and Firefox • All of your project is portable within a single file • Selenium code export 34

WHAT’S NEXT IN SELENIUM IDE? • WebDriver compatibility • Export to additional languages (C#, JavaScript, etc...) • Data driven testing • Improved UI/UX • Moving to a native app • Make it work for wonky websites 💰 • Internationalization (i18n) 35

Ca Can Cod Codel eles ess Sc Scale ale??? 36

Testers should write code. Record playback tools are bad because they encourage the exact opposite. 37

Yeah, whatever, when will Selenium IDE be supported again? 38

PROS OF CODELESS TOOLS • No need to develop a complex automation framework • Quickly author automated tests • Require no programming effort or language specific skills • Multiple stakeholders can contribute to the automation effort 39

CONS OF CODELESS TOOLS • Flaky tests / unstable selectors • No test reuse • Dependency in specific tool • Linear test flow • Hard to do highly conditional automation • Difficult to handle complex validation logic 40

SO … WHAT DO YOU THINK? • Code is still my first recommendation • Not a knockout victory • Codeless can win some rounds • Codeless Visual Testing can change the equation for some apps 41

VISU VISUAL AL TESTING? TESTING?

Spot The Differences

SPOT THE DIFFERENCES

WHAT IS VISUAL TESTING? • Visual Testing is the process of validating all the visual aspects of an application’s UI on all platforms • Goes beyond functional testing tools like Selenium to ensure things like colors, fonts, buttons appear correctly 45

VISUAL BUG EXAMPLE #1 46

VISUAL BUG EXAMPLE #2 47

VISUAL BUG EXAMPLE #3 48

WORKFLOW FOR VISUAL TESTING Step 2 Step 1 Compare screenshots with Drive the AUT and take baseline images screenshots Step 3 Step 4 Report differences Update the baseline 49

C O D E L E S S C O D E L E S S V I S U V I S UA L A L T E S T I N G T E S T I N G

51

CONS OF CODELESS TOOLS • Flaky tests / unstable selectors • Difficult to handle complex validation logic • Hard to do highly conditional automation • No test reuse • Linear test flow • Dependency in specific tool 52

Something for everyone 53

JUST GETTING STARTED Step 2. Run them Step 1. Author tests (in parallel, cross- browser, on CI) 54

ALREADY ON YOUR WAY Bootstrap manual Code export & exploratory testing 55

TAKEAWAYS • Using code for automation is still a good choice • Record playback tools are becoming smarter and innovative (and in some cases open source!) • Visual Testing super charges your tests • Codeless Visual Testing diminishes the impact of not using code and can actually scale! • Selenium IDE is back! 56

https://testautomationu.com 57

Thank You Stay in touch! @MosheMilman 58