Online Behavioral CyLab Advertising User Studies y & c S a - PowerPoint PPT Presentation

Online Behavioral CyLab Advertising � User Studies y & c S a e v c i u r P r i t e y l b L Pedr Pedro Giovanni Leon and o Giovanni Leon and Blase Blase Ur Ur a a s b U o b r a a t W3C DNT and Beyond Workshop W3C DNT and Beyond W orkshop L o y r C y November 27, 2012 November 27, 2012 U H D T T E P . U : / M / C C U . S P S C .

OBA User Studies Smart, Useful, Scary Smart, Useful, Scary, Cr , Creepy: eepy: Per Perceptions of Behavioral Advertising ceptions of Behavioral Advertising Why Johnny Can't Opt Out: Why Johnny Can't Opt Out: A Usability Evaluation of T A Usability Evaluation of Tools to Limit Online ools to Limit Online Behavioral Advertising Behavioral Advertising What Do Online Behavioral Advertising Privacy What Do Online Behavioral Advertising Privacy Disclosures Communicate to Users? Disclosur es Communicate to Users? CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡2 ¡

OBA User Studies Smart, Useful, Scary Smart, Useful, Scary, Cr , Creepy: eepy: Per Perceptions of Behavioral Advertising ceptions of Behavioral Advertising Why Johnny Can't Opt Out: Why Johnny Can't Opt Out: A Usability Evaluation of T A Usability Evaluation of Tools to Limit Online ools to Limit Online Behavioral Advertising Behavioral Advertising What Do Online Behavioral Advertising Privacy What Do Online Behavioral Advertising Privacy Disclosures Communicate to Users? Disclosur es Communicate to Users? CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡3 ¡

OBA User Studies Smart, Useful, Scary Smart, Useful, Scary, Cr , Creepy: eepy: Per Perceptions of Behavioral Advertising ceptions of Behavioral Advertising Why Johnny Can't Opt Out: Why Johnny Can't Opt Out: A Usability Evaluation of T A Usability Evaluation of Tools to Limit Online ools to Limit Online Behavioral Advertising Behavioral Advertising What Do Online Behavioral Advertising Privacy What Do Online Behavioral Advertising Privacy Disclosures Communicate to Users? Disclosur es Communicate to Users? CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡4 ¡

Study Overview § 48 interviews § Non-technical users § Perceptions of advertising § Understanding of OBA § Balancing pros and cons CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡5 ¡

Limited Knowledge about OBA CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡6 ¡

Limited Knowledge about OBA § Don’t know how it works § Based on searches, Facebook, Amazon § Don’t know who is involved § Haven’t heard of most companies § Don’t associate major companies with ads CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡7 ¡

Limited Knowledge about OBA § Unaware of privacy mechanisms § Deleting cookies can limit OBA § Unfamiliar with opt-outs or DNT § Expected options in web browser & antivirus CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡8 ¡

Smart & Useful… but Scary & Creepy § More relevant ads vs. privacy concerns § OBA surreptitious § Lack of knowledge led them to think the worst § Complex preferences CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡9 ¡

OBA User Studies Smart, Useful, Scary Smart, Useful, Scary, Cr , Creepy: eepy: Per Perceptions of Behavioral Advertising ceptions of Behavioral Advertising Why Johnny Can't Opt Out: Why Johnny Can't Opt Out: A Usability Evaluation of T A Usability Evaluation of Tools to Limit Online ools to Limit Online Behavioral Advertising Behavioral Advertising What Do Online Behavioral Advertising Privacy What Do Online Behavioral Advertising Privacy Disclosures Communicate to Users? Disclosur es Communicate to Users? CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡10 ¡

OBA Control Mechanisms CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡11 ¡

Problematic opt-out interface CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡12 ¡

CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡13 ¡

Common Usability Problems § Inappropriate defaults § Poorly designed interfaces, jargon § Lack of feedback § Misconceptions § Some tools break functionality CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡14 ¡

OBA User Studies Smart, Useful, Scary Smart, Useful, Scary, Cr , Creepy: eepy: Per Perceptions of Behavioral Advertising ceptions of Behavioral Advertising Why Johnny Can't Opt Out: Why Johnny Can't Opt Out: A Usability Evaluation of T A Usability Evaluation of Tools to Limit Online ools to Limit Online Behavioral Advertising Behavioral Advertising What Do Online Behavioral Advertising Privacy What Do Online Behavioral Advertising Privacy Disclosures Communicate to Users? Disclosur es Communicate to Users? CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡15 ¡

Do OBA disclosures empower users to make privacy choices? • Online study of 1,505 participants CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡16 ¡

OBA Disclosures in Context CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡17 ¡

OBA Disclosures in Isolation CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡18 ¡

Two Icons and Seven Taglines § “AdChoices” § “Interest based ads” § “Why did I get this ad?” § “Learn about your ad choices” § “Configure ad preferences” § “Sponsor ads” § Blank (no tagline) CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡19 ¡

Findings (1/2) § OBA disclosures are not noticed § Purpose was misunderstood § “AdChoices” was outperformed § Users are afraid to click CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡20 ¡

Findings (2/2) § Opt out = “Stop advertising companies from collecting information about your browsing activities.” (FALSE) § 63% thought it was true 63% thought it was true CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡21 ¡

Recommendations § Understand what users care about § Understand how users make decisions § Iterative user study process § Match expectations § Educate users CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡22 ¡

Work in Progress § Understanding what matters for users § The impact of information on behavior § Field study of privacy tools CyLab ¡Usable ¡Privacy ¡and ¡Security ¡Laboratory ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://cups.cs.cmu.edu/ ¡ ¡ ¡ ¡ ¡23 ¡