Search User Behavior Modeling YiqunLIU Department of Computer - PowerPoint PPT Presentation

Search ¡User ¡Behavior ¡Modeling YiqunLIU Department ¡of ¡Computer ¡Science ¡& ¡Technology Tsinghua ¡University, ¡Beijing, ¡China @ASSIA2015, ¡Taipei

About ¡ ¡The ¡ ¡Lect cturer • Name: ¡Yiqun LIU ¡( 刘奕群 / 劉奕群 ) • Associate ¡Professor ¡@ ¡DCST, ¡Tsinghua ¡University ¡ (Beijing) • Visiting ¡Research ¡Associate ¡Professor ¡@ ¡SOC, National ¡ University ¡of ¡Singapore • Homepage/Personal Info Links: ¡ • http://www.thuir.cn/group/~yqliu • https://scholar.google.com/citations?user=NJOnxh4AAAAJ • http://dblp.uni-­‑trier.de/pers/hd/l/Liu:Yiqun

The ¡ Th ¡TH THUIR ¡ ¡Group • Department ¡of ¡Computer ¡Science ¡& ¡Technology • Established ¡in ¡1958, ¡first ¡DCST ¡in ¡China • Ranked ¡7 th according ¡to ¡USNews CS ¡subject ¡Rankings • Ranked ¡33 rd according ¡to ¡QS ¡CS ¡subject ¡Rankings • THUIR: ¡Information ¡Retrieval ¡@ ¡Tsinghua • http://www.thuir.org/ • Focused ¡on ¡IR ¡researches ¡since ¡2001

Th The ¡ ¡TH THUIR ¡ ¡Group • Research ¡Interests • Information ¡retrieval ¡models ¡and ¡algorithms • Web ¡search ¡technologies • Cognitive ¡behavior ¡of ¡Web ¡search ¡users • Members • Leader: ¡Prof. ¡Shaoping ¡Ma • Professors: ¡Min ¡Zhang, ¡ Yijiang Jin, ¡Yiqun ¡Liu; • Students: ¡10 ¡Ph. ¡D. ¡students, ¡ 8 ¡M.S. ¡students, ¡...

The ¡ Th ¡TH THUIR ¡ ¡Group • Cooperation ¡with ¡industries • Tsinghua-­‑Sogou joint ¡lab ¡on ¡Web ¡search ¡technology ¡(since ¡2006) • Tsinghua-­‑Baidu joint ¡course: ¡Fundamentals ¡of ¡search ¡engine ¡ technology ¡(since ¡2008), ¡Computational ¡advertising ¡(since ¡2013) • Tsinghua-­‑Google joint ¡course: ¡Search ¡Engine ¡Product ¡Design ¡and ¡ Implementation ¡(since ¡2009), ¡Google ¡Code ¡University ¡Project • Research ¡projects ¡from ¡Yahoo!, ¡Samsung, ¡Toshiba, ¡etc. ¡

The ¡ Th ¡TH THUIR ¡ ¡Group • When ¡Cognitive ¡Psychology meets ¡Web ¡search • Users’ ¡information ¡perceiving ¡process ¡on ¡SERPs E.g. ¡Result ¡Examination ¡Behavior • • E.g. ¡Decision ¡Making ¡Behavior ¡(Click-­‑through/query ¡ reformulation/abandonment/search ¡engine ¡switch) • Applications • Search ¡ranking ¡algorithm: ¡click ¡models, ¡LTR ¡training, ¡… • Search ¡evaluation ¡methodology: ¡evaluation ¡metrics, ¡A/B ¡test, ¡ interleaving, ¡… Search ¡satisfaction ¡prediction: ¡satisfaction, ¡frustration, ¡… •

How ¡ ¡do ¡ ¡Search ch ¡ ¡Engines ¡ ¡Rank ¡ ¡Results • Yahoo ¡LTR ¡task: ¡700+ ¡ranking ¡signals • Hyperlink, ¡Content ¡relevance, ¡ User ¡behavior , ¡Page ¡ structure, ¡Freshness, ¡Service ¡stability, ¡…… • User ¡behavior ¡helps • A ¡certain ¡user ¡may ¡make ¡ mistakes • User ¡crowds ¡usually ¡make much ¡wiser ¡decisions • E.g. ¡the ¡most ¡clicked ¡results

Us User ¡ ¡Behavior ¡ ¡may ¡ ¡be ¡ ¡Biased • Example: ¡position ¡bias • Users’ ¡behaviors ¡may ¡be ¡affected ¡by ¡ranking ¡positions • How ¡to ¡model ¡this ¡effect ¡is ¡essential ¡for ¡the ¡utility ¡of ¡ user ¡behaviors

Sch chedule • Our ¡aim: ¡understand ¡search ¡user ¡behavior ¡and ¡ try ¡to ¡model ¡them ¡with ¡computational ¡methods • Morning ¡session ¡(est. ¡1 ¡hour): ¡Search ¡user ¡behavior ¡in ¡ a ¡homogeneous ¡environment • Afternoon ¡session ¡(est. ¡1 ¡hour): ¡Search ¡user ¡behavior ¡ and ¡perception ¡of ¡satisfaction ¡with ¡the ¡existence ¡of ¡ heterogeneous ¡results

Mo Morni rning ng ¡ ¡Session Search ch ¡ ¡Behavior ¡ ¡in ¡ ¡Homogeneous ¡ ¡SERPs

Search ch ¡ ¡Behavior ¡ ¡in ¡ ¡Homogeneous ¡ ¡SERPs 1. Querying ¡behavior ¡of ¡search ¡users 2. Clicking/examination ¡behavior ¡of ¡search ¡users 3. Constructing ¡click ¡models Result 1 Result 2 Query Result 3 … Examine Result 10 /Click

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.1 ¡The ¡timing ¡of ¡search ¡behaviors • Data ¡source: ¡Bing, ¡2012/08-­‑2012/10 Query Distribution Yang ¡Song, ¡Hao ¡Ma, ¡Hongning Wang, ¡and ¡Kuansan Wang. ¡Exploring ¡and ¡Exploiting ¡User ¡Search ¡ Behavior ¡on ¡Mobile ¡and ¡Tablet ¡Devices ¡to ¡Improve ¡Search ¡Relevance. ¡WWW ¡2013.

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.2 ¡Distribution ¡of ¡querying ¡behavior: ¡frequency • Power ¡law ¡distribution: ¡hot ¡queries ¡are ¡rare Huijia Yu, ¡Yiqun ¡Liu, ¡Min ¡Zhang, ¡Liyun ¡Ru ¡and ¡Shaoping ¡Ma, ¡Research ¡in ¡Search ¡Engine ¡User ¡Behavior ¡Based ¡on ¡Log ¡ Analysis ¡(in ¡Chinese). ¡Journal ¡of ¡Chinese ¡ Information ¡Processing. ¡Vol. ¡21(1): ¡pp. ¡109-­‑114, ¡2007

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.2 ¡Distribution ¡of ¡querying ¡behavior: ¡frequency • Mobile ¡search ¡v.s. ¡Tablet ¡search ¡v.s. ¡Desktop ¡search Rank Kamvar, ¡M., ¡Baluja, ¡S.: ¡A ¡Large ¡Scale ¡Study ¡of ¡Wireless ¡Search ¡Behavior: ¡Google ¡Mobile ¡Search. ¡In: ¡Proceedings ¡of ¡ the ¡SIGCHI ¡conference ¡on ¡Human ¡Factors ¡in ¡computing ¡systems ¡(2006)

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.3 ¡Distribution ¡of ¡querying ¡behavior: ¡length • Query ¡string: ¡queries ¡segmented ¡by ¡inputted ¡spaces 1.E+10 1.E+09 Query ¡string Query ¡word 查询串数 查询词数 1.E+08 Frequency 1.E+07 用户查询频率 1.E+06 1.E+05 1.E+04 1.E+03 1.E+02 1.E+01 1.E+00 Query ¡length 1 4 16 64 256 查询长度 Rongwei Cen, ¡Yiqun Liu ¡et ¡al., ¡Search ¡user ¡behavior ¡analysis ¡based ¡on ¡log ¡mining. ¡Journal ¡of ¡Chinese ¡Information ¡ Processing ¡(in ¡Chinese). ¡Vol.24(3): ¡pp49-­‑54. ¡2010 。

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.3 ¡Distribution ¡of ¡querying ¡behavior: ¡length • Query ¡character: ¡number ¡of ¡characters ¡in ¡queries #Query ¡word #Query ¡character Kamvar, ¡M., ¡Baluja, ¡S.: ¡A ¡Large ¡Scale ¡Study ¡of ¡Wireless ¡Search ¡Behavior: ¡Google ¡Mobile ¡Search. ¡In: ¡Proceedings ¡of ¡ the ¡SIGCHI ¡conference ¡on ¡Human ¡Factors ¡in ¡computing ¡systems ¡(2006)

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.4 ¡Distribution ¡of ¡querying ¡behavior: ¡content • Local ¡queries ¡are ¡not ¡so ¡popular ¡on ¡mobile ¡devices

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.4 ¡Distribution ¡of ¡querying ¡behavior: ¡content • Content ¡v.s. ¡time ¡of ¡day • Complex ¡queries ¡in ¡querying ¡behavior ¡ • English ¡words in ¡Chinese ¡searchers’ ¡queries: ¡17.63% • Queries ¡with ¡operators: ¡0.73%; ¡Queries ¡with ¡URLs: ¡2.82%

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.5 ¡Evolution ¡of ¡search ¡querying ¡behavior • Long ¡term ¡users ¡v.s. ¡ordinary ¡users: ¡What ¡are ¡the ¡ differences ¡between ¡long ¡term ¡and ¡other ¡users? • Users ¡behavior ¡evolution: ¡How ¡does ¡the ¡interaction ¡ process ¡of ¡search ¡users ¡evolve ¡during ¡several ¡years? Year #Users #Session %long-­‑term-­‑user 2009 60,443,119 123,223,460 0.0306% 2010 92,087,410 231,901,502 0.0201% 2011 129,534,711 344,901,821 0.0143% Jian ¡Liu, ¡Yiqun Liu, ¡Min ¡Zhang, ¡Shaoping Ma. ¡How ¡Do ¡Users ¡Grow ¡Up ¡along ¡with ¡Search ¡Engines? ¡A ¡Study ¡of ¡Long-­‑ term ¡Users’ ¡Behavior. ¡In ¡CIKM ¡2013.

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.5 ¡Evolution ¡of ¡search ¡querying ¡behavior • Long%term%user%across%different%years • Long%term%v.s.%ordinary%users

1. ¡ ¡Search ch ¡ ¡Querying ¡ ¡Behavior • 1.5 ¡Evolution ¡of ¡search ¡querying ¡behavior • Percentage ¡of ¡navigational ¡tasks: ¡long ¡term ¡users ¡ (17.5%); ¡ordinary ¡users ¡(29.0%) • Number ¡of ¡search ¡ queries ¡submitted ¡ per ¡session • Percentage ¡of ¡ sessions ¡which contains ¡two ¡or ¡ more ¡clicks