Cross-Domain Recommendations via Segmented Models Shaghayegh - PowerPoint PPT Presentation

Cross-Domain Recommendations via Segmented Models Shaghayegh ¡Sahebi ¡(Sherry) *, ¡ Trevor ¡Walker + ¡ ¡ * ¡Intelligent ¡Systems ¡Program, ¡University ¡of ¡Pi>sburgh ¡ + ¡Linkedin ¡ ¡

Cross-­‑Domain ¡Recommenda0on ¡ • Recommenda0on ¡in ¡mul0-­‑domain ¡environment ¡ • Domain ¡ – Type ¡of ¡item ¡ – Systems ¡ – Temporal ¡ – Different ¡data ¡distribu0on ¡in ¡domains ¡ • Mostly ¡in ¡collabora0ve ¡filtering ¡ • Ignoring ¡user-­‑side ¡domains ¡ Sherry ¡Sahebi ¡ 2 ¡

Our ¡Contribu0ons ¡ • A ¡generic ¡framework ¡for ¡content-­‑based ¡cross-­‑domain ¡ recommenda0ons ¡ – can ¡be ¡used ¡with ¡various ¡classifiers ¡ • An ¡efficient ¡method ¡of ¡feature ¡augmenta0on ¡ • Defining ¡user-­‑based ¡domains ¡ – Meta-­‑data ¡features ¡ – Indicator ¡features ¡ • Implementa0on ¡using ¡logis0c ¡regression ¡ Sherry ¡Sahebi ¡ 3 ¡

Domains ¡in ¡Job ¡Recommenda0on ¡ • Different ¡popula0ons, ¡different ¡expecta0ons ¡ ¡ • Meta-­‑data ¡features ¡ – User’s ¡job ¡func0on ¡ Degrees ¡ Skills ¡ • E.g. ¡Arts ¡vs. ¡Legal ¡ – User’s ¡job ¡industry ¡ Sherry ¡Sahebi ¡ 4 ¡

Ways ¡to ¡model ¡cross-­‑domain ¡ recommenders ¡ • One ¡shared ¡model ¡for ¡all ¡domains ¡ – Missing ¡the ¡details ¡ • Separate ¡models ¡for ¡each ¡domain ¡ – Loose ¡common ¡cross-­‑domain ¡informa0on ¡ • Both ¡shared ¡and ¡domain ¡specific ¡models ¡ – Shared ¡informa0on ¡between ¡the ¡domains ¡ ¡ – Domain-­‑specific ¡behavior ¡ Sherry ¡Sahebi ¡ 5 ¡

Our ¡Framework: ¡ ¡ Segmented ¡Model ¡ • A ¡trade ¡off ¡between ¡bias ¡and ¡variance ¡ Sherry ¡Sahebi ¡ 6 ¡

Defined ¡Features ¡ • Base ¡features ¡ – User-­‑related, ¡item-­‑related, ¡or ¡represent ¡ similari0es ¡between ¡users ¡and ¡items ¡ – Used ¡within ¡each ¡model ¡ • Meta-­‑Data ¡features ¡ – Features ¡we ¡want ¡to ¡choose ¡the ¡domains ¡from ¡ – Subset ¡of ¡base ¡features ¡ • Indicator ¡features ¡ – Used ¡for ¡segmenta0on ¡ Sherry ¡Sahebi ¡ 7 ¡

Indicator ¡and ¡Meta-­‑Data ¡Features ¡ ¡ User ¡Features ¡ User ¡Industry ¡ User ¡Func0on ¡ Etc… ¡ Meta_Data ¡Features ¡ Seniority ¡ Ar0st ¡ Lawyer ¡ Engineer ¡ Etc ¡… ¡ Indicator ¡Features ¡ Sherry ¡Sahebi ¡ 8 ¡

Augmenta0on: ¡How ¡to ¡handle ¡so ¡many ¡ models? ¡ ¡ • Augment ¡the ¡feature ¡space ¡based ¡on ¡the ¡domain ¡ defini0ons ¡ ¡ – copy ¡each ¡datapoint ¡into ¡the ¡related ¡domain's ¡sub-­‑space ¡ – main ¡space ¡for ¡the ¡main-­‑effect ¡model ¡ • Looking ¡at ¡combina0ons ¡of ¡the ¡domains ¡and ¡their ¡ interac0ons ¡ • Problem ¡ ¡ – Exponen0al ¡growth ¡of ¡subspaces ¡ – Subspace ¡sparsity ¡ Sherry ¡Sahebi ¡ 9 ¡

Solu0on: ¡Segmenta0on ¡by ¡Indicator ¡ Features ¡ • Expand ¡the ¡idea ¡of ¡segmented ¡regression ¡ model ¡ Sherry ¡Sahebi ¡ 10 ¡

Segmented/Piece-­‑Wise ¡Regression ¡ • Data ¡features ¡par00oned ¡into ¡intervals ¡(by ¡breakpoints) ¡ y ¡ x ¡ breakpoint ¡1 ¡ breakpoint ¡2 ¡ Sherry ¡Sahebi ¡ 11 ¡

Solu0on: ¡Segmenta0on ¡by ¡Indicator ¡ Features ¡ • Suppose ¡the ¡meta-­‑data ¡feature ¡to ¡separate ¡the ¡ domain ¡has ¡ k ¡values ¡ – E.g. ¡job ¡func0on ¡ • Binary ¡indicator ¡features ¡ – Meta-­‑data ¡feature ¡value/interval ¡indicators ¡to ¡segment ¡on ¡ ¡ – represen0ng ¡if ¡a ¡data ¡point ¡falls ¡into ¡a ¡specific ¡domain ¡or ¡ not ¡ – E.g. ¡ I 1 ¡ = ¡(job ¡func0on ¡== ¡Art), ¡ I 2 ¡= ¡(job ¡func0on ¡== ¡ Engineering), ¡…, ¡ I k ¡ = ¡(job ¡func0on ¡== ¡Human ¡Resources) ¡ Sherry ¡Sahebi ¡ 12 ¡

Solu0on: ¡Segmenta0on ¡by ¡Indicator ¡ Features ¡ • Copying ¡feature ¡space ¡ k ¡0mes ¡for ¡each ¡of ¡the ¡meta-­‑ data ¡feature ¡values ¡ • Linear ¡feature ¡space ¡augmenta0on ¡ ¡ – For ¡one ¡meta-­‑data ¡feature: ¡( k +1)-­‑dimensional ¡space ¡ – For ¡ d ¡meta-­‑data ¡features: ¡( dk +1)-­‑dimensional ¡space ¡ Sherry ¡Sahebi ¡ 13 ¡

What ¡if ¡we ¡want ¡domain ¡interac0ons? ¡ • An ¡indicator ¡feature, ¡represen0ng ¡cross-­‑ products ¡of ¡feature ¡values ¡in ¡the ¡domains ¡ – I 12 ¡ = ¡(job ¡func0on ¡== ¡Art) ¡AND ¡(job ¡func0on ¡== ¡ Engineering) ¡ • E.g. ¡combina0on ¡of ¡every ¡two ¡feature ¡values ¡ within ¡each ¡of ¡the ¡domains ¡ – O( c + f ( dk +1)+ f ( dk 2 ¡+1)) ¡ Sherry ¡Sahebi ¡ 14 ¡

Implementa0on ¡Using ¡Logis0c ¡Regression ¡ log( p 1 − p ) = ∑ w c i × f c i ∑ ∑ I ij ∑ w f i , j , k × f i , j , k + i j ∈ M i ∈ V j k • P : ¡ probability ¡of ¡recommending ¡job ¡ y ¡to ¡user ¡ u ¡ • f ci : ¡the ¡i th ¡common ¡feature ¡among ¡the ¡domains ¡ • M : ¡set ¡of ¡meta-­‑data ¡features ¡ ¡ • V j : ¡set ¡of ¡values ¡(domains) ¡for ¡the ¡ j th ¡meta-­‑data ¡feature ¡ ¡ • I ij : ¡the ¡binary ¡indicator ¡feature ¡for ¡the ¡domain ¡ i ¡of ¡meta-­‑data ¡ feature ¡ j ¡ ¡ • f ijk : ¡the ¡ k th ¡base ¡feature ¡specific ¡to ¡the ¡ i th ¡domain ¡of ¡meta-­‑data ¡ feature ¡ j ¡ Sherry ¡Sahebi ¡ 15 ¡

Implementa0on ¡Using ¡Logis0c ¡Regression ¡ Main ¡Effect ¡Model ¡ Model ¡for ¡Domain ¡1 ¡ Model ¡for ¡Domain ¡2 ¡ Sherry ¡Sahebi ¡ 16 ¡

Having ¡Domain ¡Interac0ons ¡ ¡ Main ¡Effect ¡Model ¡ Model ¡for ¡Cross ¡Product ¡ ¡ of ¡Domain ¡1 ¡& ¡2 ¡ Sherry ¡Sahebi ¡ 17 ¡

Experiments ¡with ¡Logis0c ¡Regression ¡ Implementa0on ¡ • About ¡3 ¡million ¡samples ¡ • More ¡than ¡150,000 ¡Users ¡ • 100 ¡base ¡features ¡ • Domains ¡ – Current ¡func0ons: ¡26 ¡ ¡ Sherry ¡Sahebi ¡ 18 ¡

Experiment ¡Setup ¡ • Two ¡vs. ¡other ¡domains ¡ Sales ¡ Opera0ons ¡ – Selected ¡base ¡on ¡coverage ¡ Other ¡ ¡ • Segmen0ng ¡on ¡domain ¡clusters ¡ Cluster1 ¡ – Spectral ¡clustering ¡ Cluster2 ¡ Cluster3 ¡ Cluster4 ¡ • Segmen0ng ¡on ¡all ¡domains ¡ Sales ¡ Opera0ons ¡ ¡ IT ¡ Engineering ¡ Marke0ng ¡ Consul0ng ¡ Sherry ¡Sahebi ¡ 19 ¡ … ¡

Func0on ¡Coverage ¡ Sherry ¡Sahebi ¡ 20 ¡

Two ¡vs. ¡other ¡domains: ¡Accuracy ¡ • One ¡model ¡for ¡all ¡ vs ¡ • Main-­‑effect ¡+ ¡domain-­‑specific ¡models ¡ vs ¡ • Independent ¡models ¡for ¡each ¡domain ¡ ¡ Accuracy ¡ One ¡model ¡ Segmented ¡ Independent ¡ for ¡all ¡ Model ¡on ¡All ¡ Models ¡ Features ¡ Sales ¡ 96.28% ¡ 96.33% ¡ 95.01% ¡ Opera0ons ¡ 96.43% ¡ 96.49% ¡ 94.93% ¡ Sales ¡& ¡ 96.54% ¡ 96.58% ¡ -­‑-­‑ ¡ Opera0ons ¡ Other ¡ 96.44% ¡ 96.45% ¡ 96.44% ¡ Sherry ¡Sahebi ¡ 21 ¡

Two ¡vs. ¡other ¡domains: ¡Coefficients ¡ • Different ¡coefficient ¡values ¡ • Some ¡coefficients ¡are ¡present ¡in ¡only ¡one ¡model ¡ – Segmented: ¡similarity ¡between ¡user ¡loca0on ¡and ¡loca0on ¡of ¡job ¡ Red: ¡average ¡coefficient ¡value ¡of ¡the ¡main-­‑effect ¡and ¡domain ¡ specific ¡parts ¡of ¡two-­‑vs-­‑all ¡model ¡ ¡ Blue: ¡coefficient ¡values ¡one-­‑for-­‑all ¡base ¡model ¡ Sherry ¡Sahebi ¡ 22 ¡

Two ¡vs. ¡other ¡domains: ¡Coefficients ¡ • Difference ¡between ¡each ¡of ¡the ¡ ¡ domains ¡ Sherry ¡Sahebi ¡ 23 ¡

Segmen0ng ¡on ¡domain ¡clusters: ¡Clusters ¡ Human ¡Resources ¡ Arts&Design ¡ Sherry ¡Sahebi ¡ 24 ¡