CIS 520: Machine Learning Introduc7on & Overview - PowerPoint PPT Presentation

CIS ¡520: ¡Machine ¡Learning ¡ ¡ Introduc7on ¡& ¡Overview ¡ ¡ Shivani ¡Agarwal ¡ ¡ Department ¡of ¡Computer ¡& ¡Informa7on ¡Science ¡ University ¡of ¡Pennsylvania ¡ ¡ ¡ Spring ¡2018 ¡ ¡

Example ¡1: ¡ Email ¡Spam ¡Filter ¡ ¡ • Would ¡like ¡to ¡build ¡an ¡email ¡ filter ¡that ¡can ¡predict ¡whether ¡ a ¡new ¡message ¡is ¡spam ¡or ¡ non-­‑spam ¡ • Have ¡data ¡containing ¡ previous ¡examples ¡of ¡ messages ¡labeled ¡as ¡spam ¡or ¡ non-­‑spam ¡ • Can ¡we ¡“learn” ¡an ¡email ¡filter ¡ from ¡this ¡data? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Example ¡2: ¡ HandwriTen ¡Digit ¡Recogni7on ¡ • Would ¡like ¡to ¡build ¡a ¡model ¡ that ¡can ¡automa7cally ¡ recognize ¡handwriTen ¡digits ¡ from ¡images ¡ • Have ¡data ¡containing ¡ examples ¡of ¡such ¡images ¡ labeled ¡with ¡the ¡correct ¡digit ¡ (0,1,…,9) ¡ • Can ¡we ¡“learn” ¡an ¡accurate ¡ recogni7on ¡model ¡from ¡this ¡ data? ¡ ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Example ¡3: ¡ Weather ¡Forecas7ng ¡ • Would ¡like ¡to ¡build ¡a ¡forecas7ng ¡ model ¡which, ¡given ¡a ¡satellite ¡ image ¡showing ¡water ¡vapor ¡in ¡a ¡ region, ¡can ¡predict ¡the ¡amount ¡of ¡ rainfall ¡in ¡the ¡coming ¡week ¡ • Have ¡data ¡containing ¡examples ¡of ¡ such ¡images ¡recorded ¡in ¡the ¡past, ¡ together ¡with ¡the ¡amount ¡of ¡rainfall ¡ observed ¡in ¡the ¡following ¡weeks ¡ • Can ¡we ¡“learn” ¡a ¡forecas7ng ¡model ¡ from ¡this ¡data? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Example ¡4: ¡ Gene ¡Expression ¡Analysis ¡ • Would ¡like ¡to ¡iden7fy ¡gene7c ¡ paTerns ¡in ¡pa7ents, ¡such ¡as ¡groups ¡ of ¡genes ¡that ¡have ¡similar ¡behavior, ¡ or ¡groups ¡of ¡pa7ents ¡that ¡have ¡a ¡ similar ¡form ¡of ¡gene7c ¡disease ¡ • Have ¡microarray ¡expression ¡data ¡ containing ¡expression ¡levels ¡of ¡ thousands ¡of ¡genes ¡in ¡various ¡ pa7ents ¡ • Can ¡we ¡“learn” ¡gene7c ¡paTerns ¡ from ¡this ¡data? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Example ¡5: ¡ Natural ¡Language ¡Parsing ¡ • Would ¡like ¡to ¡build ¡a ¡natural ¡ S ¡ language ¡parser ¡which, ¡given ¡an ¡ English ¡sentence, ¡can ¡predict ¡ VP ¡ the ¡correct ¡parse ¡tree ¡for ¡the ¡ sentence ¡ NP ¡ NP ¡ • Have ¡data ¡containing ¡examples ¡ of ¡English ¡sentences ¡with ¡their ¡ DET ¡ N ¡ V ¡ DET ¡ N ¡ correct ¡parse ¡tree ¡annota7ons ¡ The ¡cat ¡threw ¡the ¡ball. ¡ • Can ¡we ¡“learn” ¡a ¡natural ¡ language ¡parser ¡from ¡this ¡data? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Example ¡6: ¡ Movie ¡Recommenda7ons ¡ • Would ¡like ¡to ¡build ¡a ¡ recommenda7on ¡system ¡that ¡ m 1 ¡ m 2 ¡ m n ¡ can ¡recommend ¡movies ¡to ¡users ¡ u 1 ¡ 2 ¡ 4 ¡ • Have ¡a ¡(highly ¡incomplete) ¡ u 2 ¡ 5 ¡ 3 ¡ 1 ¡ movie ¡ra7ng ¡matrix ¡containing ¡ 3 ¡ 4 ¡ ra7ngs ¡(1-­‑5 ¡stars) ¡provided ¡by ¡ 2 ¡ 4 ¡ 5 ¡ various ¡users ¡for ¡movies ¡they ¡ 3 ¡ 2 ¡ 4 ¡ have ¡watched ¡ u m ¡ 5 ¡ 4 ¡ 1 ¡ • Can ¡we ¡“learn” ¡a ¡ recommenda7on ¡system ¡from ¡ this ¡data? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Why ¡Study ¡Machine ¡Learning? ¡ Wouldn’t ¡it ¡be ¡fun ¡to ¡see ¡to ¡ what ¡extent ¡human ¡learning ¡can ¡ be ¡implemented ¡in ¡machines, ¡ and ¡in ¡the ¡process, ¡perhaps ¡gain ¡ insights ¡into ¡how ¡humans ¡learn ¡ in ¡the ¡first ¡place? ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Why ¡Study ¡Machine ¡Learning? ¡ Lots ¡of ¡cool ¡math. ¡ ¡ Lots ¡of ¡rich ¡theory. ¡ ¡ Applica7ons ¡too! ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Why ¡Study ¡Machine ¡Learning? ¡ I ¡can ¡use ¡my ¡knowledge ¡of ¡ computer ¡science ¡to ¡help ¡design ¡ algorithms ¡that ¡can ¡learn ¡from ¡ data ¡in ¡almost ¡every ¡field. ¡I ¡can ¡ finally ¡show ¡my ¡friends ¡in ¡ astronomy, ¡biology, ¡finance, ¡… ¡ how ¡cool ¡computer ¡science ¡is! ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Why ¡Study ¡Machine ¡Learning? ¡ Wow! ¡I ¡can ¡use ¡machine ¡ learning ¡methods ¡to ¡ automa&cally ¡discover ¡paTerns ¡ in ¡my ¡data ¡and ¡use ¡these ¡to ¡ inform ¡decisions! ¡ Data Scientist Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Why ¡Study ¡Machine ¡Learning? ¡ • Predic7ve ¡models ¡needed ¡in ¡many ¡areas ¡of ¡ science, ¡engineering, ¡business ¡ • Data ¡everywhere: ¡astronomy, ¡biology, ¡climate ¡ modeling, ¡drug ¡discovery, ¡finance, ¡geology, ¡Web,… ¡ ¡ • Would ¡like ¡to ¡understand ¡how ¡to ¡design ¡and ¡ analyze ¡algorithms ¡that ¡can ¡automa7cally ¡“learn” ¡ predic7ve ¡models ¡from ¡this ¡data ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Afer ¡Taking ¡this ¡Course, ¡You ¡Will… ¡ • Have ¡a ¡strong ¡founda7on ¡in ¡machine ¡learning ¡ • Be ¡able ¡to ¡apply ¡machine ¡learning ¡methods ¡to ¡real-­‑ life ¡problems, ¡as ¡well ¡as ¡modify/design ¡new ¡ algorithms ¡where ¡needed ¡ ¡ • Be ¡prepared ¡for ¡advanced ¡coursework/research ¡in ¡ machine ¡learning ¡and ¡related ¡fields ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡

Overview ¡of ¡Some ¡Logis7cs ¡ Shivani ¡Agarwal ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIS ¡520: ¡Machine ¡Learning ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spring ¡2018 ¡