Probability and Statistics for Computer Science The - PowerPoint PPT Presentation

Probability ¡and ¡Statistics ¡ ì ¡ for ¡Computer ¡Science ¡ ¡ “The ¡eternal ¡mystery ¡of ¡the ¡ world ¡is ¡its ¡comprehensibility … The ¡fact ¡that ¡it ¡is ¡ comprehensible ¡is ¡a ¡miracle.” ¡ – ¡Albert ¡Einstein ¡ Credit: ¡wikipedia ¡ Hongye ¡Liu, ¡Teaching ¡Assistant ¡Prof, ¡Course ¡CS361, ¡UIUC, ¡8.27.2019 ¡

Contents ¡ ✺ Course ¡materials ¡and ¡course ¡staff ¡ ✺ Overview ¡of ¡CS361 ¡ ✺ Lecture ¡1 ¡-­‑ ¡Data ¡VisualizaXon ¡& ¡ Summary ¡(I) ¡ ¡

Course ¡materials ¡and ¡course ¡staff ¡ ✺ Website ¡& ¡Survey ¡ ✺ Meet ¡our ¡TAs ¡and ¡GA ¡ ¡Anay, ¡Andrew, ¡Ehsan, ¡Umar ¡ ¡& ¡Emma! ¡ ¡ ✺ Cell ¡phone, ¡laptop ¡policy ¡ ¡ ¡

Course ¡materials ¡and ¡course ¡staff ¡ ✺ Website ¡& ¡Survey ¡ h`ps://courses.engr.illinois.edu/cs361/ fa2019/ ¡ ¡ ¡ ¡ ¡(more ¡to ¡be ¡updated ¡such ¡as ¡office ¡hours) ¡ ¡Test ¡iClicker ¡… ¡

Course ¡materials ¡and ¡course ¡staff ¡ ✺ Have ¡you ¡done ¡the ¡survey ¡on ¡the ¡course ¡ website? ¡ ¡A. ¡Yes. ¡ ¡ ¡ ¡B. ¡No. ¡

Cell ¡phone ¡& ¡laptop ¡policy ¡in ¡lecture ¡ ✺ Cell ¡phone ¡is ¡expected ¡to ¡be ¡silenced ¡and ¡ put ¡away ¡unless ¡permi`ed ¡by ¡the ¡ instructor ¡ ✺ Laptop ¡is ¡allowed ¡to ¡be ¡used, ¡but ¡laptop ¡ users ¡are ¡suggested ¡to ¡sit ¡relaXvely ¡toward ¡ the ¡back ¡so ¡that ¡non-­‑users ¡won’t ¡get ¡ disturbed. ¡Its ¡usage ¡should ¡be ¡course ¡ lecture ¡related ¡such ¡as ¡taking ¡notes, ¡etc. ¡ ¡

Meet ¡Our ¡Staff ¡ Instructor: ¡ Hongye ¡Liu ¡ Teaching ¡Assistants : ¡Anay ¡Pa`anaik, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Andrew ¡Yoo, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Ehsan ¡Saleh, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Umar ¡Farooq ¡ ¡ Graduate ¡Assistant : ¡ ¡Emma ¡Marie ¡Taylor ¡ We ¡will ¡have ¡course ¡grading ¡assistants ¡ later. ¡ ¡ ¡

Overview ¡of ¡CS361 ¡ ✺ Probability ¡and ¡StaXsXcs ¡in ¡acXon ¡ ✺ What ¡does ¡this ¡course ¡teach? ¡ ¡ Textbook: ¡Forsyth, ¡D. ¡A. ¡"Probability ¡and ¡Sta@s@cs ¡for ¡Computer ¡ ¡Science," ¡Springer ¡(2018) ¡ ✺ Why ¡are ¡there ¡4 ¡secXons? ¡How ¡are ¡ they ¡related? ¡ ✺ Learning ¡Programming ¡R ¡

This ¡field ¡really ¡started ¡with ¡gaming ¡ ✺ We ¡are ¡familiar ¡with ¡flipping ¡a ¡ coin ¡or ¡throwing ¡a ¡dice, ¡the ¡ result ¡is ¡uncertain! ¡ Head ¡ ¡ Which ¡side ¡ Or ¡Tail? ¡ ¡is ¡front? ¡

Life ¡is ¡uncertain ¡so ¡aim ¡for ¡long-­‑ term ¡average ¡ ✺ We ¡repeat ¡a ¡lot ¡of ¡experiments ¡ and ¡see ¡if ¡there ¡is ¡regularity ¡ Head ¡ ¡ Which ¡side ¡ Or ¡Tail? ¡ ¡is ¡front? ¡

Throwing ¡a ¡lot ¡of ¡“coins” ¡for ¡many ¡ times ¡in ¡one ¡touch ¡ ✺ Galton ¡board, ¡the ¡Bead ¡Machine ¡ ¡h`ps://www.youtube.com/watch? v=Kq7e6cj2nDw ¡ ¡ ¡

Probability ¡and ¡Statistics ¡ Experiment ¡in ¡action ¡ ✺ Try ¡the ¡bead ¡machine ¡4 ¡Xmes, ¡the ¡ first ¡two ¡runs ¡with ¡the ¡base ¡on ¡the ¡ table, ¡the ¡next ¡2 ¡runs ¡however ¡you ¡ like ¡as ¡long ¡as ¡you ¡don’t ¡break ¡it. ¡ ✺ I ¡will ¡ask ¡you ¡some ¡simple ¡quesXons ¡ later ¡on. ¡ ¡

Simulation ¡of ¡random ¡draw ¡of ¡a ¡ picture ¡on ¡computer ¡ ✺ It’s ¡the ¡same ¡as ¡ ¡ throwing ¡a ¡4-­‑sided ¡die. ¡ ¡

Assign ¡logos ¡ ¡ Group1 ¡ Group3 ¡ Group2 ¡ Group4 ¡

Break ¡

What ¡does ¡this ¡course ¡teach? ¡ ✺ Describing ¡Datasets ¡ ¡Summary ¡& ¡visualizaXon ¡ ✺ Probability ¡ ¡ ✺ Inference ¡– ¡StaXsXcal ¡Inference ¡ ✺ Tools ¡– ¡Machine ¡Learning ¡tools ¡

Describing ¡datasets ¡(Summary ¡& ¡ visualization ¡) ¡ ¡ Descrip(ve ¡& ¡Graphical ¡ ¡ SummarizaXon ¡of ¡4 ¡locaXons’ ¡annual ¡mean ¡ ¡ temperature ¡by ¡month ¡

Probability ¡ ¡ ✺ Mathema@cal ¡ Romeo ¡and ¡Juliet ¡have ¡a ¡date ¡ Each ¡arrives ¡with ¡a ¡delay ¡btw ¡0 ¡and ¡1 ¡ hour. ¡The ¡first ¡to ¡arrive ¡leaves ¡arer ¡1/4 ¡ hour. ¡All ¡pairs ¡of ¡delays ¡are ¡equally ¡likely. ¡ What's ¡the ¡probability ¡that ¡they ¡will ¡ meet? ¡ ¡

Inference ¡ ✺ Analy@cal ¡ Treatment ¡1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Treatment ¡2 ¡ How ¡different ¡ ¡ are ¡they? ¡ J ¡Fromonot ¡et ¡al ¡ JACC ¡2016 ¡

Tools ¡(Machine ¡learning) ¡ ✺ Algorithmical ¡ High-­‑dimensional ¡or ¡ ¡ complex ¡shaped ¡ Cancer ¡Cell ¡Division ¡Clusters ¡ Different ¡human ¡cells ¡ data ¡sets ¡need ¡tools! ¡ ¡ Humans ¡are ¡limited ¡in ¡ 2-­‑3D. ¡ Machine ¡learning ¡is ¡ ¡ Highly ¡desired! ¡ Oren ¡depends ¡on ¡ ¡ StaXsXcs. ¡

Why ¡these ¡4 ¡sections? ¡ ✺ Summary ¡& ¡visualizaXon ¡ Graphical ¡ ✺ Probability ¡ ¡ Mathema@cal ¡ ✺ Inference ¡– ¡StaXsXcal ¡Inference ¡ Analy@cal ¡ ✺ Tools ¡– ¡Machine ¡Learning ¡tools ¡ Algorithmical ¡

Why ¡these ¡4 ¡sections? ¡ ✺ The ¡common ¡thread ¡is ¡ Data. ¡ ¡ ✺ We ¡are ¡doing ¡computer ¡science ¡and ¡so ¡ are ¡like ¡ Data ¡Science ¡+ ¡ Comp. ¡Science ¡ these ¡ StaXsXcs ¡ yellow ¡ ¡ fish ¡ MathemaXcs ¡ ¡ ¡

Why ¡these ¡4 ¡sections? ¡ ✺ Real ¡world ¡data ¡is ¡oren ¡high ¡ dimensional ¡and ¡complex ¡ ✺ These ¡4 ¡parts ¡of ¡knowledge ¡or ¡ techniques ¡are ¡inseparably/ organically ¡connected ¡in ¡many ¡real ¡ world ¡applicaXons. ¡

Learning ¡Programming ¡R ¡ ✺ Language ¡of ¡the ¡staXsXcians ¡ ✺ Best-­‑in-­‑class ¡visualizaXon ¡tools ¡ ✺ Countless ¡expert ¡packages ¡ including ¡machine ¡learning ¡ ✺ Open-­‑source, ¡free ¡

Which ¡are ¡the ¡success ¡ingredients? ¡ A. Try ¡your ¡best ¡to ¡be ¡engaged, ¡learn ¡from ¡ the ¡course ¡and ¡from ¡each ¡other, ¡ ¡ B. AcXve ¡in ¡class ¡parXcipaXon ¡ C. Do ¡as ¡much ¡pracXce ¡as ¡possible, ¡not ¡just ¡ the ¡homework. ¡ D. Read ¡the ¡textbook ¡ E. All ¡the ¡above ¡ F. Why ¡does ¡i-­‑clicker ¡have ¡only ¡5 ¡choices? ¡

Which ¡are ¡the ¡success ¡ingredients? ¡ A. Try ¡your ¡best ¡to ¡be ¡engaged, ¡learn ¡from ¡ the ¡course ¡and ¡from ¡each ¡other, ¡ ¡ B. AcXve ¡in ¡class ¡parXcipaXon ¡ C. Do ¡as ¡much ¡pracXce ¡as ¡possible, ¡not ¡just ¡ the ¡homework. ¡ D. Read ¡the ¡textbook ¡ E. All ¡the ¡above ¡ F. Why ¡does ¡i-­‑clicker ¡have ¡only ¡5 ¡choices? ¡

Break ¡

Lecture ¡I: ¡Data ¡Visualization ¡ &Summary ¡ ✺ Datasets ¡ {x} ¡– ¡a ¡set ¡of ¡N ¡items ¡x i , ¡ i=1…N, ¡each ¡of ¡which ¡is ¡a ¡tuple ¡ ¡ Proteins ¡ Cells ¡ Each ¡row ¡ ¡is ¡a ¡tuple ¡ ¡

Lecture ¡I: ¡Data ¡Visualization ¡ &Summary ¡ ✺ ConvenXon: ¡columns ¡are ¡the ¡ features ; ¡the ¡ number ¡of ¡features ¡is ¡ dimension. ¡ Proteins ¡ Cells ¡ Each ¡row ¡ ¡is ¡a ¡tuple ¡with ¡dimension ¡=5 ¡ ¡

Data ¡types ¡ ✺ Categorical ¡ ✺ Ordinal ¡ ✺ ConXnuous ¡

Data ¡types ¡ ✺ Categorical ¡ Smoker ¡or ¡non-­‑Smoker, ¡Female ¡or ¡Male ¡etc. ¡ ¡ ¡ ¡ ✺ Ordinal ¡ Not ¡saXsfied, ¡saXsfied, ¡very ¡saXsfied ¡ ✺ ConXnuous ¡ (any ¡real ¡number ¡within ¡a ¡range) ¡ Temperature ¡

Simple ¡Visualization ¡of ¡Data ¡ ¡ ¡ ✺ General ¡principles ¡ ✺ Bar ¡chart ¡ ✺ Histogram ¡ ✺ CondiXonal ¡histogram ¡