Model and Implementa:on G. Cugola E. Della Valle - PowerPoint PPT Presentation

Stream ¡and ¡Complex ¡Event ¡Processing ¡ Uncertainty ¡in ¡CEP ¡ Model ¡and ¡Implementa:on ¡ G. ¡Cugola ¡ ¡ ¡ ¡E. ¡Della ¡Valle ¡ ¡ ¡ ¡A. ¡Margara ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Politecnico ¡di ¡Milano ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Vrije ¡Universiteit ¡Amsterdam ¡ cugola@elet.polimi.it a.margara@vu.nl dellavalle@elet.polimi.it

Uncertainty ¡in ¡CEP ¡ Complex ¡Event ¡ Processing ¡ rules ¡ sources ¡ sinks ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 2 ¡

Uncertainty ¡in ¡CEP ¡ Model ¡ ¡ Iden:fy ¡ Implement ¡ & ¡ Propagate ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 3 ¡

IDENTIFY ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 4 ¡

Iden:fy ¡ • Uncertainty ¡in ¡events ¡ • Content ¡of ¡events ¡ • Occurrence ¡of ¡events ¡ • Time ¡of ¡occurrence ¡ • Uncertainty ¡in ¡rules ¡ • Incomplete ¡knowledge ¡of ¡the ¡domain ¡ • Erroneous ¡assump:ons ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 5 ¡

Uncertainty ¡in ¡Events ¡ • Content ¡of ¡events ¡ • Imprecise ¡sensor ¡ • E.g., ¡a ¡temperature ¡sensor ¡with ¡max ¡resolu:on ¡of ¡1°C ¡ • Erroneous ¡reading ¡from ¡sensors ¡ • Systema:c ¡error ¡ – E.g., ¡the ¡measured ¡temperature ¡is, ¡on ¡the ¡average, ¡1°C ¡higher ¡ than ¡the ¡real ¡temperature ¡ • Random ¡error ¡ – Varies ¡from ¡measure ¡to ¡measure ¡ – Centered ¡around ¡the ¡“real” ¡value ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 6 ¡

Uncertainty ¡in ¡Events ¡ • Occurrence ¡of ¡events ¡ • False ¡nega:ves ¡ • E.g., ¡source ¡failure ¡/ ¡communica:on ¡error ¡ • There ¡is ¡a ¡probability ¡that ¡there ¡is ¡smoke ¡even ¡if ¡we ¡did ¡ not ¡receive ¡any ¡no:fica:on ¡from ¡a ¡smoke ¡sensor ¡ • False ¡posi:ves ¡ • E.g., ¡imprecise ¡source ¡ • There ¡is ¡a ¡probability ¡that ¡there ¡is ¡no ¡smoke ¡even ¡if ¡we ¡ received ¡a ¡no:fica:on ¡from ¡the ¡smoke ¡sensor ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 7 ¡

Uncertainty ¡in ¡Events ¡ • Time ¡of ¡occurrence ¡ • Two ¡problems: ¡ • Synchroniza:on ¡problems ¡ • Out ¡of ¡order ¡delivery ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 8 ¡

Synchroniza:on ¡Problems ¡ • If ¡A ¡and ¡B ¡are ¡very ¡close ¡(in ¡:me) ¡to ¡each ¡other, ¡ how ¡can ¡we ¡evaluate ¡the ¡correct ¡order? ¡ • Impossibility ¡to ¡implement ¡clock ¡synchroniza:on ¡with ¡ infinite ¡precision ¡ A ¡ B ¡ A ¡ à ¡B ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 9 ¡

Out-­‑of-­‑Order ¡Delivery ¡ • Imagine ¡we ¡have ¡“precise ¡enough” ¡clocks ¡ • Aber ¡receiving ¡B, ¡should ¡we ¡wait ¡for ¡an ¡A ¡(with ¡ lower ¡:mestamp)? ¡ • How ¡long ¡should ¡we ¡wait? ¡ A ¡ B ¡ A ¡ à ¡B ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 10 ¡

Out-­‑of-­‑Order ¡Delivery ¡ • In ¡most ¡CEP ¡systems ¡out-­‑of-­‑order ¡is ¡simply ¡ ignored ¡ • For ¡performance ¡reasons ¡ • Some:mes ¡events ¡are ¡stored ¡and ¡ordered ¡in ¡ an ¡input ¡queue ¡before ¡processing ¡ • When ¡performance ¡are ¡not ¡of ¡primary ¡importance ¡ • Simple ¡solu:on ¡ • Es:ma:on ¡of ¡maximum ¡delay ¡(MD) ¡ • Always ¡wait ¡for ¡MD ¡before ¡events ¡can ¡be ¡processed ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 11 ¡

Out-­‑of-­‑Order ¡Delivery ¡ 10ms ¡ A ¡ A ¡ à ¡B ¡ B ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 12 ¡

MODEL ¡& ¡PROPAGATE ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 13 ¡

Requirements ¡ • Capture ¡both ¡uncertainty ¡of ¡events ¡and ¡rules ¡ • Expressive ¡ • Should ¡apply ¡to ¡exis:ng ¡rule ¡languages ¡ • Low ¡overhead ¡ • CEP ¡engines ¡are ¡designed ¡for ¡performance! ¡ • Easy ¡to ¡use ¡ • Wri:ng ¡rules ¡is ¡complex! ¡ • We ¡do ¡not ¡want ¡to ¡further ¡complicate ¡it ¡ • Actually, ¡we ¡want ¡to ¡simplify ¡it ¡… ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 14 ¡

Our ¡Solu:on ¡ • CEP2U ¡ • Complex ¡Event ¡Processing ¡Under ¡Uncertainty ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 15 ¡

CEP2U ¡-­‑ ¡Design ¡ • Two ¡different ¡models ¡ • Probability ¡theory ¡ • To ¡model ¡uncertainty ¡in ¡events ¡ • Bayesian ¡Networks ¡ • To ¡model ¡uncertainty ¡in ¡rules ¡ • Completely ¡independent ¡modeling ¡and ¡ evalua:on ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 16 ¡

CEP2U ¡-­‑ ¡Design ¡ • Low ¡modeling ¡effort ¡ • Uncertainty ¡in ¡events ¡does ¡not ¡affect ¡rule ¡ defini:on ¡ • Effort ¡delegated ¡to ¡sources ¡ • Uncertainty ¡in ¡rules ¡is ¡op:onal ¡ • Incremental ¡modeling ¡is ¡possible ¡ – Refinement ¡steps ¡ • Actually ¡simplifies ¡modeling ¡ – When ¡unknown ¡phenomena ¡influence ¡the ¡occurrence ¡of ¡ composite ¡events ¡ – When ¡non ¡measurable ¡phenomena ¡influence ¡the ¡occurrence ¡ of ¡composite ¡events ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 17 ¡

CEP2U ¡-­‑ ¡Design ¡ • Designed ¡to ¡demand ¡for ¡low ¡processing ¡effort ¡ • Uncertainty ¡in ¡events ¡introduces ¡a ¡rela:vely ¡low ¡ overhead ¡during ¡event ¡processing ¡ • Uncertainty ¡in ¡rules ¡evaluated ¡at ¡rule ¡design ¡:me ¡ • No ¡addi:onal ¡effort ¡at ¡run-­‑:me ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 18 ¡

UNCERTAINTY ¡IN ¡EVENTS ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 19 ¡

CEP2U ¡-­‑ ¡Event ¡Model ¡ Probability ¡of ¡ occurrence ¡ Temp@10 ¡%1 ¡ (km=<16.1, ¡U(-­‑1,1), ¡value=<24.5, ¡N(0,1)> ¡ Random ¡error, ¡ encoded ¡as ¡a ¡random ¡variable ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 20 ¡

CEP2U ¡-­‑ ¡Event ¡Model ¡ • Error ¡in ¡event ¡arributes ¡can ¡and ¡should ¡be ¡ defined ¡at ¡sources ¡ • E.g., ¡based ¡on ¡the ¡data ¡sheets ¡of ¡the ¡sensors ¡ • E.g., ¡based ¡on ¡previous ¡observa:ons ¡ • Probability ¡of ¡occurrence ¡and ¡distribu:on ¡of ¡ arributes ¡of ¡composite ¡events ¡ • Computed ¡at ¡run-­‑:me ¡ • As ¡part ¡of ¡the ¡detec:on ¡process ¡ • Based ¡on ¡the ¡values ¡in ¡primi:ve ¡events ¡ Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Uncertainty ¡in ¡CEP: ¡Model ¡and ¡Implementa:on ¡ 21 ¡