RF-IDraw: Virtual Touch Screen in the Air Deepak Vasisht - PowerPoint PPT Presentation

RF-­‑IDraw: ¡Virtual ¡Touch ¡Screen ¡ in ¡the ¡Air ¡ Deepak ¡Vasisht ¡ Jue ¡Wang, ¡Dina ¡Katabi ¡

How ¡Do ¡We ¡Get ¡Virtual ¡Touch ¡Screens? ¡

How ¡Do ¡We ¡Get ¡Virtual ¡Touch ¡Screens? ¡ Use ¡RF-­‑localizaFon ¡to ¡track ¡the ¡RFIDs ¡ But ¡… ¡accuracy ¡is ¡not ¡enough ¡… ¡

How ¡Do ¡We ¡Get ¡Virtual ¡Touch ¡Screens? ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡ Wireless ¡ Source ¡ Antenna ¡Array ¡ Receiver ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡ Array’s ¡ ¡beam ¡ ¡ points ¡to ¡ source ¡ Antenna ¡Array ¡ Receiver ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡ Loca%on ¡ Uncertainty ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡ More ¡Antennas ¡ ¡ à ¡Less ¡uncertainty ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡

LocalizaFon ¡with ¡Antenna ¡Arrays ¡ Not ¡pracFcal! ¡

RF-­‑IDraw ¡ • Enables ¡virtual ¡touch ¡screens ¡in ¡the ¡air ¡ • MoFon ¡tracking ¡to ¡within ¡3.7cm ¡ • Rich ¡interface ¡that ¡recognizes ¡words ¡wriXen ¡in ¡ the ¡air ¡ • Works ¡with ¡standard ¡RFIDs ¡and ¡RFID ¡readers ¡

How ¡Does ¡it ¡Work? ¡

Ambiguity-­‑ResoluFon ¡Tradeoff ¡

Ambiguity-­‑ResoluFon ¡Tradeoff ¡ Antenna ¡spacing ¡is ¡ λ/2, ¡ ¡ ¡λ ¡is ¡the ¡wavelength ¡ ¡

Ambiguity-­‑ResoluFon ¡Tradeoff ¡ Ambiguity ¡ Higher ¡resoluFon ¡ ¡Spacing ¡is ¡λ ¡

Ambiguity-­‑ResoluFon ¡Tradeoff ¡ ¡8 ¡λ ¡

High ¡resoluFon ¡ Low ¡resoluFon ¡ Ambiguity-­‑ResoluFon ¡Tradeoff ¡ No ¡ambiguity ¡ Ambiguity ¡in ¡posiFon ¡

RF-­‑IDraw: ¡MulF-­‑ResoluFon ¡Array ¡ Narrowly ¡spaced ¡and ¡widely ¡spaced ¡antennas ¡ create ¡an ¡overlay ¡of ¡mulF-­‑resoluFon ¡beams. ¡ Use ¡fewer ¡antennas, ¡but ¡place ¡them ¡smartly ¡ ¡8 ¡λ ¡ λ/2 ¡

LocalizaFon ¡

LocalizaFon ¡ Are ¡we ¡done? ¡

Let’s ¡Try ¡ Accuracy ¡~ ¡15cm ¡ Errors ¡are ¡random ¡and ¡don’t ¡preserve ¡the ¡shape ¡ of ¡the ¡trajectory. ¡

Noiseless ¡Scenario ¡

Noiseless ¡Scenario ¡

Noiseless ¡Scenario ¡

Impact ¡of ¡Noise ¡ Mistaken ¡ Incorrect ¡ beams ¡ locaFon ¡

Impact ¡of ¡Noise ¡ Want ¡errors ¡to ¡be ¡systemaFc ¡–i.e., ¡they ¡may ¡ move ¡the ¡trajectory ¡but ¡preserve ¡its ¡shape ¡

Idea: ¡SFck ¡with ¡your ¡choices ¡

Idea: ¡SFck ¡with ¡your ¡choices ¡ Mistaken ¡ Incorrect ¡ beams ¡ locaFon ¡ SFcking ¡with ¡a ¡beam, ¡even ¡if ¡it ¡is ¡not ¡in ¡the ¡exact ¡ locaFon, ¡causes ¡systemaFc ¡errors ¡

Performance ¡Results ¡

ImplementaFon ¡ • ThingMagic ¡RFID ¡Readers ¡ – Reader ¡ ¡has ¡4 ¡antennas ¡ – Used ¡two ¡readers ¡ ¡ • Alien ¡Squiggle ¡RFID ¡Tags ¡ ¡ • Baseline: ¡2 ¡Antenna ¡arrays ¡with ¡4 ¡antennas ¡each ¡

Setup ¡ • Ground ¡Truth: ¡VICON ¡moFon ¡capture ¡system ¡ ¡ ¡ ¡

Example ¡

Examples ¡ 4 ¡cm ¡wide ¡ “Jue” ¡ “Clear” ¡

Metric: ¡Absolute ¡PosiFoning ¡Error ¡ Ground ¡truth ¡

Absolute ¡PosiFoning ¡Error ¡ 1 ¡ RF-­‑IDraw ¡ Antenna ¡Arrays ¡ 0.8 ¡ 0.6 ¡ 19cm ¡ CDF ¡ 0.4 ¡ 42cm ¡ 0.2 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ PosiFoning ¡error ¡(in ¡m) ¡

Metric: ¡Trajectory ¡Error ¡ Ground ¡truth ¡

Trajectory ¡Error ¡ Antenna ¡Arrays ¡ RF-­‑IDraw ¡ 1 ¡ 0.8 ¡ 0.6 ¡ 3.7cm ¡ CDF ¡ 0.4 ¡ 0.2 ¡ 40.8cm ¡ 0 ¡ 0 ¡ 0.5 ¡ 1 ¡ 1.5 ¡ 2 ¡ 2.5 ¡ 3 ¡ Trajectory ¡Error ¡(in ¡m) ¡

Virtual ¡Touch ¡Screen ¡ApplicaFon ¡ • 5 ¡users ¡wrote ¡150 ¡words ¡ • Words ¡used ¡as ¡touch ¡gestures ¡on ¡Android ¡ using ¡MonkeyRunner ¡API ¡ • Word ¡recogniFon ¡using ¡MyScript ¡Stylus ¡app ¡

Example ¡ Antenna ¡Arrays ¡ RF-­‑IDraw ¡

Character ¡RecogniFon ¡Rate ¡ RF-­‑IDraw ¡delivers ¡accurate ¡virtual ¡touch ¡screens ¡ 98% ¡ 97.60% ¡ 97.30% ¡ 100% ¡ Character ¡RecogniFon ¡Rate(%) ¡ 80% ¡ 60% ¡ RF-­‑IDraw ¡ Antenna ¡Arrays ¡ 40% ¡ 20% ¡ 3.70% ¡ 4.20% ¡ 0.40% ¡ 0% ¡ 2m ¡ 3m ¡ 5m ¡ Distance ¡from ¡Source ¡ ¡(in ¡m) ¡

Related ¡Work ¡ • RF-­‑based ¡localiza%on ¡ ¡ – Witrack ¡[NSDI,14], ¡WiSee ¡[Mobicom’14], ¡ArrayTrack ¡[NSDI’13], ¡ PinPoint ¡[NSDI’13], ¡PinIt ¡[SIGCOMM’13], ¡Zee ¡[MobiCom’12], ¡ PinLoc ¡[MobySys’12], ¡FM-­‑based ¡[MobySys’12], ¡EZ ¡ [MobiCom’10], ¡…. ¡ • Kinect ¡and ¡vision-­‑based ¡gesture ¡recogni%on ¡ – ¡Zhang ¡et ¡al ¡[IEEE ¡MulFmedia’13], ¡Murata ¡et ¡al ¡[IJDSN’14] ¡, ¡Yin ¡ et ¡al ¡[IEEE ¡VL/HCC’14] ¡

Conclusion ¡ • RF-­‑IDraw ¡the ¡first ¡wireless ¡system ¡that ¡enables ¡ virtual ¡touch ¡screens ¡on ¡the ¡air ¡ • It ¡focuses ¡on ¡trajectory ¡tracking ¡as ¡opposed ¡to ¡ point-­‑by-­‑point ¡localizaFon ¡ • It ¡introduces ¡the ¡concept ¡of ¡mulF-­‑resoluFon ¡ arrays ¡ ¡ • Its ¡design ¡applies ¡beyond ¡RFIDs ¡to ¡other ¡wireless ¡ technologies ¡– ¡e.g., ¡WiFi ¡