Data-driven Control of Flapping Flight Jehee Lee Seoul National - PowerPoint PPT Presentation

Data-driven Control of Flapping Flight Jehee Lee Seoul National University Collaboration with Eunjung Ju, Jungdam Won, Byungkuk Choi, Junyong Noh, Min Gyu Choi (ACM Transactions on Graphics 2013, presented at SIGGRAPH 2014)

Flying Animation [ ¡Avatar, ¡2009 ¡] [ ¡How ¡to ¡train ¡your ¡dragon, ¡2010 ¡] [ ¡Rio, ¡2011 ¡] [ ¡How ¡to ¡train ¡your ¡dragon ¡2, ¡2014 ¡] [ ¡Kung ¡Fu ¡Panda ¡2, ¡2011 ¡] [ ¡Rio ¡2, ¡2014 ¡]

Motivation

Challenges • Realistic Simulation and Control • Steering and Balancing • Interactive performance • Generalization

Overview Bird motion Physics-based capture data model & simulation Data-driven controller Training data

Overview Bird motion Physics-based capture data model & simulation Data-driven controller Training data

7m 10m 10m

Overview Bird motion Physics-based capture data model & simulation Data-driven controller Training data

What makes the bird fly

What makes the bird fly Close/Spread at downstroke Open/Gather at upstroke

Bird Modeling Primary Feathers (10) Wrist (1 DOF) Elbow (2 DOFs) Secondary Feathers (8) Shoulder (3 DOFs) Tail Feathers (12) Tail (2 DOFs)

Bird Modeling

Parameterized Wingbeat Average wingbeat Tail Left arm Right arm Scale Translation Time warping

Overview Bird motion Physics-based capture data model & simulation Data-driven controller Training data

Control Problem wingbeat P c current state desired state S c S d

Differential Regression …

Data-driven Approach …

Ascend Left Right Descend

Improving Steerability Left Right

26

Controller Design Paradigm Ours Data-driven Optimization based Flexible Simple Versatile Easy-to-implement Easy-to-generalize Computationally efficient

Future Study • Accurate simulation model – Aero dynamics (Turbulence, vortex) • Generalization to other behavior/species – Perching, souring, diving – Imaginary bird • 3D printing of mechanical birds

Two SNU papers at SIGGRAPH Aia 2014 • Generating and Ranking Diverse Multi-Character Interactions • Locomotion Control for Many-Muscle Humanoids

Generating and Ranking Diverse Multi-Character Interactions J ungdam ¡Won ¡ ¡ ¡ K yungho ¡Lee ¡ ¡ ¡ J ehee ¡Lee ¡ C arol ¡O’Sullivan ¡ ¡ ¡ J essica ¡K. ¡Hodgins ¡ Seoul ¡National ¡University Disney ¡Research

Two ¡pedestrians, ¡Tom ¡and ¡John, ¡bumped ¡into ¡ each ¡other. ¡Tom ¡pointed ¡at ¡John ¡and ¡yelled. ¡ John ¡pushed ¡Tom ¡on ¡his ¡shoulder. ¡Meanwhile, ¡ David ¡watched ¡them ¡in ¡quarrel. ¡Tom ¡punched ¡ John ¡and ¡then ¡kicked ¡him. ¡David ¡jumped ¡in ¡the ¡ fight ¡and ¡punched ¡Tom ¡on ¡his ¡face.

Event Graph Subject Object Transition

Challenges Script-to-Animation many plausible scenes generate-and-rank no natural language processing yet Scene Synthesis multiple actors, physical contacts, realistic human motion high-dimensional configuration space

Event Graph

LOCOMOTION ¡CONTROL ¡FOR ¡ 
 MANY-­‑MUSCLE ¡HUMANOIDS Yoonsang ¡Lee 1,2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Moon ¡Seok ¡Park 3 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Taesoo ¡Kwon 4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Jehee ¡Lee 1 1 Seoul ¡National ¡University ¡ ¡ 2 Samsung ¡Electronics ¡Co., ¡Ltd. ¡ ¡ 3 Seoul ¡National ¡University ¡Bundang ¡Hospital ¡ ¡ 4 Hanyang ¡University

Human Movements Complex musculoskeletal system many bones and muscles coordination of muscle actuation highly nonlinear dynamics Variety of locomotor skills locomotion is a policy, not a pattern balancing strategy predicting new gait patterns under varied conditions

[SIGGRAPH 2007] Sok et al, Simulating Biped Behaviors from Human Motion Data

[SIGGRAPH 2010] Lee et al, Data-driven biped control

[SIGGRAPH 2010] Lee et al, Data-driven biped control

L Gait2562 ¡ Gait2592 ¡ Fullbody ¡ (25 ¡DOFs, ¡62 ¡muscles) (25 ¡DOFs, ¡92 ¡muscles) (39 ¡DOFs, ¡120 ¡muscles)

Hill-­‑Type ¡Muscle ¡Model

Hill-­‑Type ¡Muscle ¡Model SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle

Hill-­‑Type ¡Muscle ¡Model SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle

Hill-­‑Type ¡Muscle ¡Model SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle

48

Unilateral ¡Painful ¡Ankle ¡Plantar ¡Flexor Patients ¡tend ¡to ¡reduce ¡the ¡use ¡ of ¡the ¡ankle ¡plantar ¡flexors

Painful ¡Joints ¡on ¡Unilateral ¡Limb Patients ¡tend ¡to ¡reduce ¡contact ¡force

Painful ¡Left ¡Ankle ¡Plantar ¡Flexor Painful ¡Joints ¡on ¡Left ¡Leg

Waddling ¡Gait Bilateral ¡ Gluteus ¡Medius ¡& ¡ Minimus ¡Weakness ¡ Upper ¡body ¡swing ¡laterally

Trendelenburg ¡Gait Un ilateral ¡ Gluteus ¡Medius ¡& ¡ Minimus ¡Weakness

Surgery Simulation Surgery improves cerebral palsy gaits lengthen muscles/tendons and fix bone deformity Predictive simulation of post-operative gaits from pre-operative motion capture and surgery planning


 Data-driven Control of Flapping Flight 
 Data & Code are available at 
 http://mrl.snu.ac.kr/

60

Event Graph John WALK BUMP POINT PUSH PUNCH KICK Tom WALK KICK David WALK WATCH