Challenges and lessons learned with Openstack deployments and - PowerPoint PPT Presentation

Challenges ¡and ¡lessons ¡learned ¡with ¡ Openstack ¡deployments ¡and ¡MySQL ¡ Sandro ¡Mazzio+a ¡ Sr ¡Director ¡Product ¡Management ¡IaaS ¡

Who ¡I ¡am ¡ ¡ o I ¡am ¡not ¡a ¡DB ¡expert ¡or ¡a ¡DBA ¡ o I ¡work ¡in ¡Product ¡Management ¡since ¡15+ ¡years ¡ o I ¡work ¡at ¡eNovance ¡since ¡2 ¡months ¡ o I ¡started ¡with ¡Openstack ¡in ¡July ¡2011 ¡ o I’ve ¡been ¡launching ¡HP ¡Cloud ¡Services ¡DBaaS ¡offering ¡

eNovance ¡loca>ons ¡and ¡figures ¡ Montréal Founded in Founded in Bangalore ¡ People People ¡ Paris ¡ San Francisco ¡ Customers Customers ¡ ¡ ¡ ¡ ¡ Gr Growth in owth in ¡ Revenue Revenue ¡

Journey ¡to ¡the ¡cloud ¡ ¡ Value ¡ Engineering ¡ Software Architecture : from centralized apps to distributed services Software Engineering : from Waterfall to Agile Software Client / Server Services / API Vertical Scaling Horizontal Scaling Hardware is key Software is key Centralized Distributed IT Infrastructure : from Mainframe to Cloud Cloud Infrastructure Engineering : from Ops to DevOps Infrastructure Expensive Hw Cheap Hw Vertical Scaling Horizontal Scaling Monolithic Distributed Centralized

Market ¡& ¡opportunity ¡ ¡ ¡ Large Enterprises Not Scalable Rich Set of Features eNovan eNo ance ce ¡ ¡ Software for Private Cloud: Expensive No Versioning $ 10 bn by 2017 Cl Clou oud ¡S ¡Sol olu/on ons Not Cloud Shared Infrastructure Seamless ¡Build ¡& ¡Delivery ¡ Telcos of ¡OpenStack ¡Cloud Containers Not Scalable xSP Infrastructures Not Scalable Expensive Software for Public Cloud : Not Cloud Not Cloud $ 8 bn by 2017 Telecom Equipment Vendors Migrate from Physical Appliance To Network Functions Virtualization NFV : $ 2bn by 2017

What ¡we ¡do ¡? ¡ ¡ Use a Cloud ¡ Use a Cloud Build a Cloud Build a Cloud ¡ Deliver Cloud-Ready Deliver Cloud-Ready Deliver your Private or Public Deliver your Private or Public ¡ applications on top of existing applications on top of existing Cloud on Premise with a r Cloud on Pr emise with a real eal Cloud infrastructures : Cloud infrastructur es : Cloud Appr Cloud Approach : oach : • Elastic & Scalable • No Versioning • Continuous Delivery • Pay as you Grow • Pay as you Grow • AWS Features Match • Enterprise Grade SLA • Enterprise Grade SLA • 24/7 Support ¡ • 24/7 Support ¡

Openstack ¡& ¡eNovance ¡ ¡ ¡ ¡ q Gold ¡Member ¡ q ¡Top ¡Ten ¡Contributor ¡ q Share ¡DNA ¡Open ¡Cloud, ¡Open ¡Source ¡

Openstack ¡is ¡not ¡simple ¡ ¡

Openstack ¡is ¡not ¡cloud ¡ ¡ (Subbu ¡Allamaraju ¡eBay, ¡July ¡25, ¡2013) ¡ “infra ¡onboarding, ¡boostrapping, ¡remediaRon, ¡config ¡management, ¡patching, ¡packaging, ¡upgrades, ¡ high ¡availability , ¡ monitoring, ¡metrics, ¡user ¡support, ¡capacity ¡forecasRng ¡and ¡management, ¡billing ¡or ¡chargeback, ¡reclamaRon, ¡security, ¡ firewalls, ¡DNS, ¡integraRon ¡with ¡other ¡internal ¡infrastructure ¡and ¡tools, ¡and ¡on ¡and ¡on ¡and ¡on”. ¡ All ¡key ¡requirements ¡for ¡producRon: ¡ • By ¡Enterprise ¡for ¡Private ¡Cloud ¡ • By ¡Service ¡Providers ¡for ¡Public ¡Cloud ¡

Openstack ¡Upstream ¡does ¡not ¡address ¡HA ¡ ¡ ApplicaRon ¡on ¡top ¡Openstack ¡ OS ¡Infra. ¡Plane: ¡ ¡Openstack ¡API ¡ ¡Message ¡Queues ¡ ¡DB ¡ VirtualizaRon ¡Layer ¡ Openstack ¡HA ¡Guide ¡ … ¡ ¡ h+p://docs.openstack.org/high-­‑ availability-­‑guide/content/ index.html ¡

eNovance ¡Openstack ¡Reference ¡Architecture ¡V1.0 ¡ ¡ Ø Management ¡cluster ¡full ¡highly ¡available ¡ Ø OpenStack ¡API, ¡schedulers ¡ Ø RabbitMQ, ¡Database, ¡Cache ¡ Ø Network ¡services ¡ Ø Compute ¡nodes ¡with ¡KVM ¡and ¡Open-­‑ vSwitch ¡with ¡GRE ¡tunnels ¡as ¡overlay ¡ Ø Swia ¡cluster ¡ Ø Ceph ¡cluster, ¡used ¡as ¡backend ¡for ¡Nova, ¡ Glance ¡and ¡Cinder ¡

eNovance ¡Openstack ¡product ¡ ¡ • Contains ¡all ¡core ¡projects ¡of ¡ Openstack ¡ • Supports ¡HA ¡in ¡a ¡Single ¡DC ¡mode ¡ • Based ¡on ¡ ¡ • eDeploy ¡(eNovance ¡Bare ¡Metal ¡ Deployment ¡Opensource) ¡ • Puppet ¡as ¡Soaware ¡ ConfiguraRon ¡Management ¡

What ¡about ¡DB ¡in ¡our ¡product? ¡ DB ¡Requirements: ¡ FuncRonal ¡& ¡Performance ¡requirements: ¡ ¡ • 100 ¡% ¡upRme ¡ • Performance ¡DegradaRon ¡is ¡ok ¡ Galera ¡cluster ¡for ¡MySQL ¡ ¡ Business ¡Requirements: ¡ Opensource ¡

eNovance ¡Galera ¡for ¡MySQL ¡usage: ¡results ¡ ¡ Experience ¡from ¡ProducRon ¡Environment: ¡ 1 ¡cluster ¡of ¡3 ¡Management ¡Nodes ¡ • No ¡Service ¡InterrupRon ¡ • Performance ¡DegradaRon ¡are ¡OK ¡ • Galera ¡performed ¡correctly ¡

On ¡the ¡topic ¡of ¡Mul> ¡Data ¡Center ¡ ¡ East ASIA Goal ¡is ¡to ¡address: ¡ ¡ EMEA • Disaster ¡Recovery ¡ West 1 • Local ¡Affinity ¡

Not ¡all ¡services ¡are ¡ready ¡for ¡Mul>-­‑DC ¡ ¡ • Openstack ¡has ¡a ¡concept ¡of ¡AZ, ¡Host ¡AggregaRon ¡= ¡good ¡in ¡a ¡single ¡DC ¡. ¡ Not ¡good ¡If ¡your ¡DC ¡are ¡separated ¡by ¡a ¡WAN… ¡ • Nova ¡Cells ¡is ¡good ¡for ¡distribuRon ¡(but ¡nobody ¡else ¡is ¡taken ¡care)… ¡ • MulRple ¡Region ¡– ¡Keystone ¡in ¡every ¡region ¡or ¡one ¡overlay ¡ ¡ Galera ¡3 ¡ Using ¡Heat ¡to ¡orchestrate ¡ Galera ¡SynchronizaRon ¡over ¡ MulRple ¡Region ¡ WAN ¡

Keystone ¡ ¡ Our ¡experience ¡working ¡at ¡large ¡ customers ¡is ¡that: • Token ¡storage ¡is ¡a ¡nightmare ¡and • and ¡do ¡not ¡scale ¡well ¡on ¡large ¡scale ¡ deployment ¡ • Key ¡Value ¡Store ¡(memcache, ¡redis, ¡ …) ¡-­‑> ¡MySQL ¡-­‑> ¡memcache ¡(but ¡we ¡ have ¡a ¡bug)… ¡euh…

Everything ¡is ¡MySQL, ¡almost… ¡ ¡ VS ¡

Ceilometer, ¡we ¡use ¡mongoDB ¡ ¡ Because ¡we ¡need ¡scalibility ¡and ¡because ¡ of ¡the ¡nature ¡of ¡informaRon ¡to ¡store ¡ But ¡ Requires ¡MongoDB ¡DBA, ¡Runbook, ¡skills, ¡ … ¡

Openstack ¡is ¡not ¡cloud ¡ ¡ (Subbu ¡Allamaraju ¡eBay, ¡July ¡25, ¡2013) ¡ “infra ¡onboarding, ¡boostrapping, ¡remediaRon, ¡ config ¡management, ¡patching, ¡packaging, ¡upgrades , ¡high ¡availability, ¡ monitoring, ¡metrics, ¡user ¡support, ¡capacity ¡forecasRng ¡and ¡management, ¡billing ¡or ¡chargeback, ¡reclamaRon, ¡security, ¡ firewalls, ¡DNS, ¡integraRon ¡with ¡other ¡internal ¡infrastructure ¡and ¡tools, ¡and ¡on ¡and ¡on ¡and ¡on”. ¡ All ¡key ¡requirements ¡for ¡producRon: ¡ • By ¡Enterprise ¡for ¡Private ¡Cloud ¡ • By ¡Service ¡Providers ¡for ¡Public ¡Cloud ¡

Why ¡we ¡need ¡update ¡– ¡upgrade ¡–patching… ¡? ¡ ¡ Billing ¡ CRM ¡ Porta l ¡ seongs ¡ changes ¡ IntegraRon ¡ mess ¡ User ¡ new ¡ release ¡ driver ¡firmware ¡ bug ¡fixes ¡ update ¡

What ¡is ¡our ¡vision ¡ ¡ Deliver ¡Openstack ¡and ¡app ¡on ¡top ¡of ¡ it ¡using ¡Openstack ¡process ¡and ¡tools ¡ ConRnuous ¡IntegraRon/Delivery ¡

Leverage ¡the ¡Openstack ¡process ¡ ¡ How ¡Openstack ¡handle ¡ • Contribu/on ¡of ¡400 ¡developers ¡/ ¡month? • Developers ¡from ¡250 ¡companies? • 10+ ¡integrated ¡projects? and ¡yet ¡release ¡a ¡new ¡version ¡ • every ¡6 ¡months ¡ • with ¡400 ¡new ¡features ¡ • without ¡major ¡inconsistencies? ¡

… ¡and ¡tools ¡ ¡ Reproducible ¡environments ¡ Everything ¡in ¡ • Process ¡descrip/on ¡and ¡code • Dynamic ¡Provision ¡test ¡env ¡when ¡ • Infrastructure ¡used ¡to ¡handle ¡the ¡process needed ¡by ¡Jenkins • Code ¡to ¡deploy ¡the ¡infrastructure • Allow ¡dev ¡to ¡generate ¡a ¡test ¡env ¡for ¡ debug ¡at ¡will • Store ¡validated ¡releases ¡and ¡customer ¡ specific ¡env ¡(in ¡Openstack ¡Swi^) 100 ¡Rmes ¡be+er ¡than ¡documentaRon ¡of ¡a ¡manual ¡ process ¡that ¡is ¡never ¡up ¡to ¡date... ¡