Highway to heaven Building microservices in the cloud GOTO Berlin | - PowerPoint PPT Presentation

Highway to heaven Building microservices in the cloud GOTO Berlin | 15.11.2016 | Christian Deger | @cdeger

Chris&an ¡Deger ¡ Chief ¡Architect ¡ cdeger@autoscout24.com ¡ @cdeger ¡

2,4 ¡Million ¡ Vehicles ¡

Microservices in the cloud adoption?

2000 ¡Servers ¡ 2 ¡Data ¡Centers ¡ MTBF ¡opCmized ¡

Dev ¡and ¡Ops ¡Silos ¡ Development ¡ OperaCons ¡ “Change” ¡ “Stability” ¡

New ¡ CEO ¡

Do ¡you ¡aMract ¡ Talent? ¡ ¡ ¡

What ¡does ¡a ¡ ¡ 21st ¡Century ¡ tech ¡company ¡ look ¡like? ¡

Great ¡Design ¡ Universally ¡Connected ¡ Mobile ¡First ¡ Instant ¡Business ¡Value ¡ Massive ¡Data ¡Insight ¡ Highly ¡Available ¡

Hmm, ¡we ¡are ¡ ¡ good, ¡but ¡not ¡great ¡

Reboot ¡ everything ¡

Project ¡ Tatsu

.NET ¡/ ¡Windows ¡to ¡JVM ¡/ ¡Linux ¡ Monolith ¡to ¡Microservices ¡ Data ¡center ¡to ¡AWS ¡ Devs ¡+ ¡Ops ¡to ¡CollaboraCon ¡culture ¡ Involve ¡product ¡people ¡

“Death ¡Star” ¡Diagrams ¡ Amazon ¡2008 ¡ TwiMer ¡2013 ¡

Self-­‑Contained ¡Systems ¡= ¡Microservices ¡Flavor ¡ Team ¡2 ¡ Team ¡3 ¡ One ¡business ¡ Self-­‑Contained ¡ capability ¡is ¡ System ¡are ¡ owned, ¡built ¡ verCcal ¡slices ¡ and ¡run ¡as ¡an ¡ integrated ¡at ¡ SCS ¡by ¡one ¡ the ¡UI. ¡ team. ¡ Team ¡1 ¡ hMp://scs-­‑architecture.org/ ¡

MigraCon ¡strategy ¡

same ¡ direcCon ¡

ARCHITECTURAL STRATEGIC DESIGN AND DELIVERY PRINCIPLES GOALS PRINCIPLES Goals of the business side High-Level Principles Tactical measures REDUCE TIME TO MARKET ORGANIZED AROUND BUSINESS CAPABILITIES YOU BUILT IT, YOU RUN IT Establish fast feedback loops to learn, validate and Build teams around products not projects. Follow the The team is responsible for shaping, building, running and improve. Remove friction, hand-offs and undifferentiated domain and respect bounded contexts. Make boundaries maintaining its products. Fast feedback from live and work. explicit. Inverse Conway Maneuver. customers helps us to continuously improve. SUPPORT DATA-DRIVEN DECISIONS ELIMINATE ACCIDENTAL COMPLEXITY CROSS-FUNCTIONAL TEAMS Provide relevant metrics and data for user and market Strive to keep it simple. Don’t over-engineer. 
 Engineers from all backgrounds work together in insights. Validate hypothesis for problems worth solving. Focus on necessary domain complexity. collaborative teams as engineers and share responsibilities. No silos. LOOSELY COUPLED AUTONOMOUS TEAMS MOBILE FIRST By default avoid sharing and tight coupling. 
 Make fast local decisions. Be responsible. Know your Start small and use device capabilities. No integration database. Don’t create the next monolith. boundaries. Share findings. BEST TALENT MACRO AND MICRO ARCHITECTURE BE BOLD Autonomy, Purpose and Mastery: We know why we do Clear separation. Autonomous micro services within the Go into production early. Value monitoring over tests. 
 things, we decide how to approach them and deliberately rules and constraints of the macro architecture. Fail fast, recover and learn. Optimize for MTTR not MTBF. practice our skills. COST EFFICIENCY SECURITY, COMPLIANCE AND DATA PRIVACY DATA-DRIVEN / METRIC-DRIVEN Run your segment in the right balance of cost and value. Build with least privilege and data privacy in mind. 
 Collect business and operational metrics. Analyze, alert Know your threat model. Limit blast radius. and act on them. ONE SCOUT IT AWS FIRST INFRASTRUCTURE AS CODE Foster collaboration. Harmonize and standardize tools. Favor AWS platform service over managed service, 
 Automate everything: Reproducible, traceable, auditable Pull common capabilities into decoupled platform services. over self-hosted OSS, over self built solutions. and tested. Immutable servers. Version 2.0 Icons made by Freepik from www.flaticon.com are licensed under CC BY 3.0

Build ¡ Learn ¡ Measure ¡

Conway’s ¡Law ¡ ¡ “organizaCons ¡which ¡design ¡systems ¡... ¡are ¡ constrained ¡to ¡produce ¡designs ¡which ¡are ¡ copies ¡of ¡the ¡communicaCon ¡structures ¡of ¡ these ¡organizaCons” ¡ ¡

Autonomous ¡teams ¡ organized ¡around ¡ business ¡capabiliCes ¡

collaboraCon ¡culture ¡

You ¡build ¡it, ¡ you ¡run ¡it. ¡

We ¡are ¡all ¡ engineers! ¡

Monitoring ¡ is ¡the ¡new ¡ tesCng ¡

Follow ¡the ¡ trail ¡

Templates ¡ • Faster ¡bootstrapping ¡ • Copied ¡not ¡inherited ¡ • Collect ¡and ¡share ¡best ¡pracCces ¡

Guilds ¡ Self-­‑organizing; ¡common ¡interests; ¡across ¡teams ¡ ¡ Macro ¡Architecture, ¡Infrastructure, ¡Frontend, ¡QA... ¡ Beware ¡of ¡mandelbrot ¡teams ¡

Con&nuous ¡ Delivery ¡

DevOps ¡Survey ¡

DevOps ¡Science ¡ Forsgren, ¡Nicole ¡and ¡Humble, ¡Jez, ¡The ¡Role ¡of ¡ConCnuous ¡Delivery ¡in ¡IT ¡and ¡OrganizaConal ¡Performance ¡(October ¡27, ¡2015). ¡Forsgren, ¡N., ¡J. ¡Humble ¡(2016). ¡"The ¡Role ¡ of ¡ConCnuous ¡Delivery ¡in ¡IT ¡and ¡OrganizaConal ¡Performance." ¡In ¡the ¡Proceedings ¡of ¡the ¡Western ¡Decision ¡Sciences ¡InsCtute ¡(WDSI) ¡2016, ¡Las ¡Vegas, ¡NV. ¡. ¡Available ¡at ¡ SSRN: ¡hMp://ssrn.com/abstract=2681909 ¡or ¡hMp://dx.doi.org/10.2139/ssrn.2681909 ¡

Delivery ¡Pipeline ¡ – ¡Data ¡Center ¡ CD ¡ CI ¡ ApplicaCon ¡ code ¡in ¡ Deployment ¡ package ¡ Deliver ¡package ¡to ¡ one ¡repository ¡per ¡ as ¡arCfact. ¡ servers ¡ service. ¡

Delivery ¡Pipeline ¡ – AWS ¡ CD ¡ CI ¡ ApplicaCon ¡ code ¡and ¡ Deployment ¡ package ¡ ¡1. ¡Create ¡or ¡update ¡ infrastructure ¡ and ¡ infrastructure ¡ service ¡infrastructure. ¡ specificaCon ¡in ¡one ¡ declaraCon ¡as ¡arCfact. ¡ ¡ repository ¡per ¡service. ¡ 2. ¡New ¡instances ¡pull ¡ down ¡package ¡and ¡ start ¡applicaCon. ¡

CaMle, ¡ not ¡pets ¡

Separate ¡ code ¡deployment ¡ from ¡ feature ¡release ¡

No ¡ staging ¡ environment ¡

Integrate ¡in ¡producCon ¡ Consumer ¡driven ¡contracts ¡ • Canary ¡releases ¡ • Shadow ¡traffic ¡ • SemanCc ¡monitoring ¡ •

Unlimited ¡Infrastructure ¡with ¡ APIs ¡

Frontend ¡integra&on ¡ Loosely ¡coupled ¡ Autonomous ¡teams ¡ High ¡opCmizaCon ¡

PageSpeed ¡Module ¡ css ¡(page) ¡ css ¡(page+fragment) ¡ css ¡(fragment) ¡ ngx_pagespeed ¡ js ¡(fragment) ¡ js ¡(page) ¡ js ¡(page+fragment) ¡

Hamburgers, ¡ not ¡caMle ¡

Event ¡Streaming ¡

? ¡

Picture Credits "HotWheels - '69 Ford Torino Talladega“ by Leap Kye, licensed under CC BY-ND 2.0 Enterprise IT Adoption Cycle by Simon Wardley under CC BY-SA 3.0 And the future is private by Simon Wardley under CC BY-SA 3.0 Leosvel et Diosmani by Ludovic Péron under CC BY-SA 3.0 Wandergeselle by Sigismund von Dobschütz under CC BY-SA 3.0 Puzzling by Bernd Gessler (Own work) CC BY-SA 3.0