md sal clustering internals
play

MD-SAL Clustering Internals Moiz Raja Open Daylight Summit 2015 - PowerPoint PPT Presentation

Dec 10, 2022 •526 likes •1.2k views

MD-SAL Clustering Internals Moiz Raja Open Daylight Summit 2015 www.opendaylight.org My Collaborators Tom Pantelis Abhishek Kumar Luis Gomez Basheeruddin Ahmed Phillip Shea Colin

  1. MD-SAL Clustering Internals Moiz Raja Open Daylight Summit 2015 www.opendaylight.org

  2. My ¡Collaborators ¡ Tom Pantelis ▪ Abhishek ¡Kumar ¡ ▪ Luis ¡Gomez ¡ ▪ Basheeruddin ¡Ahmed ¡ ▪ Phillip ¡Shea ¡ ▪ Colin ¡Dixon ¡ ▪ Radhika ¡Hirannaiah ¡ ▪ Harman ¡Singh ¡ ▪ and ¡many ¡more… ¡ ▪ Kamal ¡Rameshan ¡ ▪ Robert ¡Varga ¡ ▪ Tony ¡Tkacik ¡ 2 www.opendaylight.org

  3. Agenda ¡ ▪ Architecture ¡ ▪ Modules ¡ ▪ Flows ¡ ▪ DiagnosHcs ¡ ▪ QuesHons ¡ ¡ www.opendaylight.org

  4. Architecture ¡ 4 www.opendaylight.org

  5. Subsystems member-­‑2 ¡ member-­‑1 ¡ member-­‑2 ¡ member-­‑1 ¡ member-­‑3 ¡ Remote RPC Connector Distributed Data Store 5 www.opendaylight.org

  6. High ¡Level ¡Architecture Distributed Data Store Remote RPC Connector Persistence Remoting Clustering www.opendaylight.org

  7. Actor ¡Systems Distributed Data Store Remote RPC Connector Actor Hierarchy Configuration Dispatchers 7 www.opendaylight.org

  8. Data ¡Synchroniza:on Data store Remote RPC Synchronized Data Tree Synchronized RPC Registry Raft for Distributed Consensus Gossip for data distribution 8 www.opendaylight.org

  9. Distributed ¡Data ¡Store ¡ Architecture ¡ 9 www.opendaylight.org

  10. Accessing ¡Remote ¡Data Client member-2 member-1 10 www.opendaylight.org

  11. Loca:on ¡Transparency DistributedDataStore Client member-2 member-1 11 www.opendaylight.org

  12. DistributedDataStore DOMStore DistributedDataStore 12 www.opendaylight.org

  13. Communica:on DistributedDataStore Client Shard member-2 member-1 13 www.opendaylight.org

  14. Data ¡Distribu:on DistributedDataStore inventory ¡ member-2 Client member-1 topology ¡ member-3 14 www.opendaylight.org

  15. Module ¡Based ¡Shards / /inventory /topology /toaster 15 www.opendaylight.org

  16. HA Client inventory ¡– ¡follower ¡-­‑1 ¡ DistributedDataStore member-2 inventory ¡– ¡leader ¡ inventory ¡– ¡follower ¡-­‑ ¡2 ¡ member-1 member-3 16 www.opendaylight.org

  17. RaB ¡Distributed ¡Consensus starts ¡up/ ¡ ¡ recovers ¡ Follower Hmes ¡out, ¡ ¡ discovers ¡node ¡with ¡higher ¡term ¡ ¡ starts ¡elecHons ¡ leader ¡ Candidate Hmes ¡out, ¡ ¡ restarts ¡elecHons ¡ receives ¡votes ¡ follower-­‑1 ¡ follower-­‑2 ¡ from ¡majority ¡ ¡ Leader of ¡nodes ¡ Election Replication/Consensus 17 www.opendaylight.org

  18. Journal ¡replica:on transaction-4 transaction-3 transaction-2 transaction-4 transaction-1 transaction-3 transaction-2 follower-1 transaction-1 transaction-4 leader transaction-3 transaction-2 transaction-1 follower-2 18 www.opendaylight.org

  19. Snapshot ¡Replica:on follower-1 leader follower-2 19 www.opendaylight.org

  20. Durability/Recovery Journal Snapshots 20 www.opendaylight.org

  21. Remote ¡RPC ¡Architecture ¡ 21 www.opendaylight.org

  22. Invoking ¡a ¡Remote ¡RPC Provider Consumer member-2 member-1 22 www.opendaylight.org

  23. Loca:on ¡Transparency RemoteRpcBroker RpcProviderProxy Provider Consumer member-2 member-1 23 www.opendaylight.org

  24. RPC ¡Registry RPC Registration Provider RPC Registry Listener 24 www.opendaylight.org

  25. RPC ¡Registry ¡Replica:on ¡-­‑ ¡Gossip modify ¡ m1,v1 ¡ m1 ¡ m2,v5 ¡ status ¡ m3,v7 ¡ All ¡buckets ¡and ¡their ¡ versions ¡known ¡to ¡all ¡ version=1 ¡ change ¡ members ¡ version ¡ status ¡ m2 ¡ m3 ¡ m1 ¡ Every ¡1 ¡second ¡members ¡ send ¡all ¡known ¡bucket ¡ ¡ ¡ e t versions ¡to ¡any ¡one ¡peer ¡ a version=2 ¡ d p u Local ¡bucket ¡updates ¡ ¡ change ¡version ¡ m2 ¡ m3 ¡ local ¡versions ¡higher ¡– ¡send ¡update ¡ local ¡versions ¡lower ¡– ¡send ¡status ¡to ¡sender ¡ 25 www.opendaylight.org

  26. Modules ¡ 26 www.opendaylight.org

  27. Modules clustering-test-app sal-clustering-config sal-clustering-commons sal-akka-raft sal-remoterpc-connector sal-distributed-datastore sal-akka-raft-example sal-dummy-distributed-datastore 27 www.opendaylight.org

  28. sal-­‑clustering-­‑commons ▪ Some ¡common ¡messages ¡ ▪ Actor ¡base ¡classes ¡ ▪ The ¡Protobuf ¡messages ¡used ¡in ¡Helium ¡ ▪ The ¡Protobuf ¡NormalizedNode ¡serializaHon ¡code ¡ ▪ The ¡NormalizedNode ¡streaming ¡code ¡ ▪ Other ¡miscellaneous ¡uHlity ¡classes ¡ 28 www.opendaylight.org

  29. sal-­‑akka-­‑raB ▪ ImplementaHon ¡of ¡the ¡Ra[ ¡Algorithm ¡on ¡top ¡of ¡akka ¡ ▪ Uses ¡akka-­‑persistence ¡for ¡durability ¡ ▪ Provides ¡a ¡base ¡class ¡called ¡ Ra:Actor ¡which ¡when ¡can ¡be ¡ extended ¡by ¡anyone ¡who ¡wants ¡to ¡replicate ¡state ¡ ▪ See ¡sal-­‑akka-­‑ra[-­‑example ¡which ¡provides ¡a ¡simple ¡ implementaHon ¡of ¡a ¡replicated ¡ HashMap ¡ 29 www.opendaylight.org

  30. sal-­‑distributed-­‑datastore ▪ ConcurrentDOMDataBroker ¡ ▪ DistributedDataStore ¡ ▪ ImplementaHon ¡of ¡the ¡ DOMStore ¡SPI ¡ ▪ Shard ¡built ¡on ¡top ¡of ¡Ra[Actor ¡ ▪ Creates ¡Shards ¡based ¡on ¡Sharding ¡strategy ¡ ▪ Code ¡for ¡a ¡client ¡to ¡interact ¡with ¡the ¡Shard ¡Leader ¡ 30 www.opendaylight.org

  31. sal-­‑remoterpc-­‑connector ▪ RemoteRpcProvider ¡ ▪ Default ¡RPC ¡Provider. ¡Invoked ¡when ¡an ¡RPC ¡is ¡not ¡found ¡in ¡ the ¡local ¡MD-­‑SAL ¡registry. ¡ ▪ Code ¡for ¡BucketStore ¡which ¡provides ¡a ¡mechanism ¡to ¡ replicate ¡state ¡based ¡on ¡Gossip ¡ ▪ Code ¡for ¡RpcBroker ¡which ¡allows ¡invoking ¡a ¡remote ¡rpc ¡ 31 www.opendaylight.org

  32. Data ¡store ¡flows ¡ 32 www.opendaylight.org

  33. Startup createInstance DistributedConfigDataStoreProviderModule create & waitTillReady waitTillReadyLatch DistributedDataStore ActorContext ShardManager Shard1 Shard Shard3 Shard4 33 www.opendaylight.org

  34. Recovery read last known state from disk Shard1 Shard Shard3 Shard4 ready ShardManager countDown waitTillReadyLatch 34 www.opendaylight.org

  35. Wai:ng ¡for ¡Ready ▪ Recovery ¡must ¡be ¡complete ¡ ▪ All ¡Shard ¡Leaders ¡must ¡be ¡known ¡ ▪ Three ¡messages ¡are ¡monitored ¡by ¡ShardManager ¡ ▪ Cluster.MemberStatusUp ▪ Used to figure out the address of a cluster member ▪ LeaderStateChanged ▪ Used to figure out if a Follower has a different Leader ▪ ShardRoleChanged ▪ Use to figured out any changes in a Shard’s Role ▪ WaiHng ¡is ¡not ¡infinite, ¡by ¡default ¡it ¡lasts ¡only ¡90 ¡seconds ¡but ¡ is ¡configurable ¡ ▪ Will ¡block ¡config ¡sub-­‑system ¡ 35 www.opendaylight.org

  36. Crea:ng ¡a ¡Transac:on newReadWriteTransaction DistributedDataStore create TransactionProxy 36 www.opendaylight.org

  37. First ¡Opera:on write(“inventory”, node) TransactionProxy ActorContext.findPrimary PrimaryCache.lookup/ ShardManager.findPrimary N NoOpTransactionContext Found? N Y RemoteTransactionContext Local? LocalTransactionContext 37 www.opendaylight.org

  38. Transac:ons Client member-1 Client member-1 DistributedDataStore DistributedDataStore member-2 inventory ¡– ¡leader ¡ inventory ¡– ¡leader ¡ Local Transaction Remote Transaction 38 www.opendaylight.org

  39. Local ¡Transac:on ¡Op:miza:on write merge delete ready LocalTransactionContext Shard - Leader member-1 39 www.opendaylight.org

  40. Remote ¡Transac:on ¡Op:miza:on write write ¡mod ¡ merge ¡mod ¡ merge delete ¡mod ¡ delete ready RemoteTransactionContext Shard Leader member-1 member-2 40 www.opendaylight.org

  41. Transac:on ¡Rate ¡Limi:ng rate-limit = 100 Tx/Sec Tx 20ms Cohort 50ms Tx Cohort 15ms Tx Cohort Shard Leader after rate-limit/2 transactions done…. member-2 new-rate-limit = 25 Tx/Sec 41 www.opendaylight.org

  42. Opera:on ¡Limi:ng write write ¡mod ¡ merge ¡mod ¡ merge delete ¡mod ¡ delete … ¡ … RemoteTransactionContext Shard Leader block member-1 member-2 42 www.opendaylight.org

  43. Commit ¡Coordina:on Tx1 ¡-­‑ ¡ready ¡ Tx1 ¡ Tx2 ¡-­‑ ¡ready ¡ Tx2 ¡ Tx3 ¡-­‑ ¡ready ¡ Tx3 ¡ Tx1 ¡-­‑ ¡commit ¡ Tx3 ¡-­‑ ¡commit ¡ Shard Shard Leader Tx3 ¡-­‑ ¡abort ¡ CommitCoordinator Tx2 ¡-­‑ ¡commit ¡ member-2 43 www.opendaylight.org

  44. Managing ¡the ¡in-­‑memory ¡journal ¡ Replicated ¡To ¡All commit transaction Client leader txn txn txn follower-2 follower-1 44 www.opendaylight.org

Recommend

Windows 8 Heap Internals Windows 8 Heap Internals Windows 8 Heap Internals INTRODUCTION Windows 8

Windows 8 Heap Internals Windows 8 Heap Internals Windows 8 Heap Internals INTRODUCTION Windows 8

Windows 8 Heap Internals Windows 8 Heap Internals Windows 8 Heap Internals INTRODUCTION Windows 8 Heap Internals Who Chris Valasek (@nudehaberdasher) Sr. Research Scientist Coverity Tarjei Mandt (@kernelpool) Vulnerability

1.33k views • 91 slides
Lecture 23: Spectral clustering Hierarchical clustering What is a good clustering?

Lecture 23: Spectral clustering Hierarchical clustering What is a good clustering?

Lecture 23: Spectral clustering Hierarchical clustering What is a good clustering? Aykut Erdem May 2016 Hacettepe University Last time K-Means An iterative clustering algorithm - Initialize: Pick K random points as cluster

933 views • 64 slides
Clustering Hierarchical clustering, k-mean clustering Genome 559: Introduction to Statistical and

Clustering Hierarchical clustering, k-mean clustering Genome 559: Introduction to Statistical and

Clustering Hierarchical clustering, k-mean clustering Genome 559: Introduction to Statistical and Computational Genomics Elhanan Borenstein A quick review The clustering problem: partition genes into distinct sets with high homogeneity

772 views • 40 slides
Graph Clustering Graph Clustering What is clustering? What is clustering? Finding patterns

Graph Clustering Graph Clustering What is clustering? What is clustering? Finding patterns

Graph Clustering Graph Clustering What is clustering? What is clustering? Finding patterns in data, or grouping similar groups of data-points together into clusters . Clustering algorithms for numeric data: Lloyds K-means, EM

688 views • 19 slides
Clustering Hierarchical clustering and k-mean clustering Genome 373 Genomic Informatics

Clustering Hierarchical clustering and k-mean clustering Genome 373 Genomic Informatics

Clustering Hierarchical clustering and k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review The clustering problem: partition genes into distinct sets with high homogeneity and high separation Many

768 views • 43 slides
Clustering DSE 210 Clustering in R d Two common uses of clustering: Vector quantization Find

Clustering DSE 210 Clustering in R d Two common uses of clustering: Vector quantization Find

Clustering DSE 210 Clustering in R d Two common uses of clustering: Vector quantization Find a finite set of representatives that provides good coverage of a complex, possibly infinite, high-dimensional space. Finding meaningful

396 views • 36 slides
Clustering: Hierarchical Clustering and K- Means Clustering Machine

Clustering: Hierarchical Clustering and K- Means Clustering Machine

Clustering: Hierarchical Clustering and K- Means Clustering Machine Learning 10-601B Seyoung Kim Many of these slides are derived from William Cohen,

660 views • 46 slides
Roadmap for Section 4.3. Windows Process and Thread Internals Thread Block, Process Block Flow

Roadmap for Section 4.3. Windows Process and Thread Internals Thread Block, Process Block Flow

Unit OS4: Scheduling and Dispatch 4.3. Windows Process and Thread Internals Windows Operating System Internals - by David A. Solomon and Mark E. Russinovich with Andreas Polze Roadmap for Section 4.3. Windows Process and Thread Internals Thread

438 views • 15 slides
Clustering and Dimensionality Reduction Preview Clustering K -means clustering

Clustering and Dimensionality Reduction Preview Clustering K -means clustering

Clustering and Dimensionality Reduction Preview Clustering K -means clustering Mixture models Hierarchical clustering Dimensionality reduction Principal component analysis Multidimensional scaling Isomap

1.61k views • 17 slides
Clustering A Categorization of Major Clustering Methods Partitioning Methods

Clustering A Categorization of Major Clustering Methods Partitioning Methods

Clustering What is Clustering? Types of Data in Cluster Analysis Clustering A Categorization of Major Clustering Methods Partitioning Methods Hierarchical Methods 1 2 What is Clustering? What is Clustering? Typical

647 views • 18 slides
Subspace Clustering Ensemble Clustering Subspace Clustering, Ensemble Clustering, Alternative

Subspace Clustering Ensemble Clustering Subspace Clustering, Ensemble Clustering, Alternative

LUDWIG- MAXIMILIANS- INSTITUTE DATABASE UNIVERSITT FOR SYSTEMS MNCHEN MNCHEN INFORMATICS INFORMATICS GROUP GROUP Subspace Clustering Ensemble Clustering Subspace Clustering, Ensemble Clustering, Alternative Clustering, Multiview

513 views • 9 slides
Finding Clusters Types of Clustering Approaches: Linkage Based, e.g. Hierarchical Clustering

Finding Clusters Types of Clustering Approaches: Linkage Based, e.g. Hierarchical Clustering

Finding Clusters Types of Clustering Approaches: Linkage Based, e.g. Hierarchical Clustering Clustering by Partitioning, e.g. k-Means Density Based Clustering, e.g. DBScan Grid Based Clustering Compendium slides for Guide to Intelligent

1.32k views • 82 slides
Introduction to Machine Learning, Clustering and EM Barnab s P czos Contents Clustering

Introduction to Machine Learning, Clustering and EM Barnab s P czos Contents Clustering

Introduction to Machine Learning, Clustering and EM Barnab s P czos Contents Clustering K-means Mixture of Gaussians Expectation Maximization Variational Methods 2 Clustering 3 K- means clustering What is clustering?

1.32k views • 66 slides
PAC-Bayesian Analysis of Co-clustering, Graph Clustering and Pairwise Clustering Yevgeny Seldin

PAC-Bayesian Analysis of Co-clustering, Graph Clustering and Pairwise Clustering Yevgeny Seldin

PAC-Bayesian Analysis of Co-clustering, Graph Clustering and Pairwise Clustering Yevgeny Seldin Motivation Example Clustering cannot be analyzed without specifying what it will be used for! be used for! Example Cluster then pack

293 views • 28 slides
Clustering kMeans, Expectation Maximization, Self-Organizing Maps Outline K-means

Clustering kMeans, Expectation Maximization, Self-Organizing Maps Outline K-means

Clustering kMeans, Expectation Maximization, Self-Organizing Maps Outline K-means clustering Hierarchical clustering Incremental clustering Probability-based clustering Self-Organising Maps Classification vs. Clustering

1k views • 67 slides
Chapter 7: Clustering (Unsupervised Data Organization) 7.1 Hierarchical Clustering 7.2 Flat

Chapter 7: Clustering (Unsupervised Data Organization) 7.1 Hierarchical Clustering 7.2 Flat

Chapter 7: Clustering (Unsupervised Data Organization) 7.1 Hierarchical Clustering 7.2 Flat Clustering 7.3 Embedding into Vector Space for Visualization 7.4 Applications Clustering: unsupervised grouping (partitioning) of objects into

763 views • 49 slides
Graph Clustering Why graph clustering is useful? Distance matrices are graphs as useful as

Graph Clustering Why graph clustering is useful? Distance matrices are graphs as useful as

Graph Clustering Why graph clustering is useful? Distance matrices are graphs as useful as any other clustering Identification of communities in social networks Webpage clustering for better data management of web data Outline

607 views • 41 slides
Web Information Retrieval Lecture 15 Clustering Todays Topic: Clustering Document

Web Information Retrieval Lecture 15 Clustering Todays Topic: Clustering Document

Web Information Retrieval Lecture 15 Clustering Todays Topic: Clustering Document clustering Motivations Document representations Success criteria Clustering algorithms Partitional Hierarchical Ch. 16 What is

767 views • 61 slides
Clustering: Models and Algorithms Shikui Tu 2019-02-28 1 Outline Clustering K-mean

Clustering: Models and Algorithms Shikui Tu 2019-02-28 1 Outline Clustering K-mean

Clustering: Models and Algorithms Shikui Tu 2019-02-28 1 Outline Clustering K-mean clustering, hierarchical clustering Adaptive learning (online learning) CL, FSCL, RPCL Gaussian Mixture Models (GMM)

805 views • 34 slides
LECTURE 7 Clustering The k-means algorithm Hierarchical Clustering The DBSCAN algorithm

LECTURE 7 Clustering The k-means algorithm Hierarchical Clustering The DBSCAN algorithm

DATA MINING LECTURE 7 Clustering The k-means algorithm Hierarchical Clustering The DBSCAN algorithm Clustering Evaluation What is a Clustering? In general a grouping of objects such that the objects in a group (cluster) are similar (or

1.39k views • 110 slides
Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review

Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review

Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review The clustering problem: partition genes into distinct sets with high homogeneity and high separation Clustering (unsupervised) vs.

356 views • 31 slides
Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review

Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review

Clustering k-mean clustering Genome 373 Genomic Informatics Elhanan Borenstein A quick review The clustering problem: partition genes into distinct sets with high homogeneity and high separation Clustering (unsupervised) vs.

526 views • 30 slides
Outline Linkage-based Clustering Motivation Definitions Clustering with Semantic

Outline Linkage-based Clustering Motivation Definitions Clustering with Semantic

Outline Linkage-based Clustering Motivation Definitions Clustering with Semantic Links Applications Algorithms SimRank Yin X., Han J. and Yu P. S., 2006, LinkClus: Efficient ReCoM Clustering via Heterogeneous

221 views • 8 slides
Clustering in Go May 2016 Wilfried Schobeiri MediaMath

Clustering in Go May 2016 Wilfried Schobeiri MediaMath

5/26/2016 Clustering in Go Clustering in Go May 2016 Wilfried Schobeiri MediaMath http://127.0.0.1:3999/clustering-in-go.slide#1 1/42 5/26/2016 Clustering in Go Who am I? Go enthusiast These days, mostly codes for fun Focused on

917 views • 42 slides

More recommend