consensus and distributed estimation
play

Consensus and distributed estimation Sandro Zampieri Universita di - PowerPoint PPT Presentation

Consensus and distributed estimation Sandro Zampieri Universita di Padova 5th HYCON2 PhD School Outline Problem description and scientific context Multi-agent systems: a distributed estimation and control architecture Description of the


  1. Variations of the consensus algorithm � ��������������� � ( � ) = �� ( � ) ˙ ����� � ������������������������������������� � − � � ��������������� � ����������������� � ( � + � ) = � ( � ) � ( � ) � �������������������������� � ( � + � ) = � ( � ) � ( � ) �������� � ( � ) �������������������������������������� ���� ��������������� ������������������������ 5th HYCON2 PhD School

  2. Variations of the consensus algorithm ������������������������������ � � ( � ) ∈ R � � � ( � + � ) = �� � ( � ) + �� � ( � ) � � ( � ) = �� � ( � ) ��������������������� � � � � ( � ) = � �� � � ( � ) � = � ����� � ∈ R � × � ���������������������������� � � ( � ) − → α 5th HYCON2 PhD School

  3. Variations of the consensus algorithm ��������������������������� � � ( � ) ∈ R � � � ( � + � ) = � ( � � ( � )) + � ( � � ( � )) � � ( � ) � � ( � ) = � ( � � ( � )) ��������������������� � � � � ( � ) = � �� � � ( � ) � = � ����� � ∈ R � × � ���������������������������� � � ( � ) − → α 5th HYCON2 PhD School

  4. Example: vehicle formation �������������� � ����������������������������� ���������������������������� � � ( � ) = ( � � ( � ) , � � ( � )) � � ������������������������������������������������������� �������������������������������������������������������� ��������� � � � � ( � + � ) = � �� � � ( � ) � = � ����������������������������������������������������������������������������� 5th HYCON2 PhD School

  5. Example: distributed estimation ����������� � ����������������������������������� � ∈ R ���������������� ������������� ������������������������������������������� � �� � � = � + � � ����� � � ������������������������������������������������ �� �������������� ������� � ������������������������ � := � � � � ˆ � � Sensor Communication link Sensing link 5th HYCON2 PhD School

  6. Example: distributed least square ����������������������� � ���������������������� � � , � � ������������ ��������������������������������������������� �������������������� y ������������������������������������������ � � � ( � ) = θ � � � ( � ) � = � ������������������� � � ( � ) ������������������������������������� �� �������������������������������� θ � � ������������ x � ( � ) = � � ( � ) Θ ����� � � ( � ) = [ � � ( � ) · · · � � ( � )] Θ = [ θ � · · · θ � ] � ������������������ � ( � � − � � ( � � ) Θ ) � ˆ � Θ := argmin Θ � = � 5th HYCON2 PhD School

  7. Example: distributed least square �������������������������������������������������������������� y � − � � � � � � � � � ( � � ) � � ( � � ) ˆ � � � ( � � ) � � Θ = � � � = � � = � �������� average x consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ( � � ) ∈ R � × � � ( � � ) � � ( � � ) � � � = � average consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ∈ R � � � ( � � ) � � � � = � 5th HYCON2 PhD School

  8. Example: distributed least square �������������������������������������������������������������� y � − � � � � � � � � � ( � � ) � � ( � � ) ˆ � � � ( � � ) � � Θ = � � � = � � = � �������� average x consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ( � � ) ∈ R � × � � ( � � ) � � ( � � ) � � � = � Initial knowledge of the node i Final knowledge average of the node i consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ∈ R � � � ( � � ) � � � � = � 5th HYCON2 PhD School

  9. Example: distributed least square �������������������������������������������������������������� y � − � � � � � � � � � ( � � ) � � ( � � ) ˆ � � � ( � � ) � � Θ = � � � = � � = � �������� average x consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ( � � ) ∈ R � × � � ( � � ) � � ( � � ) � � � = � Initial knowledge of the node i Final knowledge average of the node i consensus � � � ( ∞ ) = � � � ( � ) = � ( � � ) � � ∈ R � � � ( � � ) � � � � = � Θ = ( � � ( ∞ )) − � � � ( ∞ ) ˆ 5th HYCON2 PhD School

  10. Example: distributed calibration ������������������������� ���������������������� � = ( � , � ) ��������������� � = { � , . . . , � } ������������ � ⊆ � × � ������������������������� � ( � , � ) ������� ( � , � ) ∈ � � ������������������� ��������������������������������� ������     � ( � , � ) ( � � − � � − � ( � , � ) ) � � min � � ,..., � � ( � , � ) ∈ �   ����� � ( � , � ) ������������ ��������������������������� || �� − � || � min � � ����� � ������������������������������������������������ | � | × | � | ����������� � , � , − �� ��������� � = diag { � � : � ∈ � } � 5th HYCON2 PhD School

  11. Example: distributed calibration ������������������������������������������������������������������ � � | � � � = � || �� − � || � min � �������������������������� �������������������������������������� � ������������������������ �������������� � ( � + � ) = �� ( � ) + α � � �� � ( � ) = � ����� � = � − α � � �� ������������������������������������������ α ����������������������� �� �������� � ( � ) := � − � ( � ) � ������������ � ( � + � ) = �� ( � ) � ( � ) = � ������ � ( ∞ ) = � − � ( ∞ ) = � − � � � � = � � � 5th HYCON2 PhD School

  12. Example: distributed decision making � − � � �������������������������������� � ��������������� � � � ( � = � ) = � ( � = � ) = � / � � � � �������������������� � ������������������������������� � � ����� �������������������������������������������������������������� � � � ( � � = � | � = � ) = � ( � � = � | � = � ) = � � � ( � � = � | � = � ) = � ( � � = � | � = � ) = � − � � � � ������������������������������������������������������������� � � L ( � � , . . . , � � ) = � � log � ( � | � � , · · · , � � ) � ( � | � � , · · · , � � ) = � ( � − � � � ) log � − � � � � � � � � � = � ⇐ ⇒ L ( � � , . . . , � � ) > � ˆ � � 5th HYCON2 PhD School

  13. Pros and cons Advantages �� �������������������������������������� �� ��������������������������� �� ���������������������������������������������������������� Disadvantages �� ��������������������������������������������������������������������� �� �������������������������������������� 5th HYCON2 PhD School

  14. Performance metrics � � � ( � + � ) = �� ( � ) � � � � ( � ) − µ � � � ( � ) , µ � = � → � ( � ) = � � = � � = � ������������������� �� ������������������������� ���������������������� µ � ��� � / � � �� ���������������������� ����������������������� � � ( � ) �� � � ( ∞ ) � 5th HYCON2 PhD School

  15. Performance metrics � � � � ( � ) − µ � � � ( � ) → � = � �������������������������������� �� ���������� ( µ � , . . . , µ � ) ��������������������������� ����������������� ��������� µ � = � / � ����������� �� � ���������������������� � , � � ��������������������� �� ������������������������������������������������� ρ ( P ) ρ ( � ) �������������������������������� � � ρ ( � ) = λ ∈ Λ ( � ) \{ � } | λ | max ����� Λ ( � ) �������������������������������� � � 5th HYCON2 PhD School

  16. Performance metrics �������������������������������� �� ���������������������� �������������� � ���������������������� ��������������������������� �� ��������������������������������� �������������������������� ���������������������������������������� ������������������������������������������������������������������� �������������������������������������������������������������������� �������������������������������������������� 5th HYCON2 PhD School

  17. Performance metrics ���������������������������������������������������������������������� ���������������������������������� ρ ( � ) ������������������������� � � ����������������������������������������� � ����������������������� � �������������� ������������������� ������������������� ������ ����������������� �������������������������������������������������������������������� �������������������������� 5th HYCON2 PhD School

  18. Network topologies We consider here network topologies coming from wireless sensor networks applications, namely the geometric graphs 5th HYCON2 PhD School

  19. Network topologies ������������������������������������ ������������� ����������������� � �������������������������������������� R � ������������������������ ��������� � ��������������� � ������������������������������������������� � ������������������������������ � ������������������ � ���������������������������������� � � � ���������� γ �������������������������� � ����������� ρ ����������������������������������������������� ������������������������������� ��������� ���������������� ���������������������������� 5th HYCON2 PhD School

  20. Network topologies 5th HYCON2 PhD School

  21. Network topologies � 5th HYCON2 PhD School

  22. Network topologies � 5th HYCON2 PhD School

  23. Network topologies � 5th HYCON2 PhD School

  24. Network topologies γ 5th HYCON2 PhD School

  25. Network topologies � � � ( � , � ) � 5th HYCON2 PhD School

  26. Network topologies � � � ( � , � ) � 5th HYCON2 PhD School

  27. Network topologies � � � � ( � , � ) ρ = min � � ( � , � ) � � � ( � , � ) � � � ( � , � ) ≤ � � ( � , � ) ρ 5th HYCON2 PhD School

  28. Network topologies In certain cases we need to restrict to lines and grids 5th HYCON2 PhD School

  29. Network topologies The simplest “geometric” graphs are circles and toruses (no boundary effects) 5th HYCON2 PhD School

  30. Rate of convergence ������� (Boyd, Ghosh, Prabhakar, Sha 2006, Lovisari, Zampieri 2011) ��� G ���� � ����������������������������������������������������� ��� � ���������������������������������������� G � ���� � � / � ≤ ρ ( � ) ≤ � − � �� � � � − � � / � ����� � �������������������������� � � , � �� ����������������������� 5th HYCON2 PhD School

  31. Rate of convergence 5th HYCON2 PhD School

  32. Rate of convergence 5th HYCON2 PhD School

  33. Rate of convergence 5th HYCON2 PhD School

  34. Rate of convergence 5th HYCON2 PhD School

  35. Rate of convergence Circle 5th HYCON2 PhD School

  36. Rate of convergence Torus 5th HYCON2 PhD School

  37. Rate of convergence Circle and torus 5th HYCON2 PhD School

  38. Rate of convergence Geometric graph 5th HYCON2 PhD School

  39. Rate of convergence Random graph 5th HYCON2 PhD School

  40. Rate of convergence Random graph and circle 5th HYCON2 PhD School

  41. H 2 performance ��������������������������������������������� ���������������� � � ( � ) ��� ���������������������������� � ∞ � � ( � ) := � || � ( � ) − � ( ∞ ) || � � �� � = � ����� || · || �������������� 5th HYCON2 PhD School

  42. H 2 performance ��������������������������������������������������� ������ �������� ���������� ������ ���������������������� ������� �������� ��������� ����������������������������������������������������������������������� ����� � ( � + 1) = �� ( � ) + � ( � ) �������������������������������� 1 � ( � ) := lim sup �� {|| � ( � ) − � � ( � )1 1 ||} � →∞ ����� � � ( � ) = 1 / � � � � ( � ) �������������������������������������� � ( � ) ��� 1 1 ������������������������������������������ 1 � 5th HYCON2 PhD School

  43. Consensus with noise Circle 5th HYCON2 PhD School

  44. Consensus with noise Geometric graph 5th HYCON2 PhD School

  45. H 2 performance �������������������������� � ������������� ���� ∞ 1 � � 2 � − 1 � 1 � � � ( � ) = � tr � 1 11 � =0 1 1 � = � 1 − λ 2 λ ∈ Λ ( � ) \{ 1 } ����� 1 1 ���������������������������������������������� 1 � 5th HYCON2 PhD School

  46. L 2 performance ������� ��� G ���� � ��������������������������������������������������������� � �� ����������������������������������������������� G � ���� � � � ≤ � ( � ) ≤ � �� � �� � = � � � log( � ) ≤ � ( � ) ≤ � �� log( � ) �� � = � � � ≤ � ( � ) ≤ � �� �� � ≥ � ����� � �������������������������� � � , � �� ����������������������� 5th HYCON2 PhD School

  47. Electrical network (Doyle, Snell) ����������������� 5th HYCON2 PhD School

  48. Electrical network (Doyle, Snell) ����������������� � := � � ��������������������������� 5th HYCON2 PhD School

  49. Electrical network (Doyle, Snell) ����������������� � := � � ��������������������������� ����������������������� � ��������������������� � �� / � ����������� ����� � ��� � ������������������ � / � �� �� 5th HYCON2 PhD School

  50. Electrical network (Doyle, Snell) ����������������� � := � � ��������������������������� ����������������������� � ��������������������� � �� / � ����������� ����� � ��� � ������������������ � / � �� �� R �� ���������������������������������������������������������� � ��� �������� � � 5th HYCON2 PhD School

  51. Electrical network (Doyle, Snell) ����������������� � := � � ��������������������������� ����������������������� � ��������������������� � �� / � ����������� ����� � ��� � ������������������ � / � �� �� R �� ���������������������������������������������������������� � ��� �������� � � � ( � ) = � � R �� � � � � = � 5th HYCON2 PhD School

  52. Electrical network (Doyle, Snell) 5th HYCON2 PhD School

  53. Electrical network (Doyle, Snell) � / � �� ��� 5th HYCON2 PhD School

  54. Electrical network (Doyle, Snell) R �� � � 5th HYCON2 PhD School

  55. Electrical network (Doyle, Snell) 5th HYCON2 PhD School

  56. Electrical network (Doyle, Snell) � � � 5th HYCON2 PhD School

  57. Electrical network (Doyle, Snell) � � 5th HYCON2 PhD School

  58. Electrical network (Doyle, Snell) � � � 5th HYCON2 PhD School

  59. Electrical network (Doyle, Snell) ������������� � ������������������������������������� � � � = �  Current Kirchhoff’s current law  C �� = � Ohm’s law 1 � � = 0 1 Condition to get uniqueness  ����� � ���������������������������������������� C �������������������� ������ � �� / 2 ��������������������� ���������������������������������� ��������� � � C � � � � � � � � � 1 1 = 1 � 0 0 1 0 ������ � − 1 � � � C � � � � � � � 1 1 = 1 � 0 0 1 0 5th HYCON2 PhD School

  60. Electrical network (Doyle, Snell) � − 1 � � � C � � � � � � � 1 1 = 1 � 0 0 1 0 ����������� � � C � = � − � ����������������� � − 1 � − � � ( � ) � − 1 1 � � � 1 1 1 = 1 � 1 � � − 1 1 1 0 0 ����� ∞ � � � � − 1 1 � � � ( � ) := � 1 11 Green function � =0 ��������� � = � ( � ) � 5th HYCON2 PhD School

  61. Electrical network (Doyle, Snell) − � ������ � ������ � � 5th HYCON2 PhD School

  62. Electrical network (Doyle, Snell) � ( � ) = � � tr � ( � � ) � − 1 � − � � ( � ) � − 1 1 � � � 1 1 1 = 1 � 1 � � − 1 1 1 0 0 � � C � � − 1 � � � C � � � � � � � � � � � � � � � 1 1 1 1 = = 1 � 1 � 0 0 1 0 0 0 1 0 � � C � = � − � � − 1 � � C � � ( � ) � − 1 1 � � � 1 1 1 � = � ( � ) � = 1 � 1 � � − 1 1 1 0 0 5th HYCON2 PhD School

  63. Electrical network (Doyle, Snell) ���� � = � � − � � � ����� � � ������������������������������������� � ������������ � ����������� � � ������������������������������������� � ��� � �� � � − � � = ( � � − � � ) � � = R �� ( � � − � � ) � � ( � ) � = ( � � − � � ) � � ( � )( � � − � � ) = ��������� � R �� = � � � tr � ( � ) � � � � = � 5th HYCON2 PhD School

  64. Electrical network (Doyle, Snell) � R �� = � � � tr � ( � ) � � � � = � � ( � ) = � ∞ � � � � − 1 � 1 � � � ( � ) := R �� � 1 11 � � � � = � � =0 � ( � ) = � � � � − � ∞ � � � � tr � � = � 5th HYCON2 PhD School

  65. Example: distributed estimation ����������� � ����������������������������������� � ∈ R ���������������� ������������� ������������������������������������������� � �� � � = � + � � ����� � � ������������������������������������������������ �� �������������� ������� � ������������������������ � := � � � � ˆ � � Sensor Communication link Sensing link 5th HYCON2 PhD School

  66. Example: distributed estimation ��������������������������������������������������������������� ����������� � ( � + � ) = �� ( � ) � ( � ) = � � � ( � ) � � := � � � � � ����������������������������������������������������������������� ����� � ���������� � ( � , � ) := � E [( � � ( � ) − � ) � ] � � � 5th HYCON2 PhD School

  67. Performance in distributed estimation ���������������������� � ���������� � ( � , � ) = � � tr � � � = � λ � � � � λ ∈ Λ ( � ) 5th HYCON2 PhD School

  68. Performance in distributed estimation ����������������������� � ��������������������������������������������� ����������������� � / � ������ ������������ ρ ( � � ) = � ������������������������������������������������� ������� � ( � � , � ) = � / � , � ≥ � 5th HYCON2 PhD School

  69. Performance in distributed estimation ���������������������� � × � ���������������� � � / � � / � � � / �   · · · · · · � / � � / � � / � � · · · · · ·   � � / � � / � � / � �   · · ·   � � = � � � ��� ��� ���   � � �  � � �     � � / � � / � � / �   · · · · · ·  � / � � � / � � / � · · · · · · ρ ( � � ) � � − ���� → � � � − 5th HYCON2 PhD School

  70. Performance in distributed estimation 0.32 � ������������� � � �������� 0.28 ���������������������� � ( � � , � ) � 0.24 � �� � < � / � ���� 0.2 � ( � � , � ) = � ( � ∞ , � ) J(P N ,t) N=6 0.16 ������������������������������ 0.12 � � ������� � ����������� ��������� N=12 0.08 N=18 � ��� � , � ���������� N=24 0.04 N=30 � � N = 8 � , � � 0 � ( � � , � ) � max 0 20 40 60 80 100 120 140 160 180 200 √ � time t 5th HYCON2 PhD School

  71. Performance in distributed estimation ����������������������������������������������������������������������� ���������������� ������������������������������������������������������������ ������� 5th HYCON2 PhD School

  72. Time varying consensus algorithm � ( � + 1) = � ( � ) � ( � ) G � ���������������������������� � ( � ) ������������ � �� ( � ) > 0 ������� � , � �������������� �������� � ����������������� � ��������� G � := G � � ∪ G � � +1 ∪ · · · G ( � − 1) � − 1 ���� � � � ( � ) − → α ������� � � � ����������� � ( � ) �������������������������� � � � (0) ������� � � → 1 ���� � � ( � ) − � 5th HYCON2 PhD School

  73. Time varying consensus algorithm � ( � + 1) = � ( � ) � ( � ) G � ���������������������������� � ( � ) ������������ � �� ( � ) > 0 ������� � , � �������������� �������� � ����������������� � ��������� G � := G � � ∪ G � � +1 ∪ · · · G ( � − 1) � − 1 ���� � � � ( � ) − → α ������� � � � ����������� � ( � ) �������������������������� � � � (0) ������� � � → 1 ���� � � ( � ) − � 5th HYCON2 PhD School

  74. Performance of randomized consensus algorithms ������������������������������������� ������������������� � ( � ) ��������� � ( � ) �� > 0 ������� � , � � �������������������� � ( � + 1) = � ( � ) � ( � ) ������������� ��������� ������������� � � ( � ) → � ����� � = � µ � � � (0) ��������� µ � �������� �������������� �������������������� • Hatano Mesbahi • Boyd, Ghosh, Prabhakar, Shah • Tahbaz-Salehi, Jadbabaie 1 µ � � ( � − 1) · · · � (0) → 1 • Porfiri, Stilwell • Kar, Moura ����� µ := ( µ 1 , . . . , µ � ) � ��� �� ������ • Patterson, Bamieh, Abbadi • Wu ������� • Fagnani, Zampieri 5th HYCON2 PhD School

  75. Performance of randomized consensus algorithms ������������������������������������� ������������������� � ( � ) ��������� � ( � ) �� > 0 ������� � , � � �������������������� � ( � + 1) = � ( � ) � ( � ) ������������� ��������� ������������� � � ( � ) → � ����� � = � µ � � � (0) ��������� µ � �������� �������������� �������������������� • Hatano Mesbahi • Boyd, Ghosh, Prabhakar, Shah • Tahbaz-Salehi, Jadbabaie 1 µ � � ( � − 1) · · · � (0) → 1 • Porfiri, Stilwell • Kar, Moura ����� µ := ( µ 1 , . . . , µ � ) � ��� �� ������ • Patterson, Bamieh, Abbadi • Wu ������� • Fagnani, Zampieri 5th HYCON2 PhD School

  76. Gossip algorithm (Boyd et al. 2006) ����������������������������������������������� G � ������������������ ������� ( � , � ) ������������������������������������� G ���������������� � �� > 0 ����������������������������������� � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) � � ( � ) � � = � , � = x i ( t ) i j x j ( t ) 5th HYCON2 PhD School

  77. Gossip algorithm (Boyd et al. 2006) ����������������������������������������������� G � ������������������ ������� ( � , � ) ������������������������������������� G ���������������� � �� > 0 ����������������������������������� � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) � � ( � ) � � = � , � = x i ( t ) i j x j ( t ) 5th HYCON2 PhD School

  78. Gossip algorithm (Boyd et al. 2006) ����������������������������������������������� G � ������������������ ������� ( � , � ) ������������������������������������� G ���������������� � �� > 0 ����������������������������������� � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) 1 / 2 � � ( � ) + 1 / 2 � � ( � ) = � � ( � + 1) � � ( � ) � � = � , � = x i ( t ) i j x j ( t ) 5th HYCON2 PhD School

Recommend


More recommend