SMB3 Multichannel with Samba/CTDB and Gluster Gnther Deschner - PowerPoint PPT Presentation

SMB3 Multichannel with Samba/CTDB and Gluster Günther Deschner <gd@samba.org> Sachin Prabhu <sprabhu@redhat.com>

A g e n d a S a mb a / C T D B C l u s t e r i n g w i t h G l u s t e r F S  S M B 3 M u l t i c h a n n e l  O p l o c k / L e a s e b r e a k f a i l u r e s a n d M u l t i c h a n n e l  ● D e mo M u l t i c h a n n e l a n d t e s t i n g  I P f a i l o v e r w i t h M u l t i c h a n n e l a n d C T D B  F u r t h e r r e a d i n g & Q / A  SambaXP 2018, Slide 2

Samba/CTDB clustering with GlusterFS

R e d H a t G l u s t e r S t o r a g e ( R H G S ) “ R e d H a t G l u s t e r S t o r a g e p r o v i d e s a n o p e n , s o f t w a r e - d e fi n e d  s t o r a g e s o l u t i o n a c r o s s p h y s i c a l , v i r t u a l , a n d c l o u d r e s o u r c e s . ” S M B s t o r a g e o n t o p o f G l u s t e r F S u s i n g S a mb a  C T D B f o r c l u s t e r i n g  v f s _ g l u s t e r f s mo d u l e f o r S a mb a  ● ( u s e s l i b g f a p i f o r s t o r a g e I / O ) C u r r e n t R e l e a s e :  ● R H G S 3 . 3 . 1 w i t h S a mb a 4 . 7 . 3 o ff e r i n g S M B 3 f e a t u r e s S M B M u l t i c h a n n e l o n l y a s “ T e c h P r e v i e w ”  SambaXP 2018, Slide 4

What was SMB Multichannel again?

S M B M u l t i c h a n n e l S M B 3 p e r f o r ma n c e a n d r e l i a b i l i t y f e a t u r e  A v a i l a b l e s i n c e Wi n d o w s 2 0 1 2  M a x i mi z e t h r o u g h p u t  M u l t i p l e T C P t r a n s p o r t c o n n e c t i o n s a g g r e g a t e d i n o n e s e s s i o n ● M u l t i p l e N I C s ( N I C t e a m i n g , R D M A ) ● M u l t i p l e C P U C o r e s w i t h R S S ( R e c e i v e S i d e S c a l i n g ) ● I n c r e a s e f a u l t t o l e r a n c e  M u l t i c h a n n e l s e t u p s c o m p e n s a t e T C P f a i l u r e s o n c h a n n e l s ● A u t o ma t i c c o n fi g u r a t i o n  F e a t u r e i s a u t o m a t i c a l l y a n d t r a n s p a r e n t l y e n a b l e d w h e n p r e r e q u i s i t e s ● a r e m e t : C l i e n t a n d S e r v e r s u p p o r t S M B 3 ● A u t o m a t i c d e t e c t i o n o f m a t c h i n g i n t e r f a c e s ● SambaXP 2018, Slide 6

S M B M u l t i c h a n n e l S i n g l e N I C w i t h R S S  SMB Client 10GbE 10GbE Switch 10GbE 10GbE SMB Server SambaXP 2018, Slide 7

S M B M u l t i c h a n n e l M u l t i p l e N I C s  SMB Client 10GbE 10GbE 1GbE 1GbE Switch 1GbE Switch 1GbE 1GbE 1GbE SMB Server SambaXP 2018, Slide 8

S M B M u l t i c h a n n e l O v e r v i e w ( ( c ) M i c r o s o f t )  SambaXP 2018, Slide 9

S M B M u l t i c h a n n e l i n S a mb a F i r s t i mp l e me n t a t i o n i n S a mb a 4 . 4 ( 2 0 1 6 )  “ s e r v e r m u l t i c h a n n e l s u p p o r t = y e s ” ● U s e s f d - p a s s i n g s o a l l c h a n n e l s p o i n t t o o n e s m b d ● E x p e r i m e n t a l f e a t u r e , s i n c e n o t a l l s c e n a r i o s a r e c o v e r e d ● C u r r e n t l i mi t a t i o n s :  O p l o c k a n d l e a s e b r e a k n o t M u l t i c h a n n e l a w a r e a n d d o e s n o t a t t e m p t t o ● r e t r y M u l t i c h a n n e l n o t t e s t a b l e i n a u t o b u i l d ● N o i n t e r a c t i o n w i t h c t d b ’ s f a i l o v e r i p m a n a g e m e n t ● SambaXP 2018, Slide 10

Oplock/Lease break failures and Multichannel

O p l o c k / L e a s e B r e a k w i t h M u l t i c h a n n e l O p l o c k / L e a s e B r e a k a r e i s s u e d b y t h e S e r v e r  “ T h e S M B 2 O p l o c k B r e a k N o t i fi c a t i o n p a c k e t i s s e n t b y t h e  s e r v e r w h e n t h e u n d e r l y i n g o b j e c t s t o r e i n d i c a t e s t h a t a n o p p o r t u n i s t i c l o c k ( o p l o c k ) i s b e i n g b r o k e n , r e p r e s e n t i n g a c h a n g e i n t h e o p l o c k l e v e l . ” “ T h e S M B 2 L e a s e B r e a k N o t i fi c a t i o n p a c k e t i s s e n t b y t h e  s e r v e r w h e n t h e u n d e r l y i n g o b j e c t s t o r e i n d i c a t e s t h a t a l e a s e i s b e i n g b r o k e n , r e p r e s e n t i n g a c h a n g e i n t h e l e a s e s t a t e . ” M u l t i p l e c h a n n e l s c a n b e a v a i l a b l e f o r s e n d i n g b r e a k  n o t i fi c a t i o n s Wh i c h o n e i s c h o s e n ?  Wh a t h a p p e n s o n c h a n n e l f a i l u r e ?  SambaXP 2018, Slide 12

O p l o c k / L e a s e B r e a k w i t h M u l t i c h a n n e l Wh a t h a p p e n s w h e n a  c h a n n e l f a i l s ? SMB Client 10GbE 10GbE 1GbE 1GbE Switch 1GbE Switch 1GbE 1GbE 1GbE SMB Server SambaXP 2018, Slide 13

O p l o c k / L e a s e B r e a k w i t h M u l t i c h a n n e l Wh a t h a p p e n s w h e n a  c h a n n e l f a i l s ? SMB Client 10GbE 10GbE 1GbE 1GbE Switch 1GbE Switch 1GbE 1GbE 1GbE SMB Server SambaXP 2018, Slide 14

O p l o c k / L e a s e B r e a k w i t h M u l t i c h a n n e l M i c r o s o f t I n t e r o p L a b 2 0 1 6 / 2 0 1 7 r e s e a r c h o p l o c k a n d l e a s e  b e h a v i o r w i t h mu l t i c h a n n e l o n Wi n d o w s s m b t o r t u r e t e s t s u i t e ● H o w t o s i mu l a t e c h a n n e l f a i l u r e ?  i p t a b l e s t o d r o p p a c k e t s ● T e s t i n g r e s u l t s f o r o p l o c k b r e a k :  s m b t o r t u r e / / s e r v e r / s h a r e - U u s e r %p a s s w o r d s m b 2 . m u l t i c h a n n e l . o p l o c k ● O p l o c k b r e a k i s s e n t o n t h e l a s t c r e a t e d c h a n n e l ● R e t r y i s n o t a t t e m p t e d a t a l l ● T e s t i n g r e s u l t s f o r l e a s e b r e a k :  s m b t o r t u r e / / s e r v e r / s h a r e - U u s e r %p a s s w o r d s m b 2 . m u l t i c h a n n e l . l e a s e s ● L e a s e b r e a k i s s e n t o n t h e fi r s t c r e a t e d c h a n n e l ● R e t r y i s a t t e m p t e d o n t h e fi r s t c o n n e c t e d c h a n n e l ● SambaXP 2018, Slide 15

O p l o c k / L e a s e B r e a k w i t h M u l t i c h a n n e l T C P p r o p e r t i e s d u r i n g r e t r y :  Wi n d o w s 2 0 1 2 a n d 2 0 1 6 w i l l s t a r t r e t r y i n g 1 0 t i m e s a f t e r i n a c t i v i t y o f 1 0 ● s e c o n d s w i t h a 1 s e c o n d i n t e r v a l SambaXP 2018, Slide 16