convexification in global optimization
play

Convexification in global optimization Santanu S. Dey 1 1 Industrial - PowerPoint PPT Presentation

Feb 27, 2023 •644 likes •2.51k views

Convexification in global optimization Convexification in global optimization Santanu S. Dey 1 1 Industrial and Systems Engineering, Georgia Institute of Technology, IPCO 2020 1/136 Dey Convexification in global optimization 1 Introduction:

  1. Convexification in global optimization Convex envelope When does extreme points of S describe the convex envelope of f ( x ) ? Let S be a polytope. We know now that conv S ( f )( x 0 ) = f ( x 0 ) for extreme points. For x 0 ∈ S and x 0 / ∈ ext ( S ) , we know that λ i f ( x i ) ,x 0 = ∑ λ i x i ,x i ∈ S,λ ∈ ∆ } . conv S ( f )( x 0 ) = inf { y ∣ y = ∑ i i It would be nice (why?) if: λ i f ( x i ) ,x 0 = ∑ λ i x i ,x i ∈ ext ( S ) ,λ ∈ ∆ } . conv S ( f )( x 0 ) = inf { y ∣ y = ∑ i i 16/136 Dey Convexification in global optimization

  2. Convexification in global optimization Convex envelope Concave function work: proof by example Concave function Concave func+on F(x) conv S (F) S 17/136 Dey Convexification in global optimization

  3. Convexification in global optimization Convex envelope Sufficient condition for polyhedral convex envelope of f ( x ) : When f is edge concave Definiton: Edge concave function Given a polytope S ⊆ R n . Let S D = { d 1 ,...,d k } be a set of vectors such that for each edge E (one-dimensional face) of S , S D contains a vector parallel to E . Let f ∶ S → R n be a function. We say f is edge concave for S if it is concave on all line segments in S that are parallel to an edge of S , i.e., on all the sets of the form: { y ∈ S ∣ y = x + λd } , for some x ∈ S and d ∈ S D . 18/136 Dey Convexification in global optimization

  4. Convexification in global optimization Convex envelope Example of edge concave function Bilnear function S ∶ = {( x,y ) ∈ R 2 ∣ 0 ≤ x,y ≤ 1 } . S d = {( 0 , 1 ) , ( 1 , 0 )} . f ( x,y ) = xy is linear for all segments in S that are parallel to an edge of S . Therefore f is a edge concave function over S . Note: f ( x,y ) = xy is not concave. 19/136 Dey Convexification in global optimization

  5. Convexification in global optimization Convex envelope Polyhedral convex envelope of f ( x ) : f is edge concave Theorem (Edge concavity gives polyhedral envelope [Tardella (1989)] ) Let S be a polytope and f ∶ S → R n is an edge concave function. Then conv S ( f )( x ) = conv ext ( S ) ( f )( x ) , where conv ext ( S ) ( f )( x ) ∶ = min { y ∣ y = ∑ λ i f ( x i ) , x = ∑ λ i x i , x i ∈ ext ( S ) , λ ∈ ∆ } . i i Corollary [Rikun (1997)] Let f = ∏ i x i and S = [ l, u ] . Then conv S ( f )( x ) = conv ext ( S ) ( f )( x ) . 20/136 Dey Convexification in global optimization

  6. Convexification in global optimization Convex envelope Polyhedral convex envelope of f ( x ) : f is edge concave Theorem (Edge concavity gives polyhedral envelope [Tardella (1989)] ) Let S be a polytope and f ∶ S → R n is an edge concave function. Then conv S ( f )( x ) = conv ext ( S ) ( f )( x ) , where conv ext ( S ) ( f )( x ) ∶ = min { y ∣ y = ∑ λ i f ( x i ) , x = ∑ λ i x i , x i ∈ ext ( S ) , λ ∈ ∆ } . i i Proof sketch Claim 1: Since f is edge concave, we obtain: f ( x ) ≥ conv ext ( S ) ( f )( x ) for all x ∈ S . Claim 2: If f ( x ) ≥ conv ext ( S ) ( f )( x ) , then conv S ( f )( x ) = conv ext ( S ) ( f )( x ) . 21/136 Dey Convexification in global optimization

  7. Convexification in global optimization Convex envelope Proof of Claim 1 To prove: f ( x ) ≥ conv ext ( S ) ( f )( x ) x ∈ rel.int ( F ) , F is a face of S . Proof by induction on the Let ˆ dimension of F . Base case: Consider ˆ x which belongs to a one-dimensional face of S , i.e. ˆ x belongs to an edge of f . Then since edge-concavity, we obtain that f ( ˆ x ) ≥ conv ext ( S ) ( f )( ˆ x ) . Inductive step: Let F be a face of S where dim ( F ) ≥ 2. Consider x ∈ rel.int ( F ) . If we show that there is x 1 ,x 2 belonging to proper ˆ x = λ 1 x 1 + λ 2 x 2 , λ 1 + λ 2 = 1 ,λ 1 ,λ 2 ≥ 0, and faces of F , such that ˆ f ( ˆ x ) ≥ λ 1 f ( x 1 ) + λ 2 f ( x 2 ) . Then applying this argument recursively to f ( x 1 ) and f ( x 2 ) we obtain the result. Indeed, consider an edge of F and let d be the direction of this edge. Then there exists µ 1 ,µ 2 > 0 such that: ˆ x + µ 1 d and ˆ x − µ 2 d belong to lower dimensional faces of F . Now on this segment edge-concavity = concavity, so we are done. 22/136 Dey Convexification in global optimization

  8. Convexification in global optimization Convex envelope Proof of Claim 2 conv S ( f )( x 0 ) = inf { y ∣ y = ∑ λ i f ( x i ) , x 0 = ∑ λ i x i , x i ∈ S, λ ∈ ∆ } . i i conv ext ( S ) ( f )( x 0 ) = inf { y ∣ y = ∑ λ i f ( x i ) , x 0 = ∑ λ i x i , x i ∈ ext ( S ) , λ ∈ ∆ } . i i To prove: f ( x ) ≥ conv ext ( S ) ( f )( x ) , implies conv S ( f )( x ) = conv ext ( S ) ( f )( x ) Note that conv S ( f ) ≤ conv ext ( S ) ( f ) (by definition), so it is sufficient to prove conv S ( f ) ≥ conv ext ( S ) ( f ) . Indeed, observe that conv S ( conv ext ( S ) ( f )) conv S ( f ) ≥ conv ext ( S ) ( f ) = where the first inequality because of Claim 1, f ( x ) ≥ conv ext ( S ) ( f )( x ) , and the second inequality because conv ext ( S ) ( f ) is a convex function. 23/136 Dey Convexification in global optimization

  9. 3 Convex hull of simple sets 24/136

  10. 3.1 McCormick envelope 25/136

  11. Convexification in global optimization Convex hull of simple sets McCormick envelope McCormick envelope P ∶ = {( w,x,y )∣ w = xy, 0 ≤ x,y ≤ 1 } We want to find conv ( P ) . P = {( w,x,y )∣ w = xy , 0 ≤ x,y ≤ 1 } �ÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜ� �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� f ( x,y )= xy S So we need to find the convex envelope (and similarly, concave envelope) of f ( x,y ) = xy over x,y ∈ [ 0 , 1 ] ). By previous section result on edge-concavity , we only need to consider the extreme points of S = [ 0 , 1 ] 2 . conv ( P ) = conv {( 0 , 0 , 0 ) , ( 1 , 0 , 0 ) , ( 0 , 1 , 0 ) , ( 1 , 1 , 1 )} conv ( P ) = {( w,x,y )∣ w ≥ 0 ,w ≥ x + y − 1 ,w ≤ x,w ≤ y } . �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� McCormick Envelope 26/136 Dey Convexification in global optimization

  12. Convexification in global optimization Convex hull of simple sets McCormick envelope Alternative proof of validity of McCormick envelope ( x − 0 )( y − 0 ) ≥ 0 ⇔ xy ≥ 0 w ≥ 0. ⇒ � �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� replace w = xy product of 2 non-negative trms ( 1 − x )( 1 − y ) ≥ 0 ⇔ xy ≥ x + y − 1 ⇒ w ≥ x + y − 1. �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� product of 2 non-negative trms ( x − 0 )( 1 − y ) ≥ 0 ⇒ w ≤ x . ( 1 − x )( y − 0 ) ≥ 0 ⇒ w ≤ y . This is the Reformulation-linearization-techique (RLT) view point (Sherali-Adams). 27/136 Dey Convexification in global optimization

  13. Convexification in global optimization Convex hull of simple sets McCormick envelope Our first convex relaxation of QCQP (QCQP) ∶ min x T A 0 x + a T 0 x s . t . x T A k x + a T k x ≤ b k k = 1 , . . . , K l ≤ x ≤ u (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x �ÜÜÜÜÜÜ�ÜÜÜÜÜÜ� ∑ i,j ( A 0 ) ij X ij A k ⋅ X + a T k x ≤ b k k = 1 , . . . , K s . t . �ÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜ� ∑ i,j ( A k ) ij X ij l ≤ x ≤ u X = xx ⊺ < − − − Nonconvexity (Note: X is the “outer product” of x , i.e. X is n × n ) 28/136 Dey Convexification in global optimization

  14. Convexification in global optimization Convex hull of simple sets McCormick envelope Our first convex (LP) relaxation of QCQP (QCQP) ∶ min x T A 0 x + a T 0 x s . t . x T A k x + a T k x ≤ b k k = 1 , . . . , K l ≤ x ≤ u (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x s . t . A k ⋅ X + a T k x ≤ b k k = 1 , . . . , K l ≤ x ≤ u X = xx T McCormick (LP) Relaxation: replace X = xx ⊺ above by: X ij ≥ l i x j + l j x i − l i l j X ij ≥ u i x j + u j x i − u i u j X ij ≤ l i x j + u j x i − l i u j X ij ≤ u i x j + l j x i − u i l j 29/136 Dey Convexification in global optimization

  15. Convexification in global optimization Convex hull of simple sets McCormick envelope Semi-definite programming (SDP) relaxation of QCQPs (QCQP) ∶ min x T A 0 x + a T 0 x s . t . x T A k x + a T k x ≤ b k k = 1 , . . . , K l ≤ x ≤ u (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x s . t . A k ⋅ X + a T k x ≤ b k k = 1 , . . . , K l ≤ x ≤ u X = xx T SDP Relaxation: replace X − xx ⊺ = 0 above by: X − xx ⊺ ∈ cone of positive-semi definite matrix ⇔ [ 1 x ⊺ X ] ∈ cone of positive-semi definite matrix . x 30/136 Dey Convexification in global optimization

  16. Convexification in global optimization Convex hull of simple sets McCormick envelope Comments The SDP relaxation is the first level of the sum-of-square hierarchy. (We will not discuss this more here) The McCormick relaxation is first (basic) level of the RLT hireranchy. The McCormick relaxation and the SDP relaxation are incomparable. So many times if one is able to solve SDPs, both the relaxations are thrown in together. Note that the McCormick relaxation has the (♣) property, i.e. as the bounds [ l,u ] get tighter, the McCormick envelopes gets better. In particular, if l = u , then the McComick envelope is exact. Therefore, we can obtain “asymptotic convergence of lower and upper bound” using a branch and bound tree with McCormick relaxation, as the size of the tree goes off to infinity. 31/136 Dey Convexification in global optimization

  17. 3.2 Extending the McCormick envelope ideas 32/136

  18. Convexification in global optimization Convex hull of simple sets Extending the McCormick envelope ideas Extending the McCormick envelope argument: Using extreme points of S to construct convex hull (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x s . t . A k ⋅ X + a T k x ≤ b k k = 1 ,...,K 0 ≤ x ≤ 1 X = xx T For now ignore the x 2 i terms and consider the set: × R n ∣ X ij = x i x j ∀ i,j ∈ [ n ] ,i ≠ j,x ∈ [ 0 , 1 ] n } Q ∶ = {( X,x ) ∈ R n ( n − 1 ) 2 (Here l = 0 and u = 1 without loss of generality, by rescaling the variables.) 33/136 Dey Convexification in global optimization

  19. Convexification in global optimization Convex hull of simple sets Extending the McCormick envelope ideas Extending the McCormick envelope argument: Using extreme points of S to construct convex hull Theorem ([Burer, Letchford (2009)]) Consider the set × R n ∣ X ij = x i x j ∀ i, j ∈ [ n ] , i ≠ j, x ∈ [ 0 , 1 ] n } . Q ∶ = {( X, x ) ∈ R n ( n − 1 ) 2 Then, ⎧ ⎫ ⎪ ⎪ ⎛ ⎞ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎜ ⎟ conv ( Q ) ∶ = conv × R n ∣ X ij = x i x j ∀ i, j ∈ [ n ] , i ≠ j, x ∈ { 0 , 1 } n ⎬ ⎜ n ( n − 1 ) ⎟ ⎨ ( X, x ) ∈ R ⎪ ⎪ . 2 �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎪ ⎪ ⎝ ⎠ ⎪ ⎪ ⎪ ⎭ ⎪ ⎩ Boolean quadric polytope 34/136 Dey Convexification in global optimization

  20. Convexification in global optimization Convex hull of simple sets Extending the McCormick envelope ideas Krein - Milman theorem Theorem (Krein - Milman Theorem) Let S ⊆ R n be a compact set. Then conv ( S ) = conv ( ext ( S )) . 35/136 Dey Convexification in global optimization

  21. Convexification in global optimization Convex hull of simple sets Extending the McCormick envelope ideas Proof of Theorem Proof using “Extreme point of S argument” By Krein - Milman Theorem, It is sufficient to prove that the extreme points of Q : × R n ∣ X ij = x i x j ∀ i, j ∈ [ n ] , i ≠ j, x ∈ [ 0 , 1 ] n } Q ∶ = {( X, x ) ∈ R n ( n − 1 ) 2 satisfy x ∈ { 0 , 1 } n . Suppose ( ˆ x ) ∈ Q is an extreme point of S . Assume by contradition X, ˆ x i / ∈ { 0 , 1 } . Consider the following points: ˆ = { j ≠ i = { j ≠ i ˆ ˆ x j x j x ( 1 ) x i + ǫ x ( 2 ) x i − ǫ j = i j = i j ˆ j ˆ ˆ ˆ uv = { u, v ≠ i uv = { u, v ≠ i X uv X uv X ( 1 ) X ( 2 ) x u x ( 1 ) v = i x u x ( 2 ) v = i ˆ ˆ v v Since there is no “square term”, X ( ⋅ ) perturbs linearly with perturbation of one component of x ( ⋅ ) . So ( ˆ x ) = 0 . 5 ⋅ ( X ( 1 ) , x ( 1 ) ) + 0 . 5 ⋅ ( X ( 2 ) , x ( 2 ) ) , which is the required X, ˆ contradiction. 36/136 Dey Convexification in global optimization

  22. Convexification in global optimization Convex hull of simple sets Extending the McCormick envelope ideas Consequence: Can use IP technology to obtain better convexification of QCQP! (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x s . t . A k ⋅ X + a T k x ≤ b k k = 1 ,...,K 0 ≤ x ≤ 1 X = xx T Apart from the McCormick inequalities we can also add: Triangle inequality: x i + x j + x k − X ij − X jk − X ik ≤ 1 [Padberg (1989)] { 0 , 1 2 } Chvatal-Gomory cuts for BQP recently used successfully by [Bonami, G¨ unl¨ uk, Linderoth (2018)] BQP ∶ = {( X, x ) ∣ X ij ≥ 0 , X ij ≥ x i + x j − 1 , X ij ≤ x i , X ij ≤ j ∀ ( i, j ) ∈ [ n ] , x ∈ { 0 , 1 } n } 37/136 Dey Convexification in global optimization

  23. 4 Incorporating “data” in our sets 38/136

  24. Convexification in global optimization Incorporating “data” in our sets Introduction (Lifted QCQP) ∶ min A 0 ⋅ X + a T 0 x s . t . A k ⋅ X + a T k x ≤ b k k = 1 ,...,K 0 ≤ x ≤ 1 X = xx T We have explored convex hull of set of the form: × R n ∣ X ij = x i x j ∀ i,j ∈ [ n ] ,i ≠ j,x ∈ [ 0 , 1 ] n } Q ∶ = {( X,x ) ∈ R n ( n − 1 ) 2 Now we want to consider sets wich includes the data, for example: A k ’s. 39/136 Dey Convexification in global optimization

  25. 4.1 A packing-type bilinear knapsack set 40/136

  26. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set A packing-type bilinear knapsack set Consider the following set: P ∶ = {( x,y ) ∈ [ 0 , 1 ] n × [ 0 , 1 ] n ∣ n a i x i y i ≤ b } , ∑ i = 1 where a i ≥ 0 for all i ∈ [ n ] . 41/136 Dey Convexification in global optimization

  27. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set The convex-hull of packing-type bilinear set Proposition (3 Coppersmith, G¨ unl¨ uk, Lee, Leung (1999)) Let P ∶ = {( x,y ) ∈ [ 0 , 1 ] n × [ 0 , 1 ] n ∣ ∑ i a i x i y i ≤ b } . Then ⎧ ⎪ � ∃ w, ∑ n i = 1 a i w i ≤ b, ⎫ ⎪ � ⎪ � ⎪ � ⎪ � ⎪ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 , ∀ i ∈ [ n ] conv ( P ) ∶ = � � ⎨ ( x,y ) ⎬ � � �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� . ⎪ � ⎪ ⎪ � ⎪ ⎪ � ⎪ � ⎩ ⎭ � Relaxed McCormick envelope Convex hull is a polytope. Shows the power of McCormick envelopes. 42/136 Dey Convexification in global optimization

  28. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): ⊆ ⎛ ⎞ ⎜ ⎟ ⎜ {( x, y, w ) ∣ ∑ n ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R Observe P ⊆ Proj x,y ( R ) ⇒ conv ( P ) ⊆ Proj x,y ( R ) . 43/136 Dey Convexification in global optimization

  29. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): conv ( P ) ⊇ Proj x,y ( R ) ⎛ ⎞ ⎜ ⎟ {( x, y, w ) ∣ ∑ n ⎜ ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R It is sufficient to prove that the ( x, y ) component of extreme points of R belong to P . Let ( ˆ y ) be extreme point of R . For each i : w, ˆ x, ˆ w i = 0, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 )} , i.e. If ˆ x i , ˆ y i = ˆ ˆ x i ˆ w i . If 0 < ˆ w i < 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 ) , ( 1 , ˆ w i ) , ( ˆ w i , 1 )} , i.e. x i , ˆ y i ≤ ˆ x i ˆ ˆ w i . w = 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 1 , 1 )} , If ˆ x i , ˆ y i ≤ ˆ i.e. ˆ x i ˆ w i . Thus, ∑ n y i ≤ b . ( ∵ a i ≥ 0 ∀ i ∈ [ n ] ) i = 1 a i ˆ x i ˆ 44/136 Dey Convexification in global optimization

  30. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): conv ( P ) ⊇ Proj x,y ( R ) ⎛ ⎞ ⎜ ⎟ {( x, y, w ) ∣ ∑ n ⎜ ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R It is sufficient to prove that the ( x, y ) component of extreme points of R belong to P . Let ( ˆ y ) be extreme point of R . For each i : w, ˆ x, ˆ w i = 0, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 )} , i.e. If ˆ x i , ˆ y i = ˆ ˆ x i ˆ w i . If 0 < ˆ w i < 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 ) , ( 1 , ˆ w i ) , ( ˆ w i , 1 )} , i.e. x i , ˆ y i ≤ ˆ x i ˆ ˆ w i . w = 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 1 , 1 )} , If ˆ x i , ˆ y i ≤ ˆ i.e. ˆ x i ˆ w i . Thus, ∑ n y i ≤ b . ( ∵ a i ≥ 0 ∀ i ∈ [ n ] ) i = 1 a i ˆ x i ˆ 44/136 Dey Convexification in global optimization

  31. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): conv ( P ) ⊇ Proj x,y ( R ) ⎛ ⎞ ⎜ ⎟ {( x, y, w ) ∣ ∑ n ⎜ ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R It is sufficient to prove that the ( x, y ) component of extreme points of R belong to P . w = 0 Let ( ˆ y ) be extreme point of R . For each i : w, ˆ x, ˆ x + y <= 1 + w w i = 0, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 )} , i.e. If ˆ x i , ˆ y i = ˆ x i ˆ ˆ w i . If 0 < ˆ w i < 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 ) , ( 1 , ˆ w i ) , ( ˆ w i , 1 )} , i.e. x i , ˆ y i ≤ ˆ x i ˆ ˆ w i . w = 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 1 , 1 )} , If ˆ x i , ˆ y i ≤ ˆ i.e. ˆ x i ˆ w i . Thus, ∑ n y i ≤ b . ( ∵ a i ≥ 0 ∀ i ∈ [ n ] ) i = 1 a i ˆ x i ˆ 44/136 Dey Convexification in global optimization

  32. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): conv ( P ) ⊇ Proj x,y ( R ) ⎛ ⎞ ⎜ ⎟ {( x, y, w ) ∣ ∑ n ⎜ ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R It is sufficient to prove that the ( x, y ) component of extreme points of R belong to P . Let ( ˆ y ) be extreme point of R . For each i : 0 < w < 1 w, ˆ x, ˆ w i = 0, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 )} , i.e. x + y <= 1 + w If ˆ x i , ˆ y i = ˆ ˆ x i ˆ w i . If 0 < ˆ w i < 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 ) , ( 1 , ˆ w i ) , ( ˆ w i , 1 )} , i.e. x i , ˆ y i ≤ ˆ x i ˆ ˆ w i . w = 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 1 , 1 )} , If ˆ x i , ˆ y i ≤ ˆ i.e. ˆ x i ˆ w i . Thus, ∑ n y i ≤ b . ( ∵ a i ≥ 0 ∀ i ∈ [ n ] ) i = 1 a i ˆ x i ˆ 44/136 Dey Convexification in global optimization

  33. Convexification in global optimization Incorporating “data” in our sets A packing-type bilinear knapsack set Proof of Proposition(3): conv ( P ) ⊇ Proj x,y ( R ) ⎛ ⎞ ⎜ ⎟ {( x, y, w ) ∣ ∑ n ⎜ ⎟ conv ( P ) ∶ = Proj x,y ⎜ w i , x i , y i ∈ [ 0 , 1 ] , w i ≥ x i + y i − 1 ∀ i ∈ [ n ] } i = 1 a i w i ≤ b, ⎟ ⎜ ⎟ . ⎜ ⎟ �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ R It is sufficient to prove that the ( x, y ) component of extreme points of R belong to P . Let ( ˆ y ) be extreme point of R . For each i : w = 1 w, ˆ x, ˆ w i = 0, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 )} , i.e. x + y <= 1 + w If ˆ x i , ˆ y i = ˆ ˆ x i ˆ w i . If 0 < ˆ w i < 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 0 , 1 ) , ( 1 , 0 ) , ( 1 , ˆ w i ) , ( ˆ w i , 1 )} , i.e. x i , ˆ y i ≤ ˆ x i ˆ ˆ w i . w = 1, then ( ˆ y i ) ∈ {( 0 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 1 , 1 )} , If ˆ x i , ˆ y i ≤ ˆ i.e. ˆ x i ˆ w i . Thus, ∑ n y i ≤ b . ( ∵ a i ≥ 0 ∀ i ∈ [ n ] ) i = 1 a i ˆ x i ˆ 44/136 Dey Convexification in global optimization

  34. 4.2 Product of a simplex and a polytope 45/136

  35. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product A commonly occuring set + × R n 2 × R n 1 n 2 ∣ v ij = q i y j ∀ i ∈ [ n 1 ] , j ∈ [ n 2 ] , Ay ≤ b S ∶ = {( q, y, v ) ∈ R n 1 } . , q ∈ ∆ �ÜÜÜÜÜÜ�ÜÜÜÜÜÜ� � n 1 y ∈ P i = 1 q i = 1 ∑ Some applications: Pooling problem ([Tawarmalani and Sahinidis (2002)]) General substructure in “discretize NLPs” ([Gupte, Ahmed, Cheon, D. (2013)]) Network interdiction ([Davarnia, Richard, Tawarmalani (2017)]) 46/136 Dey Convexification in global optimization

  36. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Convex hull of S Theorem (Sherali, Alameddine [1992], Tawarmalani (2010), Kılın¸ c-Karzan (2011)) Let ⎧ ⎫ ⎪ v ij = q i y j ∀ i ∈ [ n 1 ] ,j ∈ [ n 2 ] , ⎪ � ⎪ ⎪ � ⎪ ⎪ � + × R n 2 × R n 1 n 2 � Ay ≤ b, S ∶ = ( q,y,v ) ∈ R n 1 � ⎬ � ⎨ � ⎪ � ⎪ . � ⎪ q ∈ ∆ ⎪ � ⎪ � ⎭ ⎪ � ⎩ � ⎛ ⎞ ⎜ ⎟ Then conv ( S ) ∶ = conv ⋃ n 1 i = 1 {( q,y,v )∣ q i = 1 ,v ij = y j ,y ∈ P } ⎜ ⎟ . �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ S i 47/136 Dey Convexification in global optimization

  37. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Proof of Theorem: ⊇ Theorem Let ⎧ ⎫ v ij = q i y j ∀ i ∈ [ n 1 ] ,j ∈ [ n 2 ] , ⎪ ⎪ � ⎪ ⎪ � ⎪ ⎪ � + × R n 2 × R n 1 n 2 � Ay ≤ b, S ∶ = ( q,y,v ) ∈ R n 1 � ⎬ � ⎨ � ⎪ � ⎪ . � ⎪ q ∈ ∆ ⎪ � ⎪ � ⎭ ⎪ � ⎩ � ⎛ ⎞ ⎜ ⎟ Then conv ( S ) ∶ = conv ⋃ n 1 i = 1 {( q,y,v )∣ q i = 1 ,v ij = y j ,y ∈ P } ⎜ ⎟ . �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ S i Proof of ⊇ S i ⊆ S . ∀ i ∈ [ n 1 ] i = 1 S i ⊆ S . ⋃ n 1 conv ( ⋃ n 1 i = 1 S i ) ⊆ conv ( S ) . 48/136 Dey Convexification in global optimization

  38. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Proof of Theorem: ⊆ + × R n 2 × R n 1 n 2 ∣ v ij = q i y j ∀ i ∈ [ n 1 ] , j ∈ [ n 2 ] , Ay ≤ b, q ∈ ∆ } S ∶ = {( q, y, v ) ∈ R n 1 ⎛ ⎞ ⎜ ⎟ conv ( S ) ∶ = conv n 1 {( q, y, v ) ∣ q i = 1 , v ij = y j , y ∈ P } ⋃ ⎜ ⎟ . �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� ⎝ ⎠ i = 1 S i Proof of ⊆ Pick ( ˆ v ) ∈ S . We need to show ( ˆ v ) ∈ conv (⋃ i = 1 S i ) n 1 q, ˆ y, ˆ q, ˆ y, ˆ Let I ⊆ [ n 1 ] such that ˆ q i ≠ 0 for i ∈ I . Then it is easy to verify, ( ˆ v ) q, ˆ y, ˆ is the convex combination of the points of the form for i 0 ∈ I : ⎫ ⎪ ⎪ ⎪ q i 0 = ˜ e i 0 ⎪ ⎪ ⎪ y i 0 = ⎬ ∈ S i 0 ∀ i 0 ∈ I ˜ y ˆ ⎪ ⎪ ⎪ { ˆ if i = i 0 ⎪ y j ⎪ v i 0 = ⎪ ˜ ⎭ if i ≠ i 0 ij 0 ⇒ ( ˆ v ) ∈ conv (⋃ i = 1 S i ) n 1 q, ˆ y, ˆ 49/136 Dey Convexification in global optimization

  39. 4.2.1 Application: Pooling problem 50/136

  40. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Network Flow on Tripartite Graph Network flow problem on a tripartite directed graph, with three type of INPUTS POOLS OUTPUTS node: Input Nodes (I), Pool Nodes (L), Output 1 Nodes (J). 6 4 Send flow from input 2 nodes via pool nodes to 7 5 output nodes. 3 Each of the arcs and nodes have capacities of flow. 51/136 Dey Convexification in global optimization

  41. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Network Flow on Tripartite Graph Network flow problem on a tripartite directed graph, with three type of INPUTS POOLS OUTPUTS node: Input Nodes (I), Pool Nodes (L), Output 1 Nodes (J). 6 4 Send flow from input 2 nodes via pool nodes to 7 5 output nodes. 3 Each of the arcs and nodes have capacities of flow. 51/136 Dey Convexification in global optimization

  42. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Network Flow on Tripartite Graph Network flow problem on a tripartite directed graph, with three type of INPUTS POOLS OUTPUTS node: Input Nodes (I), Pool Nodes (L), Output 1 Nodes (J). 6 4 Send flow from input 2 nodes via pool nodes to 7 5 output nodes. 3 Each of the arcs and nodes have capacities of flow. 51/136 Dey Convexification in global optimization

  43. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Other Constraints Raw material has specifications (like sulphur, carbon, etc.). INPUTS POOLS OUTPUTS Raw material gets mixed at the pool producing 1 1 new specification level at 6 4 pools. SPEC 1 SPEC 2 2 2 The material gets further mixed at the output 7 5 nodes. 3 3 The output node has required levels for each specification. 52/136 Dey Convexification in global optimization

  44. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Other Constraints Raw material has specifications (like sulphur, carbon, etc.). INPUTS POOLS OUTPUTS Raw material gets mixed at the pool producing 1 1 new specification level at 6 4 4 pools. SPEC 1 SPEC 2 2 2 The material gets further mixed at the output 7 5 5 nodes. 3 3 The output node has required levels for each specification. 52/136 Dey Convexification in global optimization

  45. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Other Constraints Raw material has specifications (like sulphur, carbon, etc.). INPUTS POOLS OUTPUTS Raw material gets mixed at the pool producing 1 1 new specification level at 6 6 4 4 pools. SPEC 1 SPEC 2 2 2 The material gets further mixed at the output 7 7 5 5 nodes. 3 3 The output node has required levels for each specification. 52/136 Dey Convexification in global optimization

  46. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The Pooling Problem: Other Constraints Raw material has specifications (like sulphur, carbon, etc.). INPUTS POOLS OUTPUTS Raw material gets mixed at the pool producing 1 1 new specification level at 6 6 4 4 pools. SPEC 1 SPEC 2 2 2 The material gets further mixed at the output 7 7 5 5 nodes. 3 3 The output node has required levels for each specification. 52/136 Dey Convexification in global optimization

  47. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Tracking Specification Data: INPUTS POOLS OUTPUTS λ k i : The value of specification k at input node 1 1 i . 6 6 4 4 SPEC 1 Variable: SPEC 2 2 2 p k l : The value of 7 7 5 5 specification k at node l y ab : Flow along the arc ( ab ) . 3 3 ⎛ ⎞ ∑ ⎝∑ λ k p k = ⎠ Specification Tracking: i y il y lj l �ÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜ� i ∈ I j ∈ J �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� Inflow of Spec k Out flow of Spec k 53/136 Dey Convexification in global optimization

  48. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product The pooling problem: ‘P’ formulation [Haverly (1978)] ∑ ( Maximize profit due to flow ) max w ij y ij ij ∈A Subject To: 1 Node and arc capacities. 2 Total flow balance at each node. 3 Specification balance at each pool. ⎛ ⎞ ⎠ < − − − Write McCormick relaxation of these ∑ ⎝∑ λ k i y il = p k y lj l i ∈ I j ∈ J 4 Bounds on p k j for all out put nodes j and specification k . 54/136 Dey Convexification in global optimization

  49. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Q Model [Ben-Tal, Eiger, Gershovitz (1994)] New Variable: q il ∶ fraction of flow to l from i ∈ I ∑ q il = 1 , q il ≥ 0 , i ∈ I. 1 y 14 q 14 = P i y i 4 i ∈ I y 24 q 24 = P l = ∑ i ∈ I λ k i y i 4 2 6 4 p k i q il v ilj ∶ flow from input node i y 34 q 34 = P i y i 4 to output node j via pool 3 7 node l . v ilj = q il y lj 55/136 Dey Convexification in global optimization

  50. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Q Model [Ben-Tal, Eiger, Gershovitz (1994)] New Variable: q il ∶ fraction of flow to l from i ∈ I ∑ q il = 1 , q il ≥ 0 , i ∈ I. 1 y 14 q 14 = P i y i 4 � i λ i q i 4 i ∈ I y 24 q 24 = P i y i 4 l = ∑ i ∈ I λ k 2 6 4 p k i q il v ilj ∶ flow from input node i y 34 q 34 = P i y i 4 to output node j via pool 3 7 node l . v ilj = q il y lj 55/136 Dey Convexification in global optimization

  51. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Q Model [Ben-Tal, Eiger, Gershovitz (1994)] New Variable: q il ∶ fraction of flow to l from i ∈ I ∑ q il = 1 , q il ≥ 0 , i ∈ I. 1 y 14 q 14 = P i y i 4 � i λ i q i 4 i ∈ I y 24 q 24 = P i y i 4 l = ∑ i ∈ I λ k 2 6 4 p k i q il v ilj ∶ flow from input node i y 34 q 34 = P i y i 4 to output node j via pool 3 7 node l . v ilj = q il y lj 55/136 Dey Convexification in global optimization

  52. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Q Model [Ben-Tal, Eiger, Gershovitz (1994)] New Variable: q il ∶ fraction of flow to l from i ∈ I ∑ q il = 1 , q il ≥ 0 , i ∈ I. 1 y 14 q 14 = P i y i 4 � i λ i q i 4 i ∈ I y 24 q 24 = P i y i 4 l = ∑ i ∈ I λ k 2 6 4 p k i q il v ilj ∶ flow from input node i y 34 q 34 = P i y i 4 to output node j via pool 3 7 node l . v ilj = q il y lj 55/136 Dey Convexification in global optimization

  53. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product Q Model w ij y ij + ( w il + w lj ) v ilj ∑ ∑ max i ∈ I,j ∈ J i ∈ I,l ∈ L,j ∈ J v ilj = q il y lj ∀ i ∈ I, l ∈ L, j ∈ J < − − − Write McCormick relaxation of these s.t. ∑ q il = 1 ∀ l ∈ L i ∈ I j (∑ y ij + ∑ y lj ) ≤ ∑ i y ij + ∑ i v ilj ≤ b k j (∑ y ij + ∑ y lj ) a k λ k λ k i ∈ I l ∈ L i ∈ I i ∈ I,l ∈ L i ∈ I l ∈ L Capacity constraints All variables are non-negative 56/136 Dey Convexification in global optimization

  54. Convexification in global optimization Incorporating “data” in our sets Simplex-polytope product “PQ Model” Improved: Significantly better bounds [Quesada and Grossmann (1995)], [Tawarmalani and Sahinidis (2002)] w ij y ij + ( w il + w lj ) v ilj ∑ ∑ max i ∈ I,j ∈ J i ∈ I,l ∈ L,j ∈ J v ilj = q il y lj ∀ i ∈ I, l ∈ L, j ∈ J < − − − Write McCormick relaxation of these s.t. q il = 1 ∀ l ∈ L ∑ i ∈ I j (∑ y ij + ∑ y lj ) ≤ ∑ i y ij + i v ilj ≤ b k j (∑ y ij + ∑ y lj ) ∑ a k λ k λ k i ∈ I l ∈ L i ∈ I i ∈ I,l ∈ L i ∈ I l ∈ L Capacity constraints All variables are non-negative v ilj = y lj ∀ l ∈ L, j ∈ J ∑ i ∈ I v ilj ≤ c l q il ∀ i ∈ I, l ∈ L. ∑ j ∈ J 57/136 Dey Convexification in global optimization

  55. 4.3 A covering-type bilinear knapsack set 58/136

  56. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set A covering-type bilinear knapsack set Consider the following set: P ∶ = {( ˜ y ) ∈ R n + × R n + ∣ n y i ≥ b } , ∑ x, ˜ a i ˜ x i ˜ i = 1 where a i ≥ 0 for all i ∈ [ n ] and b > 0. Note that this is an unbounded set. For convenience of analysis consider rescaled version: P ∶ = {( x, y ) ∈ R n + × R n + ∣ ∑ n x i y i ≥ 1 } , i = 1 (For example: x i = a i x i , y i = ˜ b ˜ y i ) 59/136 Dey Convexification in global optimization

  57. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Is re-scaling okay? Observation: Affine bijective map “commutes” with convex hull operation Let S ⊆ R n and let f ∶ R n → R be an affine bijective map. Then: f ( conv ( S )) = conv ( f ( S )) . Proof x ∈ f ( conv ( S )) ∃ y ∶ x = f ( y ) , y = ∑ y i λ i , λ ∈ ∆ ⇐ ⇒ i = 1 ∃ y ∶ x = f ( y ) , f ( y ) = ∑ f ( y i ) λ i , λ ∈ ∆ ( f is bij. affine ) ⇐ ⇒ i = 1 x ∈ conv ( f ( S )) . ⇐ ⇒ Careful: Not usually true if f is only bijective, but not affine! 60/136 Dey Convexification in global optimization

  58. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set The convex-hull of covering-type bilinear set Theorem (Tawarmalani, Richard, Chung (2010)) Let P ∶ = {( x,y ) ∈ R n + × R n + ∣ ∑ n i = 1 x i y i ≥ 1 } . Then √ x i y i ≥ 1 } . conv ( P ) ∶ = {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 √ x i y i ≥ 1 is a convex set because: Note: ∑ n √ x i y i is a concave function for x i ,y i ≥ 0. i = 1 √ x i y i is a concave function. So ∑ n f ( x i ,y i ) ∶ = √ x i y i is a positively-homogenous, i.e. i = 1 f ( η ( u,v )) = ηf ( u,v ) for all η > 0. 61/136 Dey Convexification in global optimization

  59. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Proof of Theorem: “ ⊆ ” P ∶ = {( x,y ) ∈ R n + × R n + ∣ ∑ n x i y i ≥ 1 } . i = 1 √ x i y i ≥ 1 } conv ( P ) = {( x,y ) ∈ R n + × R n + ∣ n ∑ � . �ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ�ÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜÜ� i = 1 To prove H conv ( P ) ⊆ H Sufficient to prove P ⊆ H . Let ( ˆ y ) ∈ P . Two cases: y i ≥ 1. Then √ ˆ x, ˆ y i ≥ 1 and thus ( ˆ y ) ∈ H . √ ˆ If ∃ i such that ˆ x i ˆ x i ˆ x, ˆ y i ≤ 1 for i ∈ [ n ] . Thus ∑ n y i ≥ ∑ n y i ≥ 1 and thus Else ˆ x i ˆ x i ˆ i = 1 ˆ x i ˆ ( ˆ y ) ∈ H . i = 1 x, ˆ 62/136 Dey Convexification in global optimization

  60. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Proof of Theorem: “ ⊇ ” conv ( P ) ⊇ H Let ( ˆ y ) ∶ = ( ˆ y n ) ∈ H . “WLOG:” x, ˆ x 1 , ˆ y 1 , ˆ x 2 , ˆ y 2 , . . . , ˆ x n , ˆ ( ) ˆ x 1 , ˆ x 2 , ˆ ˆ x 3 , ˆ ˆ x 4 , ˆ ˆ x n , ˆ ˆ y 1 , y 2 , y 3 , y 4 . . . , y n � � � � �ÜÜÜÜÜ�ÜÜÜÜ� √ √ √ x 4 > 0 , ˆ y 4 = 0 x n = 0 , ˆ ˆ ˆ y n > 0 x 1 ˆ ˆ y 1 = λ 1 > 0 x 2 ˆ ˆ y 2 = λ 2 > 0 x 3 ˆ ˆ y 3 = λ 3 > 0 So we have λ 1 + λ 2 + λ 3 ≥ 1. Let ˘ λ 1 + λ 2 + λ 3 ∀ i ∈ [ 3 ] . λ i = λ i Consider the three points: ∶ = ( ˆ λ 1 ) p 1 λ 1 , ˆ x 1 y 1 ˆ x 4 0 , ˆ y n 0 , 0 , 0 , 0 , λ 1 , 0 , λ 1 , . . . , ˘ ˘ ˘ ˘ ∶ = ( 0 , 0 , 0 , 0 ) p 2 λ 2 , ˆ x 2 ˆ y 2 λ 2 , 0 , 0 , 0 , 0 , . . . , ˘ ˘ ∶ = ( 0 , 0 , 0 , 0 ) p 3 λ 3 , ˆ x 3 ˆ y 3 0 , 0 , 0 , 0 , λ 3 , . . . , ˘ ˘ λ 1 p 1 + ˘ λ 2 p 2 + ˘ λ 3 p 3 = ( ˆ y ) , and ˘ λ 1 + ˘ λ 2 + ˘ Trivial to verify that ˘ λ 3 = 1. x, ˆ √ ˆ 2 2 = ( ) = ( λ 1 ) ≥ 1 ⇒ p 1 ∈ P. Similarly p 2 ∈ P, p 3 ∈ P . ˆ ⋅ ˆ x i ˆ x 1 y 1 y i ˘ ˘ ˘ ˘ λ 1 λ 1 λ 1 λ 1 63/136 Dey Convexification in global optimization

  61. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set An interpretation of the proof The result in [Tawarmalani, Richard, Chung (2010)] is more general. “Two ingredients” in the proof “Orthogonal disjunction”: Define P i ∶ = {( x, y ) ∈ R n + × R n + ∣ x i y i ≥ 1 } . Then it can be verified that: conv ( P ) = conv ( P i ) . ⋃ n i = 1 Positive homogenity: P i is convex set. Also, + ∣ √ x i y i ≥ 1 } < −− The “correct way” to write the set P i ∶ = {( x, y ) ∈ R n + × R n This single term convex hull is described using the positive homogenous function. 64/136 Dey Convexification in global optimization

  62. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Another example of convexification from [Tawarmalani, Richard, Chung (2010)] Example S ∶ = {( x 1 ,x 2 ,x 3 ,x 4 ,x 5 ,x 6 ) ∈ R 6 + ∣ x 1 x 2 x 3 + x 4 x 5 + x 6 ≥ 1 } , then 3 + ( x 4 x 5 ) 2 + x 6 ≥ 1 } conv ( S ) ∶ = {( x 1 ,x 2 ,x 3 ,x 4 ,x 5 ,x 6 ) ∈ R 6 + ∣( x 1 x 2 x 3 ) 1 1 65/136 Dey Convexification in global optimization

  63. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Lets talk about “representability” of the convex hull Up till now, we had polyhedral convex hull. This bilinear covering set yields our first non-polyhedral example of convex hull. It turns out the set: √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 is second order cone representable (SOCr). 66/136 Dey Convexification in global optimization

  64. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set A quick review of second order cone representable sets: Introduction Polyhedron: Ax − b ∈ R m x ∈ R n + R m is a closed, convex, + pointed and full dimensional cone. Conic set: 67/136 Dey Convexification in global optimization − ∈

  65. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set A quick review of second order cone representable sets: Introduction Polyhedron: Ax − b ∈ R m x ∈ R n + R m is a closed, convex, + pointed and full dimensional cone. Conic set: 67/136 Dey Convexification in global optimization − ∈

  66. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Second order conic representable set Conic set Ax − b ∈ K Definiton: Second order cone K ∶ = { u ∈ R m ∣ ∥( u 1 , . . . , u m − 1 )∥ 2 ≤ u m } Second order conic representable (SOCr) set A set S ⊆ R n is a second order cone representable if, S ∶ = Proj x {( x, y ) ∣ Ax + Gy − b ∈ ( K 1 × K 2 × K 3 × ⋅ ⋅ ⋅ × K p )} , where K i ’s are second order cone. Or equivalently, S ∶ = Proj x {( x, y ) ∣ ∥ A i x + G i y − b i ∥ 2 ≤ A i 0 x + G i 0 y − b i 0 ∀ i ∈ [ p ]} , 68/136 Dey Convexification in global optimization

  67. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Lets get back to our convex hull √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 In fact, the above set is Second order cone (SOCr) representable: ∈ R n x,y + n ≥ ∑ u i 1 √ x i y i i = 1 ≥ u i ∀ i ∈ [ n ] 69/136 Dey Convexification in global optimization

  68. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Lets get back to our convex hull √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 In fact, the above set is Second order cone (SOCr) representable: ∈ R n x,y + n ∑ ≥ 1 u i i = 1 ≥ i ∀ i ∈ [ n ] u 2 x i y i 70/136 Dey Convexification in global optimization

  69. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Lets get back to our convex hull √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 In fact, the above set is Second order cone (SOCr) representable: ∈ R n x,y + n ∑ ≥ 1 u i ( x i + y i ) 2 − ( x i − y i ) 2 i = 1 ≥ i ∀ i ∈ [ n ] 4 u 2 71/136 Dey Convexification in global optimization

  70. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Lets get back to our convex hull √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 In fact, the above set is Second order cone (SOCr) representable: ∈ R n x,y + n ≥ ∑ u i 1 √ i = 1 ( 2 u i ) 2 + ( x i − y i ) 2 ∀ i ∈ [ n ] x i + y i ≥ 72/136 Dey Convexification in global optimization

  71. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Our convex hull is SOCr √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ n ∑ i = 1 In fact, the above set is Second order cone (SOCr) representable: ∈ R n x,y + ∑ n ≥ 1 u i i = 1 ( x i + y i ) ≥ ∥ ( x i − y i ) ∥ ∀ i ∈ [ n ] 2 u i 2 73/136 Dey Convexification in global optimization

  72. Convexification in global optimization Incorporating “data” in our sets A covering-type bilinear knapsack set Our convex hull is SOCr √ x i y i ≥ 1 } {( x,y ) ∈ R n + × R n + ∣ ∑ n i = 1 In fact, the above set is Second order cone (SOCr) representable: ≥ ∥ 0 ∥ 2 ∀ i ∈ [ n ] x i ≥ ∥ 0 ∥ 2 ∀ i ∈ [ n ] y i n u i − 1 ≥ ∥ 0 ∥ 2 ∑ i = 1 ( x i + y i ) ≥ ∥ ( x i − y i ) ∥ ∀ i ∈ [ n ] 2 u i 2 74/136 Dey Convexification in global optimization

  73. 5 Convex hull of a general one-constraint quadratic constraint 75/136

  74. Convexification in global optimization Convex hull of a general one-constraint quadratic constraint Our next goal Theorem (Santana, D. (2019)) Let S ∶ = { x ∈ R n ∣ x ⊺ Qx + α ⊺ x = g, x ∈ P } , (2) where Q ∈ R n × n is a symmetric matrix, α ∈ R n , g ∈ R and P ∶ = { x ∣ Ax ≤ b } is a polytope. Then conv ( S ) is second order cone representable. The proof is contructive. So in principle, we can build the convex hull using the proof. The size of the second order “extended formulation” is exponential in size. The result holds if we replace the quadratic equation with an inequality. 76/136 Dey Convexification in global optimization

Recommend

CONVEXIFICATION AND GLOBAL OPTIMIZATION Nick Sahinidis University of Illinois at

CONVEXIFICATION AND GLOBAL OPTIMIZATION Nick Sahinidis University of Illinois at

CONVEXIFICATION AND GLOBAL OPTIMIZATION Nick Sahinidis University of Illinois at Urbana-Champaign Chemical and Biomolecular Engineering MIXED-INTEGER NONLINEAR PROGRAMMING (P) min f ( x, y ) Objective Function s.t. g ( x, y ) 0

1k views • 41 slides
Branch Flow Model relaxations, convexification Masoud Farivar Steven Low Computing + Math

Branch Flow Model relaxations, convexification Masoud Farivar Steven Low Computing + Math

Branch Flow Model relaxations, convexification Masoud Farivar Steven Low Computing + Math Sciences Electrical Engineering Caltech May 2012 Motivations Global trends 1 Proliferation renewables ! Driven by sustainability ! Enabled by

859 views • 69 slides
Global Optimization Global constant propagation Liveness analysis 2 Local

Global Optimization Global constant propagation Liveness analysis 2 Local

Lecture Outline Global flow analysis Global Optimization Global constant propagation Liveness analysis 2 Local Optimization Global Optimization Recall the simple basic-block optimizations These optimizations can be extended

434 views • 14 slides
Scalable Global Optimization via Local Bayesian Optimization David Eriksson Uber AI

Scalable Global Optimization via Local Bayesian Optimization David Eriksson Uber AI

Scalable Global Optimization via Local Bayesian Optimization David Eriksson Uber AI eriksson@uber.com Matthias Poloczek Michael Pearce Jake Gardner Ryan Turner Global Optimization Find such that

436 views • 11 slides
Global Optimization Lecture Outline Global flow analysis Global constant propagation

Global Optimization Lecture Outline Global flow analysis Global constant propagation

Global Optimization Lecture Outline Global flow analysis Global constant propagation Liveness analysis 2 Compiler Design I (2011) Local Optimization Recall the simple basic-block optimizations Constant propagation

1.11k views • 54 slides
Inner Regions and Interval Linearizations for Global Optimization G. Trombettoni, I. Araya, B.

Inner Regions and Interval Linearizations for Global Optimization G. Trombettoni, I. Araya, B.

Background Main contribution New framework for constrained global optimization Experimental evaluation Inner Regions and Interval Linearizations for Global Optimization G. Trombettoni, I. Araya, B. Neveu, G. Chabert INRIA, I3S, Univ.

522 views • 27 slides
Certified Global Optimization using Max-Plus based Templates Joint Work with B. Werner, S.

Certified Global Optimization using Max-Plus based Templates Joint Work with B. Werner, S.

Flyspeck-Like Global Optimization Classical Approach: Taylor + SOS Max-Plus Based Templates Certified Global Optimization with Certified Global Optimization using Max-Plus based Templates Joint Work with B. Werner, S. Gaubert and X. Allamigeon

854 views • 46 slides
Part 15 Global optimization minimize f x g i x = 0, i = 1,... ,n e h i x

Part 15 Global optimization minimize f x g i x = 0, i = 1,... ,n e h i x

Part 15 Global optimization minimize f x g i x = 0, i = 1,... ,n e h i x 0, i = 1,... ,n i 455 Wolfgang Bangerth Motivation What should we do when asked to find the (global) minimum of functions like this: f x

728 views • 40 slides
GLOBAL OPTIMIZATION WITH BRANCH-AND-REDUCE: Algorithms, Software, and Applications Nick

GLOBAL OPTIMIZATION WITH BRANCH-AND-REDUCE: Algorithms, Software, and Applications Nick

GLOBAL OPTIMIZATION WITH BRANCH-AND-REDUCE: Algorithms, Software, and Applications Nick Sahinidis University of Illinois at Urbana-Champaign Chemical and Biomolecular Engineering CHALLENGES IN GLOBAL OPTIMIZATION min f ( x , y )

951 views • 42 slides
A Global Optimization Approach to Structured Regulation Design under H Constraints Dominique

A Global Optimization Approach to Structured Regulation Design under H Constraints Dominique

Introduction Global optimization approach: Branch and Bound H norm of MISO systems Example Conclusion A Global Optimization Approach to Structured Regulation Design under H Constraints Dominique Monnet, Jordan Ninin, Beno t Cl

473 views • 25 slides
Introduction to Global Optimization Fabio Schoen 2008 http://gol.dsi.unifi.it/users/schoen

Introduction to Global Optimization Fabio Schoen 2008 http://gol.dsi.unifi.it/users/schoen

Introduction to Global Optimization Fabio Schoen 2008 http://gol.dsi.unifi.it/users/schoen Introduction to Global Optimization p. Global Optimization Problems x S R n f ( x ) min What is it meant by global optimization? Of course

1.57k views • 109 slides
Deterministic Global Optimization Algorithm and Nonlinear Dynamics C. S. Adjiman and I.

Deterministic Global Optimization Algorithm and Nonlinear Dynamics C. S. Adjiman and I.

Deterministic Global Optimization Algorithm and Nonlinear Dynamics C. S. Adjiman and I. Papamichail Centre for Process Systems Engineering Department of Chemical Engineering and Chemical Technology Imperial College London Global Optimization

693 views • 41 slides
MATH529 Fundamentals of Optimization Unconstrained Optimization II Marco A. Montes de Oca

MATH529 Fundamentals of Optimization Unconstrained Optimization II Marco A. Montes de Oca

MATH529 Fundamentals of Optimization Unconstrained Optimization II Marco A. Montes de Oca Mathematical Sciences, University of Delaware, USA 1 / 31 Recap 2 / 31 Optimization via Calculus Example Find the local and global minimizers and

2.41k views • 26 slides
Towards Global Solution of Semi-infinite Programs Global Optimization Theory Institute, Argonne

Towards Global Solution of Semi-infinite Programs Global Optimization Theory Institute, Argonne

Towards Global Solution of Semi-infinite Programs Global Optimization Theory Institute, Argonne National Laboratory 8th September 2003 Paul I. Barton and Binita Bhattacharjee Department of Chemical Engineering, MIT Outline Mathematical

524 views • 25 slides
Global Optimization of continuous MinMax problem Dominique Monnet, Jordan Ninin, Beno t Cl

Global Optimization of continuous MinMax problem Dominique Monnet, Jordan Ninin, Beno t Cl

Min Max problem in control Global optimization for Min max problems Benchmark Conclusion Global Optimization of continuous MinMax problem Dominique Monnet, Jordan Ninin, Beno t Cl ement LAB-STICC, UMR 6285 / ENSTA-Bretagne 1 / 23

971 views • 64 slides
Global Optimization based on Contractor Programming: Application to H synthesis Jordan Ninin

Global Optimization based on Contractor Programming: Application to H synthesis Jordan Ninin

Introduction Global Optimization Application to H control synthesis under structural constraints Conclusion Global Optimization based on Contractor Programming: Application to H synthesis Jordan Ninin with Dominique Monnet and Benoit

828 views • 61 slides
Recent advances and trends in global optimization Panos M. Pardalos Center for Applied

Recent advances and trends in global optimization Panos M. Pardalos Center for Applied

Recent advances and trends in global optimization Panos M. Pardalos Center for Applied Optimization, ISE &amp; CISE Departments Biomedical Engineering Department, McKnight Brain Institute University of Florida, Gainesville, FL 32611

1.27k views • 106 slides
25. NLP algorithms Overview Local methods Constrained optimization Global methods

25. NLP algorithms Overview Local methods Constrained optimization Global methods

CS/ECE/ISyE 524 Introduction to Optimization Spring 201718 25. NLP algorithms Overview Local methods Constrained optimization Global methods Black-box methods Course wrap-up Laurent Lessard (www.laurentlessard.com)

649 views • 35 slides
Unconstrained Optimization Optimization problem Given f : R n R find x R n ,

Unconstrained Optimization Optimization problem Given f : R n R find x R n ,

Unconstrained Optimization Optimization problem Given f : R n R find x R n , such that x = argmin f ( x ) x Global minimum and local minimum Optimality Necessary condition: f ( x ) = 0 Sufficient

263 views • 7 slides
Optimality-based Domain Reductions for Global Optimization A. Caprara, M. Locatelli, M. Monaci

Optimality-based Domain Reductions for Global Optimization A. Caprara, M. Locatelli, M. Monaci

Optimality-based Domain Reductions for Global Optimization A. Caprara, M. Locatelli, M. Monaci Aussois, January 2013 M. Monaci (uniPD) Optimality-based Domain Reductions 1 / 22 Outline of the talk Settings: global optimization problems

858 views • 22 slides
Global Optimization of ODE constrained network problems Marc Pfetsch Joint work with: Oliver

Global Optimization of ODE constrained network problems Marc Pfetsch Joint work with: Oliver

Global Optimization of ODE constrained network problems Marc Pfetsch Joint work with: Oliver Habeck and Stefan Ulbrich TU Darmstadt Supported by the SFB Transregio 154: Mathematical Modelling, Simulation and Optimization using the Example of

454 views • 27 slides
Continuous global optimization for protein structure analysis . Bertolazzi 1 , C. Guerra 2 , F

Continuous global optimization for protein structure analysis . Bertolazzi 1 , C. Guerra 2 , F

Introduction Continuous Optimization Numerical Results Conclusions Continuous global optimization for protein structure analysis . Bertolazzi 1 , C. Guerra 2 , F .Lampariello 1 , G. Liuzzi 1 P PR PS BB 2011, 13/09/2011 1IASI - Consiglio

943 views • 33 slides
Optimization Process Done by an Optimization Algorithm Jose Rueda Torres Learning Objectives

Optimization Process Done by an Optimization Algorithm Jose Rueda Torres Learning Objectives

Optimization Process Done by an Optimization Algorithm Jose Rueda Torres Learning Objectives Explain the optimization process followed by an optimization algorithm to arrive at the global optimum solution The Search Space The Search

370 views • 13 slides
Optimization based on Mixed Integer Dealing with nonconvexities Global Nonlinear Programming

Optimization based on Mixed Integer Dealing with nonconvexities Global Nonlinear Programming

Claudia DAmbrosio What is MP? What is a MINLP? Subclasses of MINLP Optimization based on Mixed Integer Dealing with nonconvexities Global Nonlinear Programming methods Optimization methods Spatial Branch-and-Bound Expression trees

1.71k views • 144 slides

More recommend