Convex Optimization Lecture Notes for EE 227BT Draft, Fall 2013 - PDF document

Convex Optimization Lecture Notes for EE 227BT Draft, Fall 2013 Laurent El Ghaoui August 29, 2013

2

Contents 1 Introduction 7 1.1 Optimization problems . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.1 The model . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.3 Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Convex optimization problems . . . . . . . . . . . . . . . . . . . 9 1.2.1 Convexity . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.2 Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.3 A brief history of convex optimization . . . . . . . . . . . 9 1.3 Course objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2 Linear Algebra Review 11 2.1 Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1.2 Scalar product and norms . . . . . . . . . . . . . . . . . . 11 2.2 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2.2 Matrix norms . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.2.3 Matrix description of subspaces . . . . . . . . . . . . . . . 15 2.2.4 Singular value decomposition . . . . . . . . . . . . . . . . 15 2.3 Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3.1 Definition and examples . . . . . . . . . . . . . . . . . . . 15 2.3.2 Eigenvalue decomposition . . . . . . . . . . . . . . . . . . 16 2.3.3 Positive semi-definite matrices . . . . . . . . . . . . . . . 17 3 Convex Optimization Problems 19 3.1 Convex Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.3 Support and indicator functions . . . . . . . . . . . . . . 20 3.1.4 Operations that preserve convexity . . . . . . . . . . . . . 20 3.1.5 Separation theorems . . . . . . . . . . . . . . . . . . . . . 21 3.2 Convex Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2.1 Domain of a function . . . . . . . . . . . . . . . . . . . . . 21 3.2.2 Definition of convexity . . . . . . . . . . . . . . . . . . . . 21 3.2.3 Alternate characterizations of convexity . . . . . . . . . . 22 3.2.4 Operations that preserve convexity . . . . . . . . . . . . . 22 3.2.5 Conjugate function . . . . . . . . . . . . . . . . . . . . . . 23 3.3 Convex Optimization Problems . . . . . . . . . . . . . . . . . . . 23 3.3.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.2 Optimality . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3.3 Equivalent problems . . . . . . . . . . . . . . . . . . . . . 25 3

4 CONTENTS 3.3.4 Maximization of convex functions . . . . . . . . . . . . . . 27 3.4 Linear Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.1 Definition and standard forms . . . . . . . . . . . . . . . . 28 3.4.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.5 Overview of conic optimization . . . . . . . . . . . . . . . . . . . 31 3.5.1 Conic optimization models. . . . . . . . . . . . . . . . . . 31 3.5.2 Tractable conic optimization. . . . . . . . . . . . . . . . . 32 3.6 Second-order cone optimization . . . . . . . . . . . . . . . . . . . 33 3.6.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.6.2 Standard form. . . . . . . . . . . . . . . . . . . . . . . . . 33 3.6.3 Special case: convex quadratic optimization. . . . . . . . 33 3.6.4 Quadratically constrained, convex quadratic optimization. 33 3.6.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.6.6 Risk-return trade-off in portfolio optimization . . . . . . . 34 3.6.7 Robust half-space constraint . . . . . . . . . . . . . . . . 34 3.6.8 Robust linear programming . . . . . . . . . . . . . . . . . 34 3.6.9 Robust separation . . . . . . . . . . . . . . . . . . . . . . 35 3.7 Semidefinite optimization . . . . . . . . . . . . . . . . . . . . . . 36 3.7.1 Definition and standard forms . . . . . . . . . . . . . . . . 36 3.7.2 Special cases . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.7.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.8 More on non-convex quadratic optimization . . . . . . . . . . . . 39 3.8.1 More on rank relaxation. . . . . . . . . . . . . . . . . . . 39 3.8.2 Lagrange relaxation . . . . . . . . . . . . . . . . . . . . . 40 3.8.3 The S -lemma . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.9 Optimization over ellipsoids . . . . . . . . . . . . . . . . . . . . . 41 3.9.1 Parametrizations of ellipsoids . . . . . . . . . . . . . . . . 41 3.9.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.9.3 Maximum volume ellipsoid in a polyhedron. . . . . . . . . 42 3.9.4 Minimum trace ellipsoid containing the sum of ellipsoids. 43 3.9.5 Application: reachable sets for discrete-time dynamical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.10 Geometric Programming . . . . . . . . . . . . . . . . . . . . . . . 44 3.10.1 Standard form . . . . . . . . . . . . . . . . . . . . . . . . 44 3.10.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.10.3 Generalized geometric programming . . . . . . . . . . . . 48 4 Duality 49 4.1 Weak Duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.1.1 Primal problem . . . . . . . . . . . . . . . . . . . . . . . . 49 4.1.2 Dual problem . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.1.3 Geometric interpretation . . . . . . . . . . . . . . . . . . . 51 4.1.4 Minimax inequality . . . . . . . . . . . . . . . . . . . . . . 51 4.1.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.1.6 Semidefinite optimization problem . . . . . . . . . . . . . 54 4.2 Strong duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.2.2 A strong duality theorem . . . . . . . . . . . . . . . . . . 55 4.2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.3 Strong duality for convex problems . . . . . . . . . . . . . . . . . 58 4.3.1 Primal and dual problems . . . . . . . . . . . . . . . . . . 58 4.3.2 Strong duality via Slater’s condition . . . . . . . . . . . . 58 4.3.3 Geometric interpretation . . . . . . . . . . . . . . . . . . . 59 4.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60