├── .gitattributes ├── 2 凸集 ├── 2.1.md ├── 2.2.md ├── 2.3.md └── 习题解答.md ├── README.md ├── bv_cvxbook.pdf ├── bv_cvxbook_extra_exercises.pdf ├── cvxbook-solutions.pdf └── 凸优化_Boyd&Vandenberghe_中文完整版.pdf /.gitattributes: -------------------------------------------------------------------------------- 1 | # Auto detect text files and perform LF normalization 2 | * text=auto 3 | -------------------------------------------------------------------------------- /2 凸集/2.1.md: -------------------------------------------------------------------------------- 1 | ### 内容回顾 2 | 3 | #### 直线与线段 4 | 5 | | 概念 | 定义 | 6 | | :--- | ------------------------------------------------------------ | 7 | | 直线 | $y=\theta x_{1}+(1-\theta) x_{2}, \theta \in \mathbf{R}, x_1\neq x_2$ | 8 | | 线段 | $y=\theta x_{1}+(1-\theta) x_{2}, \theta \in [0,1], x_1\neq x_2$ | 9 | 10 | 11 | 12 | #### 仿射集，凸集，凸锥，锥 13 | 14 | | 概念 | 定义 | 性质以及等价定义 | 15 | | ---------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | 16 | | 仿射集$C\subset \mathbf R^n$ | $\forall x_1,x_2\in C,\theta \in \mathbf{R},\theta x_{1}+(1-\theta) x_{2} \in C$ | $\forall x_{1}, \cdots, x_{k} \in C, \sum_{i=1}^k \theta_i = 1, \sum_{i=1}^k \theta_i x_i \in C$ | 17 | | 凸集$C\subset \mathbf R^n$ | $\forall x_1,x_2\in C,\theta \in [0,1],\theta x_{1}+(1-\theta) x_{2} \in C$ | $\forall x_{1}, \cdots, x_{k} \in C, \sum_{i=1}^k \theta_i = 1,\theta_i\ge 0 ,i=1,\ldots,k, \sum_{i=1}^k \theta_i x_i \in C$ | 18 | | 凸锥$C\subset \mathbf R^n$ | $\forall x_1,x_2\in C,\theta_1,\theta_2\ge 0,\theta_1 x_{1}+\theta_2 x_{2} \in C$ | $\forall x_{1}, \cdots, x_{k} \in C,\theta_i\ge 0, i=1,\ldots,k,\sum_{i=1}^k \theta_i x_i \in C$ | 19 | | 锥$C\subset \mathbf R^n$ | $\forall x\in C,\theta \ge 0, \theta x \in C$ | 无 | 20 | 21 | 22 | 23 | #### 仿射组合，凸组合，锥组合 24 | 25 | 这里给定点$x_{1}, \cdots, x_{k}$ 26 | 27 | | 概念 | 定义 | 28 | | ---------------------- | ------------------------------------------------------------ | 29 | | 仿射组合 | $\sum_{i=1}^k \theta_i x_i ,\sum_{i=1}^k \theta_i = 1$ | 30 | | 凸组合 | $\sum_{i=1}^k \theta_i x_i, \sum_{i=1}^k \theta_i = 1,\theta_i\ge 0 ,i=1,\ldots,k$ | 31 | | 锥组合（非负线性组合） | $\sum_{i=1}^k \theta_i x_i, \theta_i\ge 0 ,i=1,\ldots,k$ | 32 | 33 | 34 | 35 | #### 仿射包，凸包，锥包 36 | 37 | | 概念 | 定义 | 38 | | ------ | ------------------------------------------------------------ | 39 | | 仿射包 | $\operatorname{aff} C=\left\{\sum_{i=1}^k\theta_i x_i \mid x_{1}, \cdots, x_{k} \in C, \sum_{i=1}^k\theta_{i}=1\right\}$ | 40 | | 凸包 | $\operatorname{conv} C=\left\{\sum_{i=1}^k\theta_i x_i \mid x_{i} \in C, \theta_{i} \ge 0, i=1, \cdots, k, \sum_{i=1}^k\theta_{i}=1\right\}$ | 41 | | 锥包 | $\left\{\sum_{i=1}^k \theta_i x_i \mid x_{i} \in C, \theta_{i} \ge 0, i=1, \cdots, k\right\}$ | 42 | 43 | 44 | 45 | #### 仿射集相关的子空间 46 | 47 | 如果$C$是一个仿射集合并且 $x_{0} \in C$ ，则集合 48 | $$ 49 | V=C-x_{0}=\left\{x-x_{0} \mid x \in C\right\} 50 | $$ 51 | 是一个子空间，称为$C$相关的子空间。 52 | 53 | 从而仿射集可以表示为 54 | $$ 55 | C=V+x_{0}=\left\{v+x_{0} \mid v \in V\right\} 56 | $$ 57 | 定义仿射集的维数为子空间$V=C-x_0$的维数，其中$x_0$为$C$中任意元素。 58 | 59 | 定义集合$C$的**仿射维度**为其仿射包的维度。 60 | 61 | 62 | 63 | #### 仿射集的相对内部 64 | 65 | 仿射集的相对内部 66 | $$ 67 | \text{relint }C=\{x \in C \mid B(x, r) \cap \text { aff } C \subseteq C \text { 对于某些 } r>0\} 68 | $$ 69 | 其中 70 | $$ 71 | B(x, r)=\{y \mid\|y-x\| \le r\} 72 | $$ 73 | 相对边界 74 | $$ 75 | \text{cl }C\ \backslash\text{ relint }C 76 | $$ 77 | 其中$\text{cl }C$为$C$的闭包。 78 | 79 | 80 | 81 | ### 内容补充 82 | 83 | #### 1.P20页第一段的证明补充 84 | 85 | 命题： 86 | 87 | $C$是仿射集$\Leftrightarrow$对于任意正整数$k\ge 2$，$\forall x_{1}, \cdots, x_{k} \in C,\sum_{i=1}^k\theta_i =1$，$\sum_{i=1}^k \theta_i x_i \in C$。 88 | 89 | 证明： 90 | 91 | $\Leftarrow$：取$k=2$即可。 92 | 93 | $\Rightarrow$：关于$k$做数学归纳法。 94 | 95 | $k=2$时，由定义即可推出。 96 | 97 | 假设$k=n$时结论成立，现在证明$k=n+1$时结论也成立。 98 | 99 | $\forall x_{1}, \cdots, x_{n+1} \in C,\sum_{i=1}^{n+1}\theta_i =1$，显然总存在$\theta_i \neq 1$，不妨设为$\theta_{n+1}$，那么 100 | $$ 101 | \sum_{i=1}^{n+1}\theta_i =1\Leftrightarrow 102 | \sum_{i=1}^{n}\theta_i +\theta_{n+1}=1 \Leftrightarrow 103 | \sum_{i=1}^{n}\theta_i =1-\theta_{n+1} \neq 0\Leftrightarrow 104 | \sum_{i=1}^{n}\frac{\theta_i }{1-\theta_{n+1}} =1 105 | $$ 106 | 因为$k=n$时结论成立，所以 107 | $$ 108 | \sum_{i=1}^{n} \frac{\theta_i }{1-\theta_{n+1}} x_i \in C 109 | $$ 110 | 由仿射集的定义可得 111 | $$ 112 | (1-\theta_{n+1})\sum_{i=1}^{n} \frac{\theta_i }{1-\theta_{n+1}} x_i +\theta_{n+1}x_{n+1} 113 | =\sum_{i=1}^{n+1}\theta_i x_i \in C 114 | $$ 115 | 即$k=n+1$时结论也成立。 116 | 117 | 备注：凸集，凸锥的情形同理可得。 118 | 119 | 120 | 121 | #### 2.例2.1的证明补充 122 | 123 | 命题： 124 | 125 | 任意仿射集合$C$可以表示为一个线性方程组的解集。 126 | 127 | 证明： 128 | 129 | $\forall x_0\in C$，集合 130 | $$ 131 | V=C-x_{0}=\left\{x-x_{0} \mid x \in C\right\} 132 | $$ 133 | 为子空间，所以总能找到该空间的一组基$v_1,\ldots, v_d \in \mathbf R^n$，记 134 | $$ 135 | V_0=\left[ 136 | \begin{matrix} 137 | v_1^T\\ 138 | \vdots\\ 139 | v_d^T 140 | \end{matrix} 141 | \right] \in \mathbf R^{d\times n} 142 | $$ 143 | 现在求解如下线性方程组 144 | $$ 145 | V_0a = 0 146 | $$ 147 | 设解空间的基为$a_1,\ldots,a_m\in \mathbf R^n$，即$a_1,\ldots,a_m$线性无关，并且 148 | $$ 149 | V_0 a_i =0,i=1,\ldots, m 150 | $$ 151 | 所以 152 | $$ 153 | A= \left[ 154 | \begin{matrix} 155 | a_1^T\\ 156 | \vdots\\ 157 | a_m^T 158 | \end{matrix} 159 | \right] \in \mathbf R^{m\times n} 160 | $$ 161 | 那么 162 | $$ 163 | AV_0^T =\left[ 164 | \begin{matrix} 165 | a_1^T V_0^T\\ 166 | \vdots\\ 167 | a_m^T V_0^T 168 | \end{matrix} 169 | \right]=\left[ 170 | \begin{matrix} 171 | 0\\ 172 | \vdots\\ 173 | 0 174 | \end{matrix} 175 | \right] 176 | $$ 177 | $\forall v=x-x_0\in V$，我们总有 178 | $$ 179 | v=\sum_{i=1}^d \theta_i v_i = V_0^T\theta 180 | $$ 181 | 其中 182 | $$ 183 | \theta= [\theta_1,\ldots, \theta_d] 184 | $$ 185 | 所以 186 | $$ 187 | A(x-x_0)=Av= AV_0^T\theta = 0\Rightarrow Ax =Ax_0 \triangleq b 188 | $$ 189 | 因此 190 | $$ 191 | C=\{x \mid A x=b\} 192 | $$ 193 | 194 | 195 | 196 | #### 3.P20最后一段补充 197 | 198 | 命题： 199 | 200 | 如果$S$是满足$C \subseteq S$的仿射集合，那么$\text{aff } C \subseteq S$。 201 | 202 | 证明： 203 | 204 | $\text{aff } C$中任意元素总能写成$\sum_{i=1}^k \theta_i x_i$，其中$ x_1,\ldots,x_k \in C,\sum_{i=1}^k \theta_i =1$。 205 | 206 | 因为$C\subseteq S$并且$S$是仿射集合，所以$\sum_{i=1}^k \theta_i x_i \in C$，这说明$\text{aff } C$中任意元素都属于集合$S$，即 207 | $$ 208 | \text{aff } C \subseteq S 209 | $$ 210 | 211 | 212 | 213 | #### 4.P23凸锥的定义 214 | 215 | 命题： 216 | 217 | 对于集合$C$，若对于任意$x_{1}, x_{2} \in C$和$\theta_{1}, \theta_{2} \ge 0$，都有$\theta_{1} x_{1}+\theta_{2} x_{2} \in C$，那么$C$是凸锥。 218 | 219 | 证明： 220 | 221 | $C$为锥是显然的，取$\theta_2=0$即可。 222 | 223 | 接着证明凸性： 224 | 225 | 假设$\theta_1,\theta_2$不全为$0$，那么由定义可得$\forall x_1,x_2\in C$，都有$\theta_{1} x_{1}+\theta_{2} x_{2} \in C$。 226 | 227 | 因为$C$为锥，所以 228 | $$ 229 | \frac 1 {\theta_1 +\theta_2} (\theta_{1} x_{1}+\theta_{2} x_{2}) 230 | =\frac {\theta_{1}} {\theta_1 +\theta_2}x_1 + \frac {\theta_{2}} {\theta_1 +\theta_2}x_2 231 | \in C 232 | $$ 233 | 注意到$\theta_1,\theta_2 $为任意非负数，所以$\frac {\theta_{1}} {\theta_1 +\theta_2} $可以取遍$[0,1]$的任意数，并且 234 | $$ 235 | \frac {\theta_{1}} {\theta_1 +\theta_2} + \frac {\theta_{2}} {\theta_1 +\theta_2}=1, 236 | \frac {\theta_{1}} {\theta_1 +\theta_2} \ge 0, \frac {\theta_{2}} {\theta_1 +\theta_2} \ge 0 237 | $$ 238 | 结合这两点可得$C$为凸集合，即为凸锥。 239 | 240 | -------------------------------------------------------------------------------- /2 凸集/2.2.md: -------------------------------------------------------------------------------- 1 | ### 内容回顾 2 | 3 | #### 重要的例子 4 | 5 | 备注：表格中的否都为不一定的含义。 6 | 7 | | 集合 | 是否为仿射集 | 是否为凸集 | 是否为凸锥 | 8 | | ------------------------------------------------------------ | ------------ | ---------- | ---------- | 9 | | $\varnothing$ | 是 | 是 | 是 | 10 | | $\{x_0\}$ | 是 | 是 | 否 | 11 | | $\mathbf R^n$ | 是 | 是 | 是 | 12 | | 直线 | 是 | 是 | 否 | 13 | | 线段 | 否 | 是 | 否 | 14 | | 射线$\left\{x_{0}+\theta v \mid \theta \ge 0\right\}, v \neq 0$ | 否 | 是 | 否 | 15 | | 子空间 | 是 | 是 | 是 | 16 | | 超平面 | 是 | 是 | 否 | 17 | | 半空间 | 否 | 是 | 否 | 18 | | Euclid球 | 否 | 是 | 否 | 19 | | 椭球 | 否 | 是 | 否 | 20 | | 范数球 | 否 | 是 | 否 | 21 | | 范数锥 | 否 | 是 | 是 | 22 | | 多面体 | 否 | 是 | 否 | 23 | | 单纯形 | 否 | 是 | 否 | 24 | | 半正定对称矩阵集合 | 否 | 是 | 是 | 25 | | 正定对称矩阵集合 | 否 | 否 | 否 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | #### 超平面 34 | 35 | 超平面 36 | $$ 37 | \left\{x \mid a^{T} x=b\right\},a\in \mathbf R^n, a\neq 0, b\in \mathbf R 38 | $$ 39 | 可以将超平面表示为 40 | $$ 41 | \left\{x \mid a^{T}\left(x-x_{0}\right)=0\right\} = x_{0}+a^{\perp} 42 | $$ 43 | 其中 44 | $$ 45 | a^{\perp}=\left\{v \mid a^{T} v=0\right\} 46 | $$ 47 | 48 | 49 | #### 半空间 50 | 51 | 半空间 52 | $$ 53 | \left\{x \mid a^{T} x \le b\right\},a\in \mathbf R^n, a\neq 0, b\in \mathbf R 54 | $$ 55 | 也可以表示为 56 | $$ 57 | \left\{x \mid a^{T}\left(x-x_{0}\right) \le 0\right\} 58 | $$ 59 | 60 | 61 | 62 | #### Euclid球 63 | 64 | $$ 65 | B\left(x_{c}, r\right)=\left\{x \mid\left\|x-x_{c}\right\|_{2} \le r\right\}=\left\{x \mid\left(x-x_{c}\right)^{T}\left(x-x_{c}\right) \le r^{2}\right\} 66 | $$ 67 | 68 | 也可以表示为 69 | $$ 70 | B\left(x_{c}, r\right)=\left\{x_{c}+r u \mid\|u\|_{2} \le 1\right\} 71 | $$ 72 | 73 | 74 | #### 椭球 75 | 76 | $$ 77 | \mathcal{E}=\left\{x \mid\left(x-x_{c}\right)^{T} P^{-1}\left(x-x_{c}\right) \le1\right\} 78 | $$ 79 | 80 | 其中$P=P^{T} \succ 0$（对称正定），椭球也可以表示为 81 | $$ 82 | \mathcal{E}=\left\{x_{c}+A u \mid\|u\|_{2} \le 1\right\} 83 | $$ 84 | 其中 85 | $$ 86 | A= P^{1/2} 87 | $$ 88 | 89 | 90 | #### 范数球与范数锥 91 | 92 | $$\|\cdot\|$$是$\mathbf R^n$中的范数，范数球定义如下 93 | $$ 94 | \left\{x \mid\left\|x-x_{c}\right\| \le r\right\} 95 | $$ 96 | 范数锥 97 | $$ 98 | C=\{(x, t) \mid\|x\| \le t\} \subseteq \mathbf{R}^{n+1} 99 | $$ 100 | 101 | 102 | #### 多面体 103 | 104 | $$ 105 | \mathcal{P}=\left\{x \mid a_{j}^{T} x \le b_{j}, j=1, \cdots, m, c_{j}^{T} x=d_{j}, j=1, \cdots, p\right\} 106 | $$ 107 | 108 | 也可以记为 109 | $$ 110 | \mathcal{P}=\{x \mid A x \preceq b, C x=d\} 111 | $$ 112 | 其中 113 | $$ 114 | A=\left[\begin{array}{c}a_{1}^{T} \\ \vdots \\ a_{m}^{T}\end{array}\right], \quad C=\left[\begin{array}{c}c_{1}^{T} \\ \vdots \\ c_{p}^{T}\end{array}\right] 115 | $$ 116 | 有界的多面体有时也被称为**多胞形**。 117 | 118 | 有限集合的凸包是多面体 119 | 120 | 121 | 122 | #### 单纯形 123 | 124 | 设$k+1$个点$v_{0}, \cdots, v_{k} \in \mathbf{R}^{n}$仿射独立，即$v_1-v_0,\ldots, v_k -v_0$线性独立，那么这些点决定了单纯形： 125 | $$ 126 | C=\operatorname{conv}\left\{v_{0}, \cdots, v_{k}\right\}=\left\{\theta_{0} v_{0}+\cdots+\theta_{k} v_{k} \mid \theta \succeq 0, \mathbf{1}^{T} \theta=1\right\} 127 | $$ 128 | 单纯形的仿射维度为$k$，因此也称为$\mathbf R^n$空间的$k$维单纯形。 129 | 130 | 重要例子： 131 | 132 | 单位单纯形，$0, e_{1}, \cdots, e_{n} \in \mathbf{R}^{n}$决定的$n$维单纯形： 133 | $$ 134 | x \succeq 0, \quad 1^{T} x \le 1 135 | $$ 136 | 概率单纯形，$e_{1}, \cdots, e_{n} \in \mathbf{R}^{n}$决定的$n-1$维单纯形： 137 | $$ 138 | x \succeq 0, \quad \mathbf{1}^{T} x=1 139 | $$ 140 | 重要命题（P29）： 141 | 142 | 单纯形是多面体。 143 | 144 | 145 | 146 | #### 半正定锥 147 | 148 | $S^n$表示$n\times n$对称矩阵的集合，即 149 | $$ 150 | \mathbf{S}^{n}=\left\{X \in \mathbf{R}^{n \times n} \mid X=X^{T}\right\} 151 | $$ 152 | 这是一个维度为$n(n+1)/2$的向量空间。 153 | 154 | 对称半正定矩阵的集合： 155 | $$ 156 | \mathbf{S}_{+}^{n}=\left\{X \in \mathbf{S}^{n} \mid X \succeq 0\right\} 157 | $$ 158 | 对称正定矩阵的集合： 159 | $$ 160 | \mathbf{S}_{++}^{n}=\left\{X \in \mathbf{S}^{n} \mid X \succ 0\right\} 161 | $$ 162 | 163 | 164 | 165 | ### 内容补充 166 | 167 | #### 1.P24最后一段补充 168 | 169 | 命题： 170 | 171 | 半空间$\left\{x \mid a^{T} x \le b\right\},a\in \mathbf R^n, a\neq 0, b\in \mathbf R$是凸的，但不是仿射的。 172 | 173 | 证明： 174 | 175 | $\forall x_1, x_2 \in \left\{x \mid a^{T} x \le b\right\}$，$\theta\in [0,1]$，我们有 176 | $$ 177 | a^Tx_1\le b, a^Tx_2 \le b \Rightarrow 178 | \theta a^Tx_1 + (1-\theta)a^Tx_2 \le \theta b+(1-\theta) b =b 179 | $$ 180 | 注意上述不等号成立的前提为 181 | $$ 182 | \theta\in [0,1],1-\theta\in [0,1] 183 | $$ 184 | 即$\theta \in [0,1]$，所以该集合是凸集合，但不是仿射集。 185 | 186 | 187 | 188 | #### 2.P26椭球的表示，凸性证明 189 | 190 | 命题1： 191 | 192 | 椭球$\mathcal{E}=\left\{x \mid\left(x-x_{c}\right)^{T} P^{-1}\left(x-x_{c}\right) \le1\right\}$可以表示为$\mathcal{E}=\left\{x_{c}+A u \mid\|u\|_{2} \le 1\right\}$，其中$A= P^{1/2}$。 193 | 194 | 证明： 195 | 196 | $\forall x\in \mathcal{E}$ 197 | $$ 198 | u=P^{-1/2}(x-x_c) 199 | \Leftrightarrow x=x_c + P^{1/2} u 200 | $$ 201 | 那么 202 | $$ 203 | \|u\|_2^2 = u^Tu= \left(x-x_{c}\right)^{T} P^{-1}\left(x-x_{c}\right) \le1 204 | $$ 205 | 注意上述变换是一一对应的，所以 206 | $$ 207 | \mathcal{E}=\left\{x_{c}+A u \mid\|u\|_{2} \le 1\right\} 208 | $$ 209 | 210 | 211 | 命题2： 212 | 213 | 椭球$\mathcal{E}=\left\{x \mid\left(x-x_{c}\right)^{T} P^{-1}\left(x-x_{c}\right) \le1\right\}$是凸的。 214 | 215 | 证明： 216 | 217 | $\forall x_1,x_2\in \mathcal{E}, \theta\in [0,1]$，$\exists u_i, \|u_i \|_2\le 1, i=1,2$，使得 218 | $$ 219 | \begin{aligned} 220 | x_1 &=x_c + Au_1\\ 221 | x_2 &=x_c + Au_2 222 | \end{aligned} 223 | $$ 224 | 那么 225 | $$ 226 | \begin{aligned} 227 | \theta x_1 +(1-\theta) x_2 228 | &= x_c + A(\theta u_1 + (1-\theta) u_2) 229 | \end{aligned} 230 | $$ 231 | 注意到 232 | $$ 233 | \begin{aligned} 234 | \|\theta u_1 + (1-\theta) u_2 \|_2 235 | &\le \theta \| u_1 \|_2 + (1-\theta) \| u_2\|_2\\ 236 | &\le \theta + 1-\theta \\ 237 | &=1 238 | \end{aligned} 239 | $$ 240 | 所以 241 | $$ 242 | \theta x_1 +(1-\theta) x_2 \in \mathcal E 243 | $$ 244 | 245 | 246 | 247 | #### 3.P27范数锥的命题 248 | 249 | 命题： 250 | 251 | 范数锥$C=\{(x, t) \mid\|x\| \le t\} \subseteq \mathbf{R}^{n+1}$是凸锥。 252 | 253 | 证明： 254 | 255 | $\forall y_1= (x_1,t_1), y_2=(x_2,t_2)\in C,\theta_1,\theta_2 \ge 0$，我们有 256 | $$ 257 | \begin{aligned} 258 | \|\theta_1 x_1 + \theta_2 x_2\| 259 | &\le \theta_1 \| x_1\| +\theta_2 \| x_2\| \\ 260 | &\le \theta_1 t_1 +\theta_2 t_2 261 | \end{aligned} 262 | $$ 263 | 所以$\theta_1y_1 +\theta_2 y_2 \in C$ 264 | 265 | 266 | 267 | #### 4.P30 268 | 269 | 命题： 270 | 271 | 凸包是多面体。 272 | 273 | 证明： 274 | 275 | 给定点集$\left\{v_{1}, \cdots, v_{k}\right\}\subset \mathbf R^n$，其凸包的边界必然为超平面，所以边界可以用线性方程表示，从而对应了一个多面体。 276 | 277 | 278 | 279 | ### 没有证明出来的部分 280 | 281 | #### 1.P30 282 | 283 | 命题： 284 | 285 | 多面体可以表示为 286 | $$ 287 | \left\{\theta_{1} v_{1}+\cdots+\theta_{k} v_{k} \mid \theta_{1}+\cdots+\theta_{m}=1, \theta_{i} \ge 0, i=1, \cdots, k\right\} 288 | $$ 289 | 其中$m\le k$。 290 | 291 | -------------------------------------------------------------------------------- /2 凸集/2.3.md: -------------------------------------------------------------------------------- 1 | ### 内容回顾 2 | 3 | #### 保凸运算 4 | 5 | 1. 交集 6 | 7 | 2. 仿射函数：$f(x)= Ax+b$ 8 | 9 | 1. 象 10 | $$ 11 | f(S)=\{f(x) \mid x \in S\} 12 | $$ 13 | 14 | 2. 原象 15 | $$ 16 | f^{-1}(S)=\{x \mid f(x) \in S\} 17 | $$ 18 | 19 | 3. 透视函数：$P(z, t)=z / t, z> 0$ 20 | 21 | 1. 象 22 | $$ 23 | P(C)=\{P(x) \mid x \in C\} 24 | $$ 25 | 26 | 2. 原象 27 | $$ 28 | P^{-1}(C)=\left\{(x, t) \in \mathbf{R}^{n+1} \mid x / t \in C, t>0\right\} 29 | $$ 30 | 31 | 4. 线性分式函数：$f(x)=(A x+b) /\left(c^{T} x+d\right), c^T x+d >0 $ 32 | 33 | 1. 象 34 | $$ 35 | f(S)=\{f(x) \mid x \in S\} 36 | $$ 37 | 38 | 2. 原象 39 | $$ 40 | f^{-1}(S)=\{x \mid f(x) \in S\} 41 | $$ 42 | 43 | $$ 44 | 45 | $$ 46 | 47 | 48 | 49 | 50 | #### 仿射函数 51 | 52 | 定义： 53 | $$ 54 | f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m},f(x)=Ax+b 55 | $$ 56 | 特殊情形如下： 57 | 58 | 伸缩： 59 | $$ 60 | \alpha S=\{\alpha x \mid x \in S\} 61 | $$ 62 | 平移： 63 | $$ 64 | S+a=\{x+a \mid x \in S\} 65 | $$ 66 | 投影： 67 | $$ 68 | T=\left\{x_{1} \in \mathbf{R}^{m} \mid\left(x_{1}, x_{2}\right) \in S \text { 对于某些 } x_{2} \in \mathbf{R}^{n}\right\} 69 | $$ 70 | 和： 71 | $$ 72 | S_{1}+S_{2}=\left\{x+y \mid x \in S_{1}, y \in S_{2}\right\} 73 | $$ 74 | 部分和（交集的拓展）： 75 | $$ 76 | S=\left\{\left(x, y_{1}+y_{2}\right) \mid\left(x, y_{1}\right) \in S_{1},\left(x, y_{2}\right) \in S_{2}\right\} 77 | $$ 78 | 79 | 80 | 81 | #### 透视函数 82 | 83 | 定义 84 | $$ 85 | P: \mathbf{R}^{n+1} \rightarrow \mathbf{R}^{n}, P(z, t)=z / t \quad \operatorname{dom} P=\mathbf{R}^{n} \times \mathbf{R}_{++} 86 | $$ 87 | 推论：透视函数将线段映射成线段。 88 | 89 | 90 | 91 | #### 线性分式函数 92 | 93 | 定义： 94 | $$ 95 | f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m}, f(x)=(A x+b) /\left(c^{T} x+d\right), \quad \operatorname{dom} f=\left\{x \mid c^{T} x+d>0\right\} 96 | $$ 97 | 线性分式函数可以看出透视函数和仿射函数的复合： 98 | 99 | 仿射函数： 100 | $$ 101 | g: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m+1},g(x)=\left[\begin{array}{l} 102 | A \\ 103 | c^{T} 104 | \end{array}\right] x+\left[\begin{array}{l} 105 | b \\ 106 | d 107 | \end{array}\right] 108 | $$ 109 | 所以 110 | $$ 111 | f=P \circ g 112 | $$ 113 | 线性分式函数可以这样理解： 114 | $$ 115 | x\to (x, 1)\to \left(A x+b, c^{T} x+d\right) \to ((A x+b)/(c^{T} x+d),1)\to (A x+b)/(c^{T} x+d) 116 | $$ 117 | 定义： 118 | $$ 119 | \begin{aligned} 120 | Q&=\left[\begin{array}{ll} 121 | A & b \\ 122 | c^{T} & d 123 | \end{array}\right] \in \mathbf{R}^{(m+1) \times(n+1)}\\ 124 | \mathcal{P}(z)&=\{t(z, 1) \mid t>0\}\\ 125 | \end{aligned} 126 | $$ 127 | 从而线性分式函数可以表示为 128 | $$ 129 | f(x)=\mathcal{P}^{-1}(Q \mathcal{P}(x)) 130 | $$ 131 | 132 | 133 | ### 内容补充 134 | 135 | #### 1.P32最后一段补充 136 | 137 | 命题： 138 | 139 | 闭集$S$是包含它的所有半空间的交集： 140 | $$ 141 | S=\bigcap\{\mathcal{H} \mid \mathcal{H} \text { 是半空间 }, S \subseteq \mathcal{H}\} 142 | $$ 143 | 证明： 144 | 145 | 为了方便起见，记 146 | $$ 147 | A=\bigcap\{\mathcal{H} \mid \mathcal{H} \text { 是半空间 }, S \subseteq \mathcal{H}\} 148 | $$ 149 | 首先证明 150 | $$ 151 | S\subseteq A 152 | $$ 153 | $\forall s\in S, S\subseteq \mathcal H$，我们有 154 | $$ 155 | s\in \mathcal H 156 | $$ 157 | 从而 158 | $$ 159 | s\in A 160 | $$ 161 | 因此 162 | $$ 163 | S\subseteq A 164 | $$ 165 | 其次证明 166 | $$ 167 | A 168 | \subseteq S 169 | $$ 170 | 利用反证法，如果上述事实不成立，那么存在$x\in A$，但是$x\notin S$，注意$A$是半空间的交集，所以必然存在超平面$a^Tx=b$，使得 171 | $$ 172 | d(S,\{x|a^Tx=b\}) = \inf\left\{ \frac{|a^Ts-b|}{\|a\|}\left| \right. s\in S \right\} > 0 173 | $$ 174 | 找到使得上述距离最近的超平面，记为$a_0^T x =b_0$，对应距离记为$d_0$，注意$S$为闭集，存在序列$\{s_k\}\subseteq S $，（对应的极限为$s$）使得 175 | $$ 176 | \lim_{k\to \infty} \frac{|a_0^Ts_k-b_0|}{\|a_0\|} =d_0 >0 177 | $$ 178 | 记$s_k$在超平面$a_0^Tx=b_0$的投影为$t_k$，$\{t_k\}$的极限为$t$，所以上述事实等价于 179 | $$ 180 | \begin{aligned} 181 | \lim_{k\to \infty} \frac{|a_0^Ts_k-b_0|}{\|a_0\|} 182 | &= \frac{|a_0^Ts-b_0|}{\|a_0\|} \\ 183 | &=\lim_{k\to\infty} \|s_k-t_k\|\\ 184 | &= \|s-t\|\\ 185 | &=d_0\\ 186 | &>0 187 | \end{aligned} 188 | $$ 189 | 现在定义超平面（该超平面的含义为过$s,t$的中垂线且平行于$a_0^Tx=b_0$的超平面） 190 | $$ 191 | a_0^T x -b_0' =0, b_0' = \frac{a_0^T(s+t)}{2} 192 | $$ 193 | 以及半空间 194 | $$ 195 | \mathcal H_0 = \left\{ x \big | a_0^T x -b_0' \le 0, b_0' = \frac{a_0^T(s+t)}{2} \right\} 196 | $$ 197 | 下面验证两点 198 | 199 | 1. $S\subset \mathcal H_0$ 200 | 2. $\lim_{k\to \infty} \frac{|a_0^Ts_k-b_0'|}{\|a_0\|} < d_0$ 201 | 202 | 如果上述两个条件满足，这就与$a_0^T x =b_0$的定义矛盾，从而证明了原结论，下面说明这点。 203 | 204 | 第一点： 205 | 206 | $\forall s_1\in S$，我们有 207 | $$ 208 | a_0^T s_1 \le b_0 209 | $$ 210 | 另一方面$s, t$满足 211 | $$ 212 | \begin{aligned} 213 | a_0^T s &\le b_0\\ 214 | a_0^T t &= b_0\\ 215 | s-t&=ka_0 (t为s在a_0^T x=b_0上的投影) 216 | \end{aligned} 217 | $$ 218 | 将第三个条件带入第一个条件可得 219 | $$ 220 | k\le 0 221 | $$ 222 | 那么 223 | $$ 224 | \begin{aligned} 225 | a_0^T s_1 -b_0' 226 | &= a_0^T s_1 - \frac{a_0^T(s+t)}{2}\\ 227 | &= a_0^T s_1- \frac{a_0^T(2t + ka_0)}{2}\\ 228 | &= a_0^Ts_1 - b_0 -k\frac{a_0^Ta_0}{2}\\ 229 | &\le 0 230 | \end{aligned} 231 | $$ 232 | 第一点得证。 233 | 234 | 第二点： 235 | $$ 236 | \begin{aligned} 237 | \lim_{k\to\infty}\frac{|a_0^Ts_k-b_0'|}{\|a_0\|} 238 | &=\lim_{k\to\infty}\frac{\left|a_0^Ts_k-\frac{a_0^T(s+t)}{2}\right|}{\|a_0\|}\\ 239 | &= \lim_{k\to\infty}\frac{\left|\frac{a_0^T(s-t)}{2}\right|}{\|a_0\|}\\ 240 | &= \frac 1 2\frac{\left|{a_0^Ts-b_0}\right|}{\|a_0\|}\\ 241 | &=\frac 1 2 d_0 \\ 242 | &< d_0 243 | \end{aligned} 244 | $$ 245 | 246 | 247 | 248 | 249 | #### 2.P33仿射函数 250 | 251 | 假设$S \subseteq \mathbf{R}^{n}$是凸集，仿射函数的形式为$f(x)=A x+b,A \in \mathbf{R}^{m \times n}, b \in \mathbf{R}^{m}$。 252 | 253 | 命题1： 254 | 255 | $f: \mathbf{R}^{n} \rightarrow \mathbf{R}^{m}$是仿射函数，那么 256 | $$ 257 | f(S)=\{f(x) \mid x \in S\} 258 | $$ 259 | 是凸集。 260 | 261 | 证明： 262 | 263 | $\forall s_1, s_2\in f(S), \theta\in [0,1]$，那么存在$x_1, x_2\in S$，满足 264 | $$ 265 | \begin{aligned} 266 | s_1 &= f(x_1)=Ax_1 + b\\ 267 | s_2 &= f(x_2)=Ax_2 + b 268 | \end{aligned} 269 | $$ 270 | 那么 271 | $$ 272 | \begin{aligned} 273 | \theta s_1 + (1-\theta) s_2 274 | &= \theta (Ax_1 + b) + (1-\theta) (Ax_2 + b)\\ 275 | &=A(\theta x_1 +(1-\theta) x_2) + b\\ 276 | &\in f(S) 277 | \end{aligned} 278 | $$ 279 | 命题2： 280 | 281 | $f: \mathbf{R}^{k} \rightarrow \mathbf{R}^{n}$是仿射函数，那么 282 | $$ 283 | f^{-1}(S)=\{x \mid f(x) \in S\} 284 | $$ 285 | 是凸集。 286 | 287 | 证明： 288 | 289 | $\forall x_1, x_2\in f^{-1}(S), \theta\in [0,1]$，那么存在$s_1, s_2\in S$，满足 290 | $$ 291 | \begin{aligned} 292 | s_1 &= f(x_1)=Ax_1 + b\\ 293 | s_2 &= f(x_2)=Ax_2 + b 294 | \end{aligned} 295 | $$ 296 | 那么 297 | $$ 298 | \begin{aligned} 299 | f(\theta x_1+ (1-\theta) x_2) 300 | &= A(\theta x_1+ (1-\theta) x_2) + b\\ 301 | &= \theta (Ax_1 + b)+ (1-\theta) (Ax_2 + b)\\ 302 | &=\theta s_1 +(1-\theta) s_2\\ 303 | &\in S 304 | \end{aligned} 305 | $$ 306 | 307 | 308 | #### 3.P34部分和 309 | 310 | 命题： 311 | 312 | 凸集的部分和是凸集。 313 | 314 | 部分和定义为 315 | $$ 316 | S=\left\{\left(x, y_{1}+y_{2}\right) \mid\left(x, y_{1}\right) \in S_{1},\left(x, y_{2}\right) \in S_{2}\right\} 317 | $$ 318 | 证明： 319 | 320 | $\forall s_1, s_2\in S, \theta\in [0,1]$，其中 321 | $$ 322 | \begin{aligned} 323 | s_1&=(x^{(1)}, y_1^{(1)}+ y_2^{(1)})\\ 324 | s_2&=(x^{(2)}, y_1^{(2)}+ y_2^{(2)}) 325 | \end{aligned} 326 | $$ 327 | 328 | $$ 329 | \begin{aligned} 330 | \theta s_1 + (1-\theta) s_2 331 | &= (\theta x^{(1)}+(1-\theta)x^{(2)}, 332 | \theta y_1^{(1)}+(1-\theta) y_1^{(2)}+ 333 | \theta y_2^{(1)}+(1-\theta) y_2^{(2)} 334 | ) 335 | \end{aligned} 336 | $$ 337 | 338 | 而 339 | $$ 340 | \begin{aligned} 341 | (\theta x^{(1)}+(1-\theta)x^{(2)},\theta y_1^{(1)}+(1-\theta) y_1^{(2)}) 342 | &= \theta(x^{(1)}, y_1^{(1)})+(1-\theta)(x^{(2)}, y_1^{(2)})\\ 343 | &\in S_1\\ 344 | (\theta x^{(1)}+(1-\theta)x^{(2)},\theta y_2^{(1)}+(1-\theta) y_2^{(2)}) 345 | &= \theta(x^{(1)}, y_2^{(1)})+(1-\theta)(x^{(2)}, y_2^{(2)})\\ 346 | &\in S_2\\ 347 | \end{aligned} 348 | $$ 349 | -------------------------------------------------------------------------------- /2 凸集/习题解答.md: -------------------------------------------------------------------------------- 1 | ## 课后习题 2 | 3 | ### 凸性定义 4 | 5 | #### 2.1 6 | 7 | 证明： 8 | 9 | 关于$k$做数学归纳法。 10 | 11 | $k=2$时，由定义即可推出。 12 | 13 | 假设$k=n$时结论成立，现在证明$k=n+1$时结论也成立。 14 | 15 | $\forall x_{1}, \cdots, x_{n+1} \in C,\sum_{i=1}^{n+1}\theta_i =1,\theta_i\ge 0,i=1,\ldots, n+1$，显然总存在$\theta_i \neq 1$，不妨设为$\theta_{n+1}$，那么 16 | $$ 17 | \sum_{i=1}^{n+1}\theta_i =1\Leftrightarrow 18 | \sum_{i=1}^{n}\theta_i +\theta_{n+1}=1 \Leftrightarrow 19 | \sum_{i=1}^{n}\theta_i =1-\theta_{n+1} \neq 0\Leftrightarrow 20 | \sum_{i=1}^{n}\frac{\theta_i }{1-\theta_{n+1}} =1 21 | $$ 22 | 注意到 23 | $$ 24 | \frac{\theta_i }{1-\theta_{n+1}} \ge 0, i=1,\ldots,n 25 | $$ 26 | 因为$k=n$时结论成立，所以 27 | $$ 28 | \sum_{i=1}^{n} \frac{\theta_i }{1-\theta_{n+1}} x_i \in C 29 | $$ 30 | 显然 31 | $$ 32 | \theta_{n+1}\in [0,1] 33 | $$ 34 | 所以由凸集的定义可得 35 | $$ 36 | (1-\theta_{n+1})\sum_{i=1}^{n} \frac{\theta_i }{1-\theta_{n+1}} x_i +\theta_{n+1}x_{n+1} 37 | =\sum_{i=1}^{n+1}\theta_i x_i \in C 38 | $$ 39 | 即$k=n+1$时结论也成立。 40 | 41 | 42 | 43 | #### 2.2 44 | 45 | 证明： 46 | 47 | 直线可以表示为 48 | $$ 49 | \{\theta y+(1-\theta) z ,\theta \in \mathbf R\}, y\neq z 50 | $$ 51 | 假设我们的集合为$C$，那么我们关注的集合是 52 | $$ 53 | C\cap \{\theta y+(1-\theta) z ,\theta \in \mathbf R\}\triangleq B 54 | $$ 55 | $\Rightarrow$ 56 | 57 | 此时$C$为凸集，我们的目标是证明$B$为凸集。 58 | 59 | $\forall x_1,x_2\in B$，那么存在$\theta_1,\theta_2\in\mathbf R$，使得 60 | $$ 61 | \begin{aligned} 62 | x_1 & =\theta_1 y+(1-\theta_1) z\\ 63 | x_2 & =\theta_2 y+(1-\theta_2) z\\ 64 | \end{aligned} 65 | $$ 66 | $\forall \theta \in \mathbf R$，由$C$为凸集合可得 67 | $$ 68 | \theta x_1 +(1-\theta) x_2\in C 69 | $$ 70 | 另一方面 71 | $$ 72 | \begin{aligned} 73 | \theta x_1 +(1-\theta) x_2 74 | &= \theta\left[\theta_1 y+(1-\theta_1) z\right)+ 75 | (1-\theta)\left( 76 | \theta_2 y+(1-\theta_2) z \right)\\ 77 | &= (\theta\theta_1 + \theta_2 -\theta\theta_2)y+ 78 | (\theta-\theta\theta_1 + 1-\theta-\theta_2 + \theta \theta_2) z\\ 79 | &=(\theta\theta_1 + \theta_2 -\theta\theta_2)y+ 80 | ( 1-\theta\theta_1 -\theta_2 + \theta \theta_2) z\\ 81 | &\in \{\theta y+(1-\theta) z ,\theta \in \mathbf R\} 82 | \end{aligned} 83 | $$ 84 | 所以 85 | $$ 86 | \theta x_1 +(1-\theta) x_2\in B 87 | $$ 88 | 这说明$B$是凸集。 89 | 90 | $\Leftarrow $ 91 | 92 | $\forall y\neq z$，已知$B$为凸集，我们需要证明$C$为凸集。 93 | 94 | $\forall x_1, x_2\in C,x_1\neq x_2$，考虑直线 95 | $$ 96 | \{\theta x_1+(1-\theta) x_2 ,\theta \in \mathbf R\} 97 | $$ 98 | 以及线段 99 | $$ 100 | \{\theta x_1+(1-\theta) x_2 ,\theta \in [0,1]\} 101 | $$ 102 | 注意上述集合是包含$x_1,x_2$的凸包，而集合 103 | $$ 104 | \{\theta x_1+(1-\theta) x_2 ,\theta \in \mathbf R\} \cap C 105 | $$ 106 | 为包含$x_1,x_2$的凸集，由凸包的性质可得 107 | $$ 108 | \{\theta x_1+(1-\theta) x_2 ,\theta \in [0,1]\} \subseteq \{\theta x_1+(1-\theta) x_2 ,\theta \in \mathbf R\} \cap C \subseteq C 109 | $$ 110 | 所以 111 | $$ 112 | \{\theta x_1+(1-\theta) x_2 ,\theta \in [0,1]\} \subseteq C 113 | $$ 114 | 这说明$C$是凸集。 115 | 116 | 117 | 118 | #### 2.3 119 | 120 | 证明： 121 | 122 | 考虑$a=0,b=1$的情形，利用中点凸性，那么不难看出形如 123 | $$ 124 | \frac{m}{2^k}, k \in \mathbf N_+,m=0,\ldots, 2^{k} -1 125 | $$ 126 | 都属于该集合。 127 | 128 | 对于任取$\theta\in [0,1]$，对于任意$k\in \mathbf N_+$，$\exists m(k)$，使得 129 | $$ 130 | \frac{m(k)}{2^k} \le \theta < \frac{m(k)+1}{2^k} 131 | $$ 132 | 备注：对区间按$\frac 1 {2^k}$间隔划分，$\theta$必然属于某一间隔。 133 | 134 | 令 135 | $$ 136 | \theta_k = \frac{m(k)}{2^k} 137 | $$ 138 | 那么上述不等式可以表示为 139 | $$ 140 | \theta_k \le \theta < \theta_{k} +\frac 1 {2^k} \Rightarrow 141 | |\theta -\theta_k | <\frac 1 {2^k} 142 | $$ 143 | 这说明 144 | $$ 145 | \lim_{k\to\infty} \theta_k = \theta 146 | $$ 147 | 现在回到原题，由中点凸性，形如 148 | $$ 149 | \frac{m}{2^k} a + \left(1- \frac{m}{2^k}\right) b, k \in \mathbf N_+,m=0,\ldots, 2^{k} -1 150 | $$ 151 | 都属于该集合，现在对于$\theta\in [0,1]$，按照之前所述找到对应的$\theta_k$，那么 152 | $$ 153 | \theta_k a+ (1-\theta_k)b \in C 154 | $$ 155 | 因为集合$C$是闭集，所以 156 | $$ 157 | \lim_{k\to \infty}\left( \theta_k a+ (1-\theta_k)b \right)= 158 | \theta a+ (1-\theta)b \in C 159 | $$ 160 | 161 | 162 | 163 | ### 例子 164 | 165 | #### 2.4 166 | 167 | 证明： 168 | 169 | 记包含$S$的凸集为$C_i$，我们的目标是证明 170 | $$ 171 | \text{conv S}=\cap_{i\in \mathcal I} C_i 172 | $$ 173 | $\text{conv } S$中任意元素总能写成$\sum_{i=1}^k \theta_i x_i$，其中$ x_1,\ldots,x_k \in S,\sum_{i=1}^k \theta_i =1$。 174 | 175 | 首先证明 176 | $$ 177 | \text{conv S}\subseteq \cap_{i\in \mathcal I} C_i 178 | $$ 179 | $\text{conv } S$中任意元素总能写成$\sum_{i=1}^k \theta_i x_i$，其中$ x_1,\ldots,x_k \in S,\sum_{i=1}^k \theta_i =1,\theta_i \ge 0,i=1,\ldots, k$。 180 | 181 | $\forall i\in I$，我们都有$S\subseteq C_i$并且$C_i$是凸集，所以$\sum_{i=1}^k \theta_i x_i \in C_i$，这说明$\text{conv } S$中任意元素都属于集合$C_i$，即 182 | $$ 183 | \text{conv } S \subseteq C_i,\forall i \in \mathcal I 184 | $$ 185 | 186 | 所以 187 | $$ 188 | \text{conv S}\subseteq \cap_{i\in \mathcal I} C_i 189 | $$ 190 | 其次证明 191 | $$ 192 | \cap_{i\in \mathcal I} C_i \subseteq \text{conv } S 193 | $$ 194 | 这是很平凡的，因为$\text{conv } S$是包含$S$的凸集，所以必然存在$C_i=\text{conv } S$，自然可得上述结论。 195 | 196 | 197 | 198 | #### 2.5 199 | 200 | 解： 201 | 202 | $\forall x_1 \in \left\{x \in \mathbf{R}^{n} \mid a^{T} x=b_{1}\right\}$，该点到超平面$\left\{x \in \mathbf{R}^{n} \mid a^{T} x=b_{2}\right\}$的距离为 203 | $$ 204 | \begin{aligned} 205 | d 206 | &=\frac{|a^T x_1 - b_2|}{\|a\|_2}\\ 207 | &=\frac{|b_1 - b_2|}{\|a\|_2}\\ 208 | \end{aligned} 209 | $$ 210 | 211 | 212 | #### 2.6 213 | 214 | 证明： 215 | 216 | 首先法向量必然平行，否则两个半空间必然不存在包含的关系，即 217 | $$ 218 | \tilde a = ka 219 | $$ 220 | 若$k\le 0$，那么从二维情形不难看出两个半空间也必然不存在包含关系，所以 221 | $$ 222 | \tilde a = ka,k >0 223 | $$ 224 | 于是 225 | $$ 226 | \left\{x \mid \tilde{a}^{T} x \le \tilde{b}\right\} = 227 | 228 | \left\{x \mid k{a}^{T} x \le \tilde{b}\right\} = 229 | \left\{x \mid {a}^{T} x \le \tilde{b} / k\right\} 230 | $$ 231 | 要使得 232 | $$ 233 | \left\{x \mid a^{T} x \le b\right\} \subseteq\left\{x \mid \tilde{a}^{T} x \le \tilde{b}\right\} 234 | $$ 235 | 只需 236 | $$ 237 | b\le \tilde b /k \Leftrightarrow kb \le \tilde b 238 | $$ 239 | 所以如下条件即可推出包含关系 240 | $$ 241 | \tilde a = ka, \tilde b\ge kb ,k >0 242 | $$ 243 | 为了推出相等关系，从之前的讨论中不难看出满足如下条件即可 244 | $$ 245 | b= \tilde b /k 246 | $$ 247 | 即 248 | $$ 249 | \tilde a = ka, \tilde b= kb ,k >0 250 | $$ 251 | 252 | 253 | #### 2.7 254 | 255 | 证明： 256 | $$ 257 | \begin{aligned} 258 | \|x-a\|_{2} \le \|x-b\|_{2}& \Leftrightarrow \\ 259 | (x-a)^T (x-a)\le (x-b)^T (x-b)& \Leftrightarrow \\ 260 | x^T x-2a^T x + a^T a \le x^T x-2b^T x + b^Tb & \Leftrightarrow \\ 261 | 2(b-a)^T x \le \| b\|_2 ^2- \| a\|_2 ^2 262 | \end{aligned} 263 | $$ 264 | 即 265 | $$ 266 | \begin{aligned} 267 | c&= 2(b-a)\\ 268 | d&= \| b\|_2 ^2- \| a\|_2 ^2 269 | \end{aligned} 270 | $$ 271 | 272 | 273 | 274 | #### 2.8 275 | 276 | (a) 277 | 278 | 解： 279 | 280 | 令 281 | $$ 282 | x= y_1 a_1 + y_2 a_2 283 | $$ 284 | 那么 285 | $$ 286 | \begin{cases} 287 | a_1^T x = (a_1^T a_1) y_1 + (a_1^T a_2)y_2\\ 288 | a_2^T x = (a_2^T a_1) y_1 + (a_2^T a_2)y_2 289 | \end{cases} 290 | $$ 291 | 记 292 | $$ 293 | \begin{aligned} 294 | D&= \left[ 295 | \begin{matrix} 296 | a_1^T a_1 & a_1^T a_2\\ 297 | a_1^T a_2 & a_2^T a_2 298 | \end{matrix} 299 | \right]\\ 300 | 301 | D_1&= \left[ 302 | \begin{matrix} 303 | a_1^T x & a_1^T a_2\\ 304 | a_2^T x & a_2^T a_2 305 | \end{matrix} 306 | \right]\\ 307 | &=((a_2^T a_2)a_1^T - (a_1^T a_2) a_2^T)x \\ 308 | D_2&= \left[ 309 | \begin{matrix} 310 | a_1^T a_1 & a_1^T x\\ 311 | a_1^T a_2 & a_2^T x 312 | \end{matrix} 313 | \right]\\ 314 | & =((a_1^T a_1)a_2^T - (a_1^T a_2) a_1^T)x \\ 315 | \end{aligned} 316 | $$ 317 | 若$D\neq 0$，此时即$a_1, a_2$不平行，可得 318 | $$ 319 | \begin{cases} 320 | y_1 = \frac{D_1}{D}\\ 321 | y_2 = \frac{D_2}{D} 322 | \end{cases} 323 | $$ 324 | 区域为 325 | $$ 326 | |y_i |\le 1 \Leftrightarrow -D\le D_i \le D 327 | $$ 328 | 记 329 | $$ 330 | \begin{aligned} 331 | A= \left[ 332 | \begin{matrix} 333 | (a_2^T a_2)a_1^T - (a_1^T a_2) a_2^T \\ 334 | (a_1^T a_2) a_2^T -(a_2^T a_2)a_1^T \\ 335 | (a_1^T a_1)a_2^T - (a_1^T a_2) a_1^T\\ 336 | (a_1^T a_2) a_1^T- (a_1^T a_1)a_2^T 337 | \end{matrix} 338 | \right],b = \left[ 339 | \begin{matrix} 340 | D\\ 341 | -D\\ 342 | D\\ 343 | -D 344 | \end{matrix} 345 | \right] 346 | \end{aligned} 347 | $$ 348 | 所以区域可以表示为 349 | $$ 350 | Ax \preceq b 351 | $$ 352 | 从而为多面体。 353 | 354 | (b) 355 | 356 | 解： 357 | 358 | 记 359 | $$ 360 | A=-I_n ,b =0,F= \left[ 361 | \begin{matrix} 362 | a_1 & \ldots & a_n \\ 363 | a_1^2 & \ldots & a_n^2 364 | \end{matrix} 365 | \right], 366 | g=\left[ 367 | \begin{matrix} 368 | b_1\\ 369 | b_2 370 | \end{matrix} 371 | \right] 372 | $$ 373 | 所以区域可以表示为 374 | $$ 375 | Ax \preceq b,F x=g 376 | $$ 377 | 从而为多面体。 378 | 379 | (c) 380 | 381 | 解： 382 | 383 | 不是多面体，事实上， 384 | $$ 385 | S= \left\{x \in \mathbf{R}^{n} \mid 386 | \|x\|_2 \le 1 , x \succeq 0\right\} 387 | $$ 388 | 为方便叙述，记原集合为$S_0$，我们的目标是证明 389 | $$ 390 | S_0 = S 391 | $$ 392 | 先证 393 | $$ 394 | S_0 \subseteq S 395 | $$ 396 | $\forall x\in S_0$，取$y=\frac{x}{\|x \|_2}$，那么 397 | $$ 398 | x^T y = \frac{x^T x}{\| x\|_2} =\|x\|_2 \le 1 399 | $$ 400 | 所以$x\in S$，这部分得证。 401 | 402 | 再证 403 | $$ 404 | S\subseteq S_0 405 | $$ 406 | $\forall x \in S$，我们有 407 | $$ 408 | |x^T y | \le \| x\| _2 \| y\| _2 =\| x\|_2 \le 1 409 | $$ 410 | 所以$x\in S_0$，这部分同样得证。 411 | 412 | (d) 413 | 414 | 解： 415 | 416 | 是多面体，事实上， 417 | $$ 418 | S= \left\{x \in \mathbf{R}^{n} \mid 419 | 0\le x_i \le 1 ,i=1,\ldots, n\right\} 420 | $$ 421 | 依然记原集合为$S_0$，我们的目标是证明 422 | $$ 423 | S_0 = S 424 | $$ 425 | 先证 426 | $$ 427 | S \subseteq S_0 428 | $$ 429 | 取$y_i = 1,i=1,\ldots, n$，我们的可得 430 | $$ 431 | x_i \le 1,i=1,\ldots, n 432 | $$ 433 | 结合 434 | $$ 435 | x \succeq 0 436 | $$ 437 | 所以$S \subseteq S_0$，从而可得这部分的结论。 438 | 439 | 再证 440 | $$ 441 | S\subseteq S_0 442 | $$ 443 | $\forall x \in S$，我们有 444 | $$ 445 | \begin{aligned} 446 | x^{T} y 447 | &= \sum_{i=1}^n x_i y_i\\ 448 | & \le \sum_{i=1}^n |x_i| |y_i|\\ 449 | &\le (\max_{i=1,\ldots,n} |x_i|)\sum_{i=1}^n |y_i|\\ 450 | &=\max_{i=1,\ldots,n} |x_i|\\ 451 | &\le 1 452 | \end{aligned} 453 | $$ 454 | 所以$x\in S_0$，这部分同样得证。 455 | 456 | 457 | 458 | #### 2.9 459 | 460 | (a) 461 | $$ 462 | \begin{aligned} 463 | \|x-x_0\|_{2} \le \|x-x_i\|_{2}& \Leftrightarrow \\ 464 | (x-x_0)^T (x-x_0)\le (x-x_i)^T (x-x_i)& \Leftrightarrow \\ 465 | x^T x-2x_0^T x + x_0^T x_0 \le x^T x-2x_i^T x +x_i^Tx_i & \Leftrightarrow \\ 466 | (x_i-x_0)^T x \le \frac 1 2 \left(\| x_i\|_2 ^2- \| x_0\|_2 ^2 \right) 467 | \end{aligned} 468 | $$ 469 | 记 470 | $$ 471 | A=\left[ 472 | \begin{matrix} 473 | x_1^T - x_0^T\\ 474 | \vdots\\ 475 | x_K^T- x_0^T 476 | \end{matrix} 477 | \right] , 478 | b= \left[ 479 | \begin{matrix} 480 | \frac 1 2 \left(\| x_1\|_2 ^2- \| x_0\|_2 ^2 \right)\\ 481 | \vdots\\ 482 | \frac 1 2 \left(\| x_K\|_2 ^2- \| x_0\|_2 ^2 \right) 483 | \end{matrix} 484 | \right] 485 | $$ 486 | 那么该区域可以表示为 487 | $$ 488 | V=\{x \mid A x \preceq b\} 489 | $$ 490 | (b) 491 | 492 | 注意等式约束总能化为两个不等式约束，所以可以假设区域为 493 | $$ 494 | V=\{x \mid A x \preceq b\} 495 | $$ 496 | 其中$A\in \mathbf R^{k\times n}, b\in \mathbf R^k$。 497 | 498 | 设 499 | $$ 500 | A= \left[ 501 | \begin{matrix} 502 | a_1^T\\ 503 | \vdots\\ 504 | a_K^T 505 | \end{matrix} 506 | \right], b= \left[ 507 | \begin{matrix} 508 | b_1\\ 509 | \vdots\\ 510 | b_K 511 | \end{matrix} 512 | \right], a_i \in\mathbf R^n, b_i\in \mathbf R, i=1,\ldots, K 513 | $$ 514 | 考虑$K+1$个$n$维向量：$x_0,x_1,\ldots, x_K$，求解如下方程（$i=1,\ldots, K$） 515 | $$ 516 | \begin{aligned} 517 | x_i - x_0&= a_i \\ 518 | \frac 1 2 \left(\| x_i\|_2 ^2- \| x_0\|_2 ^2 \right) 519 | &= b_i 520 | \end{aligned} 521 | $$ 522 | 将第一个式子带入第二个可得 523 | $$ 524 | \begin{aligned} 525 | x_i^T x_i - x_0^T x_0&= 2b_i\\ 526 | (x_0+a_i)^T (x_0+a_i)- x_0^T x_0&= 2b_i\\ 527 | 2a_i^T x_0 + a_i^T a_i &= 2b_i\\ 528 | a_i^T x_0 &=b_i -\frac{1}{2} a_i^T a_i 529 | \end{aligned} 530 | $$ 531 | 即 532 | $$ 533 | Ax_0 = b-a 534 | $$ 535 | 其中 536 | $$ 537 | a= \frac{1}{2}\left[ 538 | \begin{matrix} 539 | a_1^T a_1 \\ 540 | \vdots \\ 541 | a_K^T a_K 542 | \end{matrix} 543 | \right] 544 | $$ 545 | 求解上述线性方程组即可得到$x_0$（存在性后续说明），然后利用 546 | $$ 547 | x_i =x_0+ a_i 548 | $$ 549 | 即可得到$x_i$。 550 | 551 | 存在性： 552 | 553 | 注意多面体内部非空，而 554 | $$ 555 | Ax_0 = b-a \preceq b 556 | $$ 557 | 这说明了$x_0$必然存在 558 | 559 | (c) 560 | $$ 561 | \begin{aligned} 562 | \|x-x_k\|_{2} \le \|x-x_i\|_{2}& \Leftrightarrow \\ 563 | (x-x_k)^T (x-x_k)\le (x-x_i)^T (x-x_i)& \Leftrightarrow \\ 564 | x^T x-2x_k^T x + x_k^T x_k \le x^T x-2x_i^T x +x_i^Tx_i & \Leftrightarrow \\ 565 | (x_i-x_k)^T x \le \frac 1 2 \left(\| x_i\|_2 ^2- \| x_k\|_2 ^2 \right) 566 | \end{aligned} 567 | $$ 568 | 记 569 | $$ 570 | A_k=\left[ 571 | \begin{matrix} 572 | x_1^T - x_k^T\\ 573 | \vdots\\ 574 | x_K^T- x_k^T 575 | \end{matrix} 576 | \right] , 577 | b_k= \left[ 578 | \begin{matrix} 579 | \frac 1 2 \left(\| x_1\|_2 ^2- \| x_k\|_2 ^2 \right)\\ 580 | \vdots\\ 581 | \frac 1 2 \left(\| x_K\|_2 ^2- \| x_k\|_2 ^2 \right) 582 | \end{matrix} 583 | \right] 584 | $$ 585 | 从而 586 | $$ 587 | V_k=\{x \mid A_k x \preceq b_k\} 588 | $$ 589 | 对每个多面体$V_k$，利用之前的方法求出对应的$x_0^k, x_1^k,\ldots ,x_K^k$，对应的解集记为$X_k$，但是注意对于$i\neq j$，$X_i \cap X_j $可能为空集，所以不一定能找到对应的点，从而不一定能用Voronoi区域表示。 590 | 591 | 592 | 593 | #### 2.10 594 | 595 | (a)证明： 596 | 597 | 利用2.2的结论证明凸性。 598 | 599 | 任取直线$x=x_0 + tv,t\in \mathrm R, x_0, v\in \mathrm R^n$，考虑该直线和$C$的交集，因为 600 | $$ 601 | \begin{aligned} 602 | x^{T} A x+b^{T} x+c 603 | &= (x_0 + tv)^T A(x_0 + tv)+ b^T (x_0 + tv) + c\\ 604 | &=(v^T Av)t^2 + (2 v^T Ax_0 + b^T v)t+ 605 | (x_0^T Ax_0+b^T x_0 + c) 606 | \end{aligned} 607 | $$ 608 | 所以交集为 609 | $$ 610 | B=\{t \in \mathbf R| (v^T Av)t^2 + (2 v^T Ax_0 + b^T v)t+ 611 | (x_0^T Ax_0+b^T x_0 + c) \le 0\} 612 | $$ 613 | 因为$A \succeq 0$，所以$v^T Av \ge 0$，从而上述集合的形式为$[a, b]$或$[a,+\infty), (-\infty, a]$，即$B$为凸集。 614 | 615 | 反之结论并不成立，考虑$n=1$的情形，取 616 | $$ 617 | \begin{aligned} 618 | A&=-1\\ 619 | b&=0\\ 620 | c&=0 621 | \end{aligned} 622 | $$ 623 | 那么 624 | $$ 625 | C=\mathrm R 626 | $$ 627 | $C$是凸集，但是$A$不满足条件。 628 | 629 | (b)证明： 630 | 631 | 依然利用2.2的结论证明凸性。 632 | 633 | 定义 634 | $$ 635 | D= C\cap \{x| g^T x +b=0\} 636 | $$ 637 | 令 638 | $$ 639 | A+\lambda g g^{T} = B\Leftrightarrow 640 | A= B-\lambda g g^{T} 641 | $$ 642 | 其中 643 | $$ 644 | B\succeq 0 645 | $$ 646 | 取直线$x=x_0 + tv,t\in \mathrm R, x_0, v\in \mathrm R^n$，不失一般性，假设$x_0\in D$，若$g^T v\neq 0$，那么直线和上述集合的交集必然为单点集，必然为凸集，所以我们只需考虑$g^T v=0$的情形即可。 647 | 648 | 注意到 649 | $$ 650 | \begin{aligned} 651 | x^{T} A x+b^{T} x+c 652 | &= (x_0 + tv)^T A(x_0 + tv)+ b^T (x_0 + tv) + c\\ 653 | &=(v^T Av)t^2 + (2 v^T Ax_0 + b^T v)t+ 654 | (x_0^T Ax_0+b^T x_0 + c)\\ 655 | &= (v^T( B-\lambda g g^{T})v)t^2 + (2v^T ( B-\lambda g g^{T})x_0+ b^Tv)t+(x_0^T ( B-\lambda g g^{T})x_0+b^T x_0 + c)\\ 656 | &= (v^T Bv)t^2 + (2v^T Bx_0 + b^T v)t + (x_0^T ( B-\lambda g g^{T})x_0+b^T x_0 + c) 657 | \end{aligned} 658 | $$ 659 | 由之前的讨论可得$D$为凸集。 660 | 661 | 反之结论同样不成立，考虑$n=2$的情形，取 662 | $$ 663 | \begin{aligned} 664 | A&= \left[ 665 | \begin{matrix} 666 | -1 & 0\\ 667 | 0 & -1 668 | \end{matrix} 669 | \right] \\ 670 | b&=\left[ 671 | \begin{matrix} 672 | 0\\ 673 | 0 674 | \end{matrix} 675 | \right]\\ 676 | c&=0\\ 677 | g&=\left[ 678 | \begin{matrix} 679 | 0\\ 680 | 1 681 | \end{matrix} 682 | \right] \\ 683 | h &= 0 684 | 685 | 686 | \end{aligned} 687 | $$ 688 | 那么$C=\mathrm R^2$，$D= \{x_2 = 0\}$，但是，对于任意$\lambda$， 689 | $$ 690 | A+\lambda gg^T=\left[ 691 | \begin{matrix} 692 | -1 & \lambda\\ 693 | \lambda & -1+\lambda 694 | \end{matrix} 695 | \right] 696 | $$ 697 | 显然该矩阵不是正定矩阵。 698 | 699 | 700 | 701 | #### 2.11 702 | 703 | 证明： 704 | 705 | 令 706 | $$ 707 | \begin{aligned} 708 | C&=\left\{x \in\mathbf{R}_{+}^{n} \mid \prod_{i=1}^{n} x_{i} \ge 1\right\}\\ 709 | f(x)&= \ln x 710 | \end{aligned} 711 | $$ 712 | 注意$f(x)$为凸函数，所以$\forall \theta\in [0,1]$，我们有 713 | $$ 714 | \begin{aligned} 715 | \theta \ln a+ (1-\theta) \ln b&\le \ln (\theta a+(1-\theta) b)\\ 716 | a^{\theta} b^{1-\theta} &\le \theta a+(1-\theta) b 717 | \end{aligned} 718 | $$ 719 | $\forall x, y\in C$，我们有 720 | $$ 721 | \begin{aligned} 722 | \prod_{i=1}^{n} x_{i}&\ge 1\\ 723 | \prod_{i=1}^{n} y_{i}&\ge 1 724 | \end{aligned} 725 | $$ 726 | $\forall \theta\in [0,1]$，考虑$z=\theta x+ (1-\theta) y$，那么利用定义以及之前的不等式可得 727 | $$ 728 | \begin{aligned} 729 | \prod_{i=1}^n z_i 730 | &= \prod_{i=1}^n(\theta x_i +(1-\theta) y_i)\\ 731 | &\ge \prod_{i=1}^nx_i^{\theta} y_i ^{1-\theta}\\ 732 | &=\left(\prod_{i=1}^nx_i\right)^{\theta}\left(\prod_{i=1}^ny_i\right)^{1-\theta}\\ 733 | &\ge 1 734 | \end{aligned} 735 | $$ 736 | 所以$z\in C$，从而$C$为凸集。 737 | 738 | 739 | 740 | #### 2.12 741 | 742 | (a) 743 | 744 | 是，因为可以表示为多面体。 745 | 746 | (b) 747 | 748 | 是，因为可以表示为多面体。 749 | 750 | (c) 751 | 752 | 是，因为可以表示为多面体。 753 | 754 | (d) 755 | 756 | 是，原因如下： 757 | 758 | 即 759 | $$ 760 | \begin{aligned} 761 | S&=\left\{x \mid\left\|x-x_{0}\right\|_{2} \leqslant\|x-y\|_{2}, \forall y \in S\right\}\\ 762 | S_y&= \left\{x \mid\left\|x-x_{0}\right\|_{2} \leq\|x-y\|_{2}\right\},y \in S 763 | \end{aligned} 764 | $$ 765 | 那么 766 | $$ 767 | S=\cap_{y\in S} S_y 768 | $$ 769 | 由2.9可得$S_y$为多面体，所以为凸集，从而$S$为凸集。 770 | 771 | (e) 772 | 773 | 不是，反例如下（参考习题解答）： 774 | $$ 775 | T= \{0\},S=\left\{-1 , 1\right\} 776 | $$ 777 | 此时该集合为 778 | $$ 779 | \left(-\infty, -\frac 12 \right] 780 | \bigcup \left[\frac 12,+\infty \right) 781 | $$ 782 | 显然该集合不是凸集。 783 | 784 | (f) 785 | 786 | 是，原因如下： 787 | 788 | 记 789 | $$ 790 | S=\left\{x \mid x+S_{2} \subseteq S_{1}\right\} 791 | $$ 792 | $\forall x,y \in S$，存在$s\in S_2$，使得$x+s, y+s\in S_1$，因为$S_1$为凸集，所以$\forall \theta\in [0,1]$， 793 | $$ 794 | \theta (x+s) + (1-\theta)(y+s)=\theta x+(1-\theta)y + s \in S_1 795 | $$ 796 | 从而 797 | $$ 798 | \theta x+ (1-\theta) y\in S 799 | $$ 800 | (g) 801 | 802 | 是，原因如下： 803 | 804 | 对集合进行等价变形： 805 | $$ 806 | \begin{aligned} 807 | \|x-a\|_{2} &\le \theta\|x-b\|_{2} \\ 808 | (x-a)^T(x-a)&\le \theta^2(x-b)^T(x-b) \\ 809 | x^Tx -2a^T x+a^T a&\le \theta^2(x^Tx -2b^Tx +b^T b)\\ 810 | (1-\theta^2)x^T x -2(a-\theta^2 b)^T x+(a^Ta-\theta^2 b^T b)&\le 0\\ 811 | 812 | \end{aligned} 813 | $$ 814 | 若$\theta=1$，上述集合显然为凸集，否则按如下方式变形： 815 | $$ 816 | \begin{aligned} 817 | (1-\theta^2)x^T x -2(a-\theta^2 b)^T x+(a^Ta-\theta^2 b^T b) 818 | &= (1-\theta^2) 819 | \left(x^T x -2\left(\frac{a-\theta^2 b}{1-\theta^2}\right)^T x+\frac{a^Ta-\theta^2 b^T b}{1-\theta^2}\right)\\ 820 | &=(1-\theta^2) \left\| x- \frac{a-\theta^2 b}{1-\theta^2}\right\|_2^2 + 821 | a^Ta-\theta^2 b^T b- \frac{(a-\theta^2 b)^2}{1-\theta^2} 822 | \end{aligned} 823 | $$ 824 | 所以原集合等价于 825 | $$ 826 | (1-\theta^2) \left\| x- \frac{a-\theta^2 b}{1-\theta^2}\right\|_2^2 + 827 | b^Tb-\theta^2 a^T a- \frac{(a-\theta^2 b)^2}{1-\theta^2} \le 0 828 | $$ 829 | 显然该集合是圆，从而为凸集。 830 | 831 | 832 | 833 | #### 2.13 834 | 835 | 中文翻译有误，应该是求锥包。 836 | 837 | 解： 838 | 839 | 记原集合为$S$，不难看出 840 | $$ 841 | \text{rank}(XX^T)= \text{rank}(X)=k 842 | $$ 843 | 所以$S$为秩等于$k$的对称半正定矩阵全体。 844 | 845 | $\forall Y_1, Y_2\in S,\theta_1,\theta_2> 0$（某一项为$0$的情形是平凡的），考虑矩阵$\theta_1 Y_1+ \theta_2 Y_2$，如果 846 | $$ 847 | y^T (\theta_1 Y_1+ \theta_2 Y_2)y 848 | =\theta_1 y^T Y_1 y+\theta_2 y^T Y_2 y 849 | = 0 850 | $$ 851 | 由$Y_1,Y_2$的半正定性可得 852 | $$ 853 | \begin{aligned} 854 | y^T Y_1 y&= 0\\ 855 | y^T Y_2 y&=0 856 | \end{aligned} 857 | $$ 858 | 所以 859 | $$ 860 | \mathcal N(\theta_1 Y_1+ \theta_2 Y_2) 861 | \subseteq \mathcal N(Y_1),\mathcal N(Y_2) 862 | $$ 863 | 从而 864 | $$ 865 | \begin{aligned} 866 | n-\text{rank}(\theta_1 Y_1+ \theta_2 Y_2)&\le n-k\\ 867 | \text{rank}(\theta_1 Y_1+ \theta_2 Y_2) &\ge k 868 | \end{aligned} 869 | $$ 870 | 从而锥包为秩大于等于$k$的对称半正定矩阵全体。 871 | 872 | 873 | 874 | #### 2.14 875 | 876 | (a) 877 | 878 | $\forall x_1,x_2 \in S_a$，由下确界的定义可得存在$s_1,s_2\in S$，使得 879 | $$ 880 | \begin{aligned} 881 | \|x_1- s_1\| &\le a\\ 882 | \|x_2- s_2\| &\le a 883 | \end{aligned} 884 | $$ 885 | $\forall \theta \in [0,1]$，由$S$为凸集可得， 886 | $$ 887 | s= \theta s_1+(1-\theta )s_2\in S 888 | $$ 889 | 记 890 | $$ 891 | x= \theta x_1+(1-\theta )x_2 892 | $$ 893 | 那么 894 | $$ 895 | \begin{aligned} 896 | \| x- s\| 897 | &= \| \theta(x_1 -s_1)+(1-\theta)(x_2 -s_2)\| \\ 898 | &\le \theta \|x_1-s_1\|+(1-\theta)\| x_2-s_2\| \\ 899 | &\le a 900 | \end{aligned} 901 | $$ 902 | 这说明 903 | $$ 904 | \text{dist}(x, S)\le a 905 | $$ 906 | 从而 907 | $$ 908 | x\in S_a 909 | $$ 910 | 即$S_a$为凸集。 911 | 912 | (b) 913 | 914 | 证明： 915 | 916 | $\forall x_1, x_2 \in S_{-a},\theta\in [0,1]$ ，考虑$x=\theta x_1 +(1-\theta) x_2$，只要证对于任意$z\in B(x, a)$，都有$z\in S$即可，注意到$z$可以表示为 917 | $$ 918 | z= x+ au, \| u \| \le 1 919 | $$ 920 | 而 921 | $$ 922 | \begin{aligned} 923 | z 924 | &= x+au\\ 925 | &=\theta (x_1+au)+(1-\theta)(x_2 + au) 926 | \end{aligned} 927 | $$ 928 | 注意到 929 | $$ 930 | \begin{aligned} 931 | x_1+ au&\in B(x_1, a)\subseteq S\\ 932 | x_2+ au&\in B(x_2, a)\subseteq S\\ 933 | \end{aligned} 934 | $$ 935 | 因为$S$为凸集，所以$z\in S$，即 936 | $$ 937 | B(x, a) \subseteq S 938 | $$ 939 | 这说明$x\in S_{-a}$，即$S_{-a}$为凸集。 940 | 941 | 942 | 943 | 944 | 945 | ### 补充题 946 | 947 | #### 1.1 948 | 949 | 结论：该集合是凸集。 950 | 951 | 证明： 952 | 953 | 记该集合为$A$，$\forall p_1(t),p_2(t)\in A, \theta_1,\theta_2\in [0,1],\theta_1 +\theta_2=1$，下面证明$p(t)=\theta_1 p_1(t)+\theta_2 p_2(t)\in A$。 954 | 955 | 首先有 956 | $$ 957 | \begin{aligned} 958 | p(0) 959 | &=\theta_1 p_1(0)+\theta_2 p_2(0)\\ 960 | &=\theta_1 +\theta_2\\ 961 | &=1 962 | \end{aligned} 963 | $$ 964 | 接着验证另一个性质，$\forall t\in [\alpha,\beta]$，我们有 965 | $$ 966 | \begin{aligned} 967 | |p(t)|&= |\theta_1p_1(t) + \theta_2 p_2(t)|\\ 968 | &\le \theta_1 |p_1(t)|+\theta_2 |p_2(t)|\\ 969 | &\le \theta_1+\theta_2\\ 970 | &=1 971 | \end{aligned} 972 | $$ 973 | 974 | 975 | #### 1.2 976 | 977 | 证明： 978 | 979 | 首先需要明确$k C$的含义： 980 | $$ 981 | k C= \{k c | c\in C\} 982 | $$ 983 | 所以 984 | $$ 985 | \begin{aligned} 986 | (\alpha +\beta) C &= \{(\alpha +\beta) c | c\in C\} \\ 987 | \alpha C &= \{\alpha c | c\in C\} \\ 988 | \beta C &= \{\beta c | c\in C\} \\ 989 | \end{aligned} 990 | $$ 991 | 由上述定义，不难看出 992 | $$ 993 | \alpha C +\beta C=\{\alpha c_1+\beta c_2 994 | | c_1,c_2\in C\} 995 | $$ 996 | 从而 997 | $$ 998 | (\alpha +\beta) C \subseteq \alpha C +\beta C 999 | $$ 1000 | 要证 1001 | $$ 1002 | \alpha C +\beta C=(\alpha +\beta) C 1003 | $$ 1004 | 只要证 1005 | $$ 1006 | \alpha C +\beta C \subseteq (\alpha +\beta) C 1007 | $$ 1008 | 即$\forall c_1, c_2\in C$，$\exists c_3\in C$，使得 1009 | $$ 1010 | \alpha c_1 +\beta c_2 = (\alpha + \beta) c_3 \Leftrightarrow 1011 | \frac{\alpha }{\alpha + \beta}c_1 1012 | +\frac{\beta }{\alpha + \beta}c_2 = c_3 1013 | $$ 1014 | 其中$\alpha+\beta \neq 0$。 1015 | 1016 | 下面开始证明原命题。 1017 | 1018 | $\Rightarrow$： 1019 | 1020 | 因为$C$为凸集，所以$\forall c_1, c_2\in C,\theta\in [0,1]$，$\exists c_3\in C$ 1021 | $$ 1022 | \theta c_1 +(1-\theta) c_2 = c_3\in C 1023 | $$ 1024 | 由$\theta$的任意性可得，$\forall \alpha,\beta \ge 0$， 1025 | $$ 1026 | \frac{\alpha }{\alpha + \beta}c_1 1027 | +\frac{\beta }{\alpha + \beta}c_2 = c_3 1028 | $$ 1029 | $\Leftarrow$： 1030 | 1031 | $\forall c_1, c_2\in C, \alpha ,\beta \ge 0$，$\exists c_3\in C$，使得 1032 | $$ 1033 | \alpha c_1 +\beta c_2 = (\alpha + \beta) c_3 \Leftrightarrow 1034 | \frac{\alpha }{\alpha + \beta}c_1 1035 | +\frac{\beta }{\alpha + \beta}c_2 = c_3 1036 | $$ 1037 | 由$\alpha ,\beta $的任意性可得$\frac{\alpha }{\alpha + \beta}$可以遍历$[0,1]$的任意实数，从而$\forall \theta\in [0,1]$， 1038 | $$ 1039 | \theta c_1 +(1-\theta)c_2 = c_3 \in C 1040 | $$ 1041 | 即$C$为凸集。 1042 | 1043 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Convex-Optimization 2 | 此仓库记录学习凸优化的笔记，补充书本内容，以及部分习题解答，内容也会同步更新在个人博客： 3 | 4 | https://doraemonzzz.com/ 5 | 6 | 7 | 8 | #### 资料 9 | 10 | 书籍：https://book.douban.com/subject/21249088/ 11 | 12 | 书籍主页：https://web.stanford.edu/~boyd/cvxbook/ 13 | 14 | 电子版：见仓库 15 | 16 | 视频： 17 | 18 | 交大许志钦老师的最优化方法课程：https://space.bilibili.com/95975441/channel/detail?cid=107433 19 | 20 | 中科大凌青老师的凸优化课程：https://www.bilibili.com/video/BV1Jt411p7jE?from=search&seid=6423371643907911807 21 | 22 | 斯坦福Stephen Boyd教授的课程：https://www.bilibili.com/video/BV1i7411Z7kY?from=search&seid=14232938131245425549 23 | 24 | 备注：最开始是学习Stephen Boyd教授的视频，听了几讲没太听明白，目前是在听凌青老师以及许志钦老师的课程，这两个课程感觉更适合入门。 25 | 26 | 27 | 28 | #### 为什么建此仓库 29 | 30 | 1. 学习过程中发现课本上很多地方省略了证明，感觉需要加以补充，所以建立该仓库更新相关笔记。 31 | 2. 习题部分尽管有英文答案，但是因为是数学课，最好还是自己做一遍，所以这里也会更新相关的习题解答。 32 | 3. 最主要目的，因为自己有时候容易拖延，所以建此仓库督促自己学习。 33 | 34 | 35 | 36 | #### 更新日志 37 | 38 | 2020/7/15：阅读2.1，完成习题2.1-2.3。 39 | 40 | 2020/7/16：阅读2.2，完成习题2.4，补充习题1.1，1.2；完成2.1以及习题的笔记。 41 | 42 | 2020/7/17：校对7/15日的笔记，完成2.2节的笔记整理。 43 | 44 | 2020/7/18：完成3道习题并整理。 45 | 46 | 2020/7/19：阅读2.3。 47 | 48 | 2020/7/20：整理2.3的前一部分。 49 | 50 | 2020/7/21：整理2.3，完成习题整理。 -------------------------------------------------------------------------------- /bv_cvxbook.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Doraemonzzz/Convex-Optimization/af1c3a9cae9a442c56a33c934013251d9f368cde/bv_cvxbook.pdf -------------------------------------------------------------------------------- /bv_cvxbook_extra_exercises.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Doraemonzzz/Convex-Optimization/af1c3a9cae9a442c56a33c934013251d9f368cde/bv_cvxbook_extra_exercises.pdf -------------------------------------------------------------------------------- /cvxbook-solutions.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Doraemonzzz/Convex-Optimization/af1c3a9cae9a442c56a33c934013251d9f368cde/cvxbook-solutions.pdf -------------------------------------------------------------------------------- /凸优化_Boyd&Vandenberghe_中文完整版.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Doraemonzzz/Convex-Optimization/af1c3a9cae9a442c56a33c934013251d9f368cde/凸优化_Boyd&Vandenberghe_中文完整版.pdf --------------------------------------------------------------------------------