├── .gitignore ├── Chapter2 Convex Sets ├── Convex_Sets.out ├── Convex_Sets.pdf └── Convex_Sets.tex ├── Chapter3 Convex Function ├── Convex_Function.out ├── Convex_Function.pdf ├── Convex_Function.tex └── imgs │ ├── multi.eps │ ├── multi.png │ ├── quasi.eps │ └── quasi.png ├── Chapter4 Convex Problem ├── Convex Problem.out ├── Convex Problem.pdf ├── Convex Problem.tex └── imgs │ ├── logax.eps │ ├── logax.png │ ├── ridge.eps │ └── ridge.png ├── Chapter5 Duality ├── Duality.out ├── Duality.pdf └── Duality.tex ├── README.md ├── test.pdf └── test.tex /.gitignore: -------------------------------------------------------------------------------- 1 | *.log 2 | *.aux 3 | *.gz -------------------------------------------------------------------------------- /Chapter2 Convex Sets/Convex_Sets.out: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter2 Convex Sets/Convex_Sets.out -------------------------------------------------------------------------------- /Chapter2 Convex Sets/Convex_Sets.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter2 Convex Sets/Convex_Sets.pdf -------------------------------------------------------------------------------- /Chapter2 Convex Sets/Convex_Sets.tex: -------------------------------------------------------------------------------- 1 | \documentclass[11pt]{ctexart} %编辑中文文档 2 | \usepackage{amsmath,amsfonts,amssymb} %数学工具包 3 | \usepackage[margin=1in]{geometry} %页面设置，边距，页幅大小等 4 | \usepackage{enumerate} %有序列表工具包 5 | %\usepackage{hyperref} %方便设置超链接 6 | \usepackage{fancyhdr} %设置页眉页脚 7 | \usepackage{float} %设置图片环绕样式 8 | \usepackage{graphicx} %插入图片 9 | \usepackage{color} 10 | \usepackage{xcolor} 11 | \usepackage{adjustbox} 12 | 13 | 14 | \CTEXsetup[format={\Large\bfseries}]{section} %设置section标题左对齐，挺迷的 15 | \usepackage[ 16 | pdfstartview=FitH, 17 | CJKbookmarks=true, 18 | bookmarksnumbered=true, 19 | bookmarksopen=true, 20 | colorlinks, 21 | pdfborder=001, 22 | linkcolor=blue, 23 | anchorcolor=blue, 24 | citecolor=blue, 25 | ]{hyperref} 26 | \hypersetup{hidelinks} %去除目录项以及超链接的方框 27 | 28 | \pagestyle{fancy} %设置页眉页脚 29 | \fancyhead{} %清除默认页眉 30 | \fancyfoot{} %清除默认页脚 31 | \fancyhead[L]{\slshape{Convex Optimization}}%设置自定义页眉左侧，slshape表斜体 32 | \fancyhead[R]{\slshape Chapter2 Convex Sets} 33 | \fancyfoot[C]{\thepage} 34 | \parindent 0ex %latex首段不缩进，其后段落缩进，\parindent为其后段落缩进的长度 35 | \setlength{\parskip}{1em} %段落间距 36 | \renewcommand{\baselinestretch}{1.5} %设置行距 37 | \renewcommand{\vec}[1]{\boldsymbol{#1}} %设置粗体向量 38 | \newcommand{\tabincell}[2]{\begin{tabular}{@{}#1@{}}#2\end{tabular}}%表格内换行 39 | 40 | \begin{document} 41 | \hrule height 4pt 42 | \begin{Large} 43 | \textbf{Essence of the lecture (3/4)} 44 | \end{Large} 45 | \begin{center} 46 | \begin{tabular}{|c|c|c|} 47 | \hline 48 | 仿射集 & 凸集 & 凸锥 \\ 49 | \hline 50 | %需要将公式内换行写为两条公式，否则tabincell会报错（但是效果是对的） 51 | \tabincell{c}{$\theta_1+\dots+\theta_k=1$\\ $\theta_1,\dots,\theta_k\in R$} & 52 | \tabincell{c}{$\theta_1+\dots+\theta_k=1$\\ $\theta_1,\dots,\theta_k\in [0,1]$} & 53 | $\theta_1,\dots,\theta_k \geq 0$\\ 54 | \hline 55 | \end{tabular} 56 | \begin{align*} 57 | %单数列左对齐，奇数列右对齐，第二列空掉，使得两列都为左对齐 58 | &\text{直线：}&&\text{线段：}\\ 59 | &x_1\neq x_2 \in R^n,\ \theta\in R &&\theta\in R,\ \theta\in[0,1] \\ 60 | &y=\theta x_1+(1-\theta)x_2 &&y=\theta x_1+(1-\theta)x_2 61 | \end{align*} 62 | \end{center} 63 | % 设置hrule的宽度为4pt 64 | \hrule height 4pt 65 | 66 | \textbf{仿射集（Affine Sets）：}若$\forall x_1,x_2\in C$，则连接$x_1,x_2$的{\color{red}\textbf{直线}}也在集合内\\ 67 | \phantom{仿射集（Affine Sets）：}$\Rightarrow$因此直线是仿射集，而线段不是 68 | 69 | \textbf{仿射组合：}设$x_1,\dots,x_k\in C,\ \theta_1,\dots,\theta_k\in R,\theta_1+\dots+\theta_k=1,\ \theta_1x_1+\dots+\theta_kx_k$称为仿射组合\\ 70 | \phantom{仿射组合：}$\Rightarrow$若C为仿射集，则仿射组合也在C内，证明如下 71 | \begin{align*} 72 | & \frac{\theta_1}{\theta_1+\theta_2}x_1+\frac{\theta_2}{\theta_1+\theta_2}x_2\in C\\ 73 | & (\theta_1+\theta_2)\left(\frac{\theta_1}{\theta_1+\theta_2}x_1+\frac{\theta_2}{\theta_1+\theta_2}x_2\right)+(1-\theta_1-\theta_2)x_3\in C\\ 74 | &\Leftrightarrow\theta_1 x_1+\theta_2 x_2+\theta_3 x_3 \in C,\quad \theta_1+\theta_2+\theta_3=1 75 | \end{align*} 76 | \textbf{仿射包：}对任意集合C，仿射包$(aff\ C)$是包含C的最小仿射集， 77 | $$aff\ C=\{\theta_1x_1+\dots+\theta_kx_k|\forall x_1,\dots,x_k\in C,\theta_1+\dots+\theta_k=1\}$$ 78 | \hrulefill%注意使用的是hrulefill，在tabular外不能使用hline，否则会报错 79 | 80 | $V=C-x_0=\{x-x_0|x\in C\}\ \forall x_0\in C\Rightarrow$\textbf{与C相关的子空间}，即将C平移经过原点\\ 81 | 求证：$v_1,\ v_2\in V,\forall \alpha,\beta\in R\quad \alpha v_1+\beta v_2\in V$\\ 82 | 即证：$\alpha v_1+\beta v_2+x_0\in C\Longleftrightarrow \alpha (v_1+x_0)+\beta (v_2+x_0)+(1-\alpha-\beta)x_0\in C$\\ 83 | \phantom{即证：}由于$v_1+x_0,\ v_2+x_0,\ x_0\in C$，得证 84 | 85 | 线性方程组的解集是仿射集\\ 86 | 证明：$C=\{x|Ax=b\},\ A\in R^{m\times n},\ b\in R^m,\ x\in R^n$\\ 87 | \phantom{证明：}由$Ax_1=b,\ Ax_2=b$有$\theta x_1+(1-\theta)x_2\in C$ 88 | 89 | \hrulefill 90 | 91 | \textbf{凸集：}一个集合为凸集，当且仅当任意两点的{\color{red}\textbf{线段}}在C内\\ 92 | \phantom{凸集：}即$\forall x_1,x_2\in C,\ \forall \theta\in [0,1],\ \theta x_1+(1-\theta)x_2\in C$ 93 | 94 | \textbf{凸组合：}$x_1,\dots,x_k\in C,\ \theta_1,\dots,\theta_k\in [0,1],\ \theta_1+\dots+\theta_k=1,\ \theta_1x_1+\dots+\theta_kx_k$\\ 95 | \phantom{凸组合：}凸集包含其任意元素的凸组合 96 | 97 | \textbf{凸包：} $Conv(C)=\{\theta_1x_1+\dots+\theta_kx_k|x_1,\dots,x_k\in C,、 \theta_1,\dots,\theta_k\in [0,1],\ \theta_1+\dots+\theta_k=1\}$\\ 98 | \phantom{凸包：}即对任意集合C，包含C的最小凸集 99 | 100 | \textbf{锥：}$\forall x\in C,\ \theta\geq 0\Rightarrow \theta x\in C$ 101 | 102 | \textbf{凸锥：}$\forall x_1,x_2\in C,\ \theta_1,\theta_2\geq 0\Rightarrow \theta_1x_1+\theta_2x_2\in C$ 103 | 104 | \textbf{凸锥组合：}$\theta_1x_1+\dots+\theta_kx_k,\ \theta_1,\dots,\theta_k\geq 0$ 105 | 106 | \textbf{凸锥包：}$\{\theta_1x_1+\dots+\theta_kx_k|x_1,\dots,x_k\in C, \theta_1,\dots,\theta_k\geq 0\}$ 107 | 108 | \vspace{16pt} 109 | 110 | \adjustbox{minipage=\textwidth,cfbox=red}{仿射集一定是凸集，凸锥一定是凸集；\\空集既是仿射集，又是凸集，又是凸锥；\\ 111 | 只有一个元素的集合一定是仿射集和凸集，是否是凸集，取决于该元素是否为原点（因为凸锥一定过原点）} 112 | 113 | 114 | \newpage 115 | \hrule height 4pt 116 | \begin{Large} 117 | \textbf{Essence of the lecture (5/6)}\\ 118 | \end{Large} 119 | \begin{large} 120 | \textbf{几种重要的凸集：} 121 | \end{large} 122 | \vspace{-16pt} 123 | \begin{itemize} \setlength{\itemsep}{0pt} 124 | \item $R^n$空间，$R^n$空间的子空间 125 | \item 任意直线（若过原点也为凸锥），任意线段，射线$\{x_0+\theta v|\theta\geq 0,\ x\in R^n,\ \theta\in R,\ v\in R^n\}$ 126 | \item 超平面与半空间 127 | \item 球和椭球 128 | \item 多面体（Polyhedron）和单纯形（Simplex） 129 | \item 对称矩阵集合，对称半正定矩阵集合，对称正定矩阵集合 130 | \end{itemize} 131 | \hrule height 4pt 132 | 133 | \textbf{超平面：}$\{x\mid a^Tx=b\}$，凸集，仿射集，是否过原点（凸锥） 134 | 135 | \textbf{半空间：}超平面的衍生概念，$\{x\mid a^T\geq b\},\ \{x\mid a^Tx\leq b\}$，凸集，非仿射集，是否过原点（凸锥） 136 | 137 | \textbf{球：}$B(x_c,r)=\{x\mid \Vert x-x_c\Vert_2\leq r\}=\{x\mid \sqrt{(x-x_c)^T(x-x_c)}\leq r\}$为凸集\\ 138 | 证明：$\forall \theta\in[0,1]$，取$f(x)=\Vert x-x_c\Vert_2$\\ 139 | \phantom{证明：}$\Vert \theta x_1+(1-\theta)x_2-x_c\Vert_2=\Vert \theta (x_1-x_c)+(1-\theta)(x_2-x_c)\Vert_2$\\ 140 | \phantom{证明：}$\leq\ \theta\Vert x_1-x_c\Vert_2+(1-\theta)\Vert x_2-x_c\Vert_2$\\ 141 | \phantom{证明：}\textcolor{red}{这里主要利用了三角不等式（范数的条件2）}，$\Vert a\Vert+\Vert b\Vert\geq \Vert a+b\Vert$ 142 | 143 | \textbf{椭球：}$\varepsilon(x_c,P)=\{x\mid (x-x_c)^TP^{-1}(x-x_c)\leq 1\},\ x_c\in R^n,\ P\in S_{++}^n$\\ 144 | \phantom{椭球：}其中P为对角矩阵，对角线上为矩阵的奇异值的平方，矩阵的奇异值对应了椭球的半轴长\\ 145 | \phantom{椭球：}矩阵A的奇异值为$\sqrt{eig(A^TA)}$，需要注意方针的特征值和奇异值也可能不等 146 | 147 | \textbf{多面体（polyhedron）：}$\{x\mid a_j^Tx\leq b_j,\ j=1,\dots,m,\ c_j^T=d_j,\ j=1,\dots,p\}$\\ 148 | 可以看作半空间和超平面的交集，所以是凸集 149 | 150 | \textbf{单纯形：}$R^n$中选择$v_0,\dots,v_k$共$k+1$个点，使$v_1-v_0,\dots,v_k-v_0$线性无关，则与上述点相关的单纯形为$C=Conv\{v_0,\dots,v_k\}=\{\theta_0v_0+\dots+\theta_kv_k\mid \theta\geq 0,1^T\theta =1\}$，即找到这k个点的凸包 151 | 152 | 注意$\{x\mid x\leq 0\}$是凸集/多面体/单纯形，即一维空间下取$x_1=0,\ x_2=-\infty$的凸包 153 | 154 | \pagebreak 155 | 求证：单纯形是多面体的一种\\ 156 | 证明：定义$y=[\theta_1,\dots,\theta_k],\ y\geq 0,\ 1^Ty\leq 1$(注意舍弃了$\theta_0$)，$B=[v_1-v_0,\dots,v_k-v_0]\in R^{n\times k}$\\ 157 | \phantom{证明：}$x\in C\Leftarrow x=\theta_0v_0+\dots+\theta_kv_k=v_0+\theta_1(v_1-v_0)+\dots+\theta_k(v_k-v_0)=v_0+By$\\[8pt] 158 | \phantom{证明：}B满秩，$rank(B)=k\Rightarrow$通过非奇异(可逆)矩阵$A=\left[\begin{array}{c}A_1\\A_2\end{array}\right]\in R^{n\times n}$，$\left[\begin{array}{c}A_1\\A_2\end{array}\right]B=\left[\begin{array}{c}I_k\\0\end{array}\right]$\\ 159 | \phantom{证明：}$Ax=Av_0+ABy\Rightarrow\left[\begin{array}{c}A_1\\A_2\end{array}\right]x=\left[\begin{array}{c}A_1\\A_2\end{array}\right]v_0+\left[\begin{array}{c}I_k\\0\end{array}\right]y$\\[8pt] 160 | \phantom{证明：}利用$y\geq 0,\ 1^Ty\leq 1$，有$A_1x\geq A_1v_0,\ 1^TA_1x\leq 1^TAv_0+1$\\ 161 | \phantom{证明：}则单纯形中的x可以表示为$\{x\mid A_1x\geq A_1v_0,\ 1^TA_1x\leq 1^TAv_0+1,A_2x=A_2v_0\}$ 162 | 163 | \textbf{对称矩阵集合：}$S^n=\{x\in R^{n\times n}\mid X=X^T\}$ 164 | 165 | \textbf{对称半正定矩阵集合：}$S^n_{+}=\{x\in R^{n\times n}\mid X=X^T,\ X\succeq 0\}$ 166 | 167 | \textbf{对称正定矩阵集合：}$S^n_{++}=\{x\in R^{n\times n}\mid X=X^T,\ X\succ 0\}$ 168 | 169 | 求证：$S_+^n$是凸锥 170 | 证明：$\forall \theta_0,\theta_1\geq 0,\ \forall A,B\in S_+^n$，对于$\theta_1A+\theta_2B$，首先对称性显然成立\\ 171 | \phantom{证明：}$\forall x\in R^n,\ X^TAX\geq 0,\ X^TBX\geq 0,\ \theta_1X^TAX+\theta_2X^TBX\geq 0$，$\theta_1A+\theta_2B\succ 0$，得证 172 | 173 | 求证：$S_{++}^n$不是凸锥\\ 174 | 证明：首先考虑n=1的情况，不过原点\\ 175 | \phantom{证明：}高维情况下$\theta_1X^TAX+\theta_2X^TBX\geq 0\notin S^n_{++}$，因为$\theta_1,\theta_2$可同时为0 176 | 177 | \newpage 178 | \hrule height 4pt 179 | \begin{Large} 180 | \textbf{Essence of the lecture (7/8)}\\ 181 | \end{Large} 182 | \begin{large} 183 | \textbf{几种重要的保凸运算：} 184 | \end{large} 185 | \vspace{-16pt} 186 | \begin{itemize} \setlength{\itemsep}{0pt} 187 | % 使用\displaystyle来解决行内时bigcap变形 188 | \item 凸集的交操作 189 | \item 仿射变换（缩放与位移，线性矩阵不等式） 190 | \item 透视函数 191 | \item 线性分数函数（仿射和透视的融合） 192 | \end{itemize} 193 | \hrule height 4pt 194 | 195 | \textbf{交集：}若$S_0$为凸集，$\forall a\in A$，则$\displaystyle\bigcap_{a\in A}S_a$为凸集 196 | 197 | \textbf{仿射函数：}$f:R^n\to R^m$是仿射的({\color{red}线性映射})，当{\color{red}$f=Ax+b$}$,\ A\in R^{m\times n},\ b\in R^m$\\ 198 | \phantom{仿射函数：}若$S\in R^n$为凸，则$f(S)=\{f(x)\mid x\in S\}$为凸 199 | 200 | \textbf{缩放与位移：}$\alpha S=\{\alpha x\mid x\in S\}\qquad S+a=\{x+a\mid x\in S\}$ 201 | 202 | 求证：两个凸集的和仍旧是凸集，定义凸集的和为($S_1+S_2=\{x+y\mid x\in S_1,\ y\in S_2\}$)\\ 203 | 证明：因为仿射映射是从一个集合的角度应用的，所以要将两个集合融合为一个\\ 204 | \phantom{证明：}定义$S_1\times S_2=\{(x,y)\mid x\in S_1,\ y\in S_2\}$，由凸集定义显然这是一个凸集\\ 205 | \phantom{证明：}则令$f(x,y)=x+y$，有$S_1+S_2=f(S_1\times S_2)$，由仿射变换保凸知，凸集和仍为凸集 206 | 207 | \textbf{线性矩阵不等性（LMI）：}$A(x)=x_1A_1+\dots+x_nA_n\preceq B,\ B,\ A_i,\ x_i\in S^m$\\ 208 | 求证：LMI的解为凸集，即$\{x\mid A(x)\preceq B\}$为凸集\\ 209 | 证明：定义仿射变换$f(x)\triangleq B-A(x)$，注意$f(x)$中的$x=[A_1,A_2,\dots,A_n]$，是多个矩阵，\\ 210 | \phantom{证明：}而$B-A(x)$返回的是一个矩阵，$f$是从高维向低维的一个映射\\ 211 | \phantom{证明：}由$S_+^n$为凸，所以$f^{-1}(S_+^n)=\{x\mid B-A(x)\succeq 0\}\Leftrightarrow\{x\mid A(x)\preceq B\}$为凸，得证 212 | 213 | 求证：椭球是球的仿射映射\\ 214 | 证明：椭球：$\epsilon=\{x\mid (x-x_c)^Tp^{-1}(x-x_c)\leq 1\},\ p\in S_{++}^m$，单位球：$\{u\mid \Vert u\Vert_2\leq 1\}$\\ 215 | \phantom{证明：}定义$f(u)=p^{\frac{1}{2}}u+x_c$，则$\{f(u)\mid \Vert u\Vert_2\leq 1\}=\{p^{\frac{1}{2}}u+x_c\mid \Vert u\Vert_2\leq 1\}$\\ 216 | \phantom{证明：}令$x\triangleq p^{\frac{1}{2}}u+x_c\Rightarrow u=p^{-\frac{1}{2}}(x-x_c)$（由于$p\in S_{++}^m$，p可以求逆）\\ 217 | \phantom{证明：}回代得$\{x\mid \Vert p^{-\frac{1}{2}}(x-x_c)\Vert_2\leq 1\}=\{x\mid (x-x_c)^Tp^{-1}(x-x_c)\leq 1\}$ 218 | 219 | \textbf{透视函数（perspective function）：}$P:\ R^{n+1}\to {R^n}$，$dom\ P:\ R^n\times R_{++}$\\$P(z,t)=\frac{z}{t},\ z\in R^n,\ t\in R_{++}$，凸集通过透视变换仍为凸集 220 | 221 | 考虑$R^n$内的线段，$x=(\tilde{x},x_{n+1}),\ y=(\tilde{y},y_{n+1}),\ \tilde{x},\tilde{y}\in R^n,\,x_{n+1},y_{n+1}\in R_{++},\,\theta\geq 0$，线段为$\theta x+(1-\theta) y$\\ 222 | 求证：任意线段通过透视函数后仍为凸集\\ 223 | 证明：P是透视函数，证明如下 224 | \begin{align*} 225 | P(\theta x+(1-\theta) y) 226 | &=\frac{\theta \tilde{x}+(1-\theta)\tilde{y}}{\theta x_{n+1}+(1-\theta)y_{n+1}}\\ 227 | &=\frac{\theta x_{n+1}}{\theta x_{n+1}+(1-\theta)y_{n+1}}\frac{\tilde{x}}{x_{n+1}}+\frac{(1-\theta) y_{n+1}}{\theta x_{n+1}+(1-\theta)y_{n+1}}\frac{\tilde{y}}{y_{n+1}}\\ 228 | &=\mu P(x)+(1-\mu)P(y) 229 | \end{align*} 230 | 231 | 求证：任意凸集的反透视映射仍为凸集，即$P^{-1}(C)=\{(x,t)\in R^{n+1}\mid \frac{x}{t}\in C,\ t>0\}$\\ 232 | 证明：考虑该该反透视映射集合中的两点$(x,t)\in P^{-1}(C),\ (y,s)\in P^{-1}(C),\ 0\leq \theta\leq 1$\\ 233 | \phantom{证明：}即证：$P(\theta (x,t)+(1-\theta)(y,s))\in C$ 234 | \begin{align*} 235 | \text{原式}&=\frac{\theta x+(1-\theta)y}{\theta t+(1-\theta)s}\in C\\ 236 | &=\frac{\theta t}{\theta t+(1-\theta s)}\frac{x}{t}+(1-\frac{\theta t}{\theta t+(1-\theta s)}\frac{x}{t})\frac{y}{s}\in C 237 | \end{align*} 238 | 239 | \textbf{线性分数函数：}仿射映射和透视映射的结合\\ [6pt] 240 | $\delta:\ R^n\to R^{m+1}$为仿射映射，$\delta(x)=\left[\begin{array}{c} 241 | A \\ 242 | C^T 243 | \end{array} 244 | \right]x+\left[\begin{array}{c} 245 | b \\ 246 | d 247 | \end{array} 248 | \right]$，$A\in R^{m\times n},b\in R^m,C\in R^n,d\in R$\\ [6pt] 249 | $P:\ R^{m+1}\to R^m$，线性分数函数$f:\ R^n\rightarrow R^m\triangleq P\circ \delta$\\ [6pt] 250 | $f(x)=\displaystyle\frac{Ax+b}{cx+d},\ dom f=\{x\mid c^Tx+d>0\}$\\ [6pt] 251 | 经过2次保凸运算后，结果仍为凸集，即线性分数函数保凸。\\ 252 | 其一定是拟凸函数，但不一定是凸函数，具体见$\alpha$-sublevel set(17/18) 253 | 254 | 求证：两个随机变量（$u\in \{1,2,\dots,n\},\ v\in\{1,2,\dots,m\}$）的联合概率$\to$条件概率保凸\\ 255 | 证明：$P_{ij}=P(u=i,v=j),\ f_{ij}=P(u=i\mid v=j)\Rightarrow f_{ij}=\displaystyle\frac{P_{ij}}{\sum_{k=1}^nP_{kj}}$\\ 256 | \phantom{证明：}这是一个线性分数函数，x是$[P_{1j},\dots,P_{nj}]$，分子由$[0,\dots,1,\dots,0]$点乘x，\\ 257 | \phantom{证明：}分母由1向量点乘得来，因此该映射是一个保凸的映射。 258 | 259 | 260 | 261 | \end{document} -------------------------------------------------------------------------------- /Chapter3 Convex Function/Convex_Function.out: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/Convex_Function.out -------------------------------------------------------------------------------- /Chapter3 Convex Function/Convex_Function.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/Convex_Function.pdf -------------------------------------------------------------------------------- /Chapter3 Convex Function/Convex_Function.tex: -------------------------------------------------------------------------------- 1 | \documentclass[11pt]{ctexart} %编辑中文文档 2 | \usepackage{amsmath,amsfonts,amssymb} %数学工具包 3 | \usepackage[margin=1in]{geometry} %页面设置，边距，页幅大小等 4 | \usepackage{enumerate} %有序列表工具包 5 | %\usepackage{hyperref} %方便设置超链接 6 | \usepackage{fancyhdr} %设置页眉页脚 7 | \usepackage{float} %设置图片环绕样式 8 | \usepackage{graphicx} %插入图片 9 | \usepackage{color} 10 | \usepackage{xcolor} 11 | \usepackage{adjustbox} 12 | \usepackage{pifont} 13 | \usepackage{extarrows} 14 | \usepackage{enumitem} 15 | \usepackage{setspace} 16 | \usepackage{subfigure} 17 | 18 | \CTEXsetup[format={\Large\bfseries}]{section} %设置section标题左对齐，挺迷的 19 | \usepackage[ 20 | pdfstartview=FitH, 21 | CJKbookmarks=true, 22 | bookmarksnumbered=true, 23 | bookmarksopen=true, 24 | colorlinks, 25 | pdfborder=001, 26 | linkcolor=blue, 27 | anchorcolor=blue, 28 | citecolor=blue, 29 | ]{hyperref} 30 | \hypersetup{hidelinks} %去除目录项以及超链接的方框 31 | 32 | \pagestyle{fancy} %设置页眉页脚 33 | \fancyhead{} %清除默认页眉 34 | \fancyfoot{} %清除默认页脚 35 | \fancyhead[L]{\slshape{Convex Optimization}}%设置自定义页眉左侧，slshape表斜体 36 | \fancyhead[R]{\slshape Chapter3 Convex Function} 37 | \fancyfoot[C]{\thepage} 38 | \parindent 0ex %latex首段不缩进，其后段落缩进，\parindent为其后段落缩进的长度 39 | \setlength{\parskip}{1em} %段落间距 40 | \renewcommand{\baselinestretch}{1.5} %设置行距 41 | \renewcommand{\vec}[1]{\boldsymbol{#1}} %设置粗体向量 42 | \newcommand{\tabincell}[2]{\begin{tabular}{@{}#1@{}}#2\end{tabular}}%表格内换行 43 | 44 | \newenvironment{myenumerate}{\begin{enumerate}[itemsep=0pt,parsep=0pt,topsep=0pt]}{\end{enumerate}} 45 | \newcommand{\liset}{itemsep=0pt,parsep=0pt,topsep=0pt} 46 | \newcommand{\rebacklinespread}[1][-12pt]{\vspace{#1}} 47 | \newcommand{\oneline}[1][12pt]{\vspace{#1}} 48 | \newcommand{\premise}[1][dom\ f]{\forall\ x,y\in #1,\ \theta\in [0,1]} 49 | \newcommand{\linearcombine}[2]{\theta #1+(1-\theta)#2} 50 | \newcommand{\ii}{\,\in\,} 51 | \newcommand{\dom}[1]{$dom\ #1$} 52 | \newcommand{\rs}[2][R]{#1^{#2}} %Rspace or matrix space 53 | \newcommand{\rl}[2][R]{#1_{#2}} %Rlimit or matrix space 54 | \newcommand{\rls}[3][R]{#1_{#2}^{#3}} %R limit space or matrix limit space 55 | 56 | \newcommand{\trans}[1]{#1^T#1} %transpose 57 | \newcommand{\ftrans}[1]{\left(#1\right)^T#1} %fraction transpose 58 | 59 | \newcommand{\ba}[1]{\begin{align*}#1\end{align*}} 60 | \newcommand{\bc}[1]{\begin{cases}#1\end{cases}} 61 | \newcommand{\li}[3][例]{ 62 | #1：#2\\ 63 | \phantom{#1：}\begin{minipage}[t]{0.9\linewidth}%注意这里phantom和minipage之间不能换行 64 | \setlength\parskip{12pt} 65 | #3 66 | \end{minipage} 67 | \oneline} 68 | \newcommand{\sune}{\parbox{1em}{$ \Rightarrow $\\ [-10pt] $ \nLeftarrow $}} % Sufficiently unnecessary 69 | \newcommand{\usne}{\parbox{1em}{$ \nRightarrow $\\ [-10pt] $ \Leftarrow $}} % unsufficiently necessary 70 | \newcommand{\paint}[2][red]{{\color{#1}#2}} %着色 71 | 72 | 73 | 74 | \begin{document} 75 | \hrule height 4pt 76 | \begin{Large} 77 | \textbf{Essence of the lecture (9(缺)/10/11)}\\ 78 | \end{Large} 79 | \begin{large} 80 | \textbf{凸函数的性质：} 81 | \end{large} 82 | \vspace{-16pt} 83 | \begin{itemize} \setlength{\itemsep}{0pt} 84 | % 使用\displaystyle来解决行内时bigcap变形 85 | \item 凸函数的第一定义 86 | \item 凸函数的第二定义 87 | \item 凸函数的扩展 88 | \item 凸函数的第三定义：一阶条件 89 | \item 凸函数的第四定义：二阶条件 90 | \end{itemize} 91 | % 设置hrule的宽度为4pt 92 | \hrule height 4pt 93 | \textbf{凸函数的第一定义}\\ 94 | 凸函数：f是凸函数，当且仅当其定义域为凸集，\\ 95 | \phantom{凸函数：}且$\forall x,y\in S,\ \forall \theta\in[0,1],\ f(\theta x+(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y)$\\ 96 | 严格凸函数：定义域为凸集，且$\forall x,y\in S,\ \forall \theta\in[0,1],\ f(\theta x+(1-\theta)y)< \theta f(x)+(1-\theta)f(y)$\\ 97 | 类似定义有凹函数和严格凹函数 98 | 99 | \textbf{凸函数的第二定义}\\ 100 | $f:\ R^n\to R$为凸函数$\Leftrightarrow dom\ f$为凸，且$\forall\ x\in dom\ f,\ \forall\ v,\ g(t)=f(x+tv)$为凸函数，$dom\ g=\{t\mid x+tv\in dom\ f\}$【g(t)是关于t的函数，相当于从高维降到一维，可以通过证明该一维函数g(t)为凸来证明高维的f(x)为凸】 101 | 102 | \textbf{凸函数的扩展}\\ 103 | $f:\ R^n\to R$为凸函数，$dom\ f:\ C\subseteq R^n$\\ [8pt] 104 | $ 105 | \tilde{f}= 106 | \begin{cases} 107 | f(x) \quad &x\in dom\ f\\ 108 | \infty\quad &x\notin dom\ f 109 | \end{cases} 110 | $，$\tilde{f}:\ R^n\to R$，$dom\ \tilde{f}:\ R$，即将f的定义域由C扩展到R 111 | \vspace{16pt} 112 | 113 | 示性函数是凸函数，凸集$C\subseteq R^n$，同理将定义域由C扩展到$R^n$\\ [8pt] 114 | $I_c(x)=\begin{cases} 115 | \infty\quad &x\notin C\\ 116 | 0\quad &x\in C 117 | \end{cases}$， 118 | 注意$x\notin C$时，取值必须为$\infty$，否则总能够找到特定的值使其非凸非凹 119 | 120 | \pagebreak 121 | \begin{large} 122 | \textbf{凸函数的一阶条件}\\ 123 | \end{large} 124 | 设$f:\ R^n\to R$可微（这表示$dom\ f$一定是开集，因为对于扩展的$\tilde{f}$，其边界不可微），即梯度$\nabla f$在$dom\ f$上均存在，则f等价于\\ 125 | \ding{172}$dom\ f$为凸集\quad \ding{173}$f(y)\geq f(x)+\nabla f^T(x)(y-x),\ \forall x,y\in dom\ f$ 126 | 127 | 一阶条件的证明\\ 128 | \textbf{一维情况下}\\ 129 | 即证$f:\ R\to R\text{为凸函数}\Longleftrightarrow dom\ f\text{为凸集，且}f(y)\geq f(x)+f'(x)(y-x)$\\ 130 | 证明：（充分性条件）{\color{red}首先由f为凸函数，由定义得，其定义域为凸集}（虽然显然，但必须指出）\\ 131 | \phantom{证明：}因此有$x+t(y-x),\ 00$ 213 | 214 | \textbf{范数：}$R^n$空间里的范数$P(x),\ x\in R^n$，其满足如下三个条件\\ 215 | \phantom{范数：}\ding{172}$\ P(ax)=\vert a\vert P(x)\quad $\ding{173}$P(x+y)\leq P(x)+P(y)\quad$\ding{174}$P(x)=0\Leftrightarrow x=0$\\ 216 | 证明：$\forall x,y\in R^n,\ \forall\theta\in[0,1]\quad P(\theta x+(1-\theta)y)\leq P(\theta x)+P((1-\theta)y)=\theta P(x)+(1-\theta)P(y)$\\ 217 | 需要注意的是，零范数并非范数，其不满足\ding{172}，其非凸 218 | 219 | \textbf{极大值函数：}$f(x)=\max\{x_1,\dots,x_n\},\ x\in R^n$\\ 220 | 证明：$\forall x,y\in R^n,\ \forall\theta\in[0,1]$\\ 221 | \phantom{证明：}$f(\theta x+(1-\theta)y)=max\{\theta x_i+(1-\theta)y_i,\ i=1,\dots,n\}\leq \theta \max \{x_i\}+(1-\theta)\max \{y_i\}$\\ 222 | 由此可知，极小极大问题（$\min\limits_x\max\limits_yf(x,y)$）相当于最优化一个凸函数 223 | 224 | 由于极大值函数是离散不可导的，对不可导的函数作可导的近似称为\textbf{解析逼近}，对极大值函数进行的解析逼近为 log-usm-up 225 | 226 | \textbf{log-sum-up：}$f(x)=log(e^{x_1}+\dots+e^{x_n}),\ x\in R^n$，有\\ 227 | \phantom{\textbf{log-sum-up：}}$\max\ \{x_1+\dots+x_n\}\leq f(x)\leq \max\ \{x_1+\dots+x_n\}+log\,n$\\ 228 | 讨论该函数的Hessian矩阵（$H=[H_{ij}]$） 229 | \begin{align*} 230 | H_{ij}= 231 | \begin{cases} 232 | \displaystyle\frac{\partial^2f}{\partial x_i\partial x_j}=\displaystyle\frac{-e^{x_i}e^{x_j}}{(e^{x_1}+\dots+e^{x_n})^2}\quad &i\neq j\\[12pt] 233 | \displaystyle\frac{\partial^2f}{\partial x_i\partial x_i}=\displaystyle\frac{-e^{x_i}e^{x_i}+e^{x_i}(e^{x_1}+\dots+e^{x_n})}{(e^{x_1}+\dots+e^{x_n})^2}\quad &i=j 234 | \end{cases} 235 | \end{align*} 236 | \begin{align*} 237 | H=\frac{1}{(e^{x_1}+\dots+e^{x_n})^2} 238 | \left\{ 239 | \left[ 240 | \begin{array}{ccc} 241 | e^{x_1}(e^{x_1}+\dots+e^{x_n})& \cdots & 0 \\ 242 | \vdots & \ddots & \vdots \\ 243 | 0 & \cdots & e^{x_n}(e^{x_1}+\dots+e^{x_n}) 244 | \end{array} 245 | \right]- 246 | \left[ 247 | \begin{array}{c} 248 | e^{x_1}\\ 249 | \vdots\\ 250 | e^{x_n} 251 | \end{array} 252 | \right]\cdot 253 | \left[ 254 | \begin{array}{ccc} 255 | e^{x_1} & \cdots & e^{x_n} 256 | \end{array} 257 | \right] 258 | \right\} 259 | \end{align*} 260 | 261 | 令$z=\displaystyle\left[e^{x_1},\dots,e^{x_n}\right]$，上式可以化为$H=\displaystyle\frac{1}{(1\cdot z)^2}\left((1^T\cdot z)\,diag\{z\}-z\cdot z^T\right)$，取其后半部分为K\\[6pt] 262 | 证明log-sum-up为凸利用二阶条件只需要证明Hessian矩阵的半正定性($\forall v\in R^n,\ v^TKv\geq 0$) 263 | \begin{align*} 264 | v^TKv&=(1^T\cdot z)\,v^T diag\{z\}v-v^Tz\cdot z^Tv(\text{看作}(z^Tv)^T(z^Tv))\\ 265 | &=(\sum_{i}z_i)(\sum_{i}v_i^2\,z_i)-(\sum_{i}v_i\,z_i)^2\\ 266 | &\text{令}\ a_i=v_i\sqrt{z_i},\ b_i=\sqrt{z_i}\\ 267 | &=(b^Tb)(a^Ta)-(a^Tb)^2\geq 0\quad [Cauchy-Schwarz\text{不等式，得证}] 268 | \end{align*} 269 | \textcolor{red}{看到范数就要想到三角不等式，看到平方就要想到Cauchy-Schwarz不等式} 270 | 271 | \textbf{行列式的对数：}$f(x)=log\ det(x),\ dom\ f\,=\,S_{++}^n$\\ 272 | 证明：当$n=1$时，$f(x)=log\ x$为凹\\ 273 | \phantom{证明：}当$n>1$时，$\forall z\in S_{++}^n,\ \forall t\in R,\ \forall v\in R^{n\times n},\ z+tv\in S_{++}^n\,=\,dom\ f$ 274 | \begin{align*} 275 | g(t)=f(z+tv)&=log\ det(z+tv)\\ 276 | &=log\ det\{z^{\frac{1}{2}}(I+tz^{-\frac{1}{2}}vz^{-\frac{1}{2}})z^{\frac{1}{2}}\}\\ 277 | &=log\ det\{z\}+log\ det(I+tz^{-\frac{1}{2}}vz^{-\frac{1}{2}})\\ 278 | &\text{对后半部分做对称分解，有}\ log\ det(QQ^T+tQ\Lambda Q^T)=log\ det(I+t\Lambda)\\ 279 | &=log\ det\{z\}+\sum_{i=1}^{n}log(1+t\lambda_i)\quad[\lambda_i\text{是}tz^{-\frac{1}{2}}vz^{-\frac{1}{2}}\text{的第i个特征根}] 280 | \end{align*} 281 | \phantom{证明：}又$g'(t)=\sum_{i}\frac{\lambda_i}{1+t\lambda_i},\quad g''(x)=\sum_{i}\frac{-\lambda_i}{(1+t\lambda_i)^2}\leq 0$，由第二定义可以推出f为凹 282 | 283 | \textbf{几何平均函数：}$f(x)=(x_1\dots x_n)^{\frac{1}{n}}$是凹函数，待证 284 | 285 | \newpage 286 | \hrule height 4pt 287 | \begin{Large} 288 | \textbf{Essence of the lecture (14/15/16/17)}\\ 289 | \end{Large} 290 | \begin{large} 291 | \textbf{常见的保凸变换：} 292 | \end{large} 293 | \vspace{-16pt} 294 | \begin{itemize} \setlength{\itemsep}{0pt} 295 | % 使用\displaystyle来解决行内时bigcap变形 296 | \item 非负加权和 297 | \item 仿射映射 298 | \item 凸函数的极大值函数 299 | \item 函数的组合 300 | \item 函数的透视 301 | \item 函数的共轭 302 | \end{itemize} 303 | % 设置hrule的宽度为4pt 304 | \hrule height 4pt 305 | 306 | \textbf{非负加权和：}若$f_1\dots f_m$为凸且$w_i\geq 0$，则$f=\sum_{i=1}^{m}w_if_i$为凸\\ 307 | 证明：\ding{172}定义域为各凸函数的交集，为凸\quad \ding{173}由于各组份满足满足定义一，其组合也满足 308 | 309 | 若$f(x,y)$对$\forall y\in A$,$f(x,y)$均为凸（注意在$y\in A$下为凸$\neq$在$(x,y)$下均为凸【jointly convex】）\\ 310 | 设$w(y)\geq 0,\ \forall y\in A,\ g(x)=\int_{y\in A}w(y)f(x,y)dy$为凸 311 | 312 | Q：$f_i:\ R^n\to R,\ i=1,2,\dots m$为凸，$A\in R^n,\ b\in R$，$g(x)=A^T\left[f_1(x)m\dots f_m(x)\right]^T+b$是否为凸\\ 313 | A：其本质是加权和，但是不一定非负，所以不一定是凸函数 314 | 315 | \textbf{仿射映射：}$f:\ R^n\to R$，$A\in R^{n\times n},\ b\in R^n$，$g(x)=f(Ax+b),\ dom\ g=\{x\mid Ax+b\in dom\ f\}$\\ 316 | 证明：令$x,y\in dom\ g,\ 0\leq \theta \leq 1$ \\[-2.5em] 317 | \begin{align*} 318 | g(\theta x+(1-\theta)y)&=f(\theta Ax+(1-\theta)Ay+b)\\ 319 | &=f(\theta(Ax+b)+(1-\theta)(Ay+b))\\ 320 | &\leq \theta f(Ax+b)+(1-\theta)f(Ay+b)=\theta g(x)+(1-\theta)g(y) 321 | \end{align*} 322 | \textbf{凸函数的极大值函数：}$f_1,f_2$为凸函数，定义$f(x)=\max \{f_1(x),f_2(x)\},\ dom\ f=dom\ f_1\cap dom\ f_2$\\ 323 | 证明：令$x,y\in dom\ f,\ 0\leq \theta \leq 1$\\ [-2.5em] 324 | \begin{align*} 325 | f(\theta x+(1-\theta)y)=&\max\{f_1(\theta x+(1-\theta)y),f_2(\theta x+(1-\theta)y)\}\\ 326 | &\leq \max\{\theta f_1(x)+(1-\theta)f_1(y),\theta f_2(x)+(1-\theta)f_2(y)\}\\ 327 | &\leq \max\{\theta f_1(x),\theta f_2(x)\}+(1-\theta)\max\{(1-\theta)f_1(y),(1-\theta)f_2(y)\}\\ 328 | &=\theta f(x)+(1-\theta)f(y) 329 | \end{align*} 330 | \textbf{推广到无穷个凸函数的极大值情况：}$y\in A,\ f(x,y)$对x为凸,$g(x)=\sup\limits_{y\in A}f(x,y)$为凸 331 | 332 | Q：向量中r个最大元素的和为凸函数\\ 333 | A：$x\in R^n$，对x进行排序，$x[i]$表示第i大的元素，有\\ 334 | \phantom{A：}$f(x)=\sum_{i=1}^{r}x[i]=\max\{x_{i1}+\dots+x_{ir}\mid 1\leq i1\dots \leq ir\leq n\}$\\ 335 | \phantom{A：}由于$x_{i1}+\dots+x_{ir}$是x的线性组合，保凸，同时max保凸，因此整个函数保凸，结果为凸函数 336 | 337 | Q：实对称矩阵的最大特征值$\lambda$，即$f(x)=\lambda_{max}(x),\ dom\ f=S^m$\\ 338 | A：$Xy=\lambda y\Rightarrow y^TXy=\lambda y^Ty=\lambda \Vert y\Vert_2^2\Rightarrow \lambda=\frac{y^TXy}{\Vert y\Vert_2^2}$\\ 339 | \phantom{A：}令$\Vert y\Vert_2^2=1$，则$\lambda=y^TXy$\\ 340 | \phantom{A：}$f(x)=\lambda_{max}(x)=\sup\{y^TXy\mid \Vert y\Vert_2^2=1\}$\\ 341 | \phantom{A：}注意到$y^TXy$是关于x的线性组合（将$y^2$看作系数），同时sup保凸，所以该函数为凸函数 342 | 343 | \textbf{函数的组合：}$h:\ R^h\to R,\ g:\ R^n\to R^k$，$f=h\circ g,\ R^n\to R$，f为h和g的函数组合 344 | \phantom{函数的组合：}$f(x)=h(g(x)),\ dom\ f=\{x\in dom\ g\mid g(x)\in dom\ h\}$ 345 | 346 | 考虑满足如下三个条件的简单情况： 347 | \vspace{-12pt} 348 | \begin{myenumerate} 349 | \item 一维：$k=n=1$ 350 | \item 实空间：$dom\ g=dom\ h=dom\ f=R$ 351 | \item 二阶可微：h,g均二阶可微 352 | \end{myenumerate} 353 | $$f'(x)=h'(g(x))g'(x)\quad f''(x)=h''(g(x))g'^2(x)+h'(g(x))g''(x)$$ 354 | 利用$f''(x)\geq 0\ or\ \leq 0$，由此可以得到四条推论 355 | \rebacklinespread 356 | \begin{myenumerate} 357 | \item[\ding{172}]h为凸，不降，g为凸，则f为凸 358 | \item[\ding{173}]h为凸，不增，g为凹，则f为凸 359 | \item[\ding{174}]h为凹，不降，g为凹，则f为凹 360 | \item[\ding{175}]h为凹，不增，g为凸，则f为凹 361 | \end{myenumerate} 362 | 363 | \pagebreak 364 | 对简单的情况进行扩展 365 | \rebacklinespread 366 | \begin{myenumerate} 367 | \item 高维情况下：$n,k\geq 1$ 368 | \item 非实空间：$dom\ g,\ dom\ h,\ dom\ f\neq R^n,\ R^k,\ R^n$ 369 | \item 非二阶可微：$h,\ g$均二阶不可微 370 | \end{myenumerate} 371 | 372 | 上述四条结论中的单调性条件对h的扩展成立即可 373 | \rebacklinespread 374 | \begin{myenumerate} 375 | \item[\ding{172}]h为凸，$\tilde{h}$不降，g为凸，则f为凸 376 | \item[\ding{173}]h为凸，$\tilde{h}$不增，g为凹，则f为凸 377 | \item[\ding{174}]h为凹，$\tilde{h}$不降，g为凹，则f为凹 378 | \item[\ding{175}]h为凹，$\tilde{h}$不增，g为凸，则f为凹 379 | \end{myenumerate} 380 | 381 | 一般定义$\tilde{h}$为保持h函数凸性的在全空间的扩展，当h为凸函数时，\textcolor{red}{一般定义为} \\ 382 | $\tilde{h}= 383 | \begin{cases} 384 | \ h(x)\quad &x\in dom\ h\\ 385 | \ +\infty\quad &x\notin dom\ h 386 | \end{cases} 387 | $ 388 | 389 | \textbf{扩展条件下，对\ding{172}，h为凸，$\tilde{h}$不降，g为凸，则f为凸的证明}(其余条件同理)\\ 390 | 证明： 391 | \begin{minipage}[t]{0.9\linewidth} 392 | \setlength\parskip{12pt} 393 | $\premise$，即$x,y\in dom\ g,\ g(x),g(y)\in dom\ h$\\ 394 | 目标是证明$h(g(\linearcombine{x}{y}))\leq {\color{blue}\theta h(g(x))+(1-\theta)h(g(y))}$\\ [8pt] 395 | g为凸，故\dom{g}为凸， 396 | $\linearcombine{x}{y}\ii dom\ g$\\ 397 | $g(\linearcombine{x}{y})\leq \linearcombine{g(x)}{g(y)}$\\[8pt] 398 | h为凸，故\dom{h}为凸，$\linearcombine{g(x)}{g(y)}\in dom\ h$\\ 399 | ${\color{teal}h(\linearcombine{g(x)}{g(y)})}\leq {\color{blue}\linearcombine{h(g(x))}{h(g(y))}}$\par 400 | 因此只需证：$h(g(\linearcombine{x}{y}))\leq {\color{teal}h(\linearcombine{g(x)}{g(y)})}$\\ 401 | $\Rightarrow$求证$g(\linearcombine{x}{y})$在\dom{h}中，而后利用h的单调性即可 402 | 403 | 对$g(\linearcombine{x}{y})\in$\dom{h}的证明\\ 404 | 假设$g(\linearcombine{x}{y})\notin$\dom{h}，利用$\tilde{h}$在全空间的定义\\ 405 | $\tilde{h}$不降，则$\tilde{h}(g(\linearcombine{x}{y}))\leq \tilde{h}(\linearcombine{g(x)}{g(y)})$\\ 406 | 不等式前半部分趋于$\infty$，后半部分为h，无意义，所以$g(\linearcombine{x}{y})\in$\dom{h} 407 | 408 | 由h不降可知，原不等式成立，f为凸函数 409 | \end{minipage} 410 | 411 | \pagebreak 412 | \textbf{函数的透视} 413 | $f:\,R^n\to R,\ g:\,R^n\times R_{++}\to R$ 414 | $$g(x,t)=tf(\frac{x}{t})\quad dom\ g=\{(x,t)\mid t\in R_{++},\frac{x}{t}\in dom\ f\}$$ 415 | 函数的透视有一个很重要的性质，若f为凸函数，则g也为凸函数，且对(x,t)是联合凸的，若f为凹函数，则g对(x,t)联合凹\\ 416 | 注意与透视函数不同，透视函数$P(z,t)=\displaystyle\frac{z}{t},\ P:R^{n+1}\to R^n$ 417 | 418 | 例：欧几里得范数的平方\\ 419 | $f(x)=x^Tx,\ dom\ f=R^n,\ g(x,t)=t\trans{\dfrac{x}{t}}=\dfrac{1}{t}\trans{x}$ 420 | 421 | 例：负对数\\ 422 | $f(x)=-logx,\ dom\ f=\rl{++}\ g(x,t)=t(-log\dfrac{x}{t})=tlog\dfrac{t}{x}$\\ 423 | 考虑到$x \geq 0,\ dom\ g=\rls{++}{2}$ 424 | 425 | \textbf{对负对数的扩展：}\\ 426 | 取$u,v\in \rls{++}{n},\ g(u,v)=\sum_{i=1}^{n}u_ilog\dfrac{u_i}{v_i}$，考虑到每一个分项都是凸的，因此整个函数是凸的，注意与非负加权和区分，这个函数是$\sum_{i=1}^{n}g_i(u_i,v_i)$，非负加权和是$\sum_{i=1}^{n}g_i(u,v)$\\[8pt] 427 | 进一步扩展：KL-Divergence\\ 428 | $D_{KL}(u,v)\triangleq \sum_{i=1}^{n}u_ilog\dfrac{u_i}{v_i}-u_i+v_i$，注意到第一项为凸，后两项为仿射项，因此整个函数是凸的\\[8pt] 429 | 进一步扩展：Bregman-Divergence\\ 430 | 对于$f:\ R\to R$的凸函数，$D_B(u,v)\triangleq f(u)f(v)-\nabla f(v)(u-v)$\\ 431 | 由于Bregman散度并不能保证是凸的，常采用KL散度\\ 432 | KL散度是取$f(u)=\sum_{i=1}^{n}u_ilogu_i-\sum_{i=1}^nu_i$的特殊情况 433 | 434 | \pagebreak 435 | \textbf{函数共轭(conjugate)：}\\ 436 | $f:\,\rs{n}\to R,\ f^*:\,\rs{n}\to R,\ f^*(y)=\sup\limits_{x\in dom\ f}y^Tx-f(x)$\\ [8pt] 437 | \ding{172}若f(x)可微，则$f^*(y)$对应的x必是$f'(x)=y$上的点($[f^*(y)]_x'=y-f'(x)=0$)\\ 438 | \ding{173}不论f(x)是否为凸函数，$f^*(y)$一定为凸函数\\ 439 | \phantom{\ding{172}}相当于无数条线取max，对y而言是其线性项，因此恒为凸 440 | 441 | 对于函数而言常常说共轭，对于问题而言常常说对偶。 442 | 443 | 例：求$f(x)=ax+b,\ dom\ f=R$的共轭函数 444 | \rebacklinespread 445 | \ba{f^*(y)=\sup\limits_{x\in dom\ f}(yx-(ax+b))=\sup\limits_{x\in dom\ f}((y-a)x+b)=\bc{-b\quad & y=a\\ +\infty \quad &y\neq a}} 446 | \phantom{例：}由定义一知，该函数为凸函数 447 | 448 | 例：求$f(x)=-logx,\ dom\ f=\rl{++}$的共轭函数\\ 449 | \phantom{例：}利用$[f^*(x)]_x'=y+\dfrac{1}{x}=0$，将$x=-\dfrac{1}{y}$回代有$-1-log(-y)$ 450 | \rebacklinespread 451 | \ba{f^*(y)=\sup\limits_{x>0}\ (yx+logx)=\bc{-1-log(-y)\quad&y<0\\+\infty \quad&y\geq 0}} 452 | \phantom{例：}同理，由定义一知该函数为凸函数 453 | 454 | \li{求$f(x)=\dfrac{1}{2}X^T\theta X,\ Q\in\rls[S]{++}{n},\ dom\ f=\rs{n}$的共轭函数}{$f^*(y)=\sup\ (y^Tx-\dfrac{1}{2}X^TQX),\ [f^*(y)]_x'=y- QX=0$\\ [8pt] 455 | 回代有$y^TQ^{-1}y-\dfrac{1}{2}y^TQ^{-1}Q^TQ^{-1}y=\dfrac{1}{2}y^TQ^{-1}y$\\ [8pt] 456 | 对比原函数，x变为y，Q变为$Q^{-1}$成了共轭，这是二次项共轭函数的性质} 457 | 458 | 对于数而言，共轭的共轭为其自身，而这对函数并不成立，因为函数的共轭一定是凸函数，凹函数的共轭的共轭一定不为自身 459 | 460 | {\color{red}\textbf{只有在f为凸函数，并且为闭函数时，f的共轭的共轭才为自身}} 461 | 462 | \newpage 463 | \hrule height 4pt 464 | \begin{Large} 465 | \textbf{Essence of the lecture (17/18/20)}\\ 466 | \end{Large} 467 | \begin{large} 468 | \textbf{拟凸函数：} 469 | \end{large} 470 | \vspace{-16pt} 471 | \begin{itemize} \setlength{\itemsep}{0pt} 472 | % 使用\displaystyle来解决行内时bigcap变形 473 | \item 凸集与凸函数的关系（$\alpha$-sublevel set） 474 | \item 拟凸函数（Quasi Convex Function） 475 | \item 可微拟凸函数的一阶条件 476 | \item 可微拟凸函数的二阶条件 477 | \item 对数凸函数及对数凹函数 478 | \end{itemize} 479 | % 设置hrule的宽度为4pt 480 | \hrule height 4pt 481 | 482 | \textbf{$\alpha$-sublevel set：}\\ 483 | 若$f:\rs{n}\to R$，定义其$\alpha$-sublevel set为$C_\alpha=\{x\in dom\ f\mid f(x)\leq\alpha\}$\\ 484 | \li[性质]{凸函数的所有$\alpha$-sublevel set为凸集}{$\premise[C_\alpha],\ x,y\in dom\ f,\ f(x)\leq \alpha,\ f(y)\leq \alpha$\\ 485 | $f(\linearcombine{x}{y})\leq \linearcombine{f(x)}{f(y)}\leq \alpha$}\\ 486 | {\color{red}\textbf{注意：}凸函数 \parbox{1em}{$ \Rightarrow $\\ [-10pt] $ \nLeftarrow $} $\alpha$-sublevel set为凸集，例如$ e^x $与$ -e^x $} 487 | 488 | \textbf{拟凸函数（Quasi Convex Function）：}\\ [8pt] 489 | \textbf{定义一：}对于任意的$\alpha$，其$\alpha$-sublevel set均为凸集的函数为拟凸函数 490 | \rebacklinespread 491 | \begin{description}[itemsep=0pt,parsep=0pt,topsep=0pt] 492 | \item[Quasi Convex] $ S_\alpha=\{x=dom\ f\mid f(x)\leq\alpha\} $ 493 | \item[Quasi Concave] $ S^{'}_\alpha=\{x=dom\ f\mid f(x)\geq\alpha\} $ 494 | \item[Quasi Linear] $ S^"_\alpha=\{x=dom\ f\mid f(x)=\alpha\} $ 495 | \end{description} 496 | \rebacklinespread 497 | \paint{\textbf{注意：}凸函数 \sune 拟凸函数}\\ [8pt] 498 | \textbf{定义二：}$ \premise,\ \max\{f(x),f(y)\}\geq f(\linearcombine{x}{y}) $\\ 499 | \begin{figure}[h] 500 | \centering 501 | \subfigure[非凸的拟凸函数（单模态函数）]{ 502 | \includegraphics[width=0.5\linewidth]{imgs/quasi.eps} 503 | } 504 | \quad 505 | \subfigure[多模态函数]{ 506 | \includegraphics[width=0.25\linewidth]{imgs/multi.eps} 507 | } 508 | \caption{拟凸函数又称单模态函数} 509 | \end{figure} 510 | 511 | \li{向量长度$ x\in\rs{n} $，x中最后一个非零元素的位置}{ 512 | $f(x)=\bc{ 513 | \max\{i,\ x_i\neq 0\}\quad& x\neq 0\\ 514 | 0\quad&x>0 515 | }$\\ 516 | $ S_\alpha=\{f(x)\leq \alpha\}\Rightarrow\ \forall i=\lfloor i\rfloor+1\dots n,\ x_i=0 $\\ 517 | 相当于取子空间，一些轴上取零，其余轴上的值任意，为凸集，因此f(x)为拟凸函数 518 | } 519 | 520 | \li{线性分数函数$ f(x)=\dfrac{a^Tx+b}{c^Tx+d},\ dom\ f=\{x\mid c^Tx+d>0\} $}{ 521 | $ S_\alpha=\{x\mid c^Tx+d>0,\ \dfrac{a^Tx+b}{c^Tx+d}<\alpha\}=\{x\mid c^Tx+d>0,\ ax+b\leq\alpha(c^Tx+d)\}$\\ [8pt] 522 | 该集合表示一个多面体，为凸集，因此f(x)为拟凸函数 523 | } 524 | 525 | \textbf{可微拟凸函数的一阶条件：}\dom{f}为凸，$ \forall x,y\in dom\ f,\ f(y)\leq f(x)\Rightarrow\nabla^Tf(x)(y-x)\leq 0 $\\ 526 | \paint[blue]{20中只证明了$\theta\to 1$情况，具体的证明见21（不好描述）}\\ 527 | \paint{凸函数的一阶条件告诉我们局部最小即为全局最小：若$ \nabla f^T(x)=0,\ \forall y,\ f(y)\geq f(x) $\\拟凸函数的一阶条件并没有告诉我们什么，若$ \nabla f^T(x)=0,\ \forall y, f(y)\leq f(x)\Rightarrow 0\leq 0 $无意义\\ 528 | 这也就是凸函数和拟凸函数一阶条件的最大不同，拟凸函数不能保证一阶导数为0的点有意义} 529 | 530 | \textbf{可微拟凸函数的二阶条件：}\dom{f}为凸，且$ y^T\nabla f(x)\geq 0\Rightarrow y^T\nabla^2f(x)y\geq 0 $\\ 531 | 考虑$ n=1 $的情况，$ yf' (x)\geq 0\Rightarrow y^2f''(x)\geq 0 $\\ 532 | $ y=0 $时情况成立，当$ y\neq 0 $，只需$ f'(x)=0 $，一定有$ yf' (x)=0\Rightarrow f''(x)\geq 0 $\\ 533 | 推广到高维情况，即对凸函数而言，所有点的二阶Hessian矩阵半正定，而对于拟凸函数而言，只需要部分关键点，$ f'(x)=0 $这些点半正定\\ 534 | \paint{由此可以用该二阶条件判断函数是否是拟凸函数，考虑一阶为0的点二阶是否大于等于0} 535 | 536 | \textbf{log concave/log convex：} 537 | \rebacklinespread 538 | \begin{description}[itemsep=0pt,parsep=0pt,topsep=0pt] 539 | \item[log concave]$ f:R^n\to R $为log concave，若$ f(x)>0,\forall x\in dom\ f$且$ log\,f $为凹函数 540 | \item[log convex] $ f:R^n\to R $为log convex，若$ f(x)>0,\forall x\in dom\ f$且$ log\,f $为凸函数 541 | \end{description} 542 | \paint{f为凹函数\sune log f为凹函数，f为凸函数 \usne log f为凸函数}\\ 543 | 可以将f看做$ e^{log\ f} $，利用函数组合的规则理解 544 | \end{document} -------------------------------------------------------------------------------- /Chapter3 Convex Function/imgs/multi.eps: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/imgs/multi.eps -------------------------------------------------------------------------------- /Chapter3 Convex Function/imgs/multi.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/imgs/multi.png -------------------------------------------------------------------------------- /Chapter3 Convex Function/imgs/quasi.eps: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/imgs/quasi.eps -------------------------------------------------------------------------------- /Chapter3 Convex Function/imgs/quasi.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter3 Convex Function/imgs/quasi.png -------------------------------------------------------------------------------- /Chapter4 Convex Problem/Convex Problem.out: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/Convex Problem.out -------------------------------------------------------------------------------- /Chapter4 Convex Problem/Convex Problem.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/Convex Problem.pdf -------------------------------------------------------------------------------- /Chapter4 Convex Problem/Convex Problem.tex: -------------------------------------------------------------------------------- 1 | \documentclass[11pt]{ctexart} %编辑中文文档 2 | \usepackage{amsmath,amsfonts,amssymb} %数学工具包 3 | \usepackage[margin=1in]{geometry} %页面设置，边距，页幅大小等 4 | \usepackage{enumerate} %有序列表工具包 5 | %\usepackage{hyperref} %方便设置超链接 6 | \usepackage{fancyhdr} %设置页眉页脚 7 | \usepackage{float} %设置图片环绕样式 8 | \usepackage{graphicx} %插入图片 9 | \usepackage{color} 10 | \usepackage{xcolor} 11 | \usepackage{adjustbox} 12 | \usepackage{pifont} 13 | \usepackage{extarrows} 14 | \usepackage{enumitem} 15 | \usepackage{setspace} 16 | \usepackage{subfigure} 17 | 18 | \CTEXsetup[format={\Large\bfseries}]{section} %设置section标题左对齐，挺迷的 19 | \usepackage[ 20 | pdfstartview=FitH, 21 | CJKbookmarks=true, 22 | bookmarksnumbered=true, 23 | bookmarksopen=true, 24 | colorlinks, 25 | pdfborder=001, 26 | linkcolor=blue, 27 | anchorcolor=blue, 28 | citecolor=blue, 29 | ]{hyperref} 30 | \hypersetup{hidelinks} %去除目录项以及超链接的方框 31 | 32 | \pagestyle{fancy} %设置页眉页脚 33 | \fancyhead{} %清除默认页眉 34 | \fancyfoot{} %清除默认页脚 35 | \fancyhead[L]{\slshape{Convex Optimization}}%设置自定义页眉左侧，slshape表斜体 36 | \fancyhead[R]{\slshape Chapter4 Convex Problem} 37 | \fancyfoot[C]{\thepage} 38 | \parindent 0ex %latex首段不缩进，其后段落缩进，\parindent为其后段落缩进的长度 39 | \setlength{\parskip}{1em} %段落间距 40 | \renewcommand{\baselinestretch}{1.5} %设置行距 41 | \renewcommand{\vec}[1]{\boldsymbol{#1}} %设置粗体向量 42 | \newcommand{\tabincell}[2]{\begin{tabular}{@{}#1@{}}#2\end{tabular}}%表格内换行 43 | 44 | \newenvironment{myenumerate}{\begin{enumerate}[itemsep=0pt,parsep=0pt,topsep=0pt]}{\end{enumerate}} 45 | \newcommand{\liset}{itemsep=0pt,parsep=0pt,topsep=0pt} 46 | \newcommand{\rebacklinespread}[1][-12pt]{\vspace{#1}} 47 | \newcommand{\oneline}[1][12pt]{\vspace{#1}} 48 | \newcommand{\premise}[1][dom\ f]{\forall\ x,y\in #1,\ \theta\in [0,1]} 49 | \newcommand{\linearcombine}[2]{\theta #1+(1-\theta)#2} 50 | \newcommand{\ii}{\,\in\,} 51 | \newcommand{\dom}[1]{$dom\ #1$} 52 | \newcommand{\rs}[2][R]{#1^{#2}} %Rspace or matrix space 53 | \newcommand{\rl}[2][R]{#1_{#2}} %Rlimit or matrix space 54 | \newcommand{\rls}[3][R]{#1_{#2}^{#3}} %R limit space or matrix limit space 55 | 56 | \newcommand{\trans}[1]{#1^T#1} %transpose 57 | \newcommand{\ftrans}[1]{\left(#1\right)^T#1} %fraction transpose 58 | 59 | \newcommand{\ba}[1]{\begin{align*}#1\end{align*}} 60 | \newcommand{\bc}[1]{\begin{cases}#1\end{cases}} 61 | \newcommand{\bcenter}[1]{\begin{center}#1\end{center}} 62 | \newcommand{\li}[3][例]{ 63 | #1：#2\\ 64 | \phantom{#1：}\begin{minipage}[t]{0.9\linewidth}%注意这里phantom和minipage之间不能换行 65 | \setlength\parskip{12pt} 66 | #3 67 | \end{minipage} 68 | \oneline} 69 | \newcommand{\sune}{\parbox{1em}{$ \Rightarrow $\\ [-10pt] $ \nLeftarrow $}} % Sufficiently unnecessary 70 | \newcommand{\usne}{\parbox{1em}{$ \nRightarrow $\\ [-10pt] $ \Leftarrow $}} % unsufficiently necessary 71 | \newcommand{\paint}[2][red]{{\color{#1}#2}} %着色 72 | \newcommand{\VV}[1]{\Vert #1 \Vert} 73 | 74 | 75 | \begin{document} 76 | \hrule height 4pt 77 | \begin{Large} 78 | \textbf{Essence of the lecture (19/21/22/23/24)}\\ 79 | \end{Large} 80 | \begin{large} 81 | \textbf{凸问题：} 82 | \end{large} 83 | \vspace{-16pt} 84 | \begin{itemize} \setlength{\itemsep}{0pt} 85 | % 使用\displaystyle来解决行内时bigcap变形 86 | \item 非凸、非拟凸问题的松弛（零范数的松弛） 87 | \item 广义凸问题及相关定义 88 | \item 问题的等价变换 89 | \item 狭义凸问题 90 | \item 凸问题的性质：局部最优=全局最优，目标函数可微情况下的最优解 91 | \end{itemize} 92 | % 设置hrule的宽度为4pt 93 | \hrule height 4pt 94 | 95 | \textbf{零范数的松弛：}\\ 96 | 在一维条件下，零范数是拟凸函数（非凸），在$ n\geq 2 $情况下，零范数非拟凸，此时主要有两种松弛方法。 97 | \rebacklinespread 98 | \begin{itemize}\setlength{\itemsep}{0pt} 99 | \item 松弛为$l_1$范数，该函数为凸函数 100 | \item 松弛为$ log(ax^2+1) $，该函数非凸，但是是拟凸函数 101 | \begin{figure}[h] 102 | \centering 103 | \includegraphics{imgs/logax.eps} 104 | \caption{$ f(x)=log(ax^2+1),a\to +\infty$时整体趋近零范数，拟凸函数} 105 | \end{figure} 106 | \rebacklinespread 107 | \end{itemize} 108 | \rebacklinespread 109 | 广义凸问题：凸目标，凸集约束\\ 110 | 一般优化问题的描述： 111 | \rebacklinespread 112 | \begin{align*} 113 | &\min\ f_0(x)\\& s.t.\ 114 | \begin{array}[t]{ll}% 注意一定要加上{l/c/r} 115 | f_i(x)\leq 0\quad &i=1,\dots,m\\ 116 | h_i(x)=0\quad &i=1,\dots,p 117 | \end{array} 118 | \end{align*} 119 | x称为优化变量(optimization variable)，$ f_0 $称为目标函数、损失函数、效用函数，$ f_i(x)\leq 0 $称为不等式约束(inequality constraint)，$ h_i(x)=0 $称为等式约束(equality constraint)，$ m=p=0 $时为无约束(unconstrained)问题 120 | 121 | \newpage 122 | \textbf{概念定义(注意inf可以对应min)：} 123 | \rebacklinespread 124 | \begin{description}[itemsep=0pt] 125 | \item[优化问题的域(domain)：] D=$\displaystyle\bigcap_{i=0}^m dom\ f_i \ \cap\ \displaystyle\bigcap_{i=1}^p dom\ h_i$ 126 | \item[可行解集(feasible set)：] $ X_f=\{x\mid x\in D,\ f_i(x)\leq 0,i=1,\dots,m,\ h_i(x)=0,i=1,\dots,p\}$ 127 | \item[最优值(optimization value)：] $ p^*=\inf\ \{f_0(x)\mid x\in X_f\}$，若$ X_f=\oslash,\ p^*=+\infty $ 128 | \item[最优解(optimization point/solution)：] 若$ x^* $可行，且$ f_0(x^*)=p^* $，称$ x^* $为最优解 129 | \item[$\varepsilon$次优解集($\varepsilon$-suboptional set)：] $ X_{\varepsilon}=\{x\mid x\in X_f,\ f_0(x)\leq p^*+\varepsilon\} $ 130 | \item[局部最优解(locally optional)：] $ f_0(x)=\inf\ \left\{f_0(z)\mid 131 | \begin{array}[c]{l} 132 | f_i(x)\leq 0,i=1,\dots,m\\ 133 | h_i(z)=0,i=1,\dots,p\\ 134 | \Vert z-x\Vert\leq R 135 | \end{array} 136 | \right\} $，解集为$ X_{loc} $ 137 | \end{description} 138 | 139 | \textbf{不等式约束采用$ \leq $而非<的原因}\\ 140 | 若$ x\in X_f,\ f_i(x)=0 $，则$ f_i(x)\leq 0 $为活动(active)约束\\ 141 | 若$ x\in X_f,\ f_i(x)<0 $，则$ f_i(x)\leq 0 $为非活动(inactive)约束\\ 142 | 而所有的<约束都可以转化为$ \leq $约束\\ 143 | 例如 money<100$\Rightarrow-\vert log(100-money)\vert\leq 0$ 144 | 145 | \textbf{问题的等价变换}\\ 146 | \li{Box Constraint}{ 147 | \[ l_i\leq x\leq u_i \Rightarrow 148 | \begin{cases} 149 | l_i-x_i\leq 0\\ 150 | x_i-u_i\leq 0 151 | \end{cases} 152 | \]} 153 | 154 | \li{将问题的量纲做标准化}{ 155 | \vspace{-48pt} 156 | \begin{align*} 157 | &\min\ \alpha_0\,f_0(x)\\ 158 | & s.t.\ 159 | \begin{array}[t]{ll}% 注意一定要加上{l/c/r} 160 | \alpha_i\,f_i(x)\leq 0\quad &i=1,\dots,m\\ 161 | \beta_i\,h_i(x)=0\quad &i=1,\dots,p 162 | \end{array} 163 | \end{align*} 164 | } 165 | 166 | \li{利用函数进行等价变换}{ 167 | \begin{center} 168 | \begin{tabular}[t]{|c|c|c|} 169 | \hline 170 | $ \psi_0$&$ R\to R $& 单增 \\ 171 | \hline 172 | $ \psi_1,\dots,\psi_m$&$ R\to R $& $ \psi_i(u)\leq 0 \Leftrightarrow u\leq 0 $ \\ 173 | \hline 174 | $ \varrho_1,\dots,\varrho_p $& $ R\to R $&$ \varrho_i(u)=0\Leftrightarrow u=0 $ \\ 175 | \hline 176 | \end{tabular} 177 | \end{center} 178 | \vspace{-24pt} 179 | \begin{align*} 180 | &\min\ \psi_0\,(f_0(x))\\ 181 | & s.t.\ 182 | \begin{array}[t]{ll}% 注意一定要加上{l/c/r} 183 | \psi_i\,(f_i(x))\leq 0\quad &i=1,\dots,m\\ 184 | \varrho_i\,(h_i(x))=0\quad &i=1,\dots,p 185 | \end{array} 186 | \end{align*} 187 | \bcenter{如 $ \min \Vert Ax-b\Vert_2\Leftrightarrow\Vert Ax-b\Vert_2^2 $} 188 | } 189 | 190 | \li{消除等式约束}{$\{h_i(x)=0,i=1,\dots,p\}$看作一组方程，$ X=\varrho(Z),\ Z\in R^k,\ \varrho:\ R^k\to R^n $ 191 | \rebacklinespread 192 | \begin{align*} 193 | &\min\ f_0(\varrho(x))\quad \Rightarrow\quad X^*=\varrho(Z^*)\\ 194 | & s.t.\ 195 | \begin{array}[t]{ll}% 注意一定要加上{l/c/r} 196 | f_i(\varrho(x))\leq 0\quad &i=1,\dots,m 197 | \end{array} 198 | \end{align*} 199 | } 200 | 201 | \li{消除线性等式约束}{在线性等式约束的情况下，$ h_i(x)=0\Rightarrow Ax-b=0 $\\ 202 | 此时若方程无解，则问题无解，若A可逆，则$ X=A^{-1}b $\\ 203 | 否则可将等式约束化为$ X=FZ+X_0 $，FZ在A的零空间，即将求解n维的X化为求解n-r维的Z（因为初等变换F不改变Z的秩）\\ 204 | \paint{只有在有必要的情况下这样做，有时候会带来麻烦（具体麻烦未提及）}} 205 | 206 | \textbf{狭义凸问题：} 207 | \rebacklinespread 208 | \begin{alignat*}{4}%align*还有flalign*都是弹性距离，alignat距离可调 209 | \min\quad &f_0(x) && &&\qquad f_0(x)\text{为凸}\\ 210 | s.t.\quad &f_i(x)\leq 0 &&\qquad i=1,\dots,m &&\qquad f_i(x)\text{均为凸}\\ 211 | &a_i^Tx=b_i &&\qquad i=1,\dots,p &&\qquad \text{等式约束为仿射函数} 212 | \end{alignat*} 213 | 214 | \newpage 215 | \li{引入松弛变量(slack variable)$ s_i $}{ 216 | 虽然是一个升维的情况，但是有时可以将问题化为非常特殊的形式更易求解 217 | \rebacklinespread 218 | \begin{alignat*}{3}%align*还有flalign*都是弹性距离，alignat距离可调 219 | \min\quad &f_0(x) &&\\ 220 | s.t.\quad &s_i\leq 0 &&\\ 221 | &f_i(x)-s_i=0 &&\qquad i=1,\dots,m \\ 222 | &a_i^Tx=b_i &&\qquad i=1,\dots,p 223 | \end{alignat*} 224 | } 225 | 226 | \textbf{类似有相关问题（max concave $\Leftrightarrow$ min convex）} 227 | \rebacklinespread 228 | \begin{description} 229 | \item[Quasi-convex optimization] $ f_0 $为拟凸函数，$ f_i,\ h_i $为凸函数 230 | \item[None-convex optimization] $ f_0 $为凹函数，$ f_i,\ h_i $为凸函数 231 | \end{description} 232 | 233 | \li[\textbf{求证}]{\textbf{凸问题的局部最优即为全局最优}}{ 234 | 设x不是全局最优，$\exists y\in X_f,\ s.t.\ f_0(y)R$\\ 236 | 令$ z=\linearcombine{y}{x} $，取$ \theta=\dfrac{R}{2\Vert y-x\Vert_2}\in [0,1] $\\[6pt] 237 | $\therefore$ z为凸组合，$ z\in X_f $且\paint[blue]{$ f_0(z)\leq \linearcombine{f_0(y)}{f_0(x)} $}\\ 238 | $ \Vert z-x\Vert_2=\theta \Vert x-y\Vert_2=\frac{R}{2}0&& && &&e^Ty+fz=1\\ 311 | & && && && &&z\geq 0 312 | \end{alignat*} 313 | \paint{证明两问题等价的思路：P1的可行解在P2可行，P2的可行解在P1可行，同时二者的值相同}\\ 314 | 证明：\begin{minipage}[t]{0.9\linewidth} 315 | \setlength\parskip{12pt} 316 | 1) 若x在$ P_0 $可行，取$ y=\dfrac{x}{e^Tx+f},\ z=\dfrac{1}{e^Tx+f} $ 317 | \rebacklinespread 318 | \ba{\bc{ 319 | Gy-hz=\dfrac{Gx-h}{e^Tx+f}\leq 0\\[6pt] 320 | Ay-bz=\dfrac{Ax-b}{e^Tx+f}=0\\[6pt] 321 | e^Tx+fz=\dfrac{e^Tx+f}{e^Tx+f}=1\\[6pt] 322 | z>0}\Rightarrow \text{x同时在P1可行，同时目标函数值均为}\ \dfrac{c^Tx+d}{e^Tx+f}} 323 | 2) 若y,z在$ P_1 $中可行\\ 324 | 当$ z>0\Rightarrow x=\dfrac{y}{z} $在$ P_0 $可行，且目标函数值均为$ c^Ty+dz $\\ 325 | 当$ z=0 $，此时有$ Gy\geq 0,\ Ay=0,\ e^Ty=1 $，设$ x_0 $为$ P_0 $的可行解，找到射线$ x=x_0+ty,\ \forall t\geq 0 $对$ P_0 $可行 326 | \rebacklinespread 327 | \ba{\bc{Gx=Gx_0+Gty\leq h\\Ax=Ax_0+tAy=b\\e^Tx+f=e^Tx_0+f+te^Ty>0}\Rightarrow 328 | \begin{array}{l} 329 | \text{目标：在该射线上找到一点使得$P_1,\ P_2$同解}\\[6pt] 330 | f_0(x)=f_0(x_0+ty)=\dfrac{c^Tx_0+c^Tty+d}{e^Tx_0+e^Tty+f}\xlongequal{t\to \infty}c^Ty 331 | \end{array} 332 | } 333 | 综上，$ P_0,\ P_1 $两问题等价 334 | \end{minipage} 335 | 336 | \newpage 337 | \textbf{二次规划(Quadratic Programing)} 338 | \rebacklinespread 339 | \ba{\min\quad &\dfrac{1}{2}X^TPX+q^Tx+r\\s.t.\quad &Qx\leq h \qquad P\in S_+^n\\&Ax=b} 340 | \paint{线性规划问题的最优解只能在边界点取到，二次规划问题的最优解可能在内部取到} 341 | 342 | \textbf{二次约束的二次规划(Quadratically Constrained Quadratic Programing, QCQP)} 343 | \rebacklinespread 344 | \begin{alignat*}{3} 345 | \min\quad & \dfrac{1}{2}X^TPX+q^Tx+r&&\\ 346 | s.t.\quad & \dfrac{1}{2}X^TP_iX+q_i^Tx+r\leq 0\qquad&&P\in S_{++}^n\\ 347 | & Ax=b &&P_i\in S_+^n,\ i=1,\dots,m 348 | \end{alignat*} 349 | 二次的约束条件其实是椭圆 350 | 351 | \li{稀疏约束下的最小二乘}{ 352 | 之前提到可以使用1范数取代0范数 353 | \rebacklinespread 354 | \ba{\hat{x}&=\arg\min_x\quad \Vert b-Ax\Vert_2^2+\lambda_0\Vert x\Vert_0\\ 355 | &=\arg\min_x\quad \Vert b-Ax\Vert_2^2+\lambda_1\Vert x\Vert_1\quad (l_1-regularized\ least\ squares)} 356 | 此时由于目标函数内涉及绝对值，是不可导的，同时也不是二次规划问题\\ 357 | 令$ x=x^+-x^- $，回代，由于$ \lambda_1\Vert x^+-x^-\Vert_1=\lambda_1 1^Tx^++\lambda_1 1^Tx^- $，从而消除绝对值，化为二次规划的问题 358 | \rebacklinespread 359 | \ba{\hat{x}=\arg\min_x\quad &\Vert b-Ax^+-Ax^-\Vert_2^2+\lambda_1 1^Tx^++\lambda_1 1^Tx^-\\s.t.\quad &x^+,x^-\geq 0} 360 | } 361 | 362 | 类似有($ l_2-regularized\ least\ squares $)，以下两种表述等价，但右边的表述是标准的QCQP形式 363 | \rebacklinespread 364 | \begin{alignat*}{4} 365 | \arg\min_x\quad &\Vert b-Ax\Vert_2^2+\lambda_2\Vert x\Vert_2\hspace{6em}&&\arg\min_x\quad &&\Vert b-Ax\Vert_2^2\\ 366 | \Rightarrow\quad &X^T(A^TA+\lambda_2I)X+\dots&&\phantom{arg} s.t.\quad&&\lambda_2\Vert x\Vert_2\leq \theta 367 | \end{alignat*} 368 | 369 | \newpage 370 | \textbf{半正定规划(Semi-definite Program)}\\ 371 | 半正定规划有两种形式，一种是矩阵形式，一种是向量形式\\ 372 | 半正定规划的矩阵形式，这实际上是矩阵空间的线性规划（因为trace的操作实际上是线性操作，可从特例对角矩阵理解） 373 | \rebacklinespread 374 | \ba{\min\quad &tr(CX)\\s.t.\quad &tr(A_iX)=b_i,\ i=1,\dots,p\\&X\succeq0,\ X\in S_+^n,\ C\in R^{n\times n},\ A_i\in R^{n\times n},\ b_i\in R} 375 | 半正定规划的向量形式 376 | \rebacklinespread 377 | \ba{\min\quad &c^Tx\\s.t.\quad &x_1A_1+\dots+x_nA_n\preceq B\\&x\in \rs{n},\ B,A_1,\dots,A_n\in S^k,\ C\in R^n} 378 | 379 | \newpage 380 | \li{谱范数(最大奇异值)问题的转换}{ 381 | 原问题：$ \Vert A(x)\Vert_2 $\\ 382 | 由于$ \VV{A(x)}_2\leq \sqrt{S}\Leftrightarrow \trans{A(x)}-SI\preceq 0$\\ 383 | 问题化为 384 | \rebacklinespread 385 | \ba{ 386 | \min\quad&\sqrt{S}\ \text{(非凸)}\quad\Leftrightarrow\quad S\ \text{(凸)} \tag{1} \\ 387 | s.t.\quad &\trans{A(x)}\preceq SI\\ 388 | \Rightarrow\min\quad &t\\ 389 | s.t.\quad&\trans{A(x)}\preceq t^2I,\ t\geq 0 \tag{2} \\ 390 | \Rightarrow\min\quad &t\\ 391 | s.t.\quad &\left[ 392 | \begin{array}{cc} 393 | tI&A(x) \\ 394 | A^T(x)&tI 395 | \end{array}\right]\succeq 0,\ t\geq 0 \tag{3} \\ 396 | \Rightarrow \min\quad &t\\ 397 | s.t.\quad &Y=\left[ 398 | \begin{array}{cc} 399 | tI&A(x) \\ 400 | A^T(x)&tI 401 | \end{array}\right],\ Y\succeq 0,\ t\geq 0\tag{4} 402 | } 403 | (1)通过将目标函数转为S，使称为凸问题，(2)到(3)的转化是线性代数的内容，(3)不够之处在于仍旧存在二次项约束，(4)通过设置Y，将矩阵正定条件拆出一个等式约束，而后$ Y\succeq 0，\ t\geq0 $变为标准的半定规划形式 404 | } 405 | 406 | \textbf{多目标优化}\\ 407 | \href{https://hpzhao.github.io/2018/09/17/%E5%A4%9A%E7%9B%AE%E6%A0%87%E4%BC%98%E5%8C%96%E5%9B%9B%E7%A7%8D%E6%96%B9%E6%B3%95/}{\paint[blue]{帕累托}}(帕累托曲面/曲线，帕累托最优点/最优值)\\ 408 | 帕累托曲面/曲线(pareto front)：若找到另一解，使其在某指标上更好，必然在某指标上更差。 409 | 410 | 若$ \{f_0(x)\} $在$ \rs{k} $中为凸，$ f(x) $为凸，$ h_i(x) $为仿射，则必可由如下方法求得pareto front中一点 411 | \rebacklinespread 412 | \ba{\min\quad &\sum_{i=1}^{q}\lambda_i f_{0i}(x)\\s.t.\quad &\lambda_i\geq0\\&f_i(x)\leq 0\qquad i=1,\dots,m\\&h_i(x)=0\qquad i=1,\dots,p} 413 | 从而通过遍历$ \{\lambda_i\} $可以找出所有解，然而现实中由于$ f(x) $的凸性无法满足，导致无法找出帕累托曲面上所有点 414 | 415 | \li{Rideg Regression}{ 416 | \vspace{-24pt} 417 | \paint{关键是展示目标函数和约束可以相互转换}\\ 418 | 原问题是一个多目标优化问题（左），右边是该问题的等价转换形式，要证明这两种形式等价 419 | \rebacklinespread 420 | \ba{ 421 | \bc{\min\ &\VV{b-Ax}^2\\ 422 | \min\ &\VV{x}^2} 423 | \quad\Leftrightarrow\quad 424 | \begin{array}{lll} 425 | \min\ &\VV{b-Ax}^2+\lambda\VV{x}^2\qquad &(1)\\ 426 | \min\ &\VV{b-Ax}^2&\\ 427 | s.t.\ &\VV{x}^2\leq \epsilon\qquad &(2) 428 | \end{array} 429 | } 430 | 431 | } 432 | \begin{figure}[h] 433 | \centering 434 | \includegraphics[width=0.5\linewidth]{imgs/ridge.eps} 435 | \caption{这幅图是目标函数的帕累托曲面，横轴表示最小化误差这一目标，纵轴表示能量这一目标，两个端点分别表示两种表述中的不同取值，例如与横轴的交点，意味着能量为0，即$ \epsilon=0 $，相应的在(1)中代表仅考虑能量，$ \lambda=+\infty $，另一情况同理} 436 | \end{figure} 437 | 438 | 439 | \end{document} -------------------------------------------------------------------------------- /Chapter4 Convex Problem/imgs/logax.eps: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/imgs/logax.eps -------------------------------------------------------------------------------- /Chapter4 Convex Problem/imgs/logax.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/imgs/logax.png -------------------------------------------------------------------------------- /Chapter4 Convex Problem/imgs/ridge.eps: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/imgs/ridge.eps -------------------------------------------------------------------------------- /Chapter4 Convex Problem/imgs/ridge.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter4 Convex Problem/imgs/ridge.png -------------------------------------------------------------------------------- /Chapter5 Duality/Duality.out: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter5 Duality/Duality.out -------------------------------------------------------------------------------- /Chapter5 Duality/Duality.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/Chapter5 Duality/Duality.pdf -------------------------------------------------------------------------------- /Chapter5 Duality/Duality.tex: -------------------------------------------------------------------------------- 1 | \documentclass[11pt]{ctexart} %编辑中文文档 2 | \usepackage{amsmath,amsfonts,amssymb,nccmath} %数学工具包 3 | \usepackage[margin=1in]{geometry} %页面设置，边距，页幅大小等 4 | \usepackage{enumerate} %有序列表工具包 5 | %\usepackage{hyperref} %方便设置超链接 6 | \usepackage{fancyhdr} %设置页眉页脚 7 | \usepackage{float} %设置图片环绕样式 8 | \usepackage{graphicx} %插入图片 9 | \usepackage{color} 10 | \usepackage{xcolor} 11 | \usepackage{adjustbox} 12 | \usepackage{pifont} 13 | \usepackage{extarrows} 14 | \usepackage{enumitem} 15 | \usepackage{setspace} 16 | \usepackage{subfigure} 17 | \usepackage{etoolbox} 18 | 19 | \CTEXsetup[format={\Large\bfseries}]{section} %设置section标题左对齐，挺迷的 20 | \usepackage[ 21 | pdfstartview=FitH, 22 | CJKbookmarks=true, 23 | bookmarksnumbered=true, 24 | bookmarksopen=true, 25 | colorlinks, 26 | pdfborder=001, 27 | linkcolor=blue, 28 | anchorcolor=blue, 29 | citecolor=blue, 30 | ]{hyperref} 31 | \hypersetup{hidelinks} %去除目录项以及超链接的方框 32 | 33 | \pagestyle{fancy} %设置页眉页脚 34 | \fancyhead{} %清除默认页眉 35 | \fancyfoot{} %清除默认页脚 36 | \fancyhead[L]{\slshape{Convex Optimization}}%设置自定义页眉左侧，slshape表斜体 37 | \fancyhead[R]{\slshape Chapter5 Duality} 38 | \fancyfoot[C]{\thepage} 39 | \parindent 0ex %latex首段不缩进，其后段落缩进，\parindent为其后段落缩进的长度 40 | \setlength{\parskip}{1em} %段落间距 41 | \renewcommand{\baselinestretch}{1.5} %设置行距 42 | \renewcommand{\vec}[1]{\boldsymbol{#1}} %设置粗体向量 43 | \newcommand{\tabincell}[2]{\begin{tabular}{@{}#1@{}}#2\end{tabular}}%表格内换行 44 | 45 | \newenvironment{myenumerate}{\begin{enumerate}[itemsep=0pt,parsep=0pt,topsep=0pt]}{\end{enumerate}} 46 | \newcommand{\liset}{itemsep=0pt,parsep=0pt,topsep=0pt} 47 | \newcommand{\rebacklinespread}[1][-12pt]{\vspace{#1}} 48 | \newcommand{\oneline}[1][12pt]{\vspace{#1}} 49 | \newcommand{\premise}[1][dom\ f]{\forall\ x,y\in #1,\ \theta\in [0,1]} 50 | \newcommand{\linearcombine}[2]{\theta #1+(1-\theta)#2} 51 | \newcommand{\ii}{\,\in\,} 52 | \newcommand{\dom}[1]{$dom\ #1$} 53 | \newcommand{\rs}[2][R]{#1^{#2}} %Rspace or matrix space 54 | \newcommand{\rl}[2][R]{#1_{#2}} %Rlimit or matrix space 55 | \newcommand{\rls}[3][R]{#1_{#2}^{#3}} %R limit space or matrix limit space 56 | 57 | \newcommand{\trans}[1]{#1^T#1} %transpose 58 | \newcommand{\ftrans}[1]{\left(#1\right)^T#1} %fraction transpose 59 | \newcommand{\mirror}[2]{#1#2#1} 60 | \newcommand{\ba}[1]{\begin{align*}#1\end{align*}} 61 | \newcommand{\bc}[1]{\begin{cases}#1\end{cases}} 62 | \newcommand{\bcenter}[1]{\begin{center}#1\end{center}} 63 | \newcommand{\bef}[2][0pt]{\begin{fleqn}[#1]#2\end{fleqn}} 64 | \newcommand{\eq}[1]{\begin{equation}#1\end{equation}} 65 | \newcommand{\li}[3][例]{ 66 | #1：#2\\ 67 | \phantom{#1：}\begin{minipage}[t]{0.9\linewidth}%注意这里phantom和minipage之间不能换行 68 | \setlength\parskip{12pt} 69 | \setlength{\belowdisplayskip}{0pt}%公式后的距离 70 | \setlength{\abovedisplayskip}{0pt}%公式前的距离 71 | \setlength{\belowdisplayshortskip}{0pt}%如果公式后的句子很短，将被采用[只对equation环境有效] 72 | \setlength{\abovedisplayshortskip}{0pt}%如果公式前的句子很短，将被采用 [只对equation环境有效] 73 | #3 74 | \end{minipage} 75 | \oneline} 76 | \newcommand{\sune}{\parbox{1em}{$ \Rightarrow $\\ [-10pt] $ \nLeftarrow $}} % Sufficiently unnecessary 77 | \newcommand{\usne}{\parbox{1em}{$ \nRightarrow $\\ [-10pt] $ \Leftarrow $}} % unsufficiently necessary 78 | \newcommand{\paint}[2][red]{{\color{#1}#2}} %着色 79 | \newcommand{\VV}[1]{\Vert #1 \Vert} 80 | 81 | \begin{document} 82 | % 必须在正文区设置 83 | \setlength{\belowdisplayskip}{6pt}%公式后的距离 84 | \setlength{\abovedisplayskip}{6pt}%公式前的距离 85 | \setlength{\belowdisplayshortskip}{0pt}%如果公式后的句子很短，将被采用[只对equation环境有效] 86 | \setlength{\abovedisplayshortskip}{0pt}%如果公式前的句子很短，将被采用 [只对equation环境有效] 87 | 88 | \hrule height 4pt 89 | \begin{Large} 90 | \textbf{Essence of the lecture (29)}\\ 91 | \end{Large} 92 | \begin{large} 93 | \textbf{凸问题：} 94 | \end{large} 95 | \vspace{-16pt} 96 | \begin{itemize} \setlength{\itemsep}{0pt} 97 | % 使用\displaystyle来解决行内时bigcap变形 98 | \item lagrangian function, lagrange dual function 99 | \end{itemize} 100 | % 设置hrule的宽度为4pt 101 | \hrule height 4pt 102 | 103 | \textbf{Lagrangian function/Lagrangian: }$ L(x,\lambda,\upsilon)=f_0(x)+\sum_{i=1}^{m}\lambda_i f_i(x)+\sum_{i=1}^{p}\upsilon_ih_i(x) $ 104 | 105 | \textbf{Lagrange dual function/Dual function: }$ g(\lambda,\upsilon)=\inf\limits_{x\in D}L(x,\lambda,\upsilon) $ 106 | 107 | \textbf{两条结论：}\\ 108 | 1）$ g(\lambda,\upsilon) $一定是凹函数，因为$ \sup_{x\in D}L(x,\lambda,\upsilon) $是凸函数（分段极大，保凸操作）\\ 109 | 2）$ \forall \lambda\geq 0,\ \forall \upsilon,\ g(\lambda,\upsilon)\leq p^*$，其中$ p^* $为原问题的最优值\\ 110 | \phantom{2）}证明：设$ x^* $为原问题的最优解，则$ f_i(x^*)\leq 0,\ h_i(x^*)=0$\\ 111 | \phantom{2）}回代有$ L(x^*,\lambda,\upsilon)=f_0(x^*)+\sum_{i=1}^{m}\lambda_i f_i(x^*)+\sum_{i=1}^{p}\upsilon_ih_i(x^*)\leq f_0(x^*)=p^*$ 112 | 113 | \li{$\min\ c^Tx\quad s.t.\ Ax=b,\ x\geq0$}{ 114 | 首先列出其拉格朗日方程 115 | \begin{fleqn} 116 | \begin{align*} 117 | L(x,\lambda,\upsilon)&=c^Tx+\lambda^T(-x)+\upsilon^T(Ax-b)\\ 118 | &=(c^T-\lambda^T+\upsilon^TA)x-\upsilon^Tb\\ 119 | g(\lambda,\upsilon)&=\inf_{x\in D}L(x,\lambda,\upsilon)= 120 | \bc{-b^T\upsilon\quad &A^T\upsilon-\lambda+c=0\\-\infty\quad &otherwise} 121 | \end{align*} 122 | \end{fleqn} 123 | } 124 | 125 | \li{$\min\ X^TWX\quad s.t.\ x_i=\pm 1,\ i=1,\dots,m$ }{ 126 | 该例中目标函数不一定是凸函数，同时约束条件不是凸集，首先将约束项化为$ x_i^2=1 $ 127 | } 128 | 129 | 130 | \end{document} -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # ConvexOptimization 2 | 中科大凌青老师凸优化课程的课程笔记 3 | -------------------------------------------------------------------------------- /test.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ZxyGed/ConvexOptimization/653f439d5fdb50998f3cc2e0152d9247089394ba/test.pdf -------------------------------------------------------------------------------- /test.tex: -------------------------------------------------------------------------------- 1 | \documentclass[11pt]{ctexart} %编辑中文文档 2 | \usepackage{amsmath,amsfonts,amssymb,nccmath} %数学工具包 3 | \usepackage[margin=1in]{geometry} %页面设置，边距，页幅大小等 4 | \usepackage{enumerate} %有序列表工具包 5 | %\usepackage{hyperref} %方便设置超链接 6 | \usepackage{fancyhdr} %设置页眉页脚 7 | \usepackage{float} %设置图片环绕样式 8 | \usepackage{graphicx} %插入图片 9 | \usepackage{color} 10 | \usepackage{xcolor} 11 | \usepackage{adjustbox} 12 | \usepackage{pifont} 13 | \usepackage{extarrows} 14 | \usepackage{enumitem} 15 | \usepackage{setspace} 16 | \usepackage{subfigure} 17 | \usepackage{etoolbox} 18 | 19 | \begin{document} 20 | % 必须在正文区设置 21 | \setlength{\belowdisplayskip}{6pt}%公式后的距离 22 | \setlength{\abovedisplayskip}{6pt}%公式前的距离 23 | \setlength{\belowdisplayshortskip}{0pt}%如果公式后的句子很短，将被采用[只对equation环境有效] 24 | \setlength{\abovedisplayshortskip}{0pt}%如果公式前的句子很短，将被采用 [只对equation环境有效] 25 | 26 | \begin{figure}[h] 27 | \centering 28 | \includegraphics{imgs/flow.eps} 29 | \end{figure} 30 | \hrule height 4pt 31 | 输入，包含m个数据的X， 32 | \begin{enumerate}[itemsep=0pt,parsep=0pt,topsep=0pt] 33 | \item 34 | \end{enumerate} 35 | \hrule height 4pt 36 | \end{document} --------------------------------------------------------------------------------