├── .gitignore
├── LICENSE
├── README.md
├── docs
├── .nojekyll
├── README.md
├── _sidebar.md
├── appendix.md
├── catalog.md
├── chapter1.md
├── chapter2.md
├── chapter3.md
├── chapter4.md
├── chapter5.md
├── chapter6.md
├── chapter7.md
├── chapter8.md
├── images
│ ├── decision_tree.png
│ ├── double_descent.png
│ ├── images.drawio
│ ├── original_book.png
│ ├── qr_code.jpg
│ ├── separating_hyperplane_theorem.png
│ └── shattering.png
├── index.html
├── notation.md
└── reference.md
└── release.ipynb
/.gitignore:
--------------------------------------------------------------------------------
1 |
2 | *.bkp
3 | *.venv
4 | .DS_Store
5 | preview.*
--------------------------------------------------------------------------------
/LICENSE:
--------------------------------------------------------------------------------
1 | Attribution-NonCommercial-ShareAlike 4.0 International
2 |
3 | =======================================================================
4 |
5 | Creative Commons Corporation ("Creative Commons") is not a law firm and
6 | does not provide legal services or legal advice. Distribution of
7 | Creative Commons public licenses does not create a lawyer-client or
8 | other relationship. Creative Commons makes its licenses and related
9 | information available on an "as-is" basis. Creative Commons gives no
10 | warranties regarding its licenses, any material licensed under their
11 | terms and conditions, or any related information. Creative Commons
12 | disclaims all liability for damages resulting from their use to the
13 | fullest extent possible.
14 |
15 | Using Creative Commons Public Licenses
16 |
17 | Creative Commons public licenses provide a standard set of terms and
18 | conditions that creators and other rights holders may use to share
19 | original works of authorship and other material subject to copyright
20 | and certain other rights specified in the public license below. The
21 | following considerations are for informational purposes only, are not
22 | exhaustive, and do not form part of our licenses.
23 |
24 | Considerations for licensors: Our public licenses are
25 | intended for use by those authorized to give the public
26 | permission to use material in ways otherwise restricted by
27 | copyright and certain other rights. Our licenses are
28 | irrevocable. Licensors should read and understand the terms
29 | and conditions of the license they choose before applying it.
30 | Licensors should also secure all rights necessary before
31 | applying our licenses so that the public can reuse the
32 | material as expected. Licensors should clearly mark any
33 | material not subject to the license. This includes other CC-
34 | licensed material, or material used under an exception or
35 | limitation to copyright. More considerations for licensors:
36 | wiki.creativecommons.org/Considerations_for_licensors
37 |
38 | Considerations for the public: By using one of our public
39 | licenses, a licensor grants the public permission to use the
40 | licensed material under specified terms and conditions. If
41 | the licensor's permission is not necessary for any reason--for
42 | example, because of any applicable exception or limitation to
43 | copyright--then that use is not regulated by the license. Our
44 | licenses grant only permissions under copyright and certain
45 | other rights that a licensor has authority to grant. Use of
46 | the licensed material may still be restricted for other
47 | reasons, including because others have copyright or other
48 | rights in the material. A licensor may make special requests,
49 | such as asking that all changes be marked or described.
50 | Although not required by our licenses, you are encouraged to
51 | respect those requests where reasonable. More considerations
52 | for the public:
53 | wiki.creativecommons.org/Considerations_for_licensees
54 |
55 | =======================================================================
56 |
57 | Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International
58 | Public License
59 |
60 | By exercising the Licensed Rights (defined below), You accept and agree
61 | to be bound by the terms and conditions of this Creative Commons
62 | Attribution-NonCommercial-ShareAlike 4.0 International Public License
63 | ("Public License"). To the extent this Public License may be
64 | interpreted as a contract, You are granted the Licensed Rights in
65 | consideration of Your acceptance of these terms and conditions, and the
66 | Licensor grants You such rights in consideration of benefits the
67 | Licensor receives from making the Licensed Material available under
68 | these terms and conditions.
69 |
70 |
71 | Section 1 -- Definitions.
72 |
73 | a. Adapted Material means material subject to Copyright and Similar
74 | Rights that is derived from or based upon the Licensed Material
75 | and in which the Licensed Material is translated, altered,
76 | arranged, transformed, or otherwise modified in a manner requiring
77 | permission under the Copyright and Similar Rights held by the
78 | Licensor. For purposes of this Public License, where the Licensed
79 | Material is a musical work, performance, or sound recording,
80 | Adapted Material is always produced where the Licensed Material is
81 | synched in timed relation with a moving image.
82 |
83 | b. Adapter's License means the license You apply to Your Copyright
84 | and Similar Rights in Your contributions to Adapted Material in
85 | accordance with the terms and conditions of this Public License.
86 |
87 | c. BY-NC-SA Compatible License means a license listed at
88 | creativecommons.org/compatiblelicenses, approved by Creative
89 | Commons as essentially the equivalent of this Public License.
90 |
91 | d. Copyright and Similar Rights means copyright and/or similar rights
92 | closely related to copyright including, without limitation,
93 | performance, broadcast, sound recording, and Sui Generis Database
94 | Rights, without regard to how the rights are labeled or
95 | categorized. For purposes of this Public License, the rights
96 | specified in Section 2(b)(1)-(2) are not Copyright and Similar
97 | Rights.
98 |
99 | e. Effective Technological Measures means those measures that, in the
100 | absence of proper authority, may not be circumvented under laws
101 | fulfilling obligations under Article 11 of the WIPO Copyright
102 | Treaty adopted on December 20, 1996, and/or similar international
103 | agreements.
104 |
105 | f. Exceptions and Limitations means fair use, fair dealing, and/or
106 | any other exception or limitation to Copyright and Similar Rights
107 | that applies to Your use of the Licensed Material.
108 |
109 | g. License Elements means the license attributes listed in the name
110 | of a Creative Commons Public License. The License Elements of this
111 | Public License are Attribution, NonCommercial, and ShareAlike.
112 |
113 | h. Licensed Material means the artistic or literary work, database,
114 | or other material to which the Licensor applied this Public
115 | License.
116 |
117 | i. Licensed Rights means the rights granted to You subject to the
118 | terms and conditions of this Public License, which are limited to
119 | all Copyright and Similar Rights that apply to Your use of the
120 | Licensed Material and that the Licensor has authority to license.
121 |
122 | j. Licensor means the individual(s) or entity(ies) granting rights
123 | under this Public License.
124 |
125 | k. NonCommercial means not primarily intended for or directed towards
126 | commercial advantage or monetary compensation. For purposes of
127 | this Public License, the exchange of the Licensed Material for
128 | other material subject to Copyright and Similar Rights by digital
129 | file-sharing or similar means is NonCommercial provided there is
130 | no payment of monetary compensation in connection with the
131 | exchange.
132 |
133 | l. Share means to provide material to the public by any means or
134 | process that requires permission under the Licensed Rights, such
135 | as reproduction, public display, public performance, distribution,
136 | dissemination, communication, or importation, and to make material
137 | available to the public including in ways that members of the
138 | public may access the material from a place and at a time
139 | individually chosen by them.
140 |
141 | m. Sui Generis Database Rights means rights other than copyright
142 | resulting from Directive 96/9/EC of the European Parliament and of
143 | the Council of 11 March 1996 on the legal protection of databases,
144 | as amended and/or succeeded, as well as other essentially
145 | equivalent rights anywhere in the world.
146 |
147 | n. You means the individual or entity exercising the Licensed Rights
148 | under this Public License. Your has a corresponding meaning.
149 |
150 |
151 | Section 2 -- Scope.
152 |
153 | a. License grant.
154 |
155 | 1. Subject to the terms and conditions of this Public License,
156 | the Licensor hereby grants You a worldwide, royalty-free,
157 | non-sublicensable, non-exclusive, irrevocable license to
158 | exercise the Licensed Rights in the Licensed Material to:
159 |
160 | a. reproduce and Share the Licensed Material, in whole or
161 | in part, for NonCommercial purposes only; and
162 |
163 | b. produce, reproduce, and Share Adapted Material for
164 | NonCommercial purposes only.
165 |
166 | 2. Exceptions and Limitations. For the avoidance of doubt, where
167 | Exceptions and Limitations apply to Your use, this Public
168 | License does not apply, and You do not need to comply with
169 | its terms and conditions.
170 |
171 | 3. Term. The term of this Public License is specified in Section
172 | 6(a).
173 |
174 | 4. Media and formats; technical modifications allowed. The
175 | Licensor authorizes You to exercise the Licensed Rights in
176 | all media and formats whether now known or hereafter created,
177 | and to make technical modifications necessary to do so. The
178 | Licensor waives and/or agrees not to assert any right or
179 | authority to forbid You from making technical modifications
180 | necessary to exercise the Licensed Rights, including
181 | technical modifications necessary to circumvent Effective
182 | Technological Measures. For purposes of this Public License,
183 | simply making modifications authorized by this Section 2(a)
184 | (4) never produces Adapted Material.
185 |
186 | 5. Downstream recipients.
187 |
188 | a. Offer from the Licensor -- Licensed Material. Every
189 | recipient of the Licensed Material automatically
190 | receives an offer from the Licensor to exercise the
191 | Licensed Rights under the terms and conditions of this
192 | Public License.
193 |
194 | b. Additional offer from the Licensor -- Adapted Material.
195 | Every recipient of Adapted Material from You
196 | automatically receives an offer from the Licensor to
197 | exercise the Licensed Rights in the Adapted Material
198 | under the conditions of the Adapter's License You apply.
199 |
200 | c. No downstream restrictions. You may not offer or impose
201 | any additional or different terms or conditions on, or
202 | apply any Effective Technological Measures to, the
203 | Licensed Material if doing so restricts exercise of the
204 | Licensed Rights by any recipient of the Licensed
205 | Material.
206 |
207 | 6. No endorsement. Nothing in this Public License constitutes or
208 | may be construed as permission to assert or imply that You
209 | are, or that Your use of the Licensed Material is, connected
210 | with, or sponsored, endorsed, or granted official status by,
211 | the Licensor or others designated to receive attribution as
212 | provided in Section 3(a)(1)(A)(i).
213 |
214 | b. Other rights.
215 |
216 | 1. Moral rights, such as the right of integrity, are not
217 | licensed under this Public License, nor are publicity,
218 | privacy, and/or other similar personality rights; however, to
219 | the extent possible, the Licensor waives and/or agrees not to
220 | assert any such rights held by the Licensor to the limited
221 | extent necessary to allow You to exercise the Licensed
222 | Rights, but not otherwise.
223 |
224 | 2. Patent and trademark rights are not licensed under this
225 | Public License.
226 |
227 | 3. To the extent possible, the Licensor waives any right to
228 | collect royalties from You for the exercise of the Licensed
229 | Rights, whether directly or through a collecting society
230 | under any voluntary or waivable statutory or compulsory
231 | licensing scheme. In all other cases the Licensor expressly
232 | reserves any right to collect such royalties, including when
233 | the Licensed Material is used other than for NonCommercial
234 | purposes.
235 |
236 |
237 | Section 3 -- License Conditions.
238 |
239 | Your exercise of the Licensed Rights is expressly made subject to the
240 | following conditions.
241 |
242 | a. Attribution.
243 |
244 | 1. If You Share the Licensed Material (including in modified
245 | form), You must:
246 |
247 | a. retain the following if it is supplied by the Licensor
248 | with the Licensed Material:
249 |
250 | i. identification of the creator(s) of the Licensed
251 | Material and any others designated to receive
252 | attribution, in any reasonable manner requested by
253 | the Licensor (including by pseudonym if
254 | designated);
255 |
256 | ii. a copyright notice;
257 |
258 | iii. a notice that refers to this Public License;
259 |
260 | iv. a notice that refers to the disclaimer of
261 | warranties;
262 |
263 | v. a URI or hyperlink to the Licensed Material to the
264 | extent reasonably practicable;
265 |
266 | b. indicate if You modified the Licensed Material and
267 | retain an indication of any previous modifications; and
268 |
269 | c. indicate the Licensed Material is licensed under this
270 | Public License, and include the text of, or the URI or
271 | hyperlink to, this Public License.
272 |
273 | 2. You may satisfy the conditions in Section 3(a)(1) in any
274 | reasonable manner based on the medium, means, and context in
275 | which You Share the Licensed Material. For example, it may be
276 | reasonable to satisfy the conditions by providing a URI or
277 | hyperlink to a resource that includes the required
278 | information.
279 | 3. If requested by the Licensor, You must remove any of the
280 | information required by Section 3(a)(1)(A) to the extent
281 | reasonably practicable.
282 |
283 | b. ShareAlike.
284 |
285 | In addition to the conditions in Section 3(a), if You Share
286 | Adapted Material You produce, the following conditions also apply.
287 |
288 | 1. The Adapter's License You apply must be a Creative Commons
289 | license with the same License Elements, this version or
290 | later, or a BY-NC-SA Compatible License.
291 |
292 | 2. You must include the text of, or the URI or hyperlink to, the
293 | Adapter's License You apply. You may satisfy this condition
294 | in any reasonable manner based on the medium, means, and
295 | context in which You Share Adapted Material.
296 |
297 | 3. You may not offer or impose any additional or different terms
298 | or conditions on, or apply any Effective Technological
299 | Measures to, Adapted Material that restrict exercise of the
300 | rights granted under the Adapter's License You apply.
301 |
302 |
303 | Section 4 -- Sui Generis Database Rights.
304 |
305 | Where the Licensed Rights include Sui Generis Database Rights that
306 | apply to Your use of the Licensed Material:
307 |
308 | a. for the avoidance of doubt, Section 2(a)(1) grants You the right
309 | to extract, reuse, reproduce, and Share all or a substantial
310 | portion of the contents of the database for NonCommercial purposes
311 | only;
312 |
313 | b. if You include all or a substantial portion of the database
314 | contents in a database in which You have Sui Generis Database
315 | Rights, then the database in which You have Sui Generis Database
316 | Rights (but not its individual contents) is Adapted Material,
317 | including for purposes of Section 3(b); and
318 |
319 | c. You must comply with the conditions in Section 3(a) if You Share
320 | all or a substantial portion of the contents of the database.
321 |
322 | For the avoidance of doubt, this Section 4 supplements and does not
323 | replace Your obligations under this Public License where the Licensed
324 | Rights include other Copyright and Similar Rights.
325 |
326 |
327 | Section 5 -- Disclaimer of Warranties and Limitation of Liability.
328 |
329 | a. UNLESS OTHERWISE SEPARATELY UNDERTAKEN BY THE LICENSOR, TO THE
330 | EXTENT POSSIBLE, THE LICENSOR OFFERS THE LICENSED MATERIAL AS-IS
331 | AND AS-AVAILABLE, AND MAKES NO REPRESENTATIONS OR WARRANTIES OF
332 | ANY KIND CONCERNING THE LICENSED MATERIAL, WHETHER EXPRESS,
333 | IMPLIED, STATUTORY, OR OTHER. THIS INCLUDES, WITHOUT LIMITATION,
334 | WARRANTIES OF TITLE, MERCHANTABILITY, FITNESS FOR A PARTICULAR
335 | PURPOSE, NON-INFRINGEMENT, ABSENCE OF LATENT OR OTHER DEFECTS,
336 | ACCURACY, OR THE PRESENCE OR ABSENCE OF ERRORS, WHETHER OR NOT
337 | KNOWN OR DISCOVERABLE. WHERE DISCLAIMERS OF WARRANTIES ARE NOT
338 | ALLOWED IN FULL OR IN PART, THIS DISCLAIMER MAY NOT APPLY TO YOU.
339 |
340 | b. TO THE EXTENT POSSIBLE, IN NO EVENT WILL THE LICENSOR BE LIABLE
341 | TO YOU ON ANY LEGAL THEORY (INCLUDING, WITHOUT LIMITATION,
342 | NEGLIGENCE) OR OTHERWISE FOR ANY DIRECT, SPECIAL, INDIRECT,
343 | INCIDENTAL, CONSEQUENTIAL, PUNITIVE, EXEMPLARY, OR OTHER LOSSES,
344 | COSTS, EXPENSES, OR DAMAGES ARISING OUT OF THIS PUBLIC LICENSE OR
345 | USE OF THE LICENSED MATERIAL, EVEN IF THE LICENSOR HAS BEEN
346 | ADVISED OF THE POSSIBILITY OF SUCH LOSSES, COSTS, EXPENSES, OR
347 | DAMAGES. WHERE A LIMITATION OF LIABILITY IS NOT ALLOWED IN FULL OR
348 | IN PART, THIS LIMITATION MAY NOT APPLY TO YOU.
349 |
350 | c. The disclaimer of warranties and limitation of liability provided
351 | above shall be interpreted in a manner that, to the extent
352 | possible, most closely approximates an absolute disclaimer and
353 | waiver of all liability.
354 |
355 |
356 | Section 6 -- Term and Termination.
357 |
358 | a. This Public License applies for the term of the Copyright and
359 | Similar Rights licensed here. However, if You fail to comply with
360 | this Public License, then Your rights under this Public License
361 | terminate automatically.
362 |
363 | b. Where Your right to use the Licensed Material has terminated under
364 | Section 6(a), it reinstates:
365 |
366 | 1. automatically as of the date the violation is cured, provided
367 | it is cured within 30 days of Your discovery of the
368 | violation; or
369 |
370 | 2. upon express reinstatement by the Licensor.
371 |
372 | For the avoidance of doubt, this Section 6(b) does not affect any
373 | right the Licensor may have to seek remedies for Your violations
374 | of this Public License.
375 |
376 | c. For the avoidance of doubt, the Licensor may also offer the
377 | Licensed Material under separate terms or conditions or stop
378 | distributing the Licensed Material at any time; however, doing so
379 | will not terminate this Public License.
380 |
381 | d. Sections 1, 5, 6, 7, and 8 survive termination of this Public
382 | License.
383 |
384 |
385 | Section 7 -- Other Terms and Conditions.
386 |
387 | a. The Licensor shall not be bound by any additional or different
388 | terms or conditions communicated by You unless expressly agreed.
389 |
390 | b. Any arrangements, understandings, or agreements regarding the
391 | Licensed Material not stated herein are separate from and
392 | independent of the terms and conditions of this Public License.
393 |
394 |
395 | Section 8 -- Interpretation.
396 |
397 | a. For the avoidance of doubt, this Public License does not, and
398 | shall not be interpreted to, reduce, limit, restrict, or impose
399 | conditions on any use of the Licensed Material that could lawfully
400 | be made without permission under this Public License.
401 |
402 | b. To the extent possible, if any provision of this Public License is
403 | deemed unenforceable, it shall be automatically reformed to the
404 | minimum extent necessary to make it enforceable. If the provision
405 | cannot be reformed, it shall be severed from this Public License
406 | without affecting the enforceability of the remaining terms and
407 | conditions.
408 |
409 | c. No term or condition of this Public License will be waived and no
410 | failure to comply consented to unless expressly agreed to by the
411 | Licensor.
412 |
413 | d. Nothing in this Public License constitutes or may be interpreted
414 | as a limitation upon, or waiver of, any privileges and immunities
415 | that apply to the Licensor or You, including from the legal
416 | processes of any jurisdiction or authority.
417 |
418 | =======================================================================
419 |
420 | Creative Commons is not a party to its public
421 | licenses. Notwithstanding, Creative Commons may elect to apply one of
422 | its public licenses to material it publishes and in those instances
423 | will be considered the “Licensor.” The text of the Creative Commons
424 | public licenses is dedicated to the public domain under the CC0 Public
425 | Domain Dedication. Except for the limited purpose of indicating that
426 | material is shared under a Creative Commons public license or as
427 | otherwise permitted by the Creative Commons policies published at
428 | creativecommons.org/policies, Creative Commons does not authorize the
429 | use of the trademark "Creative Commons" or any other trademark or logo
430 | of Creative Commons without its prior written consent including,
431 | without limitation, in connection with any unauthorized modifications
432 | to any of its public licenses or any other arrangements,
433 | understandings, or agreements concerning use of licensed material. For
434 | the avoidance of doubt, this paragraph does not form part of the
435 | public licenses.
436 |
437 | Creative Commons may be contacted at creativecommons.org.
438 |
--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
1 | # 钥匙书 Key-book
2 |
3 | 周志华、王魏、高尉、张利军等老师所著的《机器学习理论导引》一书（下称《导引》），填补了国内缺少机器学习理论入门著作的遗憾。该书试图以通俗易懂的语言，为有志于学习机器学习理论和研究机器学习理论的读者提供一个入门的导引。《导引》主要涵盖七个部分，分别对应机器学习理论中的七个重要概念或理论工具，即：**可学性、（假设空间）复杂度、泛化界、稳定性、一致性、收敛率、遗憾界**。
4 |
5 | 《导引》是一本理论性较强的书籍，涉及大量的数学定理和各种证明。尽管撰写团队已尽可能降低了难度，但由于机器学习理论学习本身的特性，该书仍然对读者的数学背景提出了较高的要求。这难免会导致不求甚解的情形，影响学习效果；另一方面，由于篇幅所限，该书写作较为精炼，并非在各个章节都给出示例。读者每每遇到晦涩抽象之处，难免冥思苦索。
6 |
7 | 基于此两点，我们决定尝试编辑《钥匙书》这一参考笔记，来对《导引》一书作一些浅陋且皮毛的注脚。这既是着眼于那些阅读《导引》时遇到困难的读者，助其更快地走出迷雾；亦是对学习《导引》一书之过程的最好记录。
8 |
9 | ## 使用说明
10 |
11 | 《钥匙书》的补充性工作，主要包括三个方面：
12 |
13 | （1）**概念解释**：介绍部分文中涉及、但未阐释的概念。
14 |
15 | （2）**证明补充**：对部分证明的证明思路进行解释，对部分省略的证明过程进行补充。
16 |
17 | （3）**案例分享**：增加解释案例，帮助读者理解。
18 |
19 | 此外，由于《导引》一书的第一章节为基础知识补遗，简明易懂，因此《钥匙书》的内容从《导引》的第二章开始。
20 |
21 | ### 在线阅读（内容实时更新）
22 | https://datawhalechina.github.io/key-book/
23 |
24 | ### Github地址
25 | https://github.com/datawhalechina/key-book
26 |
27 | ### 最新版PDF获取地址
28 | https://github.com/datawhalechina/key-book/releases
29 |
30 |
31 | ### 目录
32 |
33 | - [序言](https://datawhalechina.github.io/key-book/#/catalog)
34 | - 第1章 [预备知识](https://datawhalechina.github.io/key-book/#/chapter1)
35 | - 第2章 [可学性](https://datawhalechina.github.io/key-book/#/chapter2)
36 | - 第3章 [复杂度](https://datawhalechina.github.io/key-book/#/chapter3)
37 | - 第4章 [泛化界](https://datawhalechina.github.io/key-book/#/chapter4)
38 | - 第5章 [稳定性](https://datawhalechina.github.io/key-book/#/chapter5)
39 | - 第6章 [一致性](https://datawhalechina.github.io/key-book/#/chapter6)
40 | - 第7章 [收敛率](https://datawhalechina.github.io/key-book/#/chapter7)
41 | - 第8章 [遗憾界](https://datawhalechina.github.io/key-book/#/chapter8)
42 | - [参考文献](https://datawhalechina.github.io/key-book/#/references)
43 |
44 | ### 选用的《机器学习理论导引》版本
45 |
46 |
47 |
49 |
50 | > 版次：2020年6月第1版
67 |
69 |
70 | 或者加入QQ群：704768061
71 |
72 |
73 | ## 相关工作
74 |
75 | 周志华老师所著《机器学习》（西瓜书）是机器学习领域的经典入门教材之一。
76 |
77 | [Datawhale 开源组织](https://github.com/datawhalechina) 亦在其基础上进行了解读和补充。
78 |
79 | 请参考[「南瓜书」](https://github.com/datawhalechina/pumpkin-book)项目，在线阅读地址：https://datawhalechina.github.io/pumpkin-book
80 |
81 |
82 |
83 | ## LICENSE
84 |
85 | 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。
86 |
--------------------------------------------------------------------------------
/docs/.nojekyll:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/datawhalechina/key-book/1af3f750e0384681011cf431742721bfa00537fc/docs/.nojekyll
--------------------------------------------------------------------------------
/docs/README.md:
--------------------------------------------------------------------------------
1 | [filename](https://raw.githubusercontent.com/datawhalechina/key-book/refs/heads/master/README.md ':include')
2 |
--------------------------------------------------------------------------------
/docs/_sidebar.md:
--------------------------------------------------------------------------------
1 | - [序言](catalog.md)
2 | - 第1章 [预备知识](chapter1.md)
3 | - 第2章 [可学性](chapter2.md)
4 | - 第3章 [复杂度](chapter3.md)
5 | - 第4章 [泛化界](chapter4.md)
6 | - 第5章 [稳定性](chapter5.md)
7 | - 第6章 [一致性](chapter6.md)
8 | - 第7章 [收敛率](chapter7.md)
9 | - 第8章 [遗憾界](chapter8.md)
10 | - [附录](appendix.md)
11 | - [参考文献](reference.md)
--------------------------------------------------------------------------------
/docs/appendix.md:
--------------------------------------------------------------------------------
1 | # 附录
2 |
3 | *编辑：赵志民, 李一飞*
4 |
5 | ------
6 |
7 | ## 范数
8 |
9 | 范数（norm）是数学中用于为向量空间中的每个非零向量分配严格正长度或大小的函数。几何上，范数可理解为向量的长度或大小。例如，绝对值是实数集上的一种范数。与之相对的是半范数（seminorm），它可以将非零向量赋予零长度。
10 |
11 | 向量空间上的半范数需满足以下条件：
12 |
13 | 1. **半正定性（非负性）**：任何向量的范数总是非负的，对于任意向量 $v$，$\|v\| \geq 0$。
14 | 2. **可伸缩性（齐次性）**：对于任意标量 $a$ 和任何向量 $v$，标量乘法 $av$ 的范数等于标量的绝对值乘以向量的范数，即 $\|av\| = |a|\|v\|$。
15 | 3. **次可加性（三角不等式）**：对于任何向量 $v$ 和 $w$，向量和 $u=v+w$ 的范数小于或等于向量 $v$ 和 $w$ 的范数之和，即 $\|v+w\| \leq \|v\| + \|w\|$。
16 |
17 | 范数在具备上述半范数特性的基础上，还要求：对于任意向量 $v$，若 $\|v\|=0$，则 $v$ 必须为零向量。换句话说，所有范数都是半范数，但它们可以将非零向量与零向量区分开来。
18 |
19 | 常用的向量范数包括：
20 |
21 | 1. **$\ell_0$ 范数**：向量 $x$ 中非零元素的个数，表示为 $\|x\|_0=\sum_{i=1}^n \mathbb{I}(x_i\neq 0)$。
22 | 2. **$\ell_1$ 范数**：向量 $x$ 中各元素绝对值之和，表示为 $\|x\|_1=\sum_{i=1}^n |x_i|$。
23 | 3. **$\ell_2$ 范数（欧几里得范数）**：向量 $x$ 各元素绝对值的平方和再开平方，表示为 $\|x\|_2=\sqrt{\sum_{i=1}^n x_i^2}$。
24 | 4. **$\ell_p$ 范数**：向量 $x$ 各元素绝对值的 $p$ 次方和再开 $p$ 次方，表示为 $\|x\|_p=(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}$。
25 | 5. **$\ell_\infty$ 范数（极大范数）**：向量 $x$ 中各元素绝对值的最大值，表示为 $\|x\|_\infty=\max_{i=1,\cdots,n} |x_i|$。
26 | 6. **加权范数**：设 $A$ 为 $n$ 阶 Hermite 正定矩阵，则向量 $x$ 的加权范数定义为 $\|x\|_A=\sqrt{x^T A x}$。此类范数在本书第 8.3.2 和 8.4.2 节中经常使用。
27 |
28 |
29 |
30 | ## 凸集合
31 |
32 | 凸集合（convex set）是向量空间（如欧几里得空间）中的一个子集，对于集合中的任意两点，连接它们的线段完全位于该集合内。换句话说，若一个集合包含了连接集合内任意两点的线段上的所有点，则该集合是凸集合。
33 |
34 | 形式化地说，考虑向量空间 $\mathcal{V}$。若对于该空间中的任意两点 $x$ 和 $y$，以及满足 $\alpha\in[0,1]$ 的任意标量 $\alpha$，点 $\alpha x+(1-\alpha)y$ 也属于 $\mathcal{D}$，那么集合 $\mathcal{D}\subseteq\mathcal{V}$ 是凸集合。
35 |
36 | 凸集合具有非扩张性（non-expansiveness），即对于集合内的任意两点，连接这两点的线段完全包含在集合内。这种性质使得凸集合在许多数学环境中易于处理，特别是在优化问题中：在凸集合中找到的最小值或最大值必为全局值，没有局部最小值或最大值，从而简化了搜索过程。
37 |
38 | 不仅凸集合具有非扩张性，映射到凸集合的投影操作也是非扩张的，即两点在凸集合上的投影之间的距离不大于两点本身之间的距离。形式上，对于闭合凸集合 $K\subseteq\mathbb{R}^D$，投影算子 $\Pi:\mathbb{R}^D\rightarrow K$ 定义为：
39 | $$
40 | \begin{equation}
41 | \Pi(x)=\arg \min_{y\in K} \| x-y\|_2
42 | \end{equation}
43 | $$
44 | 即将一个向量映射到最接近它的凸集合中的点。投影算子 $\Pi$ 在 $\ell_2$ 范数下是非扩张的，即对于任意 $x,x'\in\mathbb{R}^D$，有：
45 | $$
46 | \begin{equation}
47 | \| \Pi(x) - \Pi(x')\|_2 \leq \| x - x'\|_2
48 | \end{equation}
49 | $$
50 |
51 | 该性质证明如下：
52 | 令 $y=\Pi(x)$，易知 $x$ 和 $K$ 分处于通过 $y$ 的超平面 $H=\{z\in\mathbb{R}^D:\langle z-y,x-y\rangle=0\}$ 的两侧。因此，对于 $K$ 中的任意 $u$，有以下不等式成立：
53 | $$
54 | \begin{equation}
55 | \langle x-y,u-y\rangle \leq 0
56 | \end{equation}
57 | $$
58 | 同理，令 $y'=\Pi(x')$，对于 $K$ 中的任意 $u'$，有以下不等式成立：
59 | $$
60 | \begin{equation}
61 | \langle x'-y',u'-y'\rangle \leq 0
62 | \end{equation}
63 | $$
64 | 此时，令 $u=y'$ 且 $u'=y$，则有：
65 | $$
66 | \begin{equation}
67 | \langle x-y,y'-y\rangle \leq 0 \\
68 | \langle x'-y',y-y'\rangle \leq 0
69 | \end{equation}
70 | $$
71 | 将两个不等式相加可得：
72 | $$
73 | \begin{equation}
74 | \langle (x-x')+(y'-y),y'-y\rangle \leq 0
75 | \end{equation}
76 | $$
77 | 根据 Cauchy-Schwarz 不等式，有：
78 | $$
79 | \begin{equation}
80 | \begin{align*}
81 | &\|y-y'\|_2^2 \leq \langle x-x',y-y'\rangle \leq \|x-x'\|_2\,\|y-y'\|_2\\
82 | \Rightarrow &\|y-y'\|_2 \leq \|x-x'\|_2 \\
83 | \Rightarrow &\|\Pi(x) - \Pi(x')\|_2 \leq \|x-x'\|_2
84 | \end{align*}
85 | \end{equation}
86 | $$
87 |
88 | 这种投影映射经常用于凸优化中，因为它能将问题简化为凸优化问题，从而提高算法效率，并在许多情况下保证全局最优解。
89 |
90 |
91 |
92 | ## Hessian 矩阵
93 |
94 | Hessian 矩阵 $H_f$ 是由函数 $f(x)$ 的二阶偏导数组成的方阵，即：
95 | $$
96 | \begin{equation}
97 | \mathbf H_f= \begin{bmatrix}
98 | \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex]
99 | \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex]
100 | \vdots & \vdots & \ddots & \vdots \\[2.2ex]
101 | \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2}
102 | \end{bmatrix}.
103 | \end{equation}
104 | $$
105 | 其中，$x=[x_1,x_2,\cdots,x_n]$。
106 |
107 |
108 | ## 凸函数
109 |
110 | 凸函数（convex function）是定义在凸集上的实值函数，满足以下性质：对于定义域内的任意两个点 $x$ 和 $y$ 以及满足 $\alpha\in[0,1]$ 的任意标量 $\alpha$，函数图像上这两点之间的线段位于或位于函数图像上方，即：
111 | $$
112 | \begin{equation}
113 | f(\alpha x + (1-\alpha)y) \leq \alpha f(x) + (1-\alpha) f(y)
114 | \end{equation}
115 | $$
116 | 该不等式被称为凸性条件。
117 |
118 | 除了上述定义，凸函数还有以下几种等价的定义方式：
119 |
120 | 1. **一阶条件**：若一个定义在凸集上的函数 $f(x)$ 满足下述条件：
121 | $$
122 | \begin{equation}
123 | f(y) \geq f(x) + \nabla f(x)^T(y - x)
124 | \end{equation}
125 | $$
126 | 其中，$\nabla f(x)$ 表示函数 $f(x)$ 在点 $x$ 处的梯度。几何上，这意味着函数的图像位于任意一点处的切线之上。
127 |
128 | 2. **二阶条件**：若函数 $f(x)$ 是二次可微的，则它是凸函数当且仅当其 Hessian 矩阵 $H_f$ 在其定义域内的所有点 $x$ 上都是半正定的（即矩阵的所有特征值均为非负）。
129 |
130 | 3. **Jensen 不等式**：若 $f(x)$ 是凸函数，则对于定义域内的任意一组点 ${x_1, x_2, \cdots, x_n}$ 和归一化的非负权重 ${w_1, w_2, \cdots, w_n}$，即 $\sum_{i=1}^n w_i=1$，有：
131 | $$
132 | \begin{equation}
133 | f(\sum_{i=1}^n w_i x_i) \leq \sum_{i=1}^n w_i f(x_i)
134 | \end{equation}
135 | $$
136 |
137 | 4. **上图集定义**：凸函数与凸集合的概念密切相关。函数 $f$ 是凸函数，当且仅当其上图集（epigraph）是一个凸集。上图集是位于函数图像上方的点的集合，定义为：
138 | $$
139 | \begin{equation}
140 | epi(f) = \{(x, y) | x \in dom(f)，y \geq f(x)\}
141 | \end{equation}
142 | $$
143 | 其中，$dom(f)$ 是函数 $f$ 的定义域。
144 |
145 | 凸函数的一些特性包括：
146 |
147 | 1. **正比例性质**：若函数 $f(x)$ 是凸函数，则对于任意常数 $\alpha \gt 0$，函数 $\alpha f(x)$ 也是凸函数。
148 | 2. **正移位性质**：若函数 $f(x)$ 是凸函数，则对于任意常数 $c \gt 0$，函数 $f(x) - c$ 也是凸函数。
149 | 3. **加法性质**：若 $f(x)$ 和 $g(x)$ 均为凸函数，则它们的和 $f(x) + g(x)$ 也是凸函数。
150 |
151 |
152 |
153 | ## 凹函数
154 |
155 | 凹函数（concave function）的定义与凸函数相反。对于其定义域内的任意两个点 $x$ 和 $y$ 以及满足 $\alpha\in[0,1]$ 的任意标量 $\alpha$，满足以下不等式：
156 | $$
157 | \begin{equation}
158 | f(\alpha x + (1-\alpha)y) \geq \alpha f(x) + (1-\alpha) f(y)
159 | \end{equation}
160 | $$
161 | 此不等式被称为凹性条件。
162 |
163 | 其他定义与凸函数类似，这里不再赘述。值得注意的是，若函数 $f(x)$ 为凹函数，则 $-f(x)$ 为凸函数。因此，可以将凹函数问题转化为凸函数问题，从而利用凸函数的性质来求解凹函数问题。
164 |
165 |
166 |
167 | ## 强凸函数
168 |
169 | 若$f(x)$为定义在凸集上的强凸函数，则对于任意$x,y \in dom(f)$，$\alpha \in [0,1]$，存在$\lambda \gt 0$，使得：
170 | $$
171 | \begin{equation}
172 | f(\alpha x + (1-\alpha)y) \leq \alpha f(x) + (1-\alpha)f(y) - \frac{\lambda}{2}\alpha(1-\alpha)\|x-y\|_2^2
173 | \end{equation}
174 | $$
175 | 此时，称 $f(x)$ 为 $\lambda$-强凸（strongly convex）函数，其中 $\lambda$ 为强凸系数。
176 |
177 | 强凸函数的其他等价定义包括：
178 |
179 | 1. **Hessian 矩阵条件**：若一个两次可微的函数 $f(x)$ 的 Hessian 矩阵 $H_f$ 在凸集中的所有 $x$ 处均为正定的（即矩阵的所有特征值为正），则该函数是强凸的。
180 |
181 | 2. **梯度条件**：若一个可微函数 $f(x)$ 是强凸的，则存在一个常数 $m$，使得对于凸集中的任意 $x,y$，有 $\|\nabla f(x) - \nabla f(y)\|_2 \geq m \|x - y\|_2$。其中，$\nabla f(x)$ 表示 $f(x)$ 在点 $x$ 处的梯度。
182 |
183 | 直观上，对于强凸函数 $f(x)$，可以在任意一点处构造一个二次函数作为其下界。这一性质使得优化算法更加高效，并具有类似于 **90页** 中定理 7.2 的良好性质。
184 |
185 | 以下给出定理 7.2 的证明：
186 |
187 | 根据强凸函数的定义，取 $x = w$，$y = w^*$，然后两边除以 $\alpha$，可得：
188 | $$
189 | \begin{equation}
190 | \begin{align*}
191 | &\frac{f(\alpha w + (1-\alpha)w^*)}{\alpha} \leq f(w) + \frac{1-\alpha}{\alpha}f(w^*) - \frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \\
192 | \Rightarrow &\frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \leq f(w) - f(w^*) - \frac{f(w^* + (w-w^*)\alpha) - f(w^*)}{\alpha}
193 | \end{align*}
194 | \end{equation}
195 | $$
196 | 令 $\alpha \rightarrow 0^+$，则有：
197 | $$
198 | \begin{equation}
199 | \begin{align*}
200 | &\lim_{\alpha\rightarrow 0^+}\frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \leq f(w) - f(w^*) + \lim_{\alpha\rightarrow 0^+}\frac{f(w^* + (w-w^*)\alpha) - f(w^*)}{\alpha} \\
201 | \Rightarrow &\frac{\lambda}{2}\|w-w^*\|_2^2 \leq f(w) - f(w^*) + \nabla f(w^*)^T(w-w^*)
202 | \end{align*}
203 | \end{equation}
204 | $$
205 | 其中 $\Delta = (w-w^*)\alpha$。
206 |
207 | 由于 $w^*$ 为最优解，因此 $\nabla f(w^*) = 0$，则有：
208 | $$
209 | \begin{equation}
210 | f(w) - f(w^*) \geq \frac{\lambda}{2}\|w-w^*\|_2^2
211 | \end{equation}
212 | $$
213 |
214 |
215 |
216 | ## 指数凹函数
217 |
218 | 若函数 $f(x)$ 的指数 $\exp(f(x))$ 为凹函数，则称 $f(x)$ 为指数凹（exponentially concave）函数。注意，当 $\exp(f(x))$ 是凹函数时，$f(x)$ 本身不一定是凹函数。
219 | 若 $f(x)$ 为指数凹函数，则 $\exp(-f(x))$ 必为凸函数。因此，指数凹是一种弱于强凸但强于凸的性质。
220 |
221 | 指数凹函数的一些特性包括：
222 |
223 | 1. **正比例性质**：若函数 $f(x)$ 为指数凹函数，则对于任意常数 $\alpha$，函数 $\alpha f(x)$ 也是指数凹函数。
224 | 2. **负移位性质**：若函数 $f(x)$ 为指数凹函数，且 $c$ 为常数，则函数 $f(x) - c$ 也是指数凹函数。
225 |
226 | 指数凹函数提供了一种灵活且富有表现力的方式来建模各种现象。它能捕捉广泛的形状和行为。例如，在凸优化中使用指数凹函数可以加快迭代优化算法（如梯度下降或牛顿法）的收敛速度。因此，指数凹函数在处理概率模型或存在不确定性的场景中具有重要意义，特别是在限制或量化不确定性方面。
227 |
228 |
229 |
230 | ## 凸优化
231 |
232 | 凸优化（convex optimization）是优化理论的一个分支，研究的是在凸函数的凸集上进行优化的问题。凸优化的目标是在满足一组凸约束条件的情况下，找到凸目标函数的最小值。
233 |
234 | 一般形式的凸优化问题可以表示为：
235 | $$
236 | \begin{equation}
237 | \begin{align*}
238 | &\min\ &f_0(x) \\
239 | &s.t.\ &f_i(x) \leq 0, &i\in[m] \\
240 | &\ &g_j(x) = 0, &j\in[n]
241 | \end{align*}
242 | \end{equation}
243 | $$
244 | 其中，$f_0(x)$ 是凸目标函数，$f_i(x)$ 是凸不等式约束条件，$g_j(x)$ 是仿射等式约束条件。
245 |
246 | 凸优化具有以下有利特性，使其成为一个被广泛研究和应用的领域：
247 |
248 | 1. **全局最优性**：凸优化问题的一个关键性质是，任何局部最小值也是全局最小值。此性质确保凸优化算法找到的解是给定凸集中的最优解。
249 |
250 | 2. **高效算法**：凸优化拥有多项式时间内找到最优解的高效算法。这些算法基于凸目标函数和约束条件的凸性，能够有效解决复杂的优化问题。
251 |
252 | 3. **广泛应用**：凸优化在工程学、金融学、机器学习、运筹学和信号处理等领域有着广泛的应用。它被用于解决如投资组合优化、信号重构、资源分配和机器学习模型训练等问题。凸优化技术，如线性规划、二次规划和半定规划，构成了许多优化算法的基础，为高效解决复杂优化问题提供了强大工具。
253 |
254 | 以下证明凸函数任何局部最优解均为全局最优解的性质。
255 |
256 | 假设 $f(x)$ 是凸函数，$x^*$ 是 $f$ 在凸集合 $\mathcal{D}$ 中的局部最优解。由于凸集的性质，对于任意 $y$，$y-x^*$ 是一个可行方向。因此，总可以选择足够小的 $\alpha \gt 0$，使得：
257 | $$
258 | \begin{equation}
259 | f(x^*) \leq f(x^* + \alpha(y-x^*))
260 | \end{equation}
261 | $$
262 | 由 $f$ 的凸性可得:
263 | $$
264 | \begin{equation}
265 | f(x^* + \alpha(y-x^*)) = f((1-\alpha)x^* + \alpha y) \leq (1-\alpha)f(x^*) + \alpha f(y)
266 | \end{equation}
267 | $$
268 | 结合以上两式，可得：
269 | $$
270 | \begin{equation}
271 | \begin{align*}
272 | &f(x^*) \leq (1-\alpha)f(x^*) + \alpha f(y) \\
273 | rightarrow &f(x^*) \leq f(y)
274 | \end{align*}
275 | \end{equation}
276 | $$
277 | 由于 $y$ 是凸集合 $\mathcal{D}$ 中的任意点，故 $x^*$ 为全局最优解。对于 $f(x)$ 的全局最大解，可以通过考虑函数 $-f(x)$ 的局部最优解得到类似的结论。
278 |
279 |
280 |
281 | ## 仿射
282 |
283 | 仿射变换（Affine transformation），又称仿射映射，是指在几何中，对一个向量空间进行一次线性变换并加上一个平移，变换为另一个向量空间。若该线性映射被表示为矩阵 $A$，平移被表示为向量 $\vec{b}$，则仿射映射 $f$ 可表示为：
284 | $$
285 | \begin{equation}
286 | \vec{y} = f(\vec{x}) = A\vec{x} + \vec{b}
287 | \end{equation}
288 | $$
289 | 其中，$A$ 被称为仿射变换矩阵或投射变换矩阵。
290 |
291 | 仿射变换具有以下性质：
292 |
293 | 1. **点之间的共线性**：在同一条直线上的三个或更多的点（即共线点）在变换后依然位于同一条直线上（共线）。
294 | 2. **直线的平行性**：两条或以上的平行直线在变换后仍保持平行。
295 | 3. **集合的凸性**：凸集合在变换后依然是凸集合，且最初的极值点被映射到变换后的极值点集。
296 | 4. **平行线段的长度比例恒定**：两条由点 $p_1, p_2, p_3, p_4$ 定义的平行线段，其长度比例在变换后保持不变，即 $\frac{\overrightarrow{p_1p_2}}{\overrightarrow{p_3p_4}} = \frac{\overrightarrow{f(p_1)f(p_2)}}{\overrightarrow{f(p_3)f(p_4)}}$。
297 | 5. **质心位置恒定**：不同质量的点组成集合的质心位置在仿射变换后保持不变。
298 |
299 | 仿射集（affine set）是指欧氏空间 $R^n$ 中具有以下性质的点集 $S$：对于任意 $x,y\in S$，以及 $\forall \lambda\in[0,1]$，有 $(1-\lambda)x+\lambda y\in S$。容易证明，包含原点的仿射集 $S$ 是 $R^n$ 的子空间。
300 |
301 | 仿射包（affine hull/span）是包含集合 $S$ 的所有仿射集的交集，也是集合 $S$ 中元素通过不断连接直线所形成的所有元素的集合。仿射包是包含集合 $S$ 的最小仿射集，记为 $aff(S)$，即：
302 | $$
303 | \begin{equation}
304 | aff(S) = \{\sum_{i=1}^k \alpha_i x_i \mid k\gt0, x_i\in S, \alpha_i\in R, \sum_{i=1}^k \alpha_i = 1\}
305 | \end{equation}
306 | $$
307 | 仿射包具有以下性质：
308 |
309 | 1. $aff(aff(S)) = aff(S)$
310 | 2. $aff(S + T) = aff(S) + aff(T)$
311 | 3. 若 $S$ 为有限维度，则 $aff(S)$ 为闭集合。
312 |
313 |
314 |
315 | ## Slater条件/定理
316 |
317 | 关于强对偶性的讨论，**11页** 已给出了详细说明，此处不再赘述。这里着重讨论 **11页** 左下角附注提到的 Slater 条件，即：
318 |
319 | 存在一点 $x\in \text{relint}(D)$，该点称为 Slater 向量，有：
320 | $$
321 | \begin{equation}
322 | \begin{align*}
323 | f_i(x) \lt 0, &\quad i\in[m]
324 | \end{align*}
325 | \end{equation}
326 | $$
327 | 其中，$D = \bigcap_0^m \text{dom}(f_i)$，$relint(D)$ 为 $D$ 的相对内部，即其仿射包的内部所有点，即 $relint(D) = \text{int}(aff(D))$。
328 |
329 | 当满足 Slater 条件且原始问题为凸优化问题时：
330 |
331 | 1. 强对偶性成立。
332 | 2. 对偶最优解集合非空且有界。
333 |
334 | 这就是 Slater 定理。
335 |
336 | ### 证明
337 |
338 | 首先证明对偶间隙（Duality Gap）为零，即原始问题与对偶问题的目标函数值之差 $p^* - d^* = 0$。考虑集合 $\mathcal{V}\subset \mathbb{R}^m \times \mathbb{R}$，满足：
339 | $$
340 | \begin{equation}
341 | \mathcal{V}:=\{(u,w)\in\mathbb{R}^m \times \mathbb{R} \mid f_0(x) \le w, f_i(x) \le u_i, \forall i\in[m], \forall x\}
342 | \end{equation}
343 | $$
344 | 集合 $\mathcal{V}$ 具有以下性质：
345 |
346 | 1. 它是凸集合，可由 $f_i,\ i\in\{0\}\cup[m]$ 的凸性质得出。
347 | 2. 若 $(u,w)\in\mathcal{V}$，且 $(u',w')\succeq(u,w)$，则 $(u',w')\in\mathcal{V}$。
348 |
349 | 易证向量 $(0,p^*)\notin int(\mathcal{V})$，否则一定存在 $\varepsilon \gt 0$，使得 $(0,p^*-\varepsilon)\in int(\mathcal{V})$，这明显与 $p^*$ 为最优解矛盾。因此，必有 $(0,p^*)\in \partial\mathcal{V}$ 或 $(0,p^*)\notin\mathcal{V}$。应用支撑超平面定理（定理 23），可知存在一个非零点 $(\lambda,\lambda_0)\in \mathbb{R}^m \times \mathbb{R}$，满足以下条件：
350 | $$
351 | \begin{equation}
352 | (\lambda,\lambda_0)^T(u,w) = \lambda^Tu + \lambda_0w \ge \lambda_0p^*, \forall(u,w)\in\mathcal{V}
353 | \end{equation}
354 | $$
355 | 在此情况下，必然有 $\lambda \succeq 0$ 和 $\lambda_0 \geq 0$。这是因为，若 $\lambda$ 和 $\lambda_0$ 中的分量出现任何负数，根据集合 $\mathcal{V}$ 的性质二，$(u, w)$ 的分量可以在集合 $\mathcal{V}$ 内取得任意大的值，从而导致上式不一定成立。
356 |
357 | 因此，只需考虑两种情况：
358 |
359 | 1. **$\lambda_0 = 0$**：此时根据上式，可得
360 | $$
361 | \begin{equation}
362 | \inf_{(u,w)\in\mathcal{V}}\lambda^Tu = 0
363 | \end{equation}
364 | $$
365 | 另一方面，根据 $\mathcal{V}$ 的定义，$\lambda\succeq 0$ 且 $\lambda \neq 0$，可得：
366 | $$
367 | \begin{equation}
368 | \inf_{(u,w)\in\mathcal{V}}\lambda^Tu = \inf_{x}\sum_{i=1}^m \lambda_i f_i(x) \leq \sum_{i=1}^m \lambda_i f_i(\bar{x}) \lt 0
369 | \end{equation}
370 | $$
371 | 其中，$\bar{x}$ 是 Slater 向量，而最后一个不等式依据 Slater 条件得出。此时，两个结论互相矛盾，因此 $\lambda_0 \neq 0$。
372 |
373 | 2. **$\lambda_0 \gt 0$**：对上式左右两边除以 $\lambda_0$，得：
374 | $$
375 | \begin{equation}
376 | \inf_{(u,w)\in\mathcal{V}}\{\tilde\lambda^Tu + w\} \ge p^*
377 | \end{equation}
378 | $$
379 | 其中，$\tilde\lambda := \frac{\lambda}{\lambda_0}\succeq 0$。
380 |
381 | 考虑拉格朗日函数 $L:\mathbb{R}^n \times \mathbb{R}^n \rightarrow \mathbb{R}$：
382 | $$
383 | \begin{equation}
384 | L(x,\tilde\lambda) := f_0(x) + \sum_{i=1}^m \tilde\lambda_i f_i(x)
385 | \end{equation}
386 | $$
387 | 其对偶函数为：
388 | $$
389 | \begin{equation}
390 | g(\tilde\lambda) := \inf_{x} L(x,\tilde\lambda) \ge p^*
391 | \end{equation}
392 | $$
393 | 其对偶问题为：
394 | $$
395 | \begin{equation}
396 | \max_{\lambda} g(\lambda), \lambda\succeq 0
397 | \end{equation}
398 | $$
399 | 因此，可得 $d^* \geq p^*$。根据弱对偶性，$d^* \leq p^*$，从而推断出 $d^* = p^*$。
400 |
401 | 接着证明对偶问题最优解集合非空且有界。对于任意对偶最优解 $\tilde\lambda\succeq 0$，有：
402 | $$
403 | \begin{equation}
404 | \begin{align*}
405 | d^* = g(\tilde\lambda) &= \inf_{x} \{f_0(x) + \sum_{i=1}^m \tilde\lambda_i f_i(x)\} \\
406 | &\leq f_0(\bar{x}) + \sum_{i=1}^m \tilde\lambda_i f_i(\bar{x}) \\
407 | &\leq f_0(\bar{x}) + \max_{i\in[m]}\{f_i(\bar{x})\}[\sum_{i=1}^m \tilde\lambda_i]
408 | \end{align*}
409 | \end{equation}
410 | $$
411 | 因此，有：
412 | $$
413 | \begin{equation}
414 | \min_{i\in[m]}\{-f_i(\bar{x})\}[\sum_{i=1}^m \tilde\lambda_i] \leq f_0(\bar{x}) - d^*
415 | \end{equation}
416 | $$
417 | 进而得出：
418 | $$
419 | \begin{equation}
420 | \|\tilde\lambda\| \leq \sum_{i=1}^m \tilde\lambda_i \leq \frac{f_0(\bar{x}) - d^*}{\min_{i\in[m]}\{-f_i(\bar{x})\}} \lt \infty
421 | \end{equation}
422 | $$
423 | 其中，最后一个不等式依据 Slater 条件得出。$\square$
424 |
425 |
426 |
427 | ## KKT条件
428 |
429 | KKT条件（Karush-Kuhn-Tucker条件）在凸优化领域具有至关重要的地位。虽然在**12-13页** 中对其进行了基本解释，此处将进行更为深入的分析。KKT条件中的符号 $\lambda_i,\ i\in[m]$ 和 $\mu_i,\ i\in[n]$ 被视为 KKT 乘子。特别地，当 $m=0$ 时，即不存在不等式约束条件时，KKT条件退化为拉格朗日条件，此时 KKT 乘子也被称为拉格朗日乘子。
430 |
431 | ### 证明
432 |
433 | 首先，对于 $x^*,(\mu^*,\lambda^*)$ 满足 KKT 条件等价于它们构成一个纳什均衡。
434 |
435 | 固定 $(\mu^*,\lambda^*)$，并变化 $x$，均衡等价于拉格朗日函数在 $x^*$ 处的梯度为零，即主问题的稳定性（stationarity）。
436 |
437 | 固定 $x$，并变化 $(\mu^*,\lambda^*)$，均衡等价于主问题的约束（feasibility）和互补松弛条件。
438 |
439 | **充分性**：若解对 $x^*,(\mu^*,\lambda^*)$ 满足 KKT 条件，则它们构成一个纳什均衡，从而消除对偶间隙。
440 |
441 | **必要性**：任意解对 $x^*,(\mu^*,\lambda^*)$ 必然消除对偶间隙，因此它们必须构成一个纳什均衡，从而满足 KKT 条件。$\square$
442 |
443 | 在此对 KKT 和 Slater 条件进行区分：
444 |
445 | 1. **KKT条件** 是一组用于确定约束优化问题中解的最优性的条件。它们通过将约束纳入条件，扩展了无约束优化中设定目标函数梯度为零的思路到约束优化问题中。
446 | **Slater条件** 是凸优化中确保强对偶性的特定约束条件，即主问题和对偶问题最优解的等价性。
447 |
448 | 2. KKT条件包括对偶问题的约束、互补松弛条件、主问题约束和稳定性。它们整合了目标和约束函数的梯度以及 KKT 乘子，以形成最优性条件。
449 | Slater 条件要求存在一个严格可行点，即严格满足所有不等式约束的点。
450 |
451 | 3. 当点满足 KKT 条件时，表明问题的局部最优解已找到。这些条件弥合了主问题和对偶问题之间的差距，对于分析和解决约束优化问题至关重要。
452 | 满足 Slater 条件时，确保凸优化问题的强对偶性，对于简化和解决这些问题至关重要。Slater 条件并不直接提供最优性条件，但为强对偶性铺平了道路，之后可以利用强对偶性寻找最优解。
453 |
454 | 4. **KKT条件** 较为通用，适用于更广泛的优化问题类别，包括非凸问题。
455 | **Slater条件** 则特定于凸优化问题，用于确保这些问题中的强对偶性。
456 |
457 | 5. 对于凸且可微的问题，满足 KKT 条件意味着最优性和强对偶性。相反，最优性和强对偶性意味着所有问题的 KKT 条件得到满足。
458 | 当 Slater 条件成立时，KKT 条件是最优解的充要条件，此时强对偶性成立。
459 |
460 | KKT条件和 Slater 条件通常被归类为“正则条件”（regularity condition）或“约束资格”（constraint qualification）。这些条件为优化问题提供了一个结构化的框架，以便在约束情况下分析和确定解的最优性。更多的正则条件详见参考文献：[On regularity conditions in mathematical programming](https://link.springer.com/chapter/10.1007/BFb0120988)。
461 |
462 |
463 |
464 | ## 偏序集
465 |
466 | 序理论（Order Theory）是数学的一个分支，它的核心思想是通过定义某种“序”来描述元素之间的相对关系。在序理论中，一个偏序集（partial order set，简称 poset）包含一个非空集合 $P$ 和一个满足特定条件的二元关系 $\leq$。这个二元关系称为偏序关系，它必须满足以下三个条件：
467 |
468 | 1. **自反性（Reflexivity）**：对于 $P$ 中的任意元素 $a$，都有 $a \leq a$。
469 | 2. **反对称性（Antisymmetry）**：对于 $P$ 中的任意元素 $a$ 和 $b$，如果 $a \leq b$ 且 $b \leq a$，那么 $a = b$。
470 | 3. **传递性（Transitivity）**：对于 $P$ 中的任意元素 $a$、$b$ 和 $c$，如果 $a \leq b$ 且 $b \leq c$，那么 $a \leq c$。
471 |
472 | 这些条件定义了偏序关系，使其与全序（total order）关系不同。在偏序集中，可能存在某些元素是不可比较的，即对于 $P$ 中的某些 $a$ 和 $b$，既不满足 $a \leq b$，也不满足 $b \leq a$。
473 |
474 |
475 |
476 | ## 上下界
477 |
478 | 上界（upper bound 或 majorant）是与偏序集有关的特殊元素，指偏序集中大于或等于其子集中一切元素的元素。若数集 $S$ 为实数集 $R$ 的子集且有上界，则显然有无穷多个上界，其中最小的上界常常具有重要作用，称为数集 $S$ 的上确界（tight upper bound 或 supremum）。同理，可以定义下界（lower bound 或 minorant）和下确界（tight lower bound 或 infimum）。
479 |
480 |
481 |
482 | ## 尾界
483 |
484 | **尾界（tail bound）**是指给定一个随机变量，其概率分布尾部部分的界限。上尾界（upper tail bound）描述随机变量在其分布上尾处的概率上限，而下尾界（lower tail bound）描述随机变量在其分布下尾处的概率上限。Chebyshev 不等式、Hoeffding 不等式和 Bernstein 不等式都是尾界的例子，它们提供了随机变量偏离其期望值的概率界限。
485 |
486 |
487 |
488 | ## 置信界
489 |
490 | **置信界（confidence bound）**是在估计一个未知参数时，给出一个包含该参数的区间，并且这个区间具有特定的置信水平。例如，一个95%的置信区间意味着我们有95%的信心该区间包含真实的参数值。置信界可以是上置信界（upper confidence bound），下置信界（lower confidence bound），或同时包含上下界的置信区间（confidence interval）。上置信界提供对参数估计的可能最大值的上限，下置信界提供对参数估计的可能最小值的下限。
491 |
492 |
493 |
494 | ## 连续性
495 |
496 | 连续性（continuity）表示函数在某处的变化不会突然中断或跳跃。形式上，如果函数 $f(x)$ 在 $x = a$ 处满足以下条件，则称其在该点连续：
497 |
498 | 1. 函数 $f(x)$ 在 $x = a$ 处有定义。
499 | 2. 当 $x$ 趋近于 $a$ 时，$f(x)$ 的极限存在且等于 $f(a)$。
500 |
501 | 连续性意味着输入的微小变化导致输出的微小变化。如果一个函数在其定义域的每个点上都是连续的，则称其为连续函数。
502 |
503 | Lipschitz 连续性是连续性的更强形式，它要求函数在变化速度方面有界。具体而言，如果存在一个常数 $L$，使得函数在任意两点的函数值之间的绝对差小于等于 $L$ 乘以两点之间的距离，则称该函数为 $L-Lipschitz$ 连续，即：
504 | $$
505 | \begin{equation}
506 | \forall x,y\in \text{dom}(f),\ \exists L \gt 0\ \text{使得}\ \|f(x)-f(y)\|_2 \leq L\|x-y\|_2
507 | \end{equation}
508 | $$
509 | 其中，$L$ 称为 Lipschitz 常数，表示函数的最大变化率。若 $L$ 较大，函数可以快速变化；若 $L$ 较小，函数变化更渐进。
510 |
511 | 事实上，如果一个函数的导数有界，那么它一定是 Lipschitz 连续的；反之，如果一个可微函数是 Lipschitz 连续的，那么它的导数一定有界。
512 |
513 | 证明如下：
514 |
515 | 1. 若函数 $f(x)$ 的导数有界，即存在常数 $L \ge 0$，使得对于任意 $x$，有 $|f'(x)| \leq L$。根据微分中值定理，对于任意 $x \le y$，存在 $c \in [x,y]$，使得：
516 | $$
517 | \begin{equation}
518 | \begin{align*}
519 | &\|f(x)-f(y)\|_2 = \|f'(c)\|_2\|x-y\|_2 \\
520 | \Rightarrow &\|f(x)-f(y)\|_2 \le L \|x-y\|_2
521 | \end{align*}
522 | \end{equation}
523 | $$
524 | 此时，函数是 $L-Lipschitz$ 连续的。
525 |
526 | 2. 若函数 $f(x)$ 是 $L-Lipschitz$ 连续的，即对于任意 $x,y$，有
527 | $$
528 | \begin{equation}
529 | \|f(x)-f(y)\|_2 \le L\|x-y\|_2
530 | \end{equation}
531 | $$
532 | 根据微分中值定理，对于任意 $x \le y$，存在 $c \in [x,y]$，使得：
533 | $$
534 | \begin{equation}
535 | \|f(x)-f(y)\|_2 = \|f'(c)\|_2\|x-y\|_2
536 | \end{equation}
537 | $$
538 | 不妨令 $x \rightarrow y$，则 $c \rightarrow y$。因为 $f(y)$ 可微，可得：
539 | $$
540 | \begin{equation}
541 | \|f'(y)\|_2 = \|\lim_{x \rightarrow y}\frac{f(x)-f(y)}{x-y}\|_2 = \lim_{x \rightarrow y}\frac{\|f(x)-f(y)\|_2}{\|x-y\|_2} \le \lim_{x \rightarrow y} L = L
542 | \end{equation}
543 | $$
544 | 因为 $y$ 的任意性，所以函数的导数有界。
545 |
546 | 连续性关注函数图像中跳跃或中断的缺失，而 Lipschitz 连续性关注函数的变化速度。因此，Lipschitz 连续性是比连续性更严格的条件。一个连续函数不一定是 Lipschitz 连续的，因为连续性不要求函数变化速度有界。然而，一个 Lipschitz 连续的函数必然是连续的，因为 Lipschitz 连续性蕴含连续性。
547 |
548 | Lipschitz 连续性的性质在数学的各个领域中广泛应用，如分析、优化和微分方程研究。它在保证某些数学问题的解的存在性、唯一性和稳定性方面起着关键作用。
549 |
550 |
551 |
552 | ## 光滑性
553 |
554 | 在数学分析中，函数的光滑性（smoothness）通过函数在某个域（称为可微性类）上的连续导数的数量来衡量。最基本的情况下，如果一个函数在每个点上都可导（因此连续），则可以认为它是光滑的。
555 | 一方面，光滑性确保了梯度下降等优化算法能够更快收敛，并减少可能遇到的梯度震荡或发散的情况。
556 | 另一方面，光滑性提供了函数曲率的信息，从而帮助设计更有效的优化算法，如加速梯度下降法或牛顿法。
557 |
558 | 在优化理论中，$L$-光滑函数是指它的梯度具有 $L$-Lipschitz 连续性，这意味着函数的梯度在其定义域中的变化速率被 $L$ 所限制。
559 | 形式上，对于任意 $x,y \in \mathbb{R}^n$，存在 $L \gt 0$，使得：
560 | $$
561 | \begin{equation}
562 | \|\nabla f(x) - \nabla f(y)\|_2 \leq L \|x - y\|_2
563 | \end{equation}
564 | $$
565 | 或者等价地，
566 | $$
567 | \begin{equation}
568 | \|\nabla^2 f(x)\|_2 \leq L
569 | \end{equation}
570 | $$
571 | 或者等价地，
572 | $$
573 | \begin{equation}
574 | f(y) \leq f(x) + \langle \nabla f(x), y - x \rangle + \frac{L}{2}\|y - x\|_2^2
575 | \end{equation}
576 | $$
577 | 以上三种定义方式是等价的，且 $L$ 被称为光滑系数。
578 | 由定义3，我们可以看出，在光滑函数的任意一点处都可以构造一个二次函数作为其上界。
579 |
580 | 接下来我们证明这些定义的等价性。首先，我们证明定义1可以推导出定义2。
581 |
582 | 考虑函数 $f$ 的梯度 $\nabla f(x)$ 的二阶泰勒展开：
583 | $$
584 | \begin{equation}
585 | \nabla f(y) = \nabla f(x) + \nabla^2 f(\xi)(y - x)
586 | \end{equation}
587 | $$
588 | 其中 $\xi$ 是 $x$ 和 $y$ 之间的一点，$\nabla^2 f(\xi)$ 表示在点 $\xi$ 处的 Hessian 矩阵。
589 |
590 | 根据 $L$-光滑性的定义1，我们有：
591 | $$
592 | \begin{equation}
593 | \|\nabla f(y) - \nabla f(x)\|_2 \leq L \|y - x\|_2
594 | \end{equation}
595 | $$
596 |
597 | 将二阶泰勒展开的结果代入其中：
598 | $$
599 | \begin{equation}
600 | \|\nabla^2 f(\xi)(y - x)\|_2 \leq L \|y - x\|_2
601 | \end{equation}
602 | $$
603 |
604 | 对于任意的非零向量 $v = y - x$，定义：
605 | $$
606 | \begin{equation}
607 | v' = \frac{v}{\|v\|_2}
608 | \end{equation}
609 | $$
610 | 我们得到：
611 | $$
612 | \begin{equation}
613 | \|\nabla^2 f(\xi) v'\|_2 \leq L
614 | \end{equation}
615 | $$
616 |
617 | 由于 $v'$ 是一个单位向量，这意味着 Hessian 矩阵 $\nabla^2 f(\xi)$ 作用在任意单位向量上时的范数不超过 $L$，因此 Hessian 矩阵的谱范数（即最大特征值的绝对值）满足：
618 | $$
619 | \begin{equation}
620 | \|\nabla^2 f(\xi)\|_2 \leq L
621 | \end{equation}
622 | $$
623 | 其中，由于 $\xi$ 是 $x$ 和 $y$ 之间的一点，因此我们可以将上述结论推广到整个定义域。
624 |
625 | 接下来我们证明定义2可以推导出定义3。由定义2，给定 $f$ 是 $L$-光滑的，对任意的 $x, y \in \mathbb{R}^n$，我们有：
626 | $$
627 | \begin{equation}
628 | f(y) \leq f(x) + \langle \nabla f(x), y - x \rangle + \frac{L}{2} \|y - x\|_2^2
629 | \end{equation}
630 | $$
631 |
632 | 将定义中的 $x$ 和 $y$ 互换，得到：
633 | $$
634 | \begin{equation}
635 | f(x) \leq f(y) + \langle \nabla f(y), x - y \rangle + \frac{L}{2} \|x - y\|_2^2
636 | \end{equation}
637 | $$
638 |
639 | 将两个不等式相加可得：
640 | $$
641 | \begin{equation}
642 | \langle \nabla f(x) - \nabla f(y), x - y \rangle \leq L \|x - y\|_2^2
643 | \end{equation}
644 | $$
645 |
646 | 注意到不等式左侧的内积无论如何取值，该不等式均成立。
647 | 根据 Cauchy-Schwarz 不等式，当 $y - x$ 与 $\nabla f(x) - \nabla f(y)$ 平行时左侧内积取到最大值，即 $\|\nabla f(x) - \nabla f(y)\|_2 \|x - y\|_2$，代入可得：
648 | $$
649 | \begin{equation}
650 | \|\nabla f(x) - \nabla f(y)\|_2 \|x - y\|_2 \leq L \|x - y\|_2^2
651 | \end{equation}
652 | $$
653 | 化简后即得证。
654 |
655 | 这里对光滑性和 $Lipschitz$ 连续性进行一些比较：
656 | - $Lipschitz$ 连续性关注的是函数值变化的速度，即函数值的“陡峭程度”，而光滑性关注的是梯度变化的速度，即函数的“曲率”或二阶变化。
657 | - $Lipschitz$ 连续性表示函数变化不会太快，确保函数的整体平滑性，而光滑性表示梯度变化不会太快，确保函数曲面没有急剧的弯曲。
658 |
659 |
660 |
661 | ## 次梯度
662 |
663 | 次梯度（subgradient）是凸函数导数的推广形式。某些凸函数在特定区域内可能不存在导数，但我们依旧可以用次梯度来表示该区域内函数变化率的下界。形式上，对于凸函数 $f(x)$，在任意点 $x_0$ 处的次梯度 $c$ 必须满足以下不等式：
664 | $$
665 | \begin{equation}
666 | f(x) - f(x_0) \geq c(x - x_0)
667 | \end{equation}
668 | $$
669 | 根据微分中值定理的逆命题，$c$ 通常在 $[a,b]$ 之间取值，其中 $a,b$ 是函数 $f(x)$ 在 $x_0$ 处的左右导数，即：
670 | $$
671 | \begin{equation}
672 | a = \lim_{x \rightarrow x_0^-}\frac{f(x) - f(x_0)}{x - x_0},\ b = \lim_{x \rightarrow x_0^+}\frac{f(x) - f(x_0)}{x - x_0}
673 | \end{equation}
674 | $$
675 | 此时，次梯度 $c$ 的集合 $[a,b]$ 被称为次微分，即 $\partial f(x_0)$。当 $a = b$ 时，次梯度 $c$ 退化为导数。
676 |
677 | 次梯度在机器学习领域广泛应用，特别是在训练支持向量机（SVM）和其他具有非可微损失函数的模型中。它们还构成了随机次梯度方法的基础，这些方法在处理大规模机器学习问题时非常有效。
678 |
679 |
680 |
681 | ## 对偶空间
682 |
683 | 线性泛函（linear functional）是指从向量空间 $V$ 到对应标量域 $k$ 的线性映射，满足加法和数乘的性质，即对于任意向量 $x,y \in V$ 和标量 $\alpha \in k$，有：
684 | $$
685 | \begin{equation}
686 | \begin{align*}
687 | &f(x+y) = f(x) + f(y) \\
688 | &f(\alpha x) = \alpha f(x)
689 | \end{align*}
690 | \end{equation}
691 | $$
692 | 所有从 $V$ 到 $k$ 的线性泛函构成的集合称为 $V$ 的对偶空间（dual space），记为 $V^* = \text{Hom}_k(V,k)$，对偶空间中的元素称为对偶向量。
693 |
694 |
695 |
696 | ## Legendre变换
697 |
698 | 将函数转换为另一种函数，常用于改变其定义域和属性，使问题更简单或更易分析。Legendre 变换（Legendre transform）常用于将一组独立变量转换为另一组独立变量，特别是在经典力学和热力学中。以下是 Legendre 变换的基本概念和步骤：
699 |
700 | 1. **定义函数**：假设有一个凸函数 $f(x)$，其自变量为 $x$。
701 | 2. **定义共轭变量**：定义新的变量 $p$，它是原函数 $f(x)$ 的导数，即 $p = \frac{d f(x)}{dx}$。
702 | 3. **定义共轭函数**：定义新的函数 $g(p)$，其形式为：$g(p) = x \cdot p - f(x)$。这里，$x$ 是 $f(x)$ 的自变量，同时也是 $g(p)$ 的隐含变量。
703 | 4. **变换关系**：通过 Legendre 变换，从原来的函数 $f(x)$ 得到新的函数 $g(p)$，这个新的函数 $g(p)$ 依赖于共轭变量 $p$。
704 |
705 |
706 |
707 | ## 共轭函数
708 |
709 | 凸共轭（convex conjugate）是 Legendre 变换的一种推广，因此也被称为 Legendre-Fenchel 变换（Legendre-Fenchel transform）。通过凸共轭变换，原函数可以转换为凸函数，从而利用凸函数的性质来解决原问题。
710 |
711 | 形式上，对于函数 $f(x)$，其共轭函数 $f^*(y)$ 定义为：
712 | $$
713 | \begin{equation}
714 | f^*(y) = \sup_{x \in \text{dom}(f)}(y^T x - f(x))
715 | \end{equation}
716 | $$
717 | 其中，$\text{dom}(f)$ 是函数 $f(x)$ 的定义域。
718 |
719 | 共轭函数具有以下一些有用的性质：
720 |
721 | 1. **凸性**：函数 $f(x)$ 的共轭函数 $f^*(y)$ 一定是凸函数。证明如下：
722 | $$
723 | \begin{equation}
724 | \begin{align*}
725 | f^*(\lambda y_1+(1-\lambda)y_2) &= \sup_{x\in \text{dom}(f)}\{x^T(\lambda y_1+(1-\lambda)y_2)-f(x)\}\\
726 | &\leq \lambda \sup_{x\in \text{dom}(f)}\{x^T y_1 - f(x)\} + (1-\lambda)\sup_{x\in \text{dom}(f)}\{x^T y_2 - f(x)\}\\
727 | &= \lambda f^*(y_1) + (1-\lambda)f^*(y_2)
728 | \end{align*}
729 | \end{equation}
730 | $$
731 | 其中的不等式利用了凸性的性质。
732 |
733 | 2. **逆序性**：对于定义域中所有元素 $x$，若 $f(x) \leq g(x)$，则 $f^*(y) \geq g^*(y)$。证明如下：
734 |
735 | 由于 $f(x) \leq g(x)$，因此 $x^T y - f(x) \geq x^T y - g(x)$。两边同时取上确界，根据定义有：
736 | $$
737 | \begin{equation}
738 | f^*(y) = \sup_{x\in \text{dom}(f)}\{x^T y - f(x)\} \geq \sup_{x\in \text{dom}(f)}\{x^T y - g(x)\} = g^*(y)
739 | \end{equation}
740 | $$
741 |
742 | 3. **极值变换**：若 $f$ 可微，则对于 $\forall y$，有：
743 | $$
744 | \begin{equation}
745 | f^*(y) \leq f^*(\nabla f(x)) = \nabla f^*(x)^T x - f(x) = -[f(x) + \nabla f(x)^T(0 - x)]
746 | \end{equation}
747 | $$
748 | 此性质即书中的（1.10），完整证明如下：
749 |
750 | 为了在 $f^*$ 的定义中找到上确界，对右侧的 $x$ 求导，并将其设置为零以找到极大值点：
751 | $$
752 | \begin{equation}
753 | \frac{d}{dx}(x^T y − f(x)) = y − \nabla f(x) = 0
754 | \end{equation}
755 | $$
756 | 此时有 $y = \nabla f(x)$，得证。
757 |
758 |
759 |
760 | ## σ-代数
761 |
762 | σ-代数（或 σ-域）是测度论和概率论中的一个重要概念。σ-代数是一个满足特定封闭性质的集合族，使我们能够对这些集合定义一致的测度（如概率）。具体来说，σ-代数是一个集合族，满足以下三个性质：
763 |
764 | 1. **包含全集**：如果 $\mathcal{F}$ 是定义在集合 $X$ 上的一个 σ-代数，那么 $X$ 本身属于 $\mathcal{F}$，即 $X \in \mathcal{F}$。
765 | 2. **对补集封闭**：如果 $A$ 是 $\mathcal{F}$ 中的一个集合，那么它的补集 $X \setminus A$ 也属于 $\mathcal{F}$，即 $A \in \mathcal{F} \implies X \setminus A \in \mathcal{F}$。
766 | 3. **对可数并封闭**：如果 $A_1, A_2, A_3, \ldots$ 是 $\mathcal{F}$ 中的集合，那么它们的可数并集 $\bigcup_{i=1}^{\infty} A_i$ 也属于 $\mathcal{F}$，即 $A_i \in \mathcal{F}$ 对所有 $i \in \mathbb{N}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$。
767 |
768 | σ-代数在测度论中尤为重要，因为它为定义测度提供了必要的框架。测度是定义在 σ-代数上的集合函数，用于度量集合的“大小”。在概率论中，σ-代数用于定义事件空间，从而定义概率测度。
769 |
770 | ### 过滤
771 |
772 | σ-代数 $\mathcal{F}$ 是一个固定的集合族，满足特定的封闭性质，表示我们在某一时刻可以知道的所有信息。过滤（filtration）是关于随着时间推移而观察信息的概念，通常与随机过程（stochastic processes）相关。具体来说，过滤是一个按时间参数索引的 σ-代数序列 $\{\mathcal{F}_t\}_{t \in T}$，表示随时间变化的可观测事件的集合，满足以下性质：
773 |
774 | 1. **每个 $\mathcal{F}_t$ 是一个 σ-代数**：对于每个时刻 $t$，$\mathcal{F}_t$ 是定义在某个固定集合 $X$ 上的一个 σ-代数。
775 | 2. **单调性**：对于任意的 $t_1 \leq t_2$，有 $\mathcal{F}_{t_1} \subseteq \mathcal{F}_{t_2}$。这意味着随着时间的推移，所包含的信息只会增加，不会减少。
776 |
777 |
778 |
779 | ## 鞅
780 |
781 | 鞅（Martingale）是概率论中的一个重要概念，用于描述某些类型的随机过程。鞅过程的特点是，其未来期望值在已知当前信息的条件下等于当前值。
782 |
783 | ### 形式化定义
784 |
785 | 设 $\{X_t\}$ 是一个随机过程，$\{\mathcal{F}_t\}$ 是一个随时间 $t$ 变化的过滤（即包含随时间增加的所有信息的 σ-代数的序列）。当这个随机过程 $\{X_t\}$ 是鞅时，必须满足以下条件：
786 |
787 | 1. **适应性（Adaptedness）**：对于每一个 $t$，$X_t$ 是 $\mathcal{F}_t$-可测的（即 $X_t$ 的值在时间 $t$ 时刻是已知信息的函数）。
788 | 2. **积分性（Integrability）**：对于所有 $t$，$\mathbb{E}[|X_t|] \lt \infty$。
789 | 3. **鞅性质（Martingale Property）**：对于所有 $t$ 和 $s \geq t$，有 $\mathbb{E}[X_s \mid \mathcal{F}_t] = X_t$。这意味着在已知当前时刻 $t$ 的信息 $\mathcal{F}_t$ 条件下，未来某个时刻 $s$ 的期望值等于当前时刻 $t$ 的值。
790 |
791 | ### 直观解释
792 |
793 | 鞅的定义保证了在已知当前信息的条件下，未来值的期望等于当前值，这反映了一种“无偏性”。因此，鞅过程可以被看作是一种“公平游戏”。设想一个赌徒在赌场中进行赌博，如果这个赌徒的资金变化形成一个鞅过程，那么在任何时刻，给定当前的资金情况，未来资金的期望值都是当前的资金，表示没有系统性的赢或输的趋势。
794 |
795 | ### 举例说明
796 |
797 | 考虑一个简单的随机游走过程，其中 $X_{t+1} = X_t + Z_{t+1}$，其中 $Z_{t+1}$ 是一个独立同分布的随机变量，取值为 $+1$ 或 $-1$，且概率各为 $50\%$。在这种情况下，如果设 $X_0 = 0$，那么 $\{X_t\}$ 是一个鞅，因为每一步的期望值都是零。
798 |
799 | ### 鞅的类型
800 |
801 | 除了标准的鞅，还有两个相关的概念：
802 |
803 | 1. **超鞅（Submartingale）**：若对于所有 $t$ 和 $s \geq t$，有 $\mathbb{E}[X_s \mid \mathcal{F}_t] \geq X_t$，则称 $\{X_t\}$ 为超鞅（或上鞅）。
804 | 2. **亚鞅（Supermartingale）**：若对于所有 $t$ 和 $s \geq t$，有 $\mathbb{E}[X_s \mid \mathcal{F}_t] \leq X_t$，则称 $\{X_t\}$ 为亚鞅（或下鞅）。
805 |
806 | 一个区分超鞅和亚鞅的记忆方法是：“生活是一个超鞅：随着时间的推进，期望降低。”
807 |
808 | ### 鞅差序列
809 |
810 | 鞅差 $D_t$ 定义为 $D_t = X_t - X_{t-1}$，鞅差序列（Martingale Difference Sequence）$\{D_t\}$ 则满足以下条件：
811 |
812 | 1. **适应性（Adaptedness）**：对于每一个 $t$，$D_t$ 是 $\mathcal{F}_t$-可测的。
813 | 2. **零条件期望（Zero Conditional Expectation）**：对于所有 $t$，有 $\mathbb{E}[D_t \mid \mathcal{F}_{t-1}] = 0$，即在已知过去信息 $\mathcal{F}_{t-1}$ 的条件下，$D_t$ 的条件期望为零。这意味着当前的观察值不提供对未来观察值的系统性偏差，即每一步的变化是纯随机的。
814 |
815 | 虽然鞅差序列中的每个元素的条件期望为零，但这并不意味着这些元素是独立的。相反，它们可以有复杂的依赖关系。鞅差序列的关键性质是每个元素在条件期望下为零，这使得它在分析鞅和集中不等式（如 Bernstein 不等式）中非常有用。
816 |
817 |
818 |
819 | ## KL 散度
820 |
821 | KL 散度（Kullback-Leibler 散度），也称为相对熵，是一种用于衡量两个概率分布之间差异的非对称度量，在信息论和统计学中广泛应用。KL 散度衡量的是在使用近似分布时，相比于使用真实分布，所增加的“信息损失”或“不确定性”。
822 |
823 | ### 定义
824 |
825 | 假设有两个概率分布 $P$ 和 $Q$，它们定义在同一个概率空间上。$P$ 通常被认为是“真实”分布，而 $Q$ 是近似分布。KL 散度 $D_{KL}(P \| Q)$ 表示为：
826 | $$
827 | \begin{equation}
828 | D_{KL}(P \| Q) = \sum_{x} P(x) \ln \frac{P(x)}{Q(x)}
829 | \end{equation}
830 | $$
831 | 对于连续分布：
832 | $$
833 | \begin{equation}
834 | D_{KL}(P \| Q) = \int_{-\infty}^{+\infty} p(x) \ln \frac{p(x)}{q(x)} \, dx
835 | \end{equation}
836 | $$
837 | 其中，$P(x)$ 和 $Q(x)$ 分别是分布 $P$ 和 $Q$ 在 $x$ 处的概率密度函数（或概率质量函数）。
838 |
839 | ### 性质
840 |
841 | 1. **非负性**：KL 散度总是非负的，即 $D_{KL}(P \| Q) \geq 0$，只有当 $P$ 和 $Q$ 完全相同时，KL 散度才为零。
842 |
843 | ### 非负性的证明
844 |
845 | KL 散度的非负性可以通过 Jensen 不等式来证明。首先，考虑离散情况下的 KL 散度定义：
846 | $$
847 | \begin{equation}
848 | D_{KL}(P \| Q) = \sum_{x} P(x) \ln \frac{P(x)}{Q(x)}
849 | \end{equation}
850 | $$
851 | 由于对数函数是一个凹函数，可以应用 Jensen 不等式。对于凹函数 $f$ 和随机变量 $X$，有：
852 | $$
853 | \begin{equation}
854 | f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]
855 | \end{equation}
856 | $$
857 |
858 | 将 $f(x) = \ln(x)$，并令 $X = \frac{Q(x)}{P(x)}$。则有：
859 | $$
860 | \begin{equation}
861 | \ln(\mathbb{E}[\frac{Q(x)}{P(x)}]) \geq \mathbb{E}[\ln(\frac{Q(x)}{P(x)})]
862 | \end{equation}
863 | $$
864 |
865 | 因为 $\sum_{x} P(x) = 1$ 且 $Q(x) \geq 0$，所以：
866 | $$
867 | \begin{equation}
868 | \mathbb{E}[\frac{Q(x)}{P(x)}] = \sum_{x} P(x) \frac{Q(x)}{P(x)} = \sum_{x} Q(x) = 1
869 | \end{equation}
870 | $$
871 |
872 | 于是，有：
873 | $$
874 | \begin{equation}
875 | 0 = \ln(1) \geq \sum_{x} P(x) \ln(\frac{Q(x)}{P(x)})
876 | \end{equation}
877 | $$
878 | 即：
879 | $$
880 | \begin{equation}
881 | D_{KL}(P \| Q) = \sum_{x} P(x) \ln(\frac{P(x)}{Q(x)}) \geq 0
882 | \end{equation}
883 | $$
884 |
885 | 2. **非对称性**：$D_{KL}(P \| Q) \neq D_{KL}(Q \| P)$，即 KL 散度不是对称的，交换 $P$ 和 $Q$ 一般会导致不同的结果。
886 |
887 | ### 应用
888 |
889 | - **机器学习**：在训练过程中，KL 散度常用于优化目标函数，例如变分自编码器（VAE）和生成对抗网络（GAN）。通过最小化 KL 散度，可以使近似分布 $Q$ 尽可能接近真实分布 $P$，从而提高模型的准确性和效率。
890 | - **信息论**：用于测量编码方案的效率，评估数据压缩方案等。
891 | - **统计学**：用于假设检验和模型选择。
892 |
893 |
894 |
895 | ## 先验和后验
896 |
897 | 先验（Prior）和后验（Posterior）是贝叶斯统计中的两个核心概念，用于描述不确定性和信息更新的过程。
898 |
899 | ### 先验概率（Prior Probability）
900 |
901 | **定义**：先验概率是指在获得新数据之前，根据已有的知识或经验对某一事件或参数的初始估计。先验概率反映了在观察到新数据之前，我们对某一事件或参数的不确定性。
902 |
903 | **表示方法**：用 $P(\theta)$ 表示，其中 $\theta$ 代表参数或事件。
904 |
905 | **作用**：先验概率提供了一个起点，在进行贝叶斯推断时，它与新的数据结合，更新我们的认知。
906 |
907 | ### 后验概率（Posterior Probability）
908 |
909 | **定义**：后验概率是指在获得新数据之后，根据贝叶斯定理更新的某一事件或参数的概率分布。后验概率反映了在观察到新数据之后，我们对某一事件或参数的不确定性。
910 |
911 | **表示方法**：用 $P(\theta \mid D)$ 表示，其中 $\theta$ 代表参数或事件， $D$ 代表新观察到的数据。
912 |
913 | **计算方法**：根据贝叶斯定理，后验概率可以通过先验概率、似然函数和边际似然计算得到：
914 | $$
915 | \begin{equation}
916 | P(\theta \mid D) = \frac{P(D \mid \theta) P(\theta)}{P(D)}
917 | \end{equation}
918 | $$
919 | 其中：
920 | - $P(\theta \mid D)$ 是后验概率。
921 | - $P(D \mid \theta)$ 是似然函数，表示在给定参数 $\theta$ 时观察到数据 $D$ 的概率。
922 | - $P(\theta)$ 是先验概率。
923 | - $P(D)$ 是边际似然，表示观察到数据 $D$ 的总体概率。
924 |
925 |
926 |
927 | ## 拓扑向量空间
928 |
929 | 拓扑向量空间（Topological Vector Space，简称 TVS）是一个定义在拓扑域 $\mathbb{K}$（通常是带有标准拓扑的实数或复数）上的向量空间，该空间被赋予了一个拓扑结构，使得向量加法 $\cdot\, + \,\cdot\; : X \times X \to X$ 和标量乘法 $\cdot : \mathbb{K} \times X \to X$ 是连续函数（这些函数的定义域赋予了乘积拓扑）。这样的拓扑被称为 $X$ 上的**向量拓扑**或**TVS 拓扑**。
930 |
931 | 拓扑向量空间是数学分析和函数空间理论中的重要概念，它们将向量空间的代数结构与拓扑空间的结构相结合，从而使我们能够更好地理解向量空间中的连续性和收敛性。
932 |
933 |
934 |
935 | ## 超平面
936 |
937 | 超平面（Hyperplane）是指一个比所在拓扑向量空间少一维的平滑仿射子空间。
938 | 半空间（Half Space）是指拓扑向量空间被超平面划分出的两个区域之一。
939 |
940 | 假设有一个超平面，其由以下方程定义：
941 | $$
942 | \begin{equation}
943 | \mathbf{n} \cdot \mathbf{x} = c
944 | \end{equation}
945 | $$
946 | 其中，$\mathbf{n}$ 是垂直于超平面的法向量，$\mathbf{x}$ 是空间中的一个点，$c$ 是一个常数。
947 |
948 | 两个半空间分别由以下不等式定义：
949 | $$
950 | \begin{equation}
951 | \mathbf{n} \cdot \mathbf{x} \geq c
952 | \end{equation}
953 | $$
954 | 和
955 | $$
956 | \begin{equation}
957 | \mathbf{n} \cdot \mathbf{x} \leq c
958 | \end{equation}
959 | $$
960 | 这些不等式中的每一个代表了超平面两侧的一个半空间，满足其中一个不等式的点位于相应的半空间中。
961 |
962 |
963 |
964 | ## 紧空间
965 |
966 | 紧空间（Compact Space）在数学中是一种具有特殊性质的空间，即它在某种意义上表现得像“有限的”，即使它可能看起来非常大，甚至是无限的。
967 |
968 | 一个空间被称为紧致的，如果可以用有限数量的小而重叠的片段完全覆盖整个空间。换句话说，即使这个空间本身可能非常大或无限大，但紧致性意味着总能用有限数量的部分来描述它的全貌。
969 |
970 | 紧空间可以理解为一种“有限”或“被包含”的空间。这种空间不会让你“无限延伸”，而是会将你限制在某个范围内。想象你在一个小岛上，无论你走到哪里，总会遇到岛的边缘——你不能无限制地前进，总有一个尽头。这类似于紧空间。
971 |
972 | 相反地，如果你在一片无边无际的沙漠中，可以一直走下去而永远不会到达尽头，这类似于非紧空间。在紧空间中，总有一种“有限”的感觉，而在非紧空间中，感觉像是没有尽头的延伸。
973 |
974 |
975 |
976 | ## Taylor展开
977 |
978 | **Taylor展开**（Taylor Expansion）是用多项式来近似一个函数的工具。它表示一个函数在某一点附近的值为该函数在该点的导数信息的线性组合，从而通过简单的多项式来逼近复杂的函数。
979 |
980 | ### 定义：
981 | 给定一个在某点 $a$ 处可导多次的函数 $f(x)$，它的 **Taylor 展开** 在点 $a$ 处的表达式为：
982 |
983 | $$
984 | \begin{equation}
985 | f(x) = f(a) + f'(a)(x - a) + \frac{f''(a)}{2!}(x - a)^2 + \frac{f^{(3)}(a)}{3!}(x - a)^3 + \dots + \frac{f^{(n)}(a)}{n!}(x - a)^n + R_n(x)
986 | \end{equation}
987 | $$
988 |
989 | 其中：
990 | - $f^{(n)}(a)$ 表示函数 $f(x)$ 在点 $a$ 处的第 $n$ 阶导数，
991 | - $R_n(x)$ 是剩余项（余项），它表示截断后，未被包含的误差部分。
992 |
993 | 当 $x$ 足够接近 $a$ 时，截取足够多项的 Taylor 展开可以非常准确地逼近函数值。
994 |
995 | ### 特殊情况：麦克劳林（Maclaurin）展开
996 | 当 $a = 0$ 时，Taylor 展开被称为 **麦克劳林展开**，形式为：
997 |
998 | $$
999 | \begin{equation}
1000 | f(x) = f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 + \frac{f^{(3)}(0)}{3!}x^3 + \dots
1001 | \end{equation}
1002 | $$
1003 |
1004 | ### 例子：
1005 | 1. **指数函数的 Taylor 展开**（以 $a = 0$ 为例，即 麦克劳林展开）：
1006 | $$
1007 | \begin{equation}
1008 | e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots
1009 | \end{equation}
1010 | $$
1011 |
1012 | 2. **正弦函数的 Taylor 展开**（在 $a = 0$ 处）：
1013 | $$
1014 | \begin{equation}
1015 | \sin(x) = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \dots
1016 | \end{equation}
1017 | $$
1018 |
1019 | 通过 Taylor 展开，我们可以在某个点附近用有限项多项式来近似复杂的函数。这在数值计算和分析中非常有用。
--------------------------------------------------------------------------------
/docs/catalog.md:
--------------------------------------------------------------------------------
1 | # 序言
2 |
3 | *编辑：詹好，赵志民，王茂霖*
4 |
5 | ---
6 |
7 | ## 关于《机器学习理论导引》
8 |
9 | 近年来，机器学习领域发展迅猛，相关的课程与教材层出不穷。国内的经典教材如周志华的 **[《机器学习》](https://book.douban.com/subject/26708119)** 和李航的 **[《统计学习方法》](https://book.douban.com/subject/33437381)**，为许多学子提供了机器学习的入门指引。而在国外，Tom Mitchell 的 *Machine Learning*、Richard O. Duda 等人的 *Pattern Classification*、Ethem Alpaydın 的 *Introduction to Machine Learning* 等书籍则提供了更为系统的学习路径。对于希望深入学习的读者，Christopher M. Bishop 的 *Pattern Recognition and Machine Learning*、Kevin P. Murphy 的 *Machine Learning - A Probabilistic Perspective*、Trevor Hastie 等人的 *The Elements of Statistical Learning* 等著作也能提供详尽的理论指导。这些书籍无论在国内外，都成为了学习机器学习的重要资源。
10 |
11 | 然而，从**机器学习理论**的角度来看，现有的学习材料仍存在不足之处。相比于聚焦机器学习算法的著作，专注于机器学习理论的书籍未得到足够的重视。尽管上述一些经典著作中涉及到理论探讨，但篇幅有限，往往仅以独立章节或片段呈现，难以满足深入研究的需求。
12 |
13 | 以往的机器学习理论经典教材大多为英文撰写。上世纪末围绕统计学习理论展开的讨论，催生了诸如 Vladimir Vapnik 的 *The Nature of Statistical Learning Theory* 和 *Statistical Learning Theory*，以及 Luc Devroye 等人的 *A Probabilistic Theory of Pattern Recognition* 等经典文献。近年来，Shai Shalev-Shwartz 和 Shalev Ben-David 的 *Understanding Machine Learning*，以及 Mehryar Mohri 等人的 *Foundations of Machine Learning* 进一步推进了这一领域的发展。虽然部分经典著作已有高质量的中文译本，但由中文作者撰写的机器学习理论入门书籍仍显不足。
14 |
15 | 如今，周志华、王魏、高尉、张利军等老师合著的 **[《机器学习理论导引》](https://book.douban.com/subject/35074844)**（以下简称《导引》）填补了这一空白。该书以通俗易懂的语言，为有志于学习和研究机器学习理论的读者提供了良好的入门指引。全书涵盖了 **可学性、假设空间复杂度、泛化界、稳定性、一致性、收敛率、遗憾界** 七个重要的概念和理论工具。
16 |
17 | 尽管学习机器学习理论可能不像学习算法那样能够立即应用，但只要持之以恒，深入探究，必将能够领悟到机器学习中的重要思想，并体会其中的深邃奥妙。
18 |
19 | -- *詹好*
20 |
21 | ## 关于《机器学习理论导引》的讲解与笔记
22 |
23 | 《导引》的讲解笔记在团队内部被亲切地称为《钥匙书》。“钥匙”寓意着帮助读者开启知识之门，解答学习中的疑惑。
24 |
25 | 《导引》作为一本理论性较强的著作，涵盖了大量数学定理和证明。尽管作者团队已尽力降低学习难度，但由于机器学习理论本身的复杂性，读者仍需具备较高的数学基础。这可能导致部分读者在学习过程中感到困惑，影响学习效果。此外，由于篇幅限制，书中对某些概念和理论的实例说明不足，也增加了理解的难度。
26 |
27 | 基于以上原因，我们决定编辑这本《钥匙书》作为参考笔记，对《导引》进行深入的注解和补充。其目的是帮助读者更快理解并掌握书中内容，同时记录我们在学习过程中的思考和心得。
28 |
29 | 《钥匙书》主要包含以下四个部分：
30 |
31 | 1. **概念解释**：介绍书中涉及但未详细阐释的相关概念。
32 | 2. **证明补充**：详细解释部分证明的思路，并补充书中省略的证明过程。
33 | 3. **案例分享**：增加相关实例，帮助读者加深对抽象概念的理解。
34 |
35 | 鉴于《导引》第一章的内容简明易懂，《钥匙书》从第二章开始详细展开。
36 |
37 | 对我个人而言，《机器学习理论导引》与*Understanding Machine Learning*和*Foundations of Machine Learning*一样，都是既“无用”又“有用”的书籍。“无用”在于目前的经典机器学习理论尚难全面解释深度学习，尤其是现代生成式大模型的惊人表现。然而，我坚信未来的理论突破将基于现有研究成果，开创新的篇章。因此，分析结论可能并非最重要，真正宝贵的是其中蕴含的思想和分析思路。数学作为一种强有力的工具，能够帮助我们更深入地理解和探索。我期望未来的深度学习能够拥有更多坚实的理论支撑，从而更好地指导实践。正如费曼所言：“What I cannot create, I do not understand.”——“凡我不能创造，我就不能理解。”希望大家能从这些理论中获得启发，创造出更有意义的成果。
38 |
39 | 另一方面，这本书也让我认识到自身的不足。不同于传统的机器学习算法教材，本书要求读者具备良好的数学功底，通过数学工具从更抽象的角度分析机器学习算法的性质，而非算法本身。学习之路或许漫长，但正如《牧羊少年的奇幻漂流》中所言：“每个人的寻梦过程都是以‘新手的运气’为开端，又总是以‘对远征者的考验’收尾。”希望大家能坚持经历考验，最终实现自己的梦想。
40 |
41 | 自《钥匙书》v1.0 版本发布以来，受到了众多学习者的关注。我们也收到了许多关于教材内容的疑问。为进一步深入理解相关知识，并记录团队对机器学习理论相关书籍的学习过程，我们将持续对《钥匙书》进行不定期更新，期待大家的关注。
42 |
43 | -- 王茂霖
44 |
45 | ## 关于《机器学习理论导引》的价值与应用
46 |
47 | 随着机器学习的蓬勃发展，**SOTA**（State-of-the-art，最先进技术）几乎成了评判算法优劣的唯一标准。然而，这种对表面表现的单一追求，往往忽视了支撑其背后的基础理论。正如硅谷投资人吴军在《数学之美》中所言，顶尖科学家通过理论设定学科的边界，赋予未来研究者方向和框架。1936年，图灵在其著名论文中奠定了可计算性理论的基础，定义了哪些问题可以通过算法解决。同样，机器学习研究者只有具备深厚的理论根基，才能在实践中面对瓶颈时不迷失方向，而是继续探索，甚至开辟新的研究领域。
48 |
49 | 理论研究的重要性在**没有免费午餐定理**（No Free Lunch Theorem）中得到了充分体现。该定理明确指出，不存在一种能够适用于所有问题的通用算法。虽然某些算法在特定领域或时间点可能表现出色，如神经网络的崛起，但其优势通常仅限于特定任务和环境。盲目追求某一种算法的短期成功，可能导致在长期发展中陷入困境。通过理论学习，研究者能够识别这些局限，避免在实践中一味追逐SOTA，而忽视更为长远的技术路线。
50 |
51 | 1987年，Robert Hecht-Nielsen证明了任何连续的多元函数都可以通过特定的三层神经网络实现。这一成果在神经网络领域引发了广泛讨论。随后，Vugar Ismailov进一步扩展了这一理论，证明即使是不连续的函数，也可以通过类似的神经网络实现。这些研究不仅揭示了神经网络在函数逼近中的强大能力，还为模型的泛化性能提供了新的理论支持。这再次说明，机器学习理论不仅帮助我们理解现有模型的潜力，还能为未来的算法设计和改进奠定坚实的基础。
52 |
53 | 然而，理论与实践之间的差距始终存在。许多理论假设在现实应用中可能难以完全成立，特别是在处理大数据和复杂模型时，理论的指导似乎显得力不从心。然而，这并不意味着理论无用，恰恰相反，这正是推动学科发展的驱动力。机器学习的发展史表明，当实践遭遇瓶颈时，往往是理论的创新带来了新的突破。例如，在早期，受限于数据和算力，理论研究主导了机器学习的发展；而在互联网时代，随着数据量的指数级增长和计算资源的提升，实践逐渐超越理论。如今，面对数据、能源和算力的挑战，理论再次成为优化模型效率和提升算法性能的关键。
54 |
55 | 每当实践遇到瓶颈，理论创新总能带来突破。Transformer模型便是一个典型例子。近年来，Transformer凭借其强大的任务处理能力成为机器学习领域的明星模型。近期在ICLR 2024大会上，斯隆奖得主马腾宇及其团队通过数学方法证明，Transformer模型可以模拟任意多项式规模的数字电路。这一成果为其在复杂任务中的潜力提供了理论支持。与此同时，Chulhee Yun等人通过严谨的数学分析，证明了Transformer模型是紧支撑的连续置换等变序列到序列函数的通用逼近器。这些研究进一步揭示了Transformer模型在更广泛任务中的成功背后深层次的理论基础。这些成果不仅帮助我们更深入理解复杂模型的本质，还为未来的模型设计和优化提供了新方向。
56 |
57 | 理论学习不仅帮助我们理解模型的潜在能力，还为算法的泛化能力提供了深入洞见。通过研究机器学习理论，可以推导出算法在不同假设条件下的性能极限。例如，理论研究可以帮助我们评估算法的收敛速度，预测其在不同数据量和模型复杂度下的表现。这些理论工具不仅提高了研究的严谨性，还为实际应用提供了重要的指导。例如，通过理论分析，我们理解了为什么大规模语言模型的训练需要如此庞大的数据集，以及在某些任务上微调模型的优势。
58 |
59 | 结合神经网络和Transformer模型的理论进展，我们可以看到，理论贯穿了机器学习发展的每一个阶段。从最初的多层感知器到如今的大规模语言模型，理论研究不仅为算法性能提升提供了保障，也为未来技术发展奠定了稳固的基石。在追求SOTA的过程中，我们不能忽视理论的重要性，因为深刻的理论洞见是应对长期挑战、推动技术演进的关键。
60 |
61 | 最后，掌握机器学习理论不仅能够为初学者奠定坚实的基础，增强他们的信心，还能帮助他们在面对外界质疑时保持理性和清醒的判断。无论是在研究中提升算法，还是在实践中应对现实挑战，理论的力量都不可或缺。在本书的编撰中，我们特别对部分证明进行了必要的诠释和展开，主要集中于原书中流畅性不足的内容，或那些虽提供了参考文献但证明篇幅不超过5页的论述。对于超出5页的文献，我们建议读者直接参阅原文，以便更深入地探究；此类情况在本书中出现频率较低，约不超过五处。
62 |
63 | 通过深入学习机器学习理论，我们不仅能够更好地理解当前的挑战，还能认识到这些问题实际上是迈向**通用人工智能**（Artificial General Intelligence，AGI）过程中必须面对和解决的关键节点。
64 |
65 | ——赵志民
66 |
67 | ## 项目成员贡献与特别鸣谢
68 |
69 | [詹好](https://github.com/zhanhao93)负责了项目的初期规划与统筹，并参与了第一版的编辑和审核；[赵志民](https://github.com/zhimin-z)主导了项目二期的更新与维护，并负责全书最终编辑和校验；[李一飞](https://github.com/leafy-lee)参与了第1-5章内容的编辑；[王茂霖](https://github.com/mlw67)参与了第2-6章内容的编辑。
70 |
71 | 另外，特别鸣谢了[谢文睿](https://github.com/Sm1les)和[杨昱文](https://github.com/youngfish42)，他们共同提供了本书的在线阅读功能；[张雨](https://github.com/Drizzle-Zhang)对第2章的早期内容进行了修订，各成员的协作确保了本书高质量的编写和顺利完成。
72 |
--------------------------------------------------------------------------------
/docs/chapter1.md:
--------------------------------------------------------------------------------
1 | # 第1章：预备定理
2 |
3 | *编辑：赵志民, 李一飞*
4 |
5 | ------
6 |
7 | 本章将对书中出现或用到的重要定理进行回顾，并简要解释其证明和应用场景。对于可能不熟悉相关基础知识的读者，建议参考附录中的基础知识部分。通过这些定理的阐述，希望帮助读者更好地理解数学推导的核心原理，并为后续章节的学习打下坚实基础。**大数定律**（Law of Large Numbers）和**集中不等式**（Concentration Inequality）密切相关，二者共同揭示了随机变量偏离其期望值的行为。大数定律说明，当样本量足够大时，样本均值会以概率收敛于总体的期望值，反映了长期平均结果的稳定性。而集中不等式（定理 1.8 至 1.18）则更进一步，为随机变量在有限样本量下偏离其期望值的可能性提供了精确的上界。这些不等式描述了随机变量偏离期望值的程度有多大，通过对概率的约束，确保这种偏离发生的概率较小，从而为各种随机现象提供了更细致的控制。集中不等式在大数定律的基础上提供了有力的工具，用于分析有限样本中的波动。
8 |
9 | ## 1.1 Jensen 不等式
10 |
11 | 对于任意凸函数 $f$，则有：
12 | $$
13 | \begin{equation}
14 | f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]
15 | \end{equation}
16 | $$
17 | 成立。
18 |
19 | ### 证明
20 |
21 | 设 $p(x)$ 为 $X$ 的概率密度函数。由 Taylor 展开式及 $f$ 的凸性，可知 $\exists \xi$ 使得：
22 | $$
23 | \begin{equation}
24 | \begin{align*}
25 | f(x) &= f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X]) + \frac{f^{\prime \prime}(\xi)}{2}(x-\mathbb{E}[X])^{2} \\
26 | & \geq f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X])
27 | \end{align*}
28 | \end{equation}
29 | $$
30 | 对上式取期望，得到：
31 | $$
32 | \begin{equation}
33 | \begin{align*}
34 | \mathbb{E}[f(X)] &= \int p(x) f(x) \,dx \\
35 | &\geq f(\mathbb{E}[X]) \int p(x) \,dx + f^{\prime}(\mathbb{E}[X]) \int p(x)(x-\mathbb{E}[X]) \,dx \\
36 | &= f(\mathbb{E}[X])
37 | \end{align*}
38 | \end{equation}
39 | $$
40 | 因此，原不等式得证。
41 |
42 | 如果 $f$ 是凹函数，则 Jensen 不等式变为：
43 | $$
44 | \begin{equation}
45 | f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]
46 | \end{equation}
47 | $$
48 | 这一结论可以通过将上述证明中的 $f$ 替换为 $-f$ 得到。$\square$
49 |
50 |
51 |
52 | ## 1.2 Hölder 不等式
53 |
54 | 对于任意 $p, q \in \mathbb{R}^{+}$，且满足 $\frac{1}{p} + \frac{1}{q} = 1$，则有：
55 | $$
56 | \begin{equation}
57 | \mathbb{E}[|XY|] \leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}
58 | \end{equation}
59 | $$
60 | 成立。
61 |
62 | ### 证明
63 |
64 | 设 $f(x)$ 和 $g(y)$ 分别为 $X$ 和 $Y$ 的概率密度函数，定义：
65 | $$
66 | \begin{equation}
67 | M = \frac{|x|}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}}}, \quad N = \frac{|y|}{(\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}}
68 | \end{equation}
69 | $$
70 | 代入 Young 不等式：
71 | $$
72 | \begin{equation}
73 | MN \leq \frac{1}{p}M^p + \frac{1}{q}N^q
74 | \end{equation}
75 | $$
76 | 对该不等式两边同时取期望：
77 | $$
78 | \begin{equation}
79 | \begin{align*}
80 | \frac{\mathbb{E}[|XY|]}{(\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}} &= \frac{\int_{XY} |xy| f(x)g(y) \,dx\,dy}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}} (\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}} \\
81 | &\leq \frac{\int_X |x|^p f(x) \,dx}{p \int_X |x|^p f(x) \,dx} + \frac{\int_Y |y|^q g(y) \,dy}{q \int_Y |y|^q g(y) \,dy} \\
82 | &= \frac{1}{p} + \frac{1}{q} \\
83 | &= 1
84 | \end{align*}
85 | \end{equation}
86 | $$
87 | 因此，Hölder 不等式得证。$\square$
88 |
89 |
90 |
91 | ## 1.3 Cauchy-Schwarz 不等式
92 |
93 | 当 $p = q = 2$ 时，Hölder 不等式退化为 Cauchy-Schwarz 不等式：
94 | $$
95 | \begin{equation}
96 | \mathbb{E}[|XY|] \leq \sqrt{\mathbb{E}[X^{2}] \cdot \mathbb{E}[Y^{2}]}
97 | \end{equation}
98 | $$
99 |
100 |
101 |
102 | ## 1.4 Lyapunov 不等式
103 |
104 | 对于任意 $0 \lt r \leq s$，有：
105 | $$
106 | \begin{equation}
107 | \sqrt[r]{\mathbb{E}[|X|^{r}]} \leq \sqrt[s]{\mathbb{E}[|X|^{s}]}
108 | \end{equation}
109 | $$
110 |
111 | ### 证明
112 |
113 | 由 Hölder 不等式：
114 | 对任意 $p \geq 1$，有：
115 | $$
116 | \begin{equation}
117 | \begin{align*}
118 | \mathbb{E}[|X|^{r}] &= \mathbb{E}[|X \cdot 1|^{r}] \\
119 | &\leq (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}} \cdot (\mathbb{E}[1^q])^{\frac{1}{q}} \\
120 | &= (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}}
121 | \end{align*}
122 | \end{equation}
123 | $$
124 | 记 $s = rp \geq r$，则：
125 | $$
126 | \begin{equation}
127 | \mathbb{E}[|X|^{r}] \leq (\mathbb{E}[|X|^{s}])^{\frac{r}{s}}
128 | \end{equation}
129 | $$
130 | 因此，原不等式得证。$\square$
131 |
132 |
133 |
134 | ## 1.5 Minkowski 不等式
135 |
136 | 对于任意 $p \geq 1$，有：
137 | $$
138 | \begin{equation}
139 | \sqrt[p]{\mathbb{E}[|X+Y|^p]} \leq \sqrt[p]{\mathbb{E}[|X|^p]} + \sqrt[p]{\mathbb{E}[|Y|^p]}
140 | \end{equation}
141 | $$
142 |
143 | ### 证明
144 |
145 | 由三角不等式和 Hölder 不等式，可得：
146 | $$
147 | \begin{equation}
148 | \begin{align*}
149 | \mathbb{E}[|X+Y|^p] &\leq \mathbb{E}[(|X|+|Y|)|X+Y|^{p-1}] \\
150 | &= \mathbb{E}[|X\|X+Y|^{p-1}] + \mathbb{E}[|Y\|X+Y|^{p-1}] \\
151 | &\leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} \\
152 | &= [(\mathbb{E}[|X|^p])^{\frac{1}{p}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}}] \cdot \frac{\mathbb{E}[|X+Y|^p]}{(\mathbb{E}[|X+Y|^p])^{\frac{1}{p}}}
153 | \end{align*}
154 | \end{equation}
155 | $$
156 | 化简后即得证。$\square$
157 |
158 |
159 |
160 | ## 1.6 Bhatia-Davis 不等式
161 |
162 | 对 $X \in [a,b]$，有：
163 | $$
164 | \begin{equation}
165 | \mathbb{V}[X] \leq (b - \mathbb{E}[X])(\mathbb{E}[X] - a) \leq \frac{(b-a)^2}{4}
166 | \end{equation}
167 | $$
168 |
169 | ### 证明
170 |
171 | 因为 $a \leq X \leq b$，所以有：
172 | $$
173 | \begin{equation}
174 | \begin{align*}
175 | 0 &\leq \mathbb{E}[(b-X)(X-a)] \\
176 | &= -\mathbb{E}[X^2] - ab + (a+b)\mathbb{E}[X]
177 | \end{align*}
178 | \end{equation}
179 | $$
180 | 因此，
181 | $$
182 | \begin{equation}
183 | \begin{align*}
184 | \mathbb{V}[X] &= \mathbb{E}[X^2] - \mathbb{E}[X]^2 \\
185 | &\leq -ab + (a+b)\mathbb{E}[X] - \mathbb{E}[X^2] \\
186 | &= (b - \mathbb{E}[X])(\mathbb{E}[X] - a)
187 | \end{align*}
188 | \end{equation}
189 | $$
190 |
191 | 考虑 AM-GM 不等式：
192 | $$
193 | \begin{equation}
194 | xy \leq (\frac{x+y}{2})^2
195 | \end{equation}
196 | $$
197 | 将 $x = b - \mathbb{E}[X]$ 和 $y = \mathbb{E}[X] - a$ 带入并化简即得证。$\square$
198 |
199 |
200 |
201 | ## 1.7 Union Bound（Boole's）不等式
202 |
203 | 对于任意事件 $X$ 和 $Y$，有：
204 | $$
205 | \begin{equation}
206 | P(X \cup Y) \leq P(X) + P(Y)
207 | \end{equation}
208 | $$
209 |
210 | ### 证明
211 |
212 | 根据概率的加法公式：
213 | $$
214 | \begin{equation}
215 | P(X \cup Y) = P(X) + P(Y) - P(X \cap Y) \leq P(X) + P(Y)
216 | \end{equation}
217 | $$
218 | 由于 $P(X \cap Y) \geq 0$，因此不等式得证。$\square$
219 |
220 |
221 |
222 | ## 1.8 Markov 不等式
223 |
224 | 若 $X \geq 0$，则对于任意 $\varepsilon \gt 0$，有：
225 | $$
226 | \begin{equation}
227 | P(X \geq \varepsilon) \leq \frac{\mathbb{E}[X]}{\varepsilon}
228 | \end{equation}
229 | $$
230 |
231 | ### 证明
232 |
233 | 由定义可得：
234 | $$
235 | \begin{equation}
236 | \mathbb{E}[X] = \int_{0}^{\infty} x p(x) \,dx \geq \int_{\varepsilon}^{\infty} x p(x) \,dx \geq \varepsilon \int_{\varepsilon}^{\infty} p(x) \,dx = \varepsilon P(X \geq \varepsilon)
237 | \end{equation}
238 | $$
239 | 因此，原不等式得证。$\square$
240 |
241 |
242 |
243 | ## 1.9 Chebyshev 不等式
244 |
245 | 对于任意 $\varepsilon \gt 0$，有：
246 | $$
247 | \begin{equation}
248 | P(|X-\mathbb{E}[X]| \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\varepsilon^{2}}
249 | \end{equation}
250 | $$
251 |
252 | ### 证明
253 |
254 | 利用 Markov 不等式，得到：
255 | $$
256 | \begin{equation}
257 | P(|X-\mathbb{E}[X]| \geq \varepsilon) = P((X-\mathbb{E}[X])^2 \geq \varepsilon^{2}) \leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{\varepsilon^{2}} = \frac{\mathbb{V}[X]}{\varepsilon^{2}}
258 | \end{equation}
259 | $$
260 | 因此，Chebyshev 不等式得证。$\square$
261 |
262 |
263 |
264 | ## 1.10 Cantelli 不等式
265 |
266 | 对于任意 $\varepsilon \gt 0$，有：
267 | $$
268 | \begin{equation}
269 | P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
270 | \end{equation}
271 | $$
272 |
273 | ### 证明
274 |
275 | 设 $Y = X - \mathbb{E}[X]$，则对于任意 $\lambda \geq 0$，有：
276 | $$
277 | \begin{equation}
278 | \begin{align*}
279 | P(X-\mathbb{E}[X] \geq \varepsilon) &= P(Y \geq \varepsilon) \\
280 | &= P(Y+\lambda \geq \varepsilon+\lambda) \\
281 | &= P((Y+\lambda)^{2} \geq (\varepsilon+\lambda)^{2}) \\
282 | &\leq \frac{\mathbb{E}[(Y+\lambda)^{2}]}{(\varepsilon+\lambda)^{2}} = \frac{\mathbb{V}[X]+\lambda^{2}}{(\varepsilon+\lambda)^{2}}
283 | \end{align*}
284 | \end{equation}
285 | $$
286 | 通过对 $\lambda$ 求导，得右端在 $\lambda = \frac{\mathbb{V}[X]}{\varepsilon}$ 时取得最小值 $\frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}$，因此：
287 | $$
288 | \begin{equation}
289 | P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
290 | \end{equation}
291 | $$
292 | 原不等式得证。$\square$
293 |
294 | 值得注意的是，Cantelli 不等式是 Chebyshev 不等式的加强版，也称为单边 Chebyshev 不等式。通过类似的构造方法，可以推导出比 Cantelli 不等式更严格的上界。
295 |
296 |
297 |
298 | ## 1.11 Chernoff 界（Chernoff-Cramér 界）
299 |
300 | 对于任意 $\lambda \gt 0, \varepsilon \gt 0$，有：
301 | $$
302 | \begin{equation}
303 | P(X \geq \varepsilon) \leq \min_{\lambda \gt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
304 | \end{equation}
305 | $$
306 | 对于任意 $\lambda \lt 0, \varepsilon \gt 0$，有：
307 | $$
308 | \begin{equation}
309 | P(X \leq \varepsilon) \leq \min_{\lambda \lt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
310 | \end{equation}
311 | $$
312 |
313 | ### 证明
314 |
315 | 应用 Markov 不等式，有：
316 | $$
317 | \begin{equation}
318 | P(X \geq \varepsilon) = P(e^{\lambda X} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \gt 0, \varepsilon \gt 0
319 | \end{equation}
320 | $$
321 | 同理，
322 | $$
323 | \begin{equation}
324 | P(X \leq \varepsilon) = P(e^{\lambda X} \leq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \lt 0, \varepsilon \gt 0
325 | \end{equation}
326 | $$
327 | 因此，Chernoff 界得证。$\square$
328 |
329 | 基于上述 Chernoff 界的技术，我们可以进一步定义次高斯性：
330 |
331 | **定义 1** (随机变量的次高斯性)：若一个期望为零的随机变量 $X$ 的矩母函数满足 $\forall \lambda \in \mathbb{R}^+$：
332 | $$
333 | \begin{equation}
334 | \mathbb{E}[e^{\lambda X}] \leq \exp(\frac{\sigma^2\lambda^2}{2})
335 | \end{equation}
336 | $$
337 | 则称 $X$ 服从参数为 $\sigma$ 的次高斯分布。
338 |
339 | 实际上，Hoeffding 引理中的随机变量 $X$ 服从 $\frac{(b-a)}{2}$ 的次高斯分布。Hoeffding 引理也是次高斯分布的直接体现。次高斯性还有一系列等价定义，这里不作详细讨论。
340 |
341 | 次高斯分布有一个直接的性质：假设两个独立的随机变量 $X_1, X_2$ 都是次高斯分布的，分别服从参数 $\sigma_1, \sigma_2$，那么 $X_1 + X_2$ 就是服从参数为 $\sqrt{\sigma_1^2 + \sigma_2^2}$ 的次高斯分布。这个结果的证明可以直接利用定义来完成。
342 |
343 | 显然，并非所有常见的随机变量都是次高斯的，例如指数分布。为此可以扩大定义：
344 |
345 | **定义 2** (随机变量的次指数性)：若非负的随机变量 $X$ 的矩母函数满足 $\forall \lambda \in (0,a)$：
346 | $$
347 | \begin{equation}
348 | \mathbb{E}[e^{\lambda X}] \leq \frac{a}{a - \lambda}
349 | \end{equation}
350 | $$
351 | 则称 $X$ 服从参数为 $(\mathbb{V}[X], 1/a)$ 的次指数分布。
352 |
353 | 同样地，次指数性也有一系列等价定义。一种不直观但更常用的定义如下：存在 $(\sigma^2, b)$，使得 $\forall |s| \lt 1/b$：
354 | $$
355 | \begin{equation}
356 | \mathbb{E}[e^{s(X−\mathbb{E}[X])}] \leq \exp ( \frac{s^2\sigma^2}{2} )
357 | \end{equation}
358 | $$
359 |
360 | 常见的次指数分布包括：指数分布，Gamma 分布，以及**任何有界随机变量**。
361 |
362 | 类似地，次指数分布对于加法也是封闭的：如果 $X_1, X_2$ 分别是服从 $(\sigma_1^2, b_1)$ 和 $(\sigma_2^2, b_2)$ 的次指数分布，那么 $X_1 + X_2$ 是服从 $(\sigma_1^2 + \sigma_2^2, \max(b_1, b_2))$ 的次指数分布。在高维统计问题中，次高斯分布和次指数分布的尾端控制能得到一些重要的结论。
363 |
364 |
365 |
366 | ## 1.12 Chernoff 不等式（乘积形式）
367 |
368 | 对于 $m$ 个独立同分布的随机变量 $x_i \in [0, 1], i \in [m]$，设 $X = \sum_{i=1}^m X_i$，$\mu \gt 0$ 且 $r \leq 1$。若对所有 $i \leq m$ 都有 $\mathbb{E}[x_i] \leq \mu$，则：
369 | $$
370 | \begin{equation}
371 | \begin{align*}
372 | P(X \geq (1+r)\mu m) \leq e^{-\frac{r^2 \mu m}{3}}, \quad r \geq 0 \\
373 | P(X \leq (1-r)\mu m) \leq e^{-\frac{r^2 \mu m}{2}}, \quad r \geq 0
374 | \end{align*}
375 | \end{equation}
376 | $$
377 |
378 | ### 证明
379 |
380 | 应用 Markov 不等式，有：
381 | $$
382 | \begin{equation}
383 | P(X \geq (1+r)\mu m) = P((1+r)^X \geq (1+r)^{(1+r)\mu m}) \leq \frac{\mathbb{E}[(1+r)^X]}{(1+r)^{(1+r)\mu m}}
384 | \end{equation}
385 | $$
386 | 由于 $x_i$ 之间是独立的，可得：
387 | $$
388 | \begin{equation}
389 | \mathbb{E}[(1+r)^X] = \prod_{i=1}^m \mathbb{E}[(1+r)^{x_i}] \leq \prod_{i=1}^m \mathbb{E}[1+rx_i] \leq \prod_{i=1}^m (1+r\mu) \leq e^{r\mu m}
390 | \end{equation}
391 | $$
392 | 其中，第二步使用了 $\forall x \in [0,1]$ 都有 $(1+r)^x \leq 1+rx$，第三步使用了 $\mathbb{E}[x_i] \leq \mu$，第四步使用了 $\forall x \in [0,1]$ 都有 $1+x \leq e^x$。
393 |
394 | 又由于 $\forall r \in [0,1]$，有 $\frac{e^r}{(1+r)^{1+r}} \leq e^{-\frac{r^2}{3}}$，综上所述：
395 | $$
396 | \begin{equation}
397 | P(X \geq (1+r)\mu m) \leq (\frac{e^r}{(1+r)^{(1+r)}})^{\mu m} \leq e^{-\frac{r^2 \mu m}{3}}
398 | \end{equation}
399 | $$
400 |
401 | 当我们将 $r$ 替换为 $-r$ 时，根据之前的推导，并利用 $\forall r \in [0,1]$ 有 $\frac{e^r}{(1-r)^{1-r}} \leq e^{-\frac{r^2}{2}}$，可得第二个不等式的证明。$\square$
402 |
403 |
404 |
405 | ## 1.13 最优 Chernoff 界
406 |
407 | 如果 $X$ 是一个随机变量，并且 $\mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \leq e^{\phi(\lambda)}$ 对于所有 $\lambda \geq 0$ 成立，则有以下结论：
408 | $$
409 | \begin{equation}
410 | P(X - \mathbb{E}X \geq \varepsilon) \leq e^{-\phi^*(\varepsilon)}, \quad \varepsilon \geq 0
411 | \end{equation}
412 | $$
413 | 或
414 | $$
415 | \begin{equation}
416 | P(X - \mathbb{E}X \leq (\phi^*)^{-1}(\ln(1/\delta))) \geq 1 - \delta, \quad \delta \in [0,1]
417 | \end{equation}
418 | $$
419 | 其中，$\phi^*$ 是 $\phi$ 的凸共轭函数，即 $\phi^*(x) = \sup_{\lambda \geq 0}(\lambda x - \phi(\lambda))$。
420 |
421 | ### 证明
422 |
423 | 根据 Chernoff 不等式，有：
424 | $$
425 | \begin{equation}
426 | \begin{align*}
427 | P(X - \mathbb{E}X \geq \varepsilon) &\leq \inf_{\lambda \geq 0} e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \\
428 | &\leq \inf_{\lambda \geq 0} e^{\phi(\lambda) - \lambda \varepsilon} \\
429 | &= e^{-\sup_{\lambda \geq 0}(\lambda \varepsilon - \phi(\lambda))} \\
430 | &= e^{-\phi^*(\varepsilon)}
431 | \end{align*}
432 | \end{equation}
433 | $$
434 | 因此，最优 Chernoff 界得证。$\square$
435 |
436 |
437 |
438 | ## 1.14 Hoeffding 不等式
439 |
440 | 设有 $m$ 个独立随机变量 $X_{i} \in [a_{i}, b_{i}]$，令 $\bar{X}$ 为 $X_{i}$ 的均值。Hoeffding 不等式表示：
441 |
442 | $$
443 | \begin{equation}
444 | P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
445 | \end{equation}
446 | $$
447 |
448 | ### 证明
449 |
450 | 首先，我们引入一个引理 (Hoeffding 定理)：
451 |
452 | 对于 $\mathbb{E}[X] = 0$ 且 $X \in [a, b]$ 的随机变量，对于任意 $\lambda \in \mathbb{R}$，有：
453 |
454 | $$
455 | \begin{equation}
456 | \mathbb{E}[e^{\lambda X}] \leq \exp( \frac{\lambda^2(b-a)^2}{8} )
457 | \end{equation}
458 | $$
459 |
460 | 由于 $e^x$ 是凸函数，对于任意 $x \in [a, b]$，可以写为：
461 |
462 | $$
463 | \begin{equation}
464 | e^{\lambda x} \leq \frac{b-x}{b-a}e^{\lambda a} + \frac{x-a}{b-a}e^{\lambda b}
465 | \end{equation}
466 | $$
467 |
468 | 对上式取期望，得到：
469 |
470 | $$
471 | \begin{equation}
472 | \mathbb{E}[e^{\lambda X}] \leq \frac{b-\mathbb{E}[X]}{b-a}e^{\lambda a} + \frac{\mathbb{E}[X]-a}{b-a}e^{\lambda b} = \frac{be^{\lambda a} - ae^{\lambda b}}{b - a}
473 | \end{equation}
474 | $$
475 |
476 | 记 $\theta = -\frac{a}{b-a}$，$h = \lambda(b-a)$，则：
477 |
478 | $$
479 | \begin{equation}
480 | \frac{be^{\lambda a} - ae^{\lambda b}}{b - a} = [1-\theta + \theta e^{h}]e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h})}e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h}) -\theta h}
481 | \end{equation}
482 | $$
483 |
484 | 定义函数 $\varphi(\theta, h) = \ln(1-\theta + \theta e^{h}) -\theta h$。注意到 $\theta$ 实际上与 $h$ 无关。对 $h$ 求偏导数：
485 |
486 | $$
487 | \begin{equation}
488 | \frac{\partial \varphi}{\partial h} = \frac{\theta e^h}{1 - \theta + \theta e^h} - \theta
489 | \end{equation}
490 | $$
491 |
492 | 显然有 $\frac{\partial \varphi}{\partial h}\big|_{h=0^+} = 0$。同理，利用链式法则可得：
493 |
494 | $$
495 | \begin{equation}
496 | \frac{\partial^2 \varphi}{\partial h^2} = \frac{\theta e^h(1 - \theta + \theta e^h) - \theta^2e^{2h}}{(1 - \theta + \theta e^h)^2} = \frac{\theta e^h}{1 - \theta + \theta e^h}(1- \frac{\theta e^h}{1 - \theta + \theta e^h}) \leq \frac{1}{4}
497 | \end{equation}
498 | $$
499 |
500 | 根据泰勒展开式，可以得到：
501 |
502 | $$
503 | \begin{equation}
504 | \varphi(\theta, h) \leq \frac{h^2}{8} = \frac{\lambda^2(b-a)^2}{8}
505 | \end{equation}
506 | $$
507 |
508 | 由 Markov 不等式可知，对于任意 $\lambda \gt 0$：
509 |
510 | $$
511 | \begin{equation}
512 | P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) = P(e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])}]}{e^{\lambda \varepsilon}}
513 | \end{equation}
514 | $$
515 |
516 | 利用随机变量的独立性及 Hoeffding 引理，有：
517 |
518 | $$
519 | \begin{equation}
520 | \frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}]})]}{e^{\lambda \varepsilon}} = e^{-\lambda \varepsilon} \prod_{i=1}^{m} \mathbb{E}[e^{\lambda(X_{i} - \mathbb{E}[X_{i}]) / m}] \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2}(b_{i} - a_{i})^{2}}{8 m^{2}})
521 | \end{equation}
522 | $$
523 |
524 | 考虑二次函数 $g(\lambda) = -\lambda \varepsilon + \frac{\lambda^{2}}{8 m^{2}} \sum_{i=1}^{m}(b_{i} - a_{i})^{2}$，其最小值为 $-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}}$。
525 |
526 | 因此可以得到：
527 |
528 | $$
529 | \begin{equation}
530 | P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
531 | \end{equation}
532 | $$
533 | $\square$
534 |
535 | 注意，这里并未要求随机变量同分布，因此Hoeffding 不等式常用来解释集成学习的基本原理。
536 |
537 |
538 |
539 | ## 1.15 McDiarmid 不等式
540 |
541 | 对于 $m$ 个独立随机变量 $X_{i} \in \mathcal{X}$，若函数 $f$ 是差有界的，则对于任意 $\varepsilon \gt 0$，有：
542 | $$
543 | \begin{equation}
544 | P(f(X_{1}, \cdots, X_{m})-\mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
545 | \end{equation}
546 | $$
547 |
548 | ### 证明
549 |
550 | 构造一个鞅差序列：
551 | $$
552 | \begin{equation}
553 | D_j = \mathbb{E}[f(X) \mid X_1, \cdots, X_j] - \mathbb{E}[f(X) \mid X_1, \cdots, X_{j-1}]
554 | \end{equation}
555 | $$
556 | 容易验证：
557 | $$
558 | \begin{equation}
559 | f(X) - \mathbb{E}[f(X)] = \sum_{i=1}^m D_i
560 | \end{equation}
561 | $$
562 | 由于 $f$ 是差有界的，因此满足 Azuma-Hoeffding 引理。代入后可得：
563 | $$
564 | \begin{equation}
565 | P(f(X_1, \cdots, X_m) - \mathbb{E}[f(X_1, \cdots, X_m)] \geq \varepsilon) \leq \exp( -\frac{\varepsilon^2}{2\sum_{i=1}^m c_i^2} )
566 | \end{equation}
567 | $$
568 | 原不等式得证。$\square$
569 |
570 |
571 |
572 | ## 1.16 Bennett 不等式
573 |
574 | 对于 $m$ 个独立随机变量 $X_{i}$，令 $\bar{X}$ 为 $X_{i}$ 的均值，若存在 $b \gt 0$，使得 $|X_i-\mathbb{E}[X_i]| \lt b$，则有：
575 | $$
576 | \begin{equation}
577 | P(\bar{X}-\mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{m \varepsilon^{2}}{2(\sum_{i=1}^{m} \mathbb{V}[X_{i}] / m + b \varepsilon / 3)})
578 | \end{equation}
579 | $$
580 |
581 | ### 证明
582 |
583 | 首先，Bennett 不等式是 Hoeffding 不等式的一个加强版，对于独立随机变量的条件可以放宽为弱独立条件，结论仍然成立。
584 |
585 | 这些 Bernstein 类的集中不等式更多地反映了在非渐近观点下的大数定律表现，即它们刻画了样本均值如何集中在总体均值附近。
586 |
587 | 如果将样本均值看作是样本（数据点的函数），即令 $f(X_{1}, \cdots, X_{m}) = \sum_{i=1}^{m} X_{i} / m$，那么 Bernstein 类不等式刻画了如下的概率：
588 | $$
589 | \begin{equation}
590 | P(f(X_{1}, \cdots, X_{m}) - \mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon)
591 | \end{equation}
592 | $$
593 | 为了在某些泛函上也具有类似 Bernstein 类的集中不等式形式，显然 $f$ 需要满足某些特定性质。差有界性是一种常见的约束条件。
594 |
595 | ### 定义 3: 差有界性
596 |
597 | 函数 $f: \mathcal{X}^{m} \rightarrow \mathbb{R}$ 满足对于每个 $i$，存在常数 $c_{i} \lt \infty$，使得：
598 | $$
599 | \begin{equation}
600 | |f(x_{1}, \cdots, x_{i}, \cdots, x_{m})-f(x_{1}, \cdots, x_{i}^{\prime}, \cdots, x_{m})| \leq c_{i}
601 | \end{equation}
602 | $$
603 | 则称 $f$ 是差有界的。
604 |
605 | 为了证明这些结果，需要引入一些新的数学工具。
606 |
607 | ### 定义 4: 离散鞅
608 |
609 | 若离散随机变量序列（随机过程）$Z_m$ 满足：
610 |
611 | 1. $\mathbb{E}[|Z_{i}|] \lt \infty$
612 | 2. $\mathbb{E}[Z_{m+1} \mid Z_{1}, \cdots, Z_{m}] = \mathbb{E}[Z_{m+1} \mid \mathcal{F}_{m}] = Z_{m}$
613 |
614 | 则称序列 $Z_i$ 为离散鞅。
615 |
616 | ### 引理 2: Azuma-Hoeffding 定理
617 |
618 | 对于鞅 $Z_{i}$，若 $\mathbb{E}[Z_{i}] = \mu, Z_{1} = \mu_{\circ}$，则构造鞅差序列 $X_{i} = Z_{i} - Z_{i-1}$，且 $|X_{i}| \leq c_{i}$，则对于任意 $\varepsilon \gt 0$，有：
619 | $$
620 | \begin{equation}
621 | P(Z_{m}-\mu \geq \varepsilon) = P(\sum_{i=1}^{m} X_{i} \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
622 | \end{equation}
623 | $$
624 |
625 | ### 证明
626 |
627 | 首先，若 $\mathbb{E}[X \mid Y] = 0$，则有 $\forall \lambda \gt 0$：
628 | $$
629 | \begin{equation}
630 | \mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}]
631 | \end{equation}
632 | $$
633 | 因此，由恒等式 $\mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X]$ 及 Chernoff 一般性技巧，对于任意 $\lambda \gt 0$：
634 | $$
635 | \begin{equation}
636 | \begin{align*}
637 | P(Z_{m}-\mu \geq \varepsilon) &\geq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m}-\mu)}] \\
638 | & = e^{-\lambda \varepsilon} \mathbb{E}[\mathbb{E}[e^{\lambda(Z_{m}-\mu)} \mid \mathcal{F}_{m-1}]] \\
639 | & = e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}\mathbb{E}[e^{\lambda (Z_{m}-Z_{m-1})} \mid \mathcal{F}_{m-1}]]
640 | \end{align*}
641 | \end{equation}
642 | $$
643 |
644 | 由于 $\{X_{i}\}$ 是鞅差序列，因此 $\mathbb{E}[X_{m} \mid \mathcal{F}_{m-1}] = 0, \mathbb{E}[X_{i}] = 0$。再结合不等式 $\mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}]$ 及 Hoeffding 引理，有：
645 | $$
646 | \begin{equation}
647 | \begin{align*}
648 | P(Z_{m}-\mu \geq \varepsilon) & \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \mathbb{E}[e^{\lambda X_{n}}] \\
649 | & \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \exp (\frac{\lambda^{2} c_{m}^{2}}{2})
650 | \end{align*}
651 | \end{equation}
652 | $$
653 | 迭代上不等式可得：
654 | $$
655 | \begin{equation}
656 | P(Z_{m}-\mu \geq \varepsilon) \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2} c_{i}^{2}}{2})
657 | \end{equation}
658 | $$
659 | 当 $\lambda = \frac{\varepsilon}{\sum_{i=1}^{m} c_{i}^{2}}$ 时，上式右端取得极小值：
660 | $$
661 | \begin{equation}
662 | P(Z_{m}-\mu \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
663 | \end{equation}
664 | $$
665 | 原不等式得证。$\square$
666 |
667 |
668 |
669 | ## 1.17 Bernstein 不等式
670 |
671 | 考虑 $m$ 个独立同分布的随机变量 $X_i, i \in [m]$。令 $\bar{X} = \frac{\sum_{i=1}^{m} X_i}{m}$。若存在常数 $b > 0$，使得对所有 $k \geq 2$，第 $k$ 阶矩满足 $\mathbb{E}[|X_i|^k] \leq \frac{k! b^{k-2}}{2} \mathbb{V}[X_1]$，则该不等式成立：
672 |
673 | $$
674 | \begin{equation}
675 | \mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
676 | \end{equation}
677 | $$
678 |
679 | ### 证明
680 |
681 | 首先，我们需要将**矩条件**（Moment Condition）转换为**亚指数条件**（Sub-exponential Condition），以便进一步推导，即：
682 |
683 | - **矩条件：**
684 | 对于随机变量 $X$，其 $k$-阶中心矩 满足如下条件：
685 | $$
686 | \begin{equation}
687 | \mathbb{E}\left[|X - \mathbb{E}[X]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X], \quad \forall k \geq 2
688 | \end{equation}
689 | $$
690 | 其中：
691 | 1. **中心矩**：随机变量 $X$ 的 $k$ 阶中心矩为 $\mathbb{E}\left[|X - \mathbb{E}[X]|^k\right]$，表示 $X$ 偏离其期望值的 $k$ 次幂的期望值。中心矩用于衡量随机变量的分布形状，尤其是描述其尾部行为。当 $k = 2$ 时，中心矩即为随机变量的方差。
692 | 2. $\frac{k!}{2}$ 是阶乘项，随着 $k$ 增大迅速增长。
693 | 3. $b^{k-2}$ 是一个修正因子，其中 $b$ 为常数，用以控制高阶矩的增长速率。
694 | 4. $\mathbb{V}[X]$ 表示随机变量 $X$ 的方差，它作为标准的离散度量来标定中心矩的大小。
695 |
696 | - **亚指数条件**：
697 | 给定随机变量 $X$，其均值为 $\mathbb{E}[X]$，方差为 $\mathbb{V}[X]$，则其偏离均值的随机变量 $X - \mathbb{E}[X]$ 的矩母函数（MGF）满足如下不等式：
698 | $$
699 | \begin{equation}
700 | \mathbb{E}\left[e^{\lambda (X - \mathbb{E}[X])}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
701 | \end{equation}
702 | $$
703 | 其中：
704 | 1. **矩母函数**：这是一个重要的工具，用于控制随机变量的尾部概率。矩母函数的形式是 $\mathbb{E}[e^{\lambda X}]$，它通过调整 $\lambda$ 来捕捉不同程度的偏差行为。
705 | 2. **方差主导项**：不等式右边的表达式包含一个方差主导的项 $\frac{\mathbb{V}[X] \lambda^2}{2}$，类似于高斯分布的尾部特性，表明当 $\lambda$ 较小时，$X$ 的偏差行为主要由其方差控制，尾部概率呈现指数衰减。
706 | 3. **修正项 $(1 - b\lambda)$**：该项显示，当 $\lambda$ 接近 $\frac{1}{b}$ 时，尾部偏差的控制变得更加复杂。这种形式通常出现在亚指数条件中，意味着随机变量的尾部行为介于高斯分布和重尾分布之间，尾部衰减较慢但仍比重尾分布快。
707 |
708 | ---
709 |
710 | - **步骤 1：中心化随机变量**
711 |
712 | 设：
713 | $$
714 | \begin{equation}
715 | Y = X - \mathbb{E}[X]
716 | \end{equation}
717 | $$
718 |
719 | 我们的目标是对 $Y$ 的矩母函数（MGF）进行上界：
720 | $$
721 | \begin{equation}
722 | \mathbb{E}\left[e^{\lambda Y}\right]
723 | \end{equation}
724 | $$
725 |
726 | ---
727 |
728 | - **步骤 2：展开指数矩**
729 |
730 | 将 MGF 展开为幂级数（Taylor展开）：
731 | $$
732 | \begin{equation}
733 | \mathbb{E}\left[e^{\lambda Y}\right] = \mathbb{E}\left[\sum_{k=0}^\infty \frac{(\lambda Y)^k}{k!}\right] = \sum_{k=0}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
734 | \end{equation}
735 | $$
736 |
737 | 由于 $\mathbb{E}[Y] = 0$，故 $k = 1$ 项消失：
738 | $$
739 | \begin{equation}
740 | \mathbb{E}\left[e^{\lambda Y}\right] = 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
741 | \end{equation}
742 | $$
743 |
744 | ---
745 |
746 | - **步骤 3：使用矩条件对中心矩进行上界**
747 |
748 | 根据矩条件：
749 | $$
750 | \begin{equation}
751 | \mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
752 | \end{equation}
753 | $$
754 |
755 | 因此：
756 | $$
757 | \begin{equation}
758 | |\mathbb{E}[Y^k]| \leq \mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
759 | \end{equation}
760 | $$
761 |
762 | ---
763 |
764 | - **步骤 4：代入 MGF 展开式**
765 |
766 | 将上界代入 MGF 展开式：
767 | $$
768 | \begin{equation}
769 | \mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \cdot \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X] = 1 + \frac{\mathbb{V}[X]}{2} \sum_{k=2}^\infty (b\lambda)^{k-2} \lambda^2
770 | \end{equation}
771 | $$
772 |
773 | 通过令 $j = k - 2$ 进行简化：
774 | $$
775 | \begin{equation}
776 | \mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2} \sum_{j=0}^\infty (b\lambda)^j
777 | \end{equation}
778 | $$
779 |
780 | ---
781 |
782 | - **步骤 5：求解几何级数的和**
783 |
784 | 当 $b\lambda < 1$ 时，几何级数收敛：
785 | $$
786 | \begin{equation}
787 | \sum_{j=0}^\infty (b\lambda)^j = \frac{1}{1 - b\lambda}
788 | \end{equation}
789 | $$
790 |
791 | 因此：
792 | $$
793 | \begin{equation}
794 | \mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}
795 | \end{equation}
796 | $$
797 |
798 | ---
799 |
800 | - **步骤 6：应用指数不等式**
801 |
802 | 使用不等式 $1 + x \leq e^{x}$ 对所有实数 $x$ 成立：
803 | $$
804 | \begin{equation}
805 | \mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right)
806 | \end{equation}
807 | $$
808 |
809 | 这与**亚指数条件**相符：
810 | $$
811 | \begin{equation}
812 | \mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
813 | \end{equation}
814 | $$
815 |
816 | ---
817 |
818 | 接下来我们完成在给定矩条件下的**Bernstein 不等式**的证明，即：
819 |
820 | **陈述：**
821 |
822 | 给定 $m$ 个独立同分布的随机变量 $X_i, i \in [m]$，令 $\bar{X} = \frac{1}{m}\sum_{i=1}^{m} X_i$。若存在常数 $b > 0$，使得对所有 $k \geq 2$，
823 | $$
824 | \begin{equation}
825 | \mathbb{E}\left[|X_i - \mathbb{E}[X_i]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X_1],
826 | \end{equation}
827 | $$
828 |
829 | 则对于任意 $\epsilon > 0$，
830 | $$
831 | \begin{equation}
832 | \mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
833 | \end{equation}
834 | $$
835 |
836 | ---
837 |
838 | - **步骤 1：定义单侧 Bernstein 条件**
839 |
840 | 首先，回顾对于参数 $b > 0$ 的**单侧 Bernstein 条件**：
841 | $$
842 | \begin{equation}
843 | \mathbb{E}\left[e^{\lambda(Y)}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2 / 2}{1 - b\lambda}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
844 | \end{equation}
845 | $$
846 | 其中 $Y = X - \mathbb{E}[X]$。
847 |
848 | 根据**矩条件**，我们已经证明 $Y$ 满足**亚指数条件**：
849 | $$
850 | \begin{equation}
851 | \mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
852 | \end{equation}
853 | $$
854 |
855 | 因此，$Y$ 满足**单侧 Bernstein 条件**，且 $\mathbb{V}[Y] = \mathbb{V}[X]$。
856 |
857 | - **步骤 2：应用 Chernoff 界**
858 |
859 | 考虑 $m$ 个独立同分布随机变量 $Y_i = X_i - \mathbb{E}[X_i]$ 的和：
860 | $$
861 | \begin{equation}
862 | S_m = \sum_{i=1}^{m} Y_i = m(\bar{X} - \mathbb{E}[\bar{X}])
863 | \end{equation}
864 | $$
865 |
866 | 我们的目标是对概率 $\mathbb{P}(S_m \geq m\epsilon)$ 进行上界，这等价于 $\mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon)$。
867 |
868 | 使用**Chernoff 界**：
869 | $$
870 | \begin{equation}
871 | \mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp(-\lambda m \epsilon) \mathbb{E}\left[e^{\lambda S_m}\right]
872 | \end{equation}
873 | $$
874 |
875 | - **步骤 3：对和的矩母函数进行上界**
876 |
877 | 由于 $Y_i$ 是独立的：
878 | $$
879 | \begin{equation}
880 | \mathbb{E}\left[e^{\lambda S_m}\right] = \prod_{i=1}^{m} \mathbb{E}\left[e^{\lambda Y_i}\right] \leq \left[\exp\left(\frac{\mathbb{V}[Y_i] \lambda^2}{2(1 - b\lambda)}\right)\right]^m = \exp\left(\frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
881 | \end{equation}
882 | $$
883 |
884 | 因此：
885 | $$
886 | \begin{equation}
887 | \mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp\left(-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
888 | \end{equation}
889 | $$
890 |
891 | - **步骤 4：对 $\lambda$ 进行优化**
892 |
893 | 为了找到最紧的界，我们需要对 $\lambda$ 进行优化。最优的 $\lambda$ 是使指数最小的值：
894 | $$
895 | \begin{equation}
896 | -\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}
897 | \end{equation}
898 | $$
899 |
900 | 对 $\lambda$ 求导并令其为零：
901 | $$
902 | \begin{equation}
903 | -\epsilon + \frac{\mathbb{V}[Y] \lambda}{1 - b\lambda} + \frac{\mathbb{V}[Y] \lambda^2 b}{2(1 - b\lambda)^2} = 0
904 | \end{equation}
905 | $$
906 |
907 | 然而，直接求解该方程较为复杂。我们可以选择：
908 | $$
909 | \begin{equation}
910 | \lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}
911 | \end{equation}
912 | $$
913 |
914 | 此时 $\lambda$ 满足 $\left[0, \frac{1}{b}\right)$ 的范围，因为：
915 | $$
916 | \begin{equation}
917 | \lambda b = \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} < 1
918 | \end{equation}
919 | $$
920 |
921 | - **步骤 5：将最优的 $\lambda$ 代入界中**
922 |
923 | 将 $\lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}$ 代入指数中：
924 | $$
925 | \begin{equation}
926 | -\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)} = -\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \mathbb{V}[Y] \left(\frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)^2}{2\left(1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)}
927 | \end{equation}
928 | $$
929 |
930 | 在第二项中简化分母：
931 | $$
932 | \begin{equation}
933 | 1 - b\lambda = 1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} = \frac{\mathbb{V}[Y]}{\mathbb{V}[Y] + b\epsilon}
934 | \end{equation}
935 | $$
936 |
937 | 现在，代入回去：
938 | $$
939 | \begin{equation}
940 | -\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)} = -\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}
941 | \end{equation}
942 | $$
943 |
944 | 因此：
945 | $$
946 | \begin{equation}
947 | \mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
948 | \end{equation}
949 | $$
950 |
951 | - **步骤 6：回到样本均值**
952 |
953 | 回忆：
954 | $$
955 | \begin{equation}
956 | S_m = m(\bar{X} - \mathbb{E}[\bar{X}])
957 | \end{equation}
958 | $$
959 |
960 | 因此：
961 | $$
962 | \begin{equation}
963 | \mathbb{P}\left(\bar{X} - \mathbb{E}[\bar{X}] \geq \epsilon\right) = \mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
964 | \end{equation}
965 | $$
966 |
967 | 由于 $\mathbb{V}[Y] = \mathbb{V}[X]$，我们得到：
968 | $$
969 | \begin{equation}
970 | \mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[X] + b\epsilon)}\right)
971 | \end{equation}
972 | $$
973 | $\square$
974 |
975 |
976 |
977 | ## 1.18 Azuma–Hoeffding（Azuma）不等式
978 |
979 | 对于均值为 $Z_0 = \mu$ 的鞅差序列 $\{Z_m, m \geq 1\}$，若 $|Z_i - Z_{i-1}| \leq c_i$，其中$c_i \gt 0$为已知常数，则对于任意 $\varepsilon \gt 0$，有：
980 | $$
981 | \begin{equation}
982 | \begin{align*}
983 | P(Z_{m} - \mu \geq \varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}}) \\
984 | P(Z_{m} - \mu \leq -\varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}})
985 | \end{align*}
986 | \end{equation}
987 | $$
988 |
989 | ### 证明
990 |
991 | 1. **构造指数鞅**
992 |
993 | 考虑参数 $s \gt 0$，构造如下的指数鞅：
994 |
995 | $$
996 | \begin{equation}
997 | M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
998 | \end{equation}
999 | $$
1000 |
1001 | 我们需要证明 $\{M_m\}_{m \geq 0}$ 是一个超鞅。
1002 |
1003 | 2. **验证鞅性质**
1004 |
1005 | 对于任意 $m \geq 1$，有
1006 |
1007 | $$
1008 | \begin{equation}
1009 | \mathbb{E}[M_m \mid \mathcal{F}_{m-1}] = \mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
1010 | \end{equation}
1011 | $$
1012 |
1013 | 由于 $|Z_m - Z_{m-1}| \leq c_m$，并且 $\mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] = 0$（鞅性质），可以应用 Hoeffding 引理得到：
1014 |
1015 | $$
1016 | \begin{equation}
1017 | \mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \leq \exp(s\mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] + \frac{s^2(c_m-(-c_m))^2}{8}) = \exp(\frac{s^2 c_m^2}{2})
1018 | \end{equation}
1019 | $$
1020 |
1021 | 因此，
1022 |
1023 | $$
1024 | \begin{equation}
1025 | \mathbb{E}[M_m \mid \mathcal{F}_{m-1}] \leq \exp(\frac{s^2 c_m^2}{2}) \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) = M_{m-1}
1026 | \end{equation}
1027 | $$
1028 |
1029 | 这表明 $\{M_m\}$ 是一个超鞅。
1030 |
1031 | 3. **应用鞅不等式**
1032 |
1033 | 由于 $\{M_m\}$ 是一个超鞅，且 $M_0 = \exp(0) = 1$，根据超鞅的性质，有
1034 |
1035 | $$
1036 | \begin{equation}
1037 | \mathbb{E}[M_m] \le M_0 = 1
1038 | \end{equation}
1039 | $$
1040 |
1041 | 对于事件 $\{Z_m - \mu \geq \varepsilon\}$，有
1042 |
1043 | $$
1044 | \begin{equation}
1045 | M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) \geq \exp(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
1046 | \end{equation}
1047 | $$
1048 |
1049 | 我们令 $a = \exp\left(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)$，由于 $\{Z_m - \mu \geq \varepsilon\}$ 蕴含了 $\{M_m \geq a\}$，所以：
1050 |
1051 | $$
1052 | \begin{equation}
1053 | P\left(Z_m - \mu \geq \varepsilon\right) \leq P\left(M_m \geq a\right)
1054 | \end{equation}
1055 | $$
1056 |
1057 | 结合已知的 $\mathbb{E}[M_m] \leq 1$，应用 Markov 不等式可得：
1058 |
1059 | $$
1060 | \begin{equation}
1061 | P\left(M_m \geq a\right) \leq \frac{1}{a} = \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
1062 | \end{equation}
1063 | $$
1064 |
1065 | 因此，我们得到：
1066 |
1067 | $$
1068 | \begin{equation}
1069 | P\left(Z_m - \mu \geq \varepsilon\right) \leq \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
1070 | \end{equation}
1071 | $$
1072 |
1073 | 4. **优化参数 $s$**
1074 |
1075 | 为了得到最优的上界，选择 $s$ 使得表达式 $-s \varepsilon + \frac{s^2}{2}\sum c_i^2$ 最小化。对 $s$ 求导并取零：
1076 |
1077 | $$
1078 | \begin{equation}
1079 | -\varepsilon + s \sum_{i=1}^{m} c_i^2 = 0 \quad \Rightarrow \quad s = \frac{\varepsilon}{\sum_{i=1}^{m} c_i^2}
1080 | \end{equation}
1081 | $$
1082 |
1083 | 代入得：
1084 |
1085 | $$
1086 | \begin{equation}
1087 | P(Z_m - \mu \geq \varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
1088 | \end{equation}
1089 | $$
1090 |
1091 | 这即是 Azuma 不等式的上侧不等式。
1092 |
1093 | 5. **下侧不等式的证明**
1094 |
1095 | 对于下侧不等式，可以类似地考虑 $-Z_m$ 作为鞅，应用相同的方法得到：
1096 |
1097 | $$
1098 | \begin{equation}
1099 | P(Z_m - \mu \leq -\varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
1100 | \end{equation}
1101 | $$
1102 |
1103 | 因此，Azuma 不等式得证。$\square$
1104 |
1105 |
1106 |
1107 | ## 1.19 Slud 不等式
1108 |
1109 | 若 $X \sim B(m,p)$，则有：
1110 | $$
1111 | \begin{equation}
1112 | P(\frac{X}{m} \geq \frac{1}{2}) \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^{2}}{1-\varepsilon^{2}})}]
1113 | \end{equation}
1114 | $$
1115 | 其中 $p = \frac{1-\varepsilon}{2}$。
1116 |
1117 | ### 证明
1118 |
1119 | 二项随机变量 $X$ 表示在 $m$ 次独立伯努利试验中成功的次数，成功概率为 $p$。对于大的 $m$，二项分布 $B(m,p)$ 可以近似为均值 $\mu=mp$ 和方差 $\sigma^2=mp(1-p)$ 的正态分布：
1120 | $$
1121 | \begin{equation}
1122 | \begin{align*}
1123 | \mu &= \frac{m(1-\varepsilon)}{2} \\
1124 | \sigma^2 &= \frac{m(1-\varepsilon^2)}{4}
1125 | \end{align*}
1126 | \end{equation}
1127 | $$
1128 | 令 $Z=\frac{X-\mu}{\sigma}$，代入 $\mu$ 和 $\sigma$，有：
1129 | $$
1130 | \begin{equation}
1131 | P[\frac{X}{m} \geq \frac{1}{2}] = P[Z \geq \frac{\frac{m}{2}-\mu}{\sigma}] = P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}]
1132 | \end{equation}
1133 | $$
1134 | 根据正态分布不等式（定理 21），有：
1135 | $$
1136 | \begin{equation}
1137 | P[Z \geq x] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{2x^2}{\pi})}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-x^2)}]
1138 | \end{equation}
1139 | $$
1140 | 代入可得：
1141 | $$
1142 | \begin{equation}
1143 | P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^2}{1-\varepsilon^2})}]
1144 | \end{equation}
1145 | $$
1146 | $\square$
1147 |
1148 |
1149 |
1150 | ## 1.20 上界不等式之加性公式
1151 |
1152 | 若 $\sup(f)$ 和 $\sup(g)$ 分别为函数 $f$ 和 $g$ 的上界，则有：
1153 | $$
1154 | \begin{equation}
1155 | \sup(f+g) \leq \sup(f) + \sup(g)
1156 | \end{equation}
1157 | $$
1158 |
1159 | ### 证明
1160 |
1161 | 假设 $f,g$ 分别有相同的定义域 $D_f,D_g$。根据上确界的定义，对于每一个 $x \in D_f \cap D_g$，我们有
1162 | $$
1163 | \begin{equation}
1164 | g(x) \leq \sup_{y \in D_g} g(y),
1165 | \end{equation}
1166 | $$
1167 | 从而
1168 | $$
1169 | \begin{equation}
1170 | f(x) + g(x) \leq f(x) + \sup_{y \in D_g} g(y).
1171 | \end{equation}
1172 | $$
1173 | 因为这对于每一个 $x \in D_f \cap D_g$ 都成立，我们可以在不等式的两边取上确界，得到：
1174 | $$
1175 | \begin{equation}
1176 | \sup_{x \in D_f \cap D_g}(f(x) + g(x)) \leq \sup_{x \in D_f \cap D_g} f(x) + \sup_{y \in D_g} g(y) \leq \sup_{z \in D_f} f(z) + \sup_{y \in D_g} g(y).
1177 | \end{equation}
1178 | $$
1179 | 这里我们使用了 $\sup_{x \in D_f \cap D_g} f(x) \leq \sup_{z \in D_f} f(z)$，因为 $D_f \cap D_g \subset D_f$。$\square$
1180 |
1181 | 值得注意的是，该不等式在（4.33）中利用过两次，且原推导并没有用到 Jensen 不等式的任何性质。
1182 |
1183 | 另外，加性公式有几个常见的变形，例如：
1184 | $$
1185 | \begin{equation}
1186 | \sup(f-g) - \sup(f-k) \leq \sup(k-g)
1187 | \end{equation}
1188 | $$
1189 | 该不等式在（4.29）中出现过。
1190 |
1191 |
1192 |
1193 | ## 1.21 正态分布不等式
1194 |
1195 | 若 $X$ 是一个服从标准正态分布的随机变量，那么对于任意 $u \geq 0$，有：
1196 | $$
1197 | \begin{equation}
1198 | \mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
1199 | \end{equation}
1200 | $$
1201 |
1202 | ### 证明
1203 |
1204 | 令 $G(u)=\mathbb{P}[X \leq u]$，则有：
1205 | $$
1206 | \begin{equation}
1207 | 2G(u) = \int_{-u}^u(2\pi)^{-1/2}e^{-x^2/2}\,dx = \int_{-u}^u(2\pi)^{-1/2}e^{-y^2/2}\,dy
1208 | \end{equation}
1209 | $$
1210 | 因此：
1211 | $$
1212 | \begin{equation}
1213 | 2\pi[2G(u)]^2 = \int_{-u}^u \int_{-u}^u e^{-(x^2+y^2)/2}\,dx\,dy
1214 | \end{equation}
1215 | $$
1216 | 让我们考虑更一般的积分形式：
1217 | $$
1218 | \begin{equation}
1219 | 2\pi[2G(u)]^2 = \iint_R e^{-(x^2+y^2)/2}\,dx\,dy
1220 | \end{equation}
1221 | $$
1222 | 此时 $R$ 为任意面积为 $4u^2$ 的区域。通过反证法可以证明，只有当 $R$ 为以原点为中心的圆形区域 $R_0$ 时，积分值最大：
1223 | $$
1224 | \begin{equation}
1225 | R_0 = \{(x,y):\pi(x^2+y^2)\leq 4u^2\}
1226 | \end{equation}
1227 | $$
1228 | 此时，有：
1229 | $$
1230 | \begin{equation}
1231 | \begin{align*}
1232 | 2\pi[2G(u)]^2 &\leq \iint_{R_0} e^{-(x^2+y^2)/2}\,dx\,dy \\
1233 | &=\int_0^{2\pi}\int_0^{2u\pi^{-1/2}} e^{-r^2/2}r\,dr\,d\varphi \\
1234 | &= 2\pi(1-e^{-2u^2/\pi})
1235 | \end{align*}
1236 | \end{equation}
1237 | $$
1238 | 因此，有：
1239 | $$
1240 | \begin{equation}
1241 | G(u) = \mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
1242 | \end{equation}
1243 | $$
1244 | 进一步，我们可以得到：
1245 | $$
1246 | \begin{equation}
1247 | \mathbb{P}[X \geq u] \geq \frac{1}{2}(1-\sqrt{1-e^{-\frac{2}{\pi}u^2}})
1248 | \end{equation}
1249 | $$
1250 | $\square$
1251 |
1252 |
1253 |
1254 | ## 1.22 AM-GM 不等式
1255 |
1256 | 算术平均数和几何平均数的不等式，简称 AM-GM 不等式。该不等式指出非负实数序列的算术平均数大于等于该序列的几何平均数，当且仅当序列中的每个数相同时，等号成立。形式上，对于非负实数序列 $\{x_n\}$，其算术平均值定义为：
1257 | $$
1258 | \begin{equation}
1259 | A_n=\frac{1}{n}\sum_{i=1}^n x_i
1260 | \end{equation}
1261 | $$
1262 | 其几何平均值定义为：
1263 | $$
1264 | \begin{equation}
1265 | G_n=\sqrt[n]{\prod_{i=1}^n x_i}
1266 | \end{equation}
1267 | $$
1268 | 则 AM-GM 不等式成立：
1269 | $$
1270 | \begin{equation}
1271 | A_n \geq G_n
1272 | \end{equation}
1273 | $$
1274 |
1275 | ### 证明
1276 |
1277 | 我们可以通过 Jensen 不等式来证明 AM-GM 不等式。首先，我们考虑函数 $f(x)=-\ln x$，该函数是凸函数，因此有：
1278 | $$
1279 | \begin{equation}
1280 | \frac{1}{n}\sum_{i=1}^n -\ln x_i \geq -\ln(\frac{1}{n}\sum_{i=1}^n x_i)
1281 | \end{equation}
1282 | $$
1283 | 即：
1284 | $$
1285 | \begin{equation}
1286 | \begin{align*}
1287 | \ln(\frac{1}{n}\sum_{i=1}^n x_i) &\geq \frac{1}{n}\sum_{i=1}^n \ln x_i = \ln(\sqrt[n]{\prod_{i=1}^n x_i}) \\
1288 | \Rightarrow \frac{1}{n}\sum_{i=1}^n x_i &\geq \sqrt[n]{\prod_{i=1}^n x_i}
1289 | \end{align*}
1290 | \end{equation}
1291 | $$
1292 | 当取 $x_1 = x_2 = \cdots = x_n$ 时，等号成立。特别地，当 $n=2$ 时，我们有：
1293 | $$
1294 | \begin{equation}
1295 | \frac{x_1 + x_2}{2} \geq \sqrt{x_1 x_2}
1296 | \end{equation}
1297 | $$
1298 | $\square$
1299 |
1300 |
1301 |
1302 | ## 1.23 Young 不等式
1303 |
1304 | 对于任意 $a, b \geq 0$ 且 $p, q \gt 1$，若 $\frac{1}{p} + \frac{1}{q} = 1$，则有：
1305 | $$
1306 | \begin{equation}
1307 | ab \leq \frac{a^p}{p} + \frac{b^q}{q}
1308 | \end{equation}
1309 | $$
1310 | 当且仅当 $a^p = b^q$ 时，等号成立。
1311 |
1312 | ### 证明
1313 |
1314 | 我们可以通过 Jensen 不等式来证明 Young 不等式。首先，当 $ab = 0$ 时，该不等式显然成立。当 $a, b \gt 0$ 时，我们令 $t = 1/p, 1-t = 1/q$，根据 $\ln(x)$ 的凹性，我们有：
1315 | $$
1316 | \begin{equation}
1317 | \begin{align*}
1318 | \ln(t a^p + (1-t) b^q) &\geq t\ln(a^p) + (1-t)\ln(b^q) \\
1319 | &= \ln(a) + \ln(b) \\
1320 | &= \ln(ab)
1321 | \end{align*}
1322 | \end{equation}
1323 | $$
1324 | 当且仅当 $a^p = b^q$ 时，等号成立。$\square$
1325 |
1326 |
1327 |
1328 | ## 1.24 Bayes 定理
1329 |
1330 | 贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下更新事件概率的数学方法。贝叶斯定理的公式为：
1331 | $$
1332 | \begin{equation}
1333 | P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
1334 | \end{equation}
1335 | $$
1336 | 其中：
1337 | - $P(A|B)$ 是在事件 B 发生的情况下事件 A 发生的后验概率。
1338 | - $P(B|A)$ 是在事件 A 发生的情况下事件 B 发生的似然函数。
1339 | - $P(A)$ 是事件 A 的先验概率。
1340 | - $P(B)$ 是事件 B 的边缘概率。
1341 |
1342 | ### 证明
1343 |
1344 | 根据条件概率的定义，事件 A 在事件 B 发生下的条件概率 $P(A|B)$ 表示为：
1345 | $$
1346 | \begin{equation}
1347 | P(A|B) = \frac{P(A \cap B)}{P(B)}
1348 | \end{equation}
1349 | $$
1350 |
1351 | 同样地，事件 B 在事件 A 发生下的条件概率 $P(B|A)$ 表示为：
1352 | $$
1353 | \begin{equation}
1354 | P(B|A) = \frac{P(A \cap B)}{P(A)}
1355 | \end{equation}
1356 | $$
1357 |
1358 | 通过这两个公式可以得到联合概率 $P(A \cap B)$ 的两种表示方式：
1359 | $$
1360 | \begin{equation}
1361 | P(A \cap B) = P(A|B) \cdot P(B)
1362 | \end{equation}
1363 | $$
1364 |
1365 | 以及：
1366 | $$
1367 | \begin{equation}
1368 | P(A \cap B) = P(B|A) \cdot P(A)
1369 | \end{equation}
1370 | $$
1371 |
1372 | 由于联合概率的性质，我们可以将上述两个等式等同：
1373 | $$
1374 | \begin{equation}
1375 | P(A|B) \cdot P(B) = P(B|A) \cdot P(A)
1376 | \end{equation}
1377 | $$
1378 |
1379 | 将上述等式两边同时除以 $P(B)$，得到贝叶斯定理：
1380 | $$
1381 | \begin{equation}
1382 | P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
1383 | \end{equation}
1384 | $$
1385 | $\square$
1386 |
1387 | 通过先验和后验的更新过程，贝叶斯统计提供了一种动态的、不断修正认知的不确定性量化方法。
1388 |
1389 |
1390 |
1391 | ## 1.25 广义二项式定理
1392 |
1393 | 广义二项式定理（Generalized Binomial Theorem）是二项式定理的扩展：
1394 | $$
1395 | \begin{equation}
1396 | (x + y)^r = \sum_{k=0}^{\infty} \binom{r}{k} x^{r-k} y^k, \quad |x| \lt |y|, \quad k \in \mathbb{N}, \quad r \in \mathbb{R}
1397 | \end{equation}
1398 | $$
1399 | 其中我们令 $\binom{r}{k} := \frac{(r)_k}{k!}$，$(r)_k = r(r-1) \cdots (r-k+1)$ 为递降阶乘（falling factorial）。
1400 |
1401 | ### 证明
1402 |
1403 | 首先代入定义，易证：
1404 | $$
1405 | \begin{equation}
1406 | (r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} = r \binom{r}{k}
1407 | \end{equation}
1408 | $$
1409 |
1410 | 我们从特殊情况 $y = 1$ 开始。首先我们证明只要 $|x| \lt 1$，后者级数就会收敛。
1411 |
1412 | 通过使用幂级数收敛半径的商式来证明这一点，由于绝对值的连续性使我们可以先在绝对值内部计算极限，可得：
1413 | $$
1414 | \begin{equation}
1415 | \lim_{k \to \infty} \frac{|a_k|}{|a_{k+1}|} = \lim_{k \to \infty} | \frac{k+1}{r-k} | = |-1| = 1
1416 | \end{equation}
1417 | $$
1418 | 因此我们有一个为 1 的收敛半径。这种收敛使我们能够在 $|x| \lt 1$ 的收敛区域内应用逐项求导，得到：
1419 | $$
1420 | \begin{equation}
1421 | \frac{d}{dx} \sum_{k=0}^\infty \binom{r}{k} x^k = \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1}
1422 | \end{equation}
1423 | $$
1424 | 如果我们将我们正在考虑的级数定义的函数记为 $g(x)$，我们得到：
1425 | $$
1426 | \begin{equation}
1427 | \begin{align*}
1428 | (1 + x) \frac{d}{dx} g(x) &= \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1} + \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^k \\
1429 | &= r + \sum_{k=1}^\infty ( (r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} ) x^k \\
1430 | &= r + r \sum_{k=1}^\infty \binom{r}{k} x^k \\
1431 | &= r g(x),
1432 | \end{align*}
1433 | \end{equation}
1434 | $$
1435 | 上式的推导使用了前述引理。
1436 |
1437 | 现在定义 $f(x) = (1 + x)^r$，我们通过通常的求导规则得到：
1438 | $$
1439 | \begin{equation}
1440 | \frac{d}{dx} ( \frac{g(x)}{f(x)} ) = \frac{g'(x) f(x) - f'(x) g(x)}{f(x)^2} = \frac{r\frac{g(x)}{x+1}(1+x)^r - rg(x)(1 + x)^{r-1}}{f(x)^2} = 0
1441 | \end{equation}
1442 | $$
1443 | $|x| \lt 1$ 意味着 $f(x) \neq 0$，因此 $g/f$ 为常数。又 $f(0) = g(0) = 1$ 可得 $f(x) = g(x)$。
1444 |
1445 | 对于一般的 $x, y \in \mathbb{R}$ 且 $|x| \lt |y|$，我们有：
1446 | $$
1447 | \begin{equation}
1448 | \frac{(x + y)^r}{y^r} = (\frac{x}{y} + 1)^r = \sum_{k=0}^\infty \binom{r}{k} (\frac{x}{y})^k;
1449 | \end{equation}
1450 | $$
1451 | 收敛性由假设 $|x/y| \lt 1$ 保证。为了得到原定理的形式，我们只需乘以 $y^r$ 即可。$\square$
1452 |
1453 |
1454 |
1455 | ## 1.26 Stirling 公式
1456 |
1457 | Stirling 公式是用于近似计算阶乘的一种公式，即使在 $n$ 很小时也有很高的精度。Stirling 公式的一种形式为：
1458 | $$
1459 | \begin{equation}
1460 | n! = \sqrt{2\pi} n^{n+1/2} e^{-n} e^{r_n}
1461 | \end{equation}
1462 | $$
1463 | 其中，$\frac{1}{12n + 1} \lt r_n \lt \frac{1}{12n}$。
1464 |
1465 | ### 证明
1466 |
1467 | 我们令：
1468 | $$
1469 | \begin{equation}
1470 | S_n = \ln(n!) = \sum_{p=1}^{n-1} \ln(p+1)
1471 | \end{equation}
1472 | $$
1473 | 且
1474 | $$
1475 | \begin{equation}
1476 | \ln(p+1) = A_p + b_p - \varepsilon_p
1477 | \end{equation}
1478 | $$
1479 | 其中：
1480 | $$
1481 | \begin{equation}
1482 | \begin{align*}
1483 | A_p &= \int_{p}^{p+1} \ln x \, dx \\
1484 | b_p &= \frac{1}{2} [\ln(p+1) - \ln(p)] \\
1485 | \varepsilon_p &= \int_{p}^{p+1} \ln x \, dx - \frac{1}{2} [\ln(p+1) + \ln(p)]
1486 | \end{align*}
1487 | \end{equation}
1488 | $$
1489 | 此时：
1490 | $$
1491 | \begin{equation}
1492 | S_n = \sum_{p=1}^{n-1} (A_p + b_p - \varepsilon_p)
1493 | = \int_{1}^{n} \ln x \, dx + \frac{1}{2} \ln n - \sum_{p=1}^{n-1} \varepsilon_p
1494 | \end{equation}
1495 | $$
1496 | 易证 $\int \ln x \, dx = x \ln x - x + C, \, C \in \mathbb{R}$，故：
1497 | $$
1498 | \begin{equation}
1499 | S_n = (n+1/2)\ln n - n + 1 - \sum_{p=1}^{n-1} \varepsilon_p
1500 | \end{equation}
1501 | $$
1502 | 此时：
1503 | $$
1504 | \begin{equation}
1505 | \varepsilon_p = \frac{2p+1}{2} \ln(\frac{p+1}{p}) - 1
1506 | \end{equation}
1507 | $$
1508 |
1509 | 接下来我们对 $\ln(\frac{p+1}{p})$ 进行级数展开，根据广义二项式定理，即：
1510 |
1511 | 令 $a = -1, \, t = \frac{1}{p}, \, t \in (-1, 1)$，则有：
1512 | $$
1513 | \begin{equation}
1514 | \frac{1}{1 + t} = 1 - t + t^2 - t^3 + t^4 - \cdots
1515 | \end{equation}
1516 | $$
1517 | 对上式两边同时进行积分，我们有：
1518 | $$
1519 | \begin{equation}
1520 | \ln(1 + t) = t - \frac{1}{2} t^2 + \frac{1}{3} t^3 - \frac{1}{4} t^4 + \cdots
1521 | \end{equation}
1522 | $$
1523 | 如果我们令 $-t$ 来代替 $t$，则有：
1524 | $$
1525 | \begin{equation}
1526 | \ln \frac{1}{1 - t} = t + \frac{1}{2} t^2 + \frac{1}{3} t^3 + \frac{1}{4} t^4 + \cdots
1527 | \end{equation}
1528 | $$
1529 | 将两式相加，我们有：
1530 | $$
1531 | \begin{equation}
1532 | \frac{1}{2} \ln \frac{1 + t}{1 - t} = t + \frac{1}{3} t^3 + \frac{1}{5} t^5 + \cdots
1533 | \end{equation}
1534 | $$
1535 |
1536 | 回到我们的问题，我们令 $t = (2p + 1)^{-1} \in (0, 1)$，如此才满足 $\frac{1+t}{1-t} = \frac{p+1}{p}$，带入前式：
1537 | $$
1538 | \begin{equation}
1539 | \varepsilon_p = \frac{1}{3(2p+1)^2} + \frac{1}{5(2p+1)^4} + \frac{1}{7(2p+1)^6} + \cdots
1540 | \end{equation}
1541 | $$
1542 | 因此：
1543 | $$
1544 | \begin{equation}
1545 | \varepsilon_p \lt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{(2p+1)^{2i}}
1546 | = \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{(2p+1)^2}}
1547 | = \frac{1}{3[(2p+1)^2 - 1]}
1548 | = \frac{1}{12} (\frac{1}{p} - \frac{1}{p+1})
1549 | \end{equation}
1550 | $$
1551 | 且
1552 | $$
1553 | \begin{equation}
1554 | \varepsilon_p \gt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{[3(2p+1)^2]^{i}}
1555 | = \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{3(2p+1)^2}}
1556 | = \frac{1}{3(2p+1)^2 - 1}
1557 | \end{equation}
1558 | $$
1559 | 易证
1560 | $$
1561 | \begin{equation}
1562 | (p+\frac{1}{12})(p+1+\frac{1}{12})
1563 | = p^2 + \frac{7}{6}p + \frac{13}{144}
1564 | \gt p^2 + p + \frac{1}{6}
1565 | = \frac{1}{12} [3(2p+1)^2 - 1], \quad p \in \mathbb{N}^+
1566 | \end{equation}
1567 | $$
1568 | 因此：
1569 | $$
1570 | \begin{equation}
1571 | \varepsilon_p \gt \frac{1}{12} (\frac{1}{p+\frac{1}{12}} - \frac{1}{p+1+\frac{1}{12}})
1572 | \end{equation}
1573 | $$
1574 | 我们令：
1575 | $$
1576 | \begin{equation}
1577 | B = \sum_{p=1}^{\infty} \varepsilon_p, \quad r_n = \sum_{p=n}^{\infty} \varepsilon_p
1578 | \end{equation}
1579 | $$
1580 | 那么易得：
1581 | $$
1582 | \begin{equation}
1583 | \frac{1}{13} \lt B \lt \frac{1}{12}, \quad \frac{1}{12(n+1)} \lt r_n \lt \frac{1}{12n}
1584 | \end{equation}
1585 | $$
1586 | 带入 $S_n$ 的表达式：
1587 | $$
1588 | \begin{equation}
1589 | S_n = (n+\frac{1}{2})\ln n - n + 1 - B + r_n
1590 | \end{equation}
1591 | $$
1592 | 可得：
1593 | $$
1594 | \begin{equation}
1595 | n! = e^{1-B} n^{n+1/2} e^{-n} e^{r_n}
1596 | \end{equation}
1597 | $$
1598 | 令 $C = e^{1-B}$，我们可知常数 $C$ 的取值范围为 $(e^{11/12}, e^{12/13})$，此处我们取 $C = \sqrt{2\pi}$，该公式得证。$\square$
1599 |
1600 |
1601 |
1602 | ## 1.27 散度定理
1603 |
1604 | 散度定理（Divergence Theorem），也称为高斯定理（Gauss's Theorem），是向量分析中的重要定理，它将体积积分和曲面积分联系起来。
1605 |
1606 | 具体而言，如果考虑一个 $n$-维球体（$n$-ball）$B^n$ 的体积为 $V$，其表面为 $S^{n-1}$，对于一个位于 $n$-维空间中的光滑向量场 $\mathbf{F}$，则有：
1607 |
1608 | $$
1609 | \int_{B^n} (\nabla \cdot \mathbf{F}) \, dV = \oint_{S^{n-1}} \mathbf{F} \cdot \mathbf{n} \, dS
1610 | $$
1611 |
1612 | 其中：
1613 | - $\nabla \cdot \mathbf{F}$ 是向量场 $\mathbf{F}$ 的散度。
1614 | - $dV$ 是体积元素。
1615 | - $dS$ 是边界表面的面积元素。
1616 | - $\mathbf{n}$ 是边界的单位外法向量。
1617 |
1618 | 体积积分计算的是在 $n$-球内的散度，而表面积分计算的是在 $n-1$ 维球面上的通量。
1619 | 这种形式的散度定理在物理学和工程学中广泛应用，比如电磁学中的高斯定理、流体力学中的质量守恒等。
1620 |
1621 |
1622 |
1623 | ## 1.28 分离超平面定理
1624 |
1625 | 如果有两个不相交的非空凸集，则存在一个超平面能够将它们完全分隔开，这个超平面叫做分离超平面（Separating Hyperplane）。形式上，设 $A$ 和 $B$ 是 $\mathbb{R}^n$ 中的两个不相交的非空凸集，那么存在一个非零向量 $v$ 和一个实数 $c$，使得：
1626 | $$
1627 | \begin{equation}\langle x, v \rangle \geq c \, \text{且} \, \langle y, v \rangle \leq c\end{equation}
1628 | $$
1629 | 对所有 $x \in A$ 和 $y \in B$ 都成立。即超平面 $\langle \cdot, v \rangle = c$ 以 $v$ 作为分离轴（Separating Axis），将 $A$ 和 $B$ 分开。
1630 |
1631 | 进一步，如果这两个集合都是闭集，并且至少其中一个是紧致的，那么这种分离可以是严格的，即存在 $c_1 \gt c_2$ 使得：
1632 | $$
1633 | \begin{equation}\langle x, v \rangle \gt c_1 \, \text{且} \, \langle y, v \rangle \lt c_2\end{equation}
1634 | $$
1635 |
1636 | 在不同情况下，我们可以通过调整 $v$ 和 $c$ 来使得分离超平面的边界更加清晰。
1637 |
1638 | | A | B | $\langle x, v \rangle$ | $\langle y, v \rangle$ |
1639 | |---------------|--------------|---------------------------|---------------------------|
1640 | | 闭紧集 | 闭集 | $\gt c_1$ | $\lt c_2$ 且 $c_2 \lt c_1$ |
1641 | | 闭集 | 闭紧集 | $\gt c_1$ | $\lt c_2$ 且 $c_2 \lt c_1$ |
1642 | | 开集 | 闭集 | $\gt c$ | $\leq c$ |
1643 | | 开集 | 开集 | $\gt c$ | $\lt c$ |
1644 |
1645 | 在支持向量机的背景下，最佳分离超平面（或最大边缘超平面）是分离两个点凸包并且与两者等距的超平面。
1646 |
1647 | ### 证明
1648 |
1649 | 证明基于以下引理：
1650 |
1651 | 设 $A$ 和 $B$ 是 $\mathbb{R}^n$ 中两个不相交的闭集，且假设 $A$ 是紧致的。则存在点 $a_0 \in A$ 和 $b_0 \in B$ 使得 $\|a - b\|$ 在 $a \in A$ 和 $b \in B$ 之间取最小值。
1652 |
1653 | 我们给出引理的证明：
1654 |
1655 | 令 $a \in A$ 和 $b \in B$ 是任意一对点，并令 $r_1 = \|b - a\|$。由于 $A$ 是紧致的，它被包含在以 $a$ 为中心的一些球中，设该球的半径为 $r_2$。令 $S = B \cap \overline{B_{r_1 + r_2}(a)}$ 为 $B$ 与以 $a$ 为中心、半径为 $r_1 + r_2$ 的闭球的交集。那么 $S$ 是紧致且非空的，因为它包含 $b$。由于距离函数是连续的，存在点 $a_0$ 和 $b_0$ 使得 $\|a_0 - b_0\|$ 在所有 $A \times S$ 的点对中取最小值。现在要证明 $a_0$ 和 $b_0$ 实际上在所有 $A \times B$ 的点对中具有最小距离。假设存在点 $a'$ 和 $b'$ 使得 $\|a' - b'\| \lt \|a_0 - b_0\|$。则特别地，$\|a' - b'\| \lt r_1$，并且根据三角不等式，$\|a - b'\| \leq \|a - a'\| + \|a' - b'\| \lt r_1 + r_2$。因此 $b'$ 包含在 $S$ 中，这与 $a_0$ 和 $b_0$ 在 $A \times S$ 中的最小距离相矛盾。
1656 |
1657 |
1658 |
1659 |
48 |
49 |
69 |
70 |
72 |
73 |
钥匙书KeyBook
6 |
13 |
23 |
24 |
25 | 
48 | 
68 | 
1659 | 
49 | 
70 | 
73 |