├── .gitignore
├── Calculus
    ├── AnalysisFoundation.tex
    ├── DifferentialCalculusOfMultivariateFunction.tex
    ├── DifferentialCalculusOfUnaryFunction.tex
    ├── ImproperIntegral.tex
    ├── InfiniteSeries.tex
    ├── IntegralCalculusOfMultivariateFunction.tex
    ├── IntegralCalculusOfUnaryFunction.tex
    ├── OrdinaryDifferentialEquation.tex
    └── SpaceAnalyticGeometry.tex
├── LinearAlgebra
    ├── Determinant.tex
    ├── InnerProductSpaceAndOrthogonality.tex
    ├── LinearSpaceAndLinearMap.tex
    ├── Matrix.tex
    ├── QuadraticForm.tex
    └── VectorAndLinearSystem.tex
├── MathematicalStatistics
    ├── HypothesisTest.tex
    ├── ParameterEstimation.tex
    └── StatisticsAndSamplingDistribution.tex
├── Probability
    ├── ContinuousRandomVariable.tex
    ├── DiscreteRandomVariable.tex
    ├── LimitTheory.tex
    ├── NumericalCharacteristics.tex
    └── RandomEventAndProbability.tex
├── README.md
└── main.tex


/.gitignore:
--------------------------------------------------------------------------------
 1 | *.aux
 2 | *.log
 3 | *.out
 4 | *.pdf
 5 | *.synctex.gz
 6 | *.toc
 7 | *.idx
 8 | *.ilg
 9 | *.ind
10 | 


--------------------------------------------------------------------------------
/Calculus/AnalysisFoundation.tex:
--------------------------------------------------------------------------------
  1 | \chapter{分析基础}
  2 | 
  3 | \section{基础概念}
  4 | 这一节主要介绍了邻域的概念和常用的不等式。
  5 | 关于函数的基础知识，这里就不再赘述了。
  6 | 
  7 | \subsection{邻域}
  8 | 对于实数$a\in\mfR$，定义它的邻域为
  9 | $N(a,\delta) = \{ x: |x-a| < \delta \}$，
 10 | 其中，实数$\delta > 0$。
 11 | 
 12 | 同样，可以定义$a$的左邻域为
 13 | $N(a,\delta)_+ = \{ x: 0 \le x - a < \delta \}$，
 14 | 右邻域为
 15 | $N(a,\delta)_- = \{ x: -\delta < x - a \le 0  \}$。
 16 | 
 17 | \subsection{常用等式与不等式}
 18 | \begin{enumerate}
 19 |   \item
 20 |   $1^2+2^2+\dots +n^2 = n(n+1)(2n+1)/6$
 21 |   \item
 22 |   $(\sum_{i}a_i b_i)^2 \le (\sum_{i}a_i^2)(\sum_{i}b_i)^2$
 23 |   \item
 24 |   $\sin x < x < \tan x \quad (0 < x < \pi/2)$
 25 |   \item
 26 |   若$x_1,\dots,x_n$符号相同且都大于$-1$，那么
 27 |   \[(1+x_1)(1+x_2)\dots(1+x_n)\ge 1+x_1+x_2+\dots+x_n\]
 28 | \end{enumerate}
 29 | 
 30 | \section{极限的概念}
 31 | 这一节首先介绍数列极限和函数极限的定义。微积分的大厦自此开始建立。
 32 | 然后我们介绍比较重要的函数左极限与右极限的概念，
 33 | 这是因为函数极限存在与左极限、右极限之间有一定关系。
 34 | 最后，我们介绍函数极限和数列极限的关系，
 35 | 从而获得另一个判定函数极限存在的方法。
 36 | 
 37 | \subsection{数列的极限}
 38 | 数列的极限主要讨论自变量$n$无限增大时(记为$n\to+\infty$或$n\to\infty$)，
 39 | 因变量$a_n$的变化趋向。
 40 | 当$n\to\infty$时，如果$a_n$无限接近于某一定值，
 41 | 则称$\{a_n\}$为\textbf{收敛数列},
 42 | 否则称$\{a_n\}$为\textbf{发散数列}。
 43 | 
 44 | 对于收敛数列，我们用下面的$\epsilon$-$N$语言来定义它的极限。
 45 | \begin{definition}[数列极限的$\epsilon$-$N$定义]
 46 |   \begin{displaymath}
 47 |     \lim_{n\to\infty}a_n=A
 48 |     \iff \forall\epsilon>0,\exists N,\forall n>N,|a_n - A|<\epsilon
 49 |   \end{displaymath}
 50 | \end{definition}
 51 | \begin{remark}
 52 |   当要描述数列不收敛到某一个值时，只要把上面的定义取否命题即可。
 53 | \end{remark}
 54 | 
 55 | 对于发散数列，它有四种情况：发散到正无穷，发散到负无穷，绝对值发散到正无穷，以及振荡。
 56 | 我们用$G$-$N$语言来描述前三种情况。
 57 | \begin{definition}[数列极限的$G$-$N$的定义]
 58 |   \begin{align*}
 59 |     &\lim_{n\to\infty}a_n=+\infty
 60 |     \iff \forall G>0,\exists N,\forall n>N, a_n > G \\
 61 |     &\lim_{n\to\infty}a_n=-\infty
 62 |     \iff \forall G>0,\exists N,\forall n>N, a_n < -G \\
 63 |     &\lim_{n\to\infty}a_n=\infty
 64 |     \iff \forall G>0,\exists N,\forall n>N, |a_n| > G
 65 |   \end{align*}
 66 | \end{definition}
 67 | 
 68 | \subsection{函数的极限}
 69 | 函数的极限研究函数在自变量的某变化过程中相应的因变量的变化趋向。
 70 | 与数列极限不同的是，数列极限的自变量只有一种变化趋向，即$n\to\infty$，
 71 | 而函数极限的自变量有六种变化趋向。
 72 | 
 73 | 对于自变量$x$变化的趋向，我们定义下面两类共6种模板：
 74 | \begin{itemize}
 75 |   \item $\delta$模板：
 76 |   \begin{align*}
 77 |     x\to a
 78 |     &\iff \dots, \exists \delta > 0,\forall x, 0<|x-a|<\delta, \dots \\
 79 |     x\to a+0
 80 |     &\iff \dots, \exists \delta > 0,\forall x, 0<x-a<\delta, \dots \\
 81 |     x\to a-0
 82 |     &\iff \dots, \exists \delta > 0,\forall x, -\delta<x-a<0, \dots
 83 |   \end{align*}
 84 |     \item $H$模板：
 85 |   \begin{align*}
 86 |     x\to+\infty
 87 |     &\iff \dots, \exists H > 0, \forall x > H, \dots \\
 88 |     x\to-\infty
 89 |     &\iff \dots, \exists H > 0, \forall x < -H, \dots \\
 90 |     x\to\infty
 91 |     &\iff \dots, \exists H > 0, \forall |x| > H, \dots
 92 |   \end{align*}
 93 | \end{itemize}
 94 | 
 95 | 对于因变量$f(x)$，我们定义下面两类共4种模板：
 96 | \begin{itemize}
 97 |   \item $\epsilon$模板
 98 |   \begin{displaymath}
 99 |     f(x)\to A
100 |     \iff \forall\epsilon>0, \dots, |f(x)-A|<\epsilon
101 |   \end{displaymath}
102 |   \item $G$模板
103 |   \begin{align*}
104 |     f(x)\to+\infty
105 |     &\iff \forall G>0,\dots, f(x) > G \\
106 |     f(x)\to-\infty
107 |     &\iff \forall G>0,\dots, f(x) < -G \\
108 |     f(x)\to\infty
109 |     &\iff \forall G>0,\dots, |f(x)| > G
110 |   \end{align*}
111 | \end{itemize}
112 | 
113 | 以上模板可以组合成函数极限的
114 | ``$\epsilon$-$\delta$''、``$\epsilon$-$H$''、``$G$-$\delta$''、``$G$-$H$''定义。
115 | 以下面将要说明的左极限为例，我们可以组合出左极限的$\epsilon$-$\delta$定义：
116 | \begin{displaymath}
117 |   \lim_{x\to a-0}f(x)=A
118 |   \iff \forall\epsilon>0,\exists\delta>0,\forall x, -\delta<x-a<0, |f(x)-A|<\epsilon
119 | \end{displaymath}
120 | 
121 | \subsection{左极限\ 右极限}
122 | 函数$f$在$x\to a-0$和$x\to a+0$存在有限极限$A$的情况特别重要，
123 | 分别称为函数$f$在点$a$的\textbf{左}、\textbf{右极限}，
124 | 统称为\textbf{单侧极限}，记为
125 | \begin{displaymath}
126 |   \lim_{x\to a-0}f(x)=A\quad\text{或}\quad f(a-0)=A\quad\text{或}\quad f(a-)=A
127 | \end{displaymath}
128 | \begin{displaymath}
129 | \lim_{x\to a+0}f(x)=A\quad\text{或}\quad f(a+0)=A\quad\text{或}\quad f(a+)=A
130 | \end{displaymath}
131 | 
132 | \begin{theorem}[函数极限与单侧极限的关系]
133 |   \begin{displaymath}
134 |     \lim_{x\to a}f(x)=A \iff f(a-0)=f(a+0)=A
135 |   \end{displaymath}
136 | \end{theorem}
137 | 
138 | \begin{corollary}
139 |   若函数$f$在点$a$存在左、右极限但不相等，
140 |   或$f$在点$a$的左、右极限至少有一个不存在，
141 |   则$f$在点$a$不存在极限。
142 | \end{corollary}
143 | \begin{remark}
144 |   该推论可以用来证明函数极限不存在。
145 | \end{remark}
146 | 
147 | \subsection{数列极限与函数极限的关系}
148 | \begin{theorem}[数列极限与函数极限的关系]
149 |   \begin{displaymath}
150 |     \lim_{x\to a} f(x) = A
151 |     \iff \forall \{x_n\}: x_n\neq a, x_n\to a(n\to\infty),
152 |     \text{有}\lim_{n\to\infty} f(x_n) = A
153 |   \end{displaymath}
154 | \end{theorem}
155 | \begin{remark}
156 |   数列极限可以看成函数极限的特例，
157 |   函数极限又可以转化为数列极限来讨论。
158 | \end{remark}
159 | 
160 | \begin{corollary}
161 |   设$\{x_n\}$和$\{y_n\}$是两个包含在$a$的去心邻域中且极限收敛到$a$的数列。
162 |   若$\lim_{n\to\infty}f(x_n)$和$\lim_{n\to\infty}f(y_n)$极限存在但不相等，
163 |   或者其中至少有一个不存在，那么$\lim_{x\to a}f(x)$不存在。
164 | \end{corollary}
165 | \begin{remark}
166 |   该推论为证明函数极限不存在提供了简单的方法。
167 | \end{remark}
168 | 
169 | \section{极限的性质与运算法则} \label{sec:limit-property}
170 | 当函数或数列存在有限极限时，极限具有唯一性、有界性、保序性和夹逼性。
171 | 同时，极限还可以与四则运算交换顺序。
172 | 必须指出的是，上述性质及运算法则对函数极限在其自变量$x$的六种极限过程及
173 | 数列极限在$n\to\infty$的极限过程都是同样成立的。
174 | 为了节省篇幅，我们仅就极限过程$x\to a$和$n\to\infty$叙述。
175 | 
176 | \subsection{极限的性质}
177 | 以下为统一写法，用$X,Y$代表因变量$x_n$或$f(x)$，而$\lim$代表某同一过程的极限。
178 | 
179 | \begin{theorem}[唯一性]
180 |   设$\lim X=A,\lim Y=B$，$A,B$为有限数，则$A=B$。
181 | \end{theorem}
182 | 
183 | \begin{theorem}[收敛函数的局部有界性]
184 |   若$\lim_{x\to a}f(x)=A$(有限数)，则函数$f$在$a$点附近有界。
185 | \end{theorem}
186 | 
187 | \begin{theorem}[收敛数列的整体有界性]
188 |   若$\lim_{n\to \infty}x_n=A$(有限数)，则$\{x_n\}$是有界数列。
189 | \end{theorem}
190 | 
191 | \begin{theorem}[函数极限的保序性]
192 |   设$\lim_{x\to a} f(x)=A,\lim_{x\to a} g(x)=B$，$A,B$为有限数，则
193 |   \begin{enumerate}
194 |     \item
195 |     若$A<B$，则存在$a$的某个去心邻域$N(a,\delta)-\{a\}$，
196 |     在该邻域内，有$f(x) < g(x)$。
197 |     \item
198 |     若在$a$的某个去心邻域内有$f(x) \le g(x)$，
199 |     则$A\le B$。
200 |   \end{enumerate}
201 | \end{theorem}
202 | 
203 | \begin{corollary}[函数极限的保号性质] \label{thrm:limit-sign-preserve}
204 |   设$\lim_{x\to a} f(x)=A$(有限数)，则
205 |   \begin{enumerate}
206 |     \item
207 |     若$A>C$($A<C$)，则存在$a$的某个去心邻域，
208 |     在该邻域内，有$f(x)>C$($f(x)<C$)。
209 |     \item
210 |     若在$a$的某个去心邻域内有$f(x)\le C$($f(x)\ge C$)，
211 |     则$A\le C$($A\ge C$)。
212 |   \end{enumerate}
213 | \end{corollary}
214 | 
215 | \begin{remark}
216 |   数列极限的保序性和保号性质的推论与函数极限类似。这里不再赘述了。
217 | \end{remark}
218 | 
219 | 根据保号性，就能得到夹逼定理：
220 | \begin{theorem}[夹逼定理] \label{thrm:squeeze}
221 |   设$X\le Z\le Y$。若$\lim X = \lim Y = A$，则$\lim Z = A$。
222 | \end{theorem}
223 | 
224 | \subsection{运算法则}
225 | 设$\lim X=A,\lim Y=B$，$A,B$为有限数，则
226 | \begin{itemize}
227 |   \item
228 |   $\lim (X\pm Y) = A \pm B$
229 |   \item
230 |   $\lim (cX) = cA$，$c$是常数。
231 |   \item
232 |   $\lim (XY) = AB$
233 |   \item
234 |   $\lim (X/Y) = A/B$，$B\neq 0$
235 | \end{itemize}
236 | 
237 | \subsection{复合函数的极限}
238 | \begin{theorem}[复合函数的极限]
239 |   若函数$y=g(u)$与$u=\phi(x)$在点$a$的去心邻域上能构成复合函数，且满足
240 |   \begin{enumerate}
241 |     \item $\lim_{x\to a}\phi(x)=b$，且$x\neq a$时，$\phi(x)\neq b$，
242 |     \item $\lim_{u\to b}g(u)=A$(有限)，
243 |   \end{enumerate}
244 |   则$\lim_{x\to a}g(\phi(x))=A$。
245 | \end{theorem}
246 | 
247 | \section{极限的存在准则}
248 | 本小节的主要内容是极限存在的两个准则和两个重要极限。
249 | 此外，我们还简单介绍了一下刻画实数系的连续性的方法。
250 | 
251 | \subsection{实数系的连续性}
252 | 实数系的连续性是使求极限这一分析运算能封闭的必备条件。
253 | 下面列举了刻画实数系的连续性的7个等价定理：
254 | \begin{enumerate}
255 |   \item
256 |   确界存在定理：非空有界数集必有确界。
257 |   \item
258 |   单调有界定理：单调有界的数列必存在有限极限。
259 |   \item
260 |   区间套定理：闭区间套可以套出一个点。
261 |   \item
262 |   有限覆盖定理：闭区间上的任意开覆盖必有有限子覆盖。
263 |   \item
264 |   聚点定理：有界无限点列必有聚点。
265 |   \item
266 |   致密性定理：有界数列必有收敛子列。
267 |   \item
268 |   柯西收敛准则：若对任意$\epsilon > 0$，存在$N$，使得
269 |   对任意$m,n\ge N$，有$|a_m-a_n|\le \epsilon$，
270 |   则$\{a_n\}$有极限。
271 | \end{enumerate}
272 | 以上内容只是做个小拓展。我也理解得不够深刻。
273 | 
274 | \subsection{极限的存在准则}
275 | 极限存在的两个准则分别是：夹逼定理(见定理\ref{thrm:squeeze})和单调有界定理。
276 | 
277 | \begin{theorem}[数列的单调有界定理]
278 |   单调有界的数列必存在有限极限。
279 | \end{theorem}
280 | 
281 | \begin{theorem}[函数的单调有界定理]
282 |   设$f$是定义在区间$I$上的单调有界函数，
283 |   则$f$在$I$的任意一点上都存在有限的单侧极限。
284 | \end{theorem}
285 | 
286 | \subsection{两个重要极限}
287 | \begin{displaymath}
288 |   \lim_{x\to 0}\frac{\sin x}{x}=1
289 | \end{displaymath}
290 | \begin{displaymath}
291 |   \lim_{x\to\infty}\left(1+x\right)^{\frac{1}{x}} = e
292 |   \quad\text{或}\quad
293 |   \lim_{x\to 0}\left(1+\frac{1}{x}\right)^{x} = e
294 | \end{displaymath}
295 | 
296 | \section{连续}
297 | 本小节首先介绍函数连续性的概念(含左连续与右连续)与间断点的类型。
298 | 然后讨论连续函数的性质和初等函数的连续性。
299 | 最后，我们给出闭区间上连续函数的性质，
300 | 包括有界性定理、最值定理、介值定理和零点定理。
301 | 
302 | \subsection{连续与间断}
303 | \begin{definition}[函数在点$a$连续与间断]
304 |   设函数在点$a$的某个邻域上有定义。
305 |   如果$\lim_{x\to a}f(x)=f(a)$，
306 |   则称$f$在点$a$\textbf{连续}，
307 |   否则称$f$在点$a$\textbf{间断}。
308 |   若$f(a-0)=f(a)$，则称$f$在点$a$\textbf{左连续}。
309 |   若$f(a+0)=f(a)$，则称$f$在点$a$\textbf{右连续}。
310 | \end{definition}
311 | \begin{remark}
312 |   显然，$f$在点$a$连续的充要条件有
313 |   \begin{displaymath}
314 |     f(a+0)=f(a-0)=f(a)
315 |   \end{displaymath}
316 | \end{remark}
317 | 
318 | 函数$f$在点$a$连续有以下等价的说法：
319 | \begin{align*}
320 |   \text{$f$在点$a$连续}
321 |   &\iff \text{$f$在$a$的某邻域有定义且$\lim_{x\to a}f(x)=a$} \\
322 |   &\iff \lim_{\Delta x\to 0}f(a+\Delta x)=f(a) \\
323 |   &\iff \lim_{\Delta x\to 0}\Delta f = 0
324 | \end{align*}
325 | 
326 | 如果函数$f$在点$a$间断，那么可以把间断点分成以下两类：
327 | \begin{center}
328 |   \begin{tabular}{|c|l|l|}
329 |     \hline
330 |     间断点类型 & \multicolumn{1}{c|}{$f(a+0)$与$f(a-0)$}
331 |       & \multicolumn{1}{c|}{说明} \\
332 |     \hline
333 |     \multirow{2}{*}{第I类间断点}
334 |       & \begin{tabular}[c]{@{}l@{}}存在且相等，\\ 极限值为$A$\end{tabular}
335 |       & \begin{tabular}[c]{@{}l@{}}也称\textbf{可去间断点}，因$f$在点$a$\\
336 |       无定义或$f(a)\neq A$引起间断\end{tabular} \\
337 |     \cline{2-3}
338 |     & 存在但不相等 & 也称\textbf{跳跃型间断点} \\
339 |     \hline
340 |     \multirow{2}{*}{第II间断点} & 至少有一个是无穷大 & 也称\textbf{无穷型间断点} \\
341 |     \cline{2-3}
342 |     & 至少有一个不存在 &  \\
343 |     \hline
344 |   \end{tabular}
345 | \end{center}
346 | 
347 | \subsection{连续函数的局部性质与运算法则}
348 | 若函数$f$在点$a$连续，根据\ref{sec:limit-property}节描述的
349 | 存在有限极限的函数的局部性质和运算法则，
350 | 能得到以下定理：
351 | 
352 | \begin{theorem}[局部有界性]
353 |   若函数$f$在点$a$连续，则$f$在点$a$的某个邻域里有界。
354 | \end{theorem}
355 | 
356 | \begin{theorem}[局部保号性]
357 |   若函数$f$在点$a$连续，且$f(a)\neq 0$，
358 |   则函数$f$在点$a$的某邻域内与$f(a)$同号。
359 | 
360 |   又若$f(a)>p(<q)$，则存在$a$的某个邻域$U$，在$U$内有
361 |   $f(x)>p(<q)$。
362 | \end{theorem}
363 | 
364 | \begin{theorem}[四则运算]
365 |   若函数$f,g$都在点$a$连续，则它们的和、差、积、商
366 |   \begin{displaymath}
367 |     f\pm g,\ f\cdot g,\ \frac{f}{g}(g(a)\neq 0)
368 |   \end{displaymath}
369 |   也都在点$a$连续。
370 | \end{theorem}
371 | 
372 | \begin{theorem}[复合函数的连续性]
373 |    若函数$y=g(u)$与$u=\phi(x)$在点$a$的邻域上能构成复合函数，
374 |    且函数$\phi$在点$a$连续，函数$g$在点$b=\phi(a)$连续，
375 |    则复合函数$g\circ\phi$在点$a$连续。
376 | \end{theorem}
377 | 
378 | \subsection{初等函数的连续性}
379 | \begin{theorem}[初等函数的连续性]
380 |   初等函数在其自然定义域内都是连续的。
381 | \end{theorem}
382 | 
383 | \subsection{闭区间上连续函数的性质}
384 | \begin{theorem}[有界性定理] \label{thrm:continuous-func-bounded}
385 |   若$f$在闭区间$[a,b]$上连续，那么$f$在闭区间$[a,b]$上有界，即
386 |   存在$m,M$，使得对任意$x\in[a,b]$，有$m\le f(x)\le M$。
387 | \end{theorem}
388 | 
389 | \begin{theorem}[最值定理]
390 |   若$f$在闭区间$[a,b]$上连续，那么$f$在闭区间$[a,b]$上有最大值和最小值，即
391 |   存在$x_1,x_2\in[a,b]$，使得对任意$x\in[a,b]$，有
392 |   $f(x_1)\le f(x)\le f(x_2)$。
393 | \end{theorem}
394 | 
395 | \begin{theorem}[介值定理]
396 |   若$f$在闭区间$[a,b]$上连续，
397 |   记$m=\min_{x\in[a,b]}f(x)$，$M=\max_{x\in[a,b]}f(x)$，
398 |   则$f$取到介于$m,M$之间的所有值，即对任意$m<\mu<M$，
399 |   必然存在$\xi\in(a,b)$，使得$f(\xi)=\mu$。
400 | \end{theorem}
401 | \begin{remark}
402 |   介值定理可以推广到在任意区间$I$上也成立。只要把$m$和$M$的重新记为
403 |   $\inf_{x\in I}f(x)$和$\sup_{x\in I}f(x)$。
404 | \end{remark}
405 | 
406 | \begin{theorem}[零点定理]
407 |   若$f$在闭区间$[a,b]$上连续，且$f(a)\cdot f(b) < 0$，
408 |   则必存在一点$\xi\in(a,b)$，使得$f(\xi)=0$。
409 | \end{theorem}
410 | 
411 | \section{无穷小量}
412 | 我们首先给出无穷小量的定义及其性质。
413 | 然后介绍无穷小量的比较方法。
414 | 最后讨论不定型的极限。
415 | 以下介绍的内容都适用于无穷大量。
416 | 
417 | \subsection{无穷小量及其性质}
418 | \begin{definition}[无穷小量]
419 |   在某一极限过程中，以零为极限的变量$\alpha$(数列或函数)
420 |   称为该极限过程中的\textbf{无穷小量}，常称为无穷小，
421 |   记为$\alpha=o(1)$。
422 | \end{definition}
423 | \begin{remark}
424 |   无穷大量的定义类似。
425 | \end{remark}
426 | 
427 | \begin{theorem}[无穷小量与极限]
428 |   $\lim_{x\to a}f(x)=A$(有限)$\iff f(x)=A+\alpha(x)$，
429 |   其中$\alpha(x)\to 0\ (x\to a)$是一个无穷小量。
430 | \end{theorem}
431 | 
432 | \begin{theorem}[无穷小量的性质]
433 |   设$\alpha,\beta$是某个过程中的两个无穷小量，那么
434 |   \begin{enumerate}
435 |     \item
436 |     $\alpha\pm\beta$是无穷小量。
437 |     \item
438 |     $\alpha\cdot\beta$是无穷小量。
439 |     \item
440 |     若$\gamma$有界，则$\alpha\cdot\gamma$是无穷小量。
441 |   \end{enumerate}
442 | \end{theorem}
443 | 
444 | \subsection{无穷小量的比较}
445 | \begin{definition}[无穷小量的比较]
446 |   设$\alpha,\beta$是同一极限过程中的两个无穷小量。
447 |   \begin{enumerate}
448 |     \item
449 |     若$\lim \frac{\alpha}{\beta}=0$，
450 |     则称$\alpha$是关于$\beta$的\textbf{高阶无穷小量}，
451 |     记为$\alpha = o(\beta)$。
452 | 
453 |     \item
454 |     若$\lim \frac{\alpha}{\beta}=A$(非零有限)，
455 |     则称$\alpha$与$\beta$是\textbf{同阶无穷小量}，
456 |     记为$\alpha = \Theta(\beta)$。
457 | 
458 |     \item
459 |     若$\lim \frac{\alpha}{\beta}=1$，
460 |     则称$\alpha$与$\beta$是\textbf{等价无穷小量}，
461 |     记为$\alpha \sim \beta$。
462 | 
463 |     以上三种情况，$\alpha$的阶都不低于$\beta$的阶，
464 |     可以记为$\frac{\alpha}{\beta}=O(1)$或$\alpha=O(\beta)$。
465 | 
466 |     \item
467 |     若$\lim \frac{\alpha}{\beta^s}=A$(非零有限)，
468 |     其中$\alpha$是大于0的常数，
469 |     则称$\alpha$是关于$\beta$的\textbf{$s$阶无穷小量}。
470 |   \end{enumerate}
471 | \end{definition}
472 | 
473 | \begin{remark}
474 |   关于无穷小量的比较，有下面一些注意点：
475 |   \begin{enumerate}
476 |     \item
477 |     在使用$o,\Theta,O,\sim$记号的时候，必须指出自变量趋于什么，例如：
478 |     \begin{displaymath}
479 |       y_n=o(x_n), n\to\infty,\text{是指}\lim_{n\to\infty}\frac{y_n}{x_n}=0
480 |     \end{displaymath}
481 |     \item
482 |     $\alpha=o(\beta)$,$\alpha=\Theta(\beta)$,$\alpha=O(\beta)$
483 |     中的等号有着特殊的含义。
484 |     实际上，$o(\beta)$,$\Theta(\beta)$,$O(\beta)$表示函数类，
485 |     所以等号的含义是``属于''。
486 |     \item
487 |     $o,\Theta,O$记号在算法复杂度分析中也用到了呢。
488 |   \end{enumerate}
489 | \end{remark}
490 | 
491 | \begin{theorem}[替换定理]
492 |   设$X_1,X_2,Y_1,Y_2$是同一极限过程中的无穷小量。
493 |   若$X_1\sim X_2$，$Y_1\sim Y_2$，且$\lim Y_1/X_1$存在，则
494 |   \begin{displaymath}
495 |     \lim \frac{Y_2}{X_2}=\lim \frac{Y_1}{X_1}
496 |   \end{displaymath}
497 | \end{theorem}
498 | 
499 | \begin{theorem}[常用的等价无穷小]
500 |   当$x\to 0$时，
501 |   \begin{align*}
502 |     & \sin x \sim x;\quad \tan x \sim x;\quad 1-\cos x \sim \frac{1}{2}x^2;  \\
503 |     & \arcsin x \sim x;\quad \arctan x \sim x;\quad \ln(x+1)\sim x; \\
504 |     & e^x-1\sim x;\quad (1+x)^\mu - 1 \sim \mu x
505 |   \end{align*}
506 | \end{theorem}
507 | 
508 | \subsection{不定型}
509 | 不定型主要包括以下7类：
510 | \begin{displaymath}
511 |   \frac{0}{0};\ \frac{\infty}{\infty};\ \infty-\infty;\ 0\cdot\infty;
512 |   \ 1^\infty;\ 0^0;\ \infty^0.
513 | \end{displaymath}


--------------------------------------------------------------------------------
/Calculus/DifferentialCalculusOfMultivariateFunction.tex:
--------------------------------------------------------------------------------
1 | \chapter{多元函数微分学}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/Calculus/DifferentialCalculusOfUnaryFunction.tex:
--------------------------------------------------------------------------------
  1 | \chapter{一元函数的微分学}
  2 | 
  3 | \section{导数与微分的概念}
  4 | 本小节给出导数与微分的定义。
  5 | 并且介绍导数与连续的关系、导数与微分的关系。
  6 | 
  7 | \subsection{导数的概念}
  8 | \begin{definition}[导数]
  9 |   设函数$f$在点$a$的某一邻域内有定义。
 10 |   若极限
 11 |   \begin{displaymath}
 12 |     \lim_{\Delta x\to 0}\frac{f(a+\Delta x)-f(a)}{\Delta x}
 13 |   \end{displaymath}
 14 |   存在有限，则称函数$f$在点$a$\textbf{可导}，
 15 |   并称此极限值为$f$在点$a$的\textbf{导数}，记为
 16 |   \begin{displaymath}
 17 |     f'(a)\quad\textrm{或}\quad \left.\frac{\md f}{\md x}\right|_a
 18 |   \end{displaymath}
 19 | \end{definition}
 20 | 
 21 | \begin{definition}[左导数和右导数]
 22 |   极限
 23 |   \begin{displaymath}
 24 |     \lim_{\Delta x\to 0-}\frac{f(a+\Delta x)-f(a)}{\Delta x}
 25 |     \quad\textrm{以及}\quad
 26 |     \lim_{\Delta x\to 0+}\frac{f(a+\Delta x)-f(a)}{\Delta x}
 27 |   \end{displaymath}
 28 |   被称为函数$f$在点$a$的\textbf{左导数}和\textbf{右导数}
 29 | \end{definition}
 30 | \begin{remark}
 31 |   $f$在点$a$可导$\iff$ $f$在点$a$的左导数和右导数存在且相等。
 32 | \end{remark}
 33 | 
 34 | \begin{theorem}[可导与连续的关系]
 35 |   若函数$f$在点$a$可导，则$f$在点$a$连续。
 36 | \end{theorem}
 37 | \begin{remark}
 38 |   反之不成立。即在点$a$连续的函数未必在点$a$可导。
 39 | \end{remark}
 40 | 
 41 | \subsection{微分的概念}
 42 | \begin{definition}[微分]
 43 |   设函数$f$在区间$I$上有定义。
 44 |   对点$a\in I$，当自变量有增量$\Delta x$时，
 45 |   相应地，因变量$y$有增量$\Delta y=f(a+\Delta x)-f(a)$。
 46 |   若当$\Delta x\to 0$时，有
 47 |   \begin{displaymath}
 48 |     \Delta y = A\Delta x +o(\Delta x)
 49 |   \end{displaymath}
 50 |   其中$A$与$\Delta x$无关(一般与$a$有关)，
 51 |   则称函数$f$在点$a$\textbf{可微}，
 52 |   且称$A\Delta x$为$f$在点$a$的\textbf{微分}，记作
 53 |   \begin{displaymath}
 54 |     \md f(a)\quad\textrm{或}\quad \left.\md y\right|_a
 55 |   \end{displaymath}
 56 | \end{definition}
 57 | 
 58 | \begin{remark}
 59 |   当$\Delta x\to 0$时，无穷小$\md y$是$\Delta y$的主部。
 60 |   又因为$\md y$关于$\Delta x$是一次的，
 61 |   故称$\md y$是$\Delta y$的\textbf{线性主部}。
 62 | \end{remark}
 63 | 
 64 | \begin{theorem}[可导与可微等价]
 65 |   函数$f$在点$a$可微的充要条件是
 66 |   $f$在点$a$存在有限导数$f'(a)$，
 67 |   于是就有
 68 |   \begin{displaymath}
 69 |     \md y = f'(a)\Delta x
 70 |   \end{displaymath}
 71 | \end{theorem}
 72 | 
 73 | \begin{remark}
 74 |   我们约定自变量$x$的增量$\Delta x$为自变量的微分，
 75 |   即$\md x = \Delta x$，
 76 |   于是上面的微分可以写成
 77 |   \begin{displaymath}
 78 |     \md y = f'(a)\md x
 79 |   \end{displaymath}
 80 |   需要注意的是，
 81 |   $\frac{\md y}{\md x} = f'(x)$中的左半部分应当视为一个整体，
 82 |   而不是一个分子除以分母的形式。
 83 |   只是因为上述定理的存在，
 84 |   才使得看起来只要把等式左边的分母移到右边就能得到$f$的微分形式。
 85 |   事实上，\textbf{该定理只对一元函数成立}。
 86 | \end{remark}
 87 | 
 88 | \section{导数与微分的计算}
 89 | 本小节首先说明了导数和微分的四则运算法则。
 90 | 然后讨论了复合函数的求导法则以及一阶微分形式的不变性。
 91 | 接着讨论了反函数导数的求法。
 92 | 最后，我们列出一些常用且容易遗忘的函数的导数。
 93 | 
 94 | \subsection{四则运算}
 95 | \begin{theorem}[导数的四则运算]
 96 |   设函数$u,v$在点$x$可导，那么
 97 |   \begin{enumerate}
 98 |     \item
 99 |     $y=u\pm v$在点$x$可导，且有
100 |     \begin{displaymath}
101 |       (u\pm v)'=u'\pm v'
102 |     \end{displaymath}
103 |     \item
104 |     $y=uv$在点$x$可导，且有
105 |     \begin{displaymath}
106 |       (uv)' = u'v+uv'
107 |     \end{displaymath}
108 |     \item
109 |     当$v(x)\neq 0$时，$y=u/v$在点$x$可导，且有
110 |     \begin{displaymath}
111 |       \left(\frac{u}{v}\right)'=\frac{u'v-uv'}{v^2}
112 |     \end{displaymath}
113 |   \end{enumerate}
114 | \end{theorem}
115 | 
116 | \begin{theorem}[微分的四则运算]
117 |   设函数$u,v$在点$x$可微，那么
118 |   \begin{enumerate}
119 |     \item
120 |     $\md (u\pm v) = \md u \pm \md v$
121 |     \item
122 |     $\md (uv) = v\md u + u \md v$
123 |     \item
124 |     $\md (\frac{u}{v}) = \frac{v\md u - u\md v}{v^2}$
125 |   \end{enumerate}
126 | \end{theorem}
127 | 
128 | \subsection{复合函数的导数}
129 | \begin{theorem}[复合函数的导数]
130 |   设函数$y=f(u)$与$u=u(x)$在$x_0$的邻域能构成复合函数，
131 |   且$u=u(x)$在点$x_0$可导，$y=f(x)$在点$u_0=u(x_0)$可导。
132 |   那么，复合函数$f\circ u$在点$x_0$可导，且有
133 |   \begin{displaymath}
134 |     (f\circ u)'(x_0) = f'(u_0)u'(x_0)
135 |   \end{displaymath}
136 | \end{theorem}
137 | 
138 | \begin{corollary}[一阶微分形式不变性]
139 |   设$y=f(u)$，则无论$u$是自变量还是中间变量$u=u(x)$，
140 |   其微分形式不变，都是
141 |   \begin{displaymath}
142 |     \md y = f'(u)\md u
143 |   \end{displaymath}
144 | \end{corollary}
145 | 
146 | \begin{remark}
147 |   该定理对高阶微分不成立：若$y=f(x)$，但$x$是中间变量，
148 |   即$x=u(t)$，那么有
149 |   \begin{align*}
150 |     \md^2 y
151 |     &= \md (f'(x)\md x) \\
152 |     &= f''(x)\md x^2 + f'(x)\md^2 x
153 |       & (\text{不是$f''(x)\md x^2$}) \\
154 |     &= f''(x)\left(u'(t)\md t\right)^2 + f'(x)(u''(t)\md t^2)\\
155 |     &= \left(f''(x)u'(t)^2 + f'(x)u''(t)\right)\md t^2
156 |   \end{align*}
157 | \end{remark}
158 | 
159 | \subsection{反函数的导数}
160 | \begin{theorem}[反函数的导数]
161 |   设函数$x=\phi(y)$在某一区间$I$内严格单调，
162 |   有在区间$I$内一点$y$出导数$\phi(y)$存在且不为零，
163 |   则反函数$y=f(x)$在对应点$x$出具有导数$f'(x)$，且
164 |   \begin{displaymath}
165 |     f'(x) = \frac{1}{\phi'(y)}
166 |   \end{displaymath}
167 | \end{theorem}
168 | 
169 | \subsection{公式表}
170 | 下面是一些常用且容易遗忘的函数的导数：
171 | \begin{center}
172 |   \begin{tabular}{|c|c|}
173 |     \hline
174 |     $f(x)$ & $f'(x)$ \\
175 |     \hline
176 |     $a^x$ & $a^x\ln a$  \\
177 |     \hline
178 |     $\log_a |x|$ & $\frac{1}{x\ln a}$ \\
179 |     \hline
180 |     $\arcsin x$ & $\frac{1}{\sqrt{1-x^2}}$ \\
181 |     \hline
182 |     $\arccos x$ & $-\frac{1}{\sqrt{1-x^2}}$ \\
183 |     \hline
184 |     $\arctan x$ & $\frac{1}{1+x^2}$ \\
185 |     \hline
186 |   \end{tabular}
187 | \end{center}
188 | 
189 | \section{高阶导数与高阶微分}
190 | 本小节我们讨论高阶导数和高阶微分。
191 | 需要注意高阶微分与一阶微分性质的差异。
192 | 
193 | \subsection{高阶导数}
194 | 对于函数$f$，如果它的一阶导数可导，那么对之求导能得到二阶导数。
195 | 如果它的二阶导数可导，那么对之求导能得到三阶导数。
196 | 以此类推，我们可以得到$n$阶导数，并称它$n$阶可导。
197 | 
198 | 对于$n$阶可导的函数$f$，我们把它的$n$阶导数记为
199 | \begin{displaymath}
200 |   f^{(n)}\quad\text{或}\quad \frac{\md^n f}{\md x^n}
201 | \end{displaymath}
202 | 
203 | 下面是一些常见导数的高阶导数：
204 | \begin{center}
205 |   \begin{tabular}{|c|c|}
206 |     \hline
207 |     $f(x)$ & $f^{(n)}(x)$ \\
208 |     \hline
209 |     $a^x$ & $a^x\ln^n a$  \\
210 |     \hline
211 |     $x^\mu$ & $\mu(\mu-1)(\mu-2)\dots(\mu-n+1)x^{\mu-n }$ \\
212 |     \hline
213 |     $x^{-1}$ & $(-1)^n\frac{n!}{x^{n+1}}$ \\
214 |     \hline
215 |     $\ln(x+1)$ & $\left[(1+x)^{-1}\right]^{(n-1)}=(-1)^{n-1}\frac{(n-1)!}{(1+x)^n}$ \\
216 |     \hline
217 |     $\sin x$ & $\sin(x + \frac{n\pi}{2})$ \\
218 |     \hline
219 |   \end{tabular}
220 | \end{center}
221 | 
222 | \begin{theorem}[高阶导数的运算公式]
223 |   设函数$u,v$都$n$阶可导，则
224 |   \begin{enumerate}
225 |     \item
226 |     $(u\pm v)^{(n)} = u^{(n)} \pm v^{(n)}$
227 |     \item
228 |     $(uv)^{(n)}=\sum_{i=0}^{n}\binom{n}{i}u^{(n-i)}v^{(i)}$
229 |   \end{enumerate}
230 | \end{theorem}
231 | 
232 | \subsection{高阶微分}
233 | 和高阶导数一样，对一阶微分$\md y$再求微分得到二阶微分，
234 | 记为$\md^2 y$，即
235 | \begin{displaymath}
236 |   \md^2 y = \md(\md y)
237 | \end{displaymath}
238 | 类似可定义各阶微分。
239 | 
240 | 对$y=f(x)$，当$x$是自变量时，$\md x = \Delta x$可任意变化，
241 | 与$x$无关，因此，对$x$求导时，$\md x$可看作常数，故有
242 | \begin{align*}
243 |   \md^2 y
244 |   &= \md(f'(x)\md x) \\
245 |   &= \md(f'(x))\md x \\
246 |   &= f''(x)(\md x)^2
247 | \end{align*}
248 | 为书写方便，$(\md x)^2$习惯上记作$\md x^2$，于是
249 | \begin{displaymath}
250 |   \md^2 y = f''(x)\md x^2
251 | \end{displaymath}
252 | 以此类推，有
253 | \begin{displaymath}
254 |   \md^n y = f^{(n)}(x) \md x^n
255 | \end{displaymath}
256 | 这样，前面引入的高阶导数记号$\frac{\md^n y}{\md x^n}$，
257 | 现在可以看成是函数$y$的$n$阶微分$\md^n y$
258 | 与自变量的一阶微分$\md x$的$n$次幂之商了。
259 | 
260 | 需要注意的是，当$x$不是自变量而是中间变量时，即$y=f(x)$，$x=x(t)$，
261 | $\md x$不可视作可任意变化的常数$\Delta x$了，
262 | 而是有$\md x = x'(t)\md t$，因此
263 | \begin{align*}
264 |   \md^2 y
265 |   &= \md (f'(x)\md x) \\
266 |   &= f''(x)\md x^2 + f'(x)\md^2 x \\
267 |   &= f''(x)\left(u'(t)\md t\right)^2 + f'(x)(u''(t)\md t^2)\\
268 |   &= \left(f''(x)u'(t)^2 + f'(x)u''(t)\right)\md t^2
269 | \end{align*}
270 | 从上面第二行等式可以看出，高阶微分不满足形式不变性。
271 | 
272 | \section{微分中值定理}
273 | 本小节，我们会介绍费马引理、罗尔定理、拉格朗日中值定理和柯西中值定理。
274 | 因为这些定理的证明思路比较重要，并且也不是很难，所以我们会给出证明。
275 | 
276 | \subsection{两个引理}
277 | \begin{definition}[极值]
278 |   设$f$是定义在区间$I$上的一个实函数，$a\in I$。
279 |   如果存在$a$的$\delta$邻域$U(a,\delta)$，使
280 |   \begin{displaymath}
281 |     f(x) \le a,\quad x\in U
282 |   \end{displaymath}
283 |   则称$f$在点$a$取\textbf{极大值}$f(a)$，
284 |   称$a$为$f(x)$的\textbf{极大点}。
285 |   如果
286 |   \begin{displaymath}
287 |     f(x) \ge a,\quad x\in U
288 |   \end{displaymath}
289 |   则称$f$在点$a$取\textbf{极小值}$f(a)$，
290 |   称$a$为$f(x)$的\textbf{极小点}。
291 |   极大、极小值称为\textbf{极值}，
292 |   达到极值的点统称为\textbf{极值点}。
293 | \end{definition}
294 | 
295 | \begin{lemma}[费马(Fermat)定理] \label{thrm:fermat}
296 |   设函数$f$在点$a$的某邻域有定义，在点$a$可导。
297 |   如果$f(x)$在点$a$取极大或极小，则$f'(a)=0$。
298 | \end{lemma}
299 | \begin{proof}
300 |   不妨设$f(x)$在点$a$取极大，则对$a+\Delta x\in U(a,\delta)$，有
301 |   \begin{displaymath}
302 |     f(a+\Delta x) \le f(a)
303 |   \end{displaymath}
304 |   当$\Delta x < 0$时，$[f(a+\Delta x) - f(a)]/\Delta x \ge 0$，
305 |   所以根据极限的保号性(\ref{thrm:limit-sign-preserve})
306 |   \begin{displaymath}
307 |     f'(a) = f'_{-}(a) =\lim_{\Delta x\to 0-}
308 |       \frac{f(a+\Delta x) - f(a)}{\Delta x} \ge 0
309 |   \end{displaymath}
310 |   当$\Delta x > 0$时，$[f(a+\Delta x) - f(a)]/\Delta x \le 0$，同样有
311 |   \begin{displaymath}
312 |   f'(a) = f'_{+}(a) =\lim_{\Delta x\to 0+}
313 |   \frac{f(a+\Delta x) - f(a)}{\Delta x} \le 0
314 |   \end{displaymath}
315 |   因此只能等号成立，即$f'(a)=0$。
316 | \end{proof}
317 | \begin{remark}
318 |   费马引理给出了极值的必要条件，但不是充分条件。
319 | \end{remark}
320 | 
321 | \begin{lemma}[罗尔(Rolle)定理] \label{thrm:rolle}
322 |   设函数$f$满足：
323 |   \begin{enumerate}
324 |     \item
325 |     在闭区间$[a,b]$上连续；
326 |     \item
327 |     在开区间$(a,b)$上可导；
328 |     \item
329 |     $f(a)=f(b)$。
330 |   \end{enumerate}
331 |   则在$(a,b)$内至少存在一个点$\xi$，使得$f'(\xi)=0$。
332 | \end{lemma}
333 | \begin{proof}
334 |   因为$f$在闭区间$[a,b]$上连续，
335 |   所以根据闭区间上连续函数的性质(\ref{thrm:continuous-func-bounded})，
336 |   $f$在$[a,b]$上能取到最大值$M$和最小值$m$。下面有两种可能：
337 |   \begin{enumerate}
338 |     \item
339 |     若$M = m$，则$f$在$[a,b]$上为常数，
340 |     因此对$(a,b)$内的任一点$x$都有$f'(x)=0$，
341 |     即$\xi$可取$(a,b)$内任一点。
342 |     \item
343 |     若$M\neq m$，则$M$和$m$中至少有一个不等于$f(a)$，
344 |     不妨设$M\neq f(a)=f(b)$，
345 |     于是至少有一个点$\xi\in(a,b)$，使得$f(\xi)=M$。
346 |     根据费马定理(\ref{thrm:fermat})得到$f'(\xi)=0$。
347 |   \end{enumerate}
348 | \end{proof}
349 | 
350 | \subsection{中值定理}
351 | \begin{theorem}[拉格朗日(Lagrange)中值定理] \label{thrm-lagrange-mean-value}
352 |   设函数$f$满足：
353 |   \begin{enumerate}
354 |     \item
355 |     在闭区间$[a,b]$上连续；
356 |     \item
357 |     在开区间$(a,b)$上可导。
358 |   \end{enumerate}
359 |   则至少存在一点$\xi\in(a,b)$，使得
360 |   \begin{displaymath}
361 |     f'(\xi)=\frac{f(b)-f(a)}{b-a}
362 |   \end{displaymath}
363 | \end{theorem}
364 | 
365 | \begin{proof}
366 |   作辅助函数
367 |   \begin{displaymath}
368 |     F(x) = f(x)-f(a)-\frac{f(b)-f(a)}{b-a}(x-a)
369 |   \end{displaymath}
370 |   它是由$f(x)$与端点为$(a,f(a))$、$(b,f(b))$的直线相减得到的。
371 |   这样，就有$F(a)=F(b)=0$，
372 |   且不难验证它满足罗尔定理(\ref{thrm:rolle})的其它条件。
373 |   因此，至少存在一点$\xi\in(a,b)$，使得$F'(\xi)=0$，即
374 |   \begin{displaymath}
375 |     f'(\xi)-\frac{f(b)-f(a)}{b-a} = 0
376 |   \end{displaymath}
377 |   此即为求证的目标式。
378 | \end{proof}
379 | 
380 | \begin{remark}
381 |   需要留意辅助函数的构造方法。此外，拉格朗日中值定理还能写成
382 |   \begin{align*}
383 |     f(x_0 + \Delta x)
384 |     &= f(x_0) + f'(\xi)\Delta x &\xi\in(0,x_0+\Delta x)\\
385 |     &= f(x_0) + f'(x_0+\theta \Delta x)\Delta x &\theta\in(0,1)
386 |   \end{align*}
387 | \end{remark}
388 | 
389 | \begin{theorem}[柯西(Cauchy)中值定理] \label{thrm:cauchy-mean-value}
390 |   设函数$f,g$满足
391 |   \begin{enumerate}
392 |      \item
393 |     在闭区间$[a,b]$上连续；
394 |     \item
395 |     在开区间$(a,b)$上可导，且$g'(x)\neq 0$。
396 |   \end{enumerate}
397 |   则至少存在一点$\xi\in(a,b)$，使得
398 |   \begin{displaymath}
399 |     \frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f'(\xi)}{g'(\xi)}
400 |   \end{displaymath}
401 | \end{theorem}
402 | 
403 | \begin{proof}
404 |   因为$g'(x)\neq 0$，所以$g(b)-g(a)=g'(\xi)(b-a)\neq 0$，
405 |   所以我们能构造有意义的函数
406 |   \begin{displaymath}
407 |     F(x)=f(x)-\frac{f(b)-f(a)}{g(b)-g(a)}g(x)
408 |   \end{displaymath}
409 |   不难发现$F(a)=F(b)$，
410 |   且$F(x)$满足罗尔定理(\ref{thrm:rolle})的其它条件，
411 |   所以至少存在一点$\xi\in(a,b)$，使得$F'(x)=0$，即
412 |   \begin{displaymath}
413 |     f'(\xi)-\frac{f(b)-f(a)}{g(b)-g(a)}g'(\xi)=0
414 |   \end{displaymath}
415 |   此即为求证的目标式
416 | \end{proof}
417 | 
418 | \section{洛必达法则}
419 | 本小节介绍能够求$\frac{0}{0}$和$\frac{\infty}{\infty}$型不定型极限的有效方法
420 | ——洛必达(L'Hospital)法则。
421 | 
422 | \subsection{求$\frac{0}{0}$型不定型极限的法则}
423 | \begin{theorem}
424 |   设在去心邻域$U(a,r)-\{a\}$内函数$f,g$满足
425 |   \begin{enumerate}
426 |     \item
427 |     $\lim_{x\to a} f(x) = \lim_{x\to a}g(x) = 0$，
428 |     \item
429 |     $f',g'$存在且$g'(x) \neq 0$，
430 |     \item \label{item:deri-lim-exist}
431 |     $\lim_{x\to a} \frac{f'(x)}{g'(x)}=A$(有限或$\pm\infty$)。
432 |   \end{enumerate}
433 |   则有
434 |   \begin{displaymath}
435 |     \lim_{x\to a}\frac{f(x)}{g(x)}=\lim_{x\to a} \frac{f'(x)}{g'(x)}
436 |   \end{displaymath}
437 | \end{theorem}
438 | 
439 | \begin{remark}
440 |   一些注意点：
441 |   \begin{enumerate}
442 |     \item
443 |     对单侧极限，该定理仍成立。
444 |     \item
445 |     对于$x\to\infty$，该定理也成立。
446 |     \item
447 |     定理的条件是充分的，不是必要的。
448 |     即当条件\ref{item:deri-lim-exist}不满足时，
449 |     不能断定极限$\lim \frac{f(x)}{g(x)}$不存在。
450 |   \end{enumerate}
451 | \end{remark}
452 | 
453 | \subsection{求$\frac{\infty}{\infty}$型不定型极限的法则}
454 | \begin{theorem}
455 |   设在去心邻域$U(a,r)-\{a\}$内函数$f,g$满足
456 |   \begin{enumerate}
457 |     \item
458 |     $\lim_{x\to a} f(x) = \lim_{x\to a}g(x) = \infty$，
459 |     \item
460 |     $f',g'$存在且$g'(x) \neq 0$，
461 |     \item
462 |     $\lim_{x\to a} \frac{f'(x)}{g'(x)}=A$(有限或$\pm\infty$)。
463 |   \end{enumerate}
464 |   则有
465 |   \begin{displaymath}
466 |     \lim_{x\to a}\frac{f(x)}{g(x)}=\lim_{x\to a} \frac{f'(x)}{g'(x)}
467 |   \end{displaymath}
468 | \end{theorem}
469 | 
470 | \subsection{其它五种不定型极限}
471 | 其它五种不定型都可化为$\frac{0}{0}$或$\frac{\infty}{\infty}$型：
472 | \begin{itemize}
473 |   \item
474 |   $0\cdot\infty$可以化成$\frac{0}{1/\infty}$。
475 |   \item
476 |   $\infty - \infty$可以进行通分。
477 |   \item
478 |   $0^0$，$1^{\infty}$，$\infty^0$可以取对数。
479 | \end{itemize}
480 | 
481 | \section{泰勒公式}
482 | 本小节介绍泰勒公式，并给出常用的基本初等函数的麦克劳林公式。
483 | 
484 | \subsection{泰勒公式}
485 | \begin{theorem}[泰勒(Taylor)公式]
486 |   设函数$f$在点$a$的邻域$U$内存在直到$n+1$阶导数，
487 |   则$f$在$U$上可展成$n$阶泰勒公式
488 |   \begin{equation} \label{eq:talor}
489 |      f(x) = \sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k + r_n(x)
490 |   \end{equation}
491 |   其中$r_n(x)$可表达为\textbf{拉格朗日余项}形式
492 |   \begin{displaymath}
493 |     r_n(x)=\frac{f^{(n+1)}(\xi)}{(n+1)!}(x-a)^{n+1},
494 |     \quad \xi\in(a,x)
495 |   \end{displaymath}
496 |   或
497 |   \begin{displaymath}
498 |     r_n(x)=\frac{f^{(n+1)}(a+\theta(x-a))}{(n+1)!}(x-a)^{n+1},
499 |     \quad \theta\in(0,1)
500 |   \end{displaymath}
501 |   这时，称式\eqref{eq:talor}为\textbf{带拉格朗日余项的$n$阶泰勒公式}。
502 |   $r_n(x)$也可表达为\textbf{皮亚诺(Peano)余项}形式
503 |   \begin{displaymath}
504 |     r_n(x)=o\left((x-a)^n\right),\quad((x-a)\to 0)
505 |   \end{displaymath}
506 |   这时，称式\eqref{eq:talor}为\textbf{带皮亚诺余项的$n$阶泰勒公式}。
507 |   
508 |   特别的，若$a=0$，分别称
509 |   \begin{displaymath}
510 |     f(x) = \sum_{k=0}^{n}\frac{f^{(k)}(0)}{k!}x^k
511 |       + \frac{f^{(n+1)}(\theta x)}{(n+1)!}x^{n+1},
512 |       \quad \theta\in (0,1)
513 |   \end{displaymath}
514 |   与
515 |   \begin{displaymath}
516 |     f(x) = \sum_{k=0}^{n}\frac{f^{(k)}(0)}{k!}x^k
517 |       + o(x^n),\quad (x\to 0)
518 |   \end{displaymath}
519 |   为带拉格朗日余项与皮亚诺余项的\textbf{$n$阶麦克劳林(Maclaurin)公式}。
520 | \end{theorem}
521 | 
522 | \subsection{基本初等函数的麦克劳林公式}
523 | 下面是带拉格朗日余项的初等函数的麦克劳林公式。其中，$\theta\in (0,1)$。
524 | \begin{align*}
525 |   e^x &= 1+x+\frac{x^2}{2!}+\dots+\frac{x^n}{n!}
526 |     + \frac{e^{\theta x}}{(n+1)!}x^{n+1} \\
527 |   \sin x &= x - \frac{x^3}{3!} + \frac{x^5}{5!} -\dots
528 |     + \frac{(-1)^{m-1}}{(2m-1)!}x^{2m-1}\\
529 |     &\quad + \frac{\sin(\theta x + (2m+1)\pi / 2)}{(2m+1)!}x^{2m+1}\\
530 |   \cos x &= 1 - \frac{x^2}{2!} + \frac{x^4}{4!} -\dots
531 |     + \frac{(-1)^{m}}{(2m)!}x^{2m}\\
532 |     &\quad + \frac{\cos(\theta x + (m+1)\pi)}{(2m+2)!}x^{2m+2} \\
533 |   \ln(1+x) &= x -\frac{x^2}{2} + \frac{x^3}{3}-\dots
534 |     + \frac{(-1)^{n-1}}{n}x^n \\
535 |     &\quad + \frac{(-1)^{n}}{(n+1)(1+\theta x)^{n+1}}x^{n+1} \\
536 |   (1+x)^{\mu} &= 1 + \mu x + \frac{\mu(\mu-1)}{2}x^2+\dots
537 |     + \frac{\mu(\mu-1)\dots(\mu-n+1)}{n!}x^n \\
538 |     &\quad + \frac{\mu(\mu-1)\dots(\mu-n)}{(n+1)!}
539 |     (1+\theta x)^{\mu-n-1}x^{n+1}
540 | \end{align*}
541 | 
542 | \section{利用导数研究函数的性质}
543 | 本小节主要介绍函数的凹凸性与导数的关系。
544 | 至于导数与单调性、极值和最值的关系，
545 | 这些已经在高中阶段学习得很透彻了，
546 | 这里不再多讲。
547 | 
548 | \subsection{单调性\ 极值\ 最值}
549 | 高中内容。略。
550 | 
551 | \subsection{凹凸性}
552 | \begin{definition}[凸函数]
553 |   设函数$f$在区间$I$上定义。
554 |   如果对$I$上任意两点$x_1,x_2$，以及$\lambda\in[0,1]$，都有
555 |   \begin{displaymath}
556 |     f(\lambda x_1 + (1-\lambda)x_2)\le
557 |     \lambda f(x_1) + (1-\lambda)f(x_2)
558 |   \end{displaymath}
559 |   则称$f$为$I$上的\textbf{凸函数}。
560 |   若式中不等号反向，则称$f$为$I$上的\textbf{凹函数}。
561 |   若式中是严格不等式，则称$f$为$I$上的\textbf{严格凸函数}。
562 | \end{definition}
563 | 
564 | \begin{theorem}[凸函数的充要条件(一阶可导)]
565 |   设函数$f$在$I$内可导，
566 |   则$f$在$I$内是严格凸函数的充要条件是$f'(x)$在$I$上严格递增。
567 | \end{theorem}
568 | 
569 | \begin{theorem}[凸函数的充要条件(二阶可导)]
570 |   设函数$f$在$I$内二阶可导，
571 |   则$f$在$I$内是严格凸函数的充要条件是对任意$x\in I$，$f''(x)>0$。
572 | \end{theorem}
573 | 


--------------------------------------------------------------------------------
/Calculus/ImproperIntegral.tex:
--------------------------------------------------------------------------------
1 | \chapter{广义积分}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/Calculus/InfiniteSeries.tex:
--------------------------------------------------------------------------------
1 | \chapter{无穷级数}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/Calculus/IntegralCalculusOfMultivariateFunction.tex:
--------------------------------------------------------------------------------
1 | \chapter{多元函数积分学}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/Calculus/IntegralCalculusOfUnaryFunction.tex:
--------------------------------------------------------------------------------
1 | \chapter{一元函数积分学}
2 | % TODO
3 | 
4 | 


--------------------------------------------------------------------------------
/Calculus/OrdinaryDifferentialEquation.tex:
--------------------------------------------------------------------------------
1 | \chapter{常微分方程}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/Calculus/SpaceAnalyticGeometry.tex:
--------------------------------------------------------------------------------
1 | \chapter{空间解析几何}
2 | % TODO
3 | 


--------------------------------------------------------------------------------
/LinearAlgebra/Determinant.tex:
--------------------------------------------------------------------------------
  1 | \chapter{行列式}
  2 | 
  3 | \section{行列式}
  4 | 本小节开始讨论行列式的概念。
  5 | 
  6 | 首先我们给出了行列式的定义。
  7 | 但是，如果我们根据行列式的定义来计算行列式，除了一些特殊矩阵，
  8 | 用计算科学的说法，大部分$n$阶行列式的计算复杂度是$O(n!)$，
  9 | 因此我们需要探索更高效的方法来计算行列式。
 10 | 
 11 | 接下来，我们给出了行列式的一些基本性质。
 12 | 有了这些性质，我们得到了新的行列式计算方法，
 13 | 而且稍加分析，就能惊喜地看出这个方法的时间复杂度是$O(n^3)$。
 14 | 
 15 | \subsection{$n$阶行列式}
 16 | \begin{definition}[$n$级排列]
 17 |   $n$个自然数按任意固定的顺序构成的一个排列称为$n$\textbf{级排列}。
 18 |   所有$n$级排列构成的集合记作$\pi_n$。
 19 | \end{definition}
 20 | 
 21 | \begin{definition}[逆序数]
 22 |   在一个$n$级排列$(i_1,i_2,\dots,i_n)$中，
 23 |   如果$i_r>i_s$，但是$r<s$，即前面的数大于后面的数，
 24 |   就称这两个数构成\textbf{逆序对}。
 25 |   一个排列中逆序对的个数叫做这个排列的\textbf{逆序数}，
 26 |   记作$\tau(i_1,i_2,\dots,i_n)$。
 27 | \end{definition}
 28 | 
 29 | \begin{definition}[奇、偶排列]
 30 |   逆序数为奇数的排列叫做\textbf{奇排列}；
 31 |   逆序数为偶数的排列叫做\textbf{偶排列}。
 32 | \end{definition}
 33 | 
 34 | \begin{definition}[$n$阶行列式]
 35 |   设$\mmA=(a_{ij})_{n\times n}$是$n$阶方阵，它的$n$阶行列式为
 36 |   \begin{align*}
 37 |     |\mmA| &= \sum_{(j_1,j_2,\dots,j_n)\in\pi_n}
 38 |     (-1)^{\tau(j_1,j_2,\dots,j_n)}a_{1j_1}a_{2j_2}\dots a_{nj_n} \\
 39 |     &= \sum_{(i_1,i_2,\dots,i_n)\in\pi_n}
 40 |     (-1)^{\tau(i_1,i_2,\dots,i_n)}a_{i_1 1}a_{i_2 2}\dots a_{i_n n}
 41 |   \end{align*}
 42 | \end{definition}
 43 | 
 44 | 特殊矩阵的行列式：
 45 | \begin{enumerate}
 46 |   \item $|\mdiag(d_1,d_2,\dots,d_n)| = d_1d_2\dots d_n$
 47 |   \item 三角阵的行列式为对角线之积
 48 | \end{enumerate}
 49 | 
 50 | \subsection{行列式的性质}
 51 | \begin{theorem}
 52 |   若$\mmA$为方阵，那么$|\mmA^\mT| = |\mmA|$
 53 | \end{theorem}
 54 | 
 55 | \begin{theorem}
 56 |   \begin{align*}
 57 |     &\quad\mdet{cccc}{
 58 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 59 |       \vdots &        &        &        \\
 60 |       b_{i1} + c_{i1} & b_{i2} + c_{i2}  & \cdots & b_{in} + c_{in} \\
 61 |       \vdots &        &        &        \\
 62 |       a_{n1} & a_{n2} & \cdots & a_{nn} } \\
 63 |     &= \mdet{cccc}{
 64 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 65 |       \vdots &        &        &        \\
 66 |       b_{i1} & b_{i2} & \cdots & b_{in} \\
 67 |       \vdots &        &        &        \\
 68 |       a_{n1} & a_{n2} & \cdots & a_{nn} }
 69 |     + \mdet{cccc}{
 70 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 71 |       \vdots &        &        &        \\
 72 |       c_{i1} & c_{i2} & \cdots & c_{in} \\
 73 |       \vdots &        &        &        \\
 74 |       a_{n1} & a_{n2} & \cdots & a_{nn} }
 75 |     \end{align*}
 76 | \end{theorem}
 77 | 
 78 | \begin{theorem}
 79 |   设$\mmA$为$n$阶方阵。
 80 |   若$\mmA$有两行元素相等或对应成比例，
 81 |   那么$|\mmA| = 0$。
 82 | \end{theorem}
 83 | 
 84 | \begin{theorem}
 85 |   \begin{displaymath}
 86 |     \mdet{cccc}{
 87 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 88 |       \vdots &        &        &        \\
 89 |       \lambda a_{i1} & \lambda a_{i2} & \cdots & \lambda a_{in} \\
 90 |       \vdots &        &        &        \\
 91 |       a_{n1} & a_{n2} & \cdots & a_{nn} }
 92 |     = \lambda \mdet{cccc}{
 93 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 94 |       \vdots &        &        &        \\
 95 |       a_{i1} & a_{i2} & \cdots & a_{in} \\
 96 |       \vdots &        &        &        \\
 97 |       a_{n1} & a_{n2} & \cdots & a_{nn} }
 98 |   \end{displaymath}
 99 | \end{theorem}
100 | 
101 | \begin{theorem} \label{thrm:det-rowswi}
102 |   交换方阵$\mmA$的两行，仅改变$\mmA$行列式的符号，
103 |   即\[ |\mmRowSwi{i}{j}\mmA| = -|\mmA| \]
104 | \end{theorem}
105 | 
106 | \begin{theorem} \label{thrm:det-rowadd}
107 |   对方阵$\mmA$做$\mTfRowAdd{i}{+k}{j}$变换，不改变$\mmA$的行列式，
108 |   即\[ |\mmRowAdd{i}{+k}{j}\mmA| = |\mmA| \]
109 | \end{theorem}
110 | 
111 | \subsection{用行列式的性质求行列式}
112 | 使用行列式的性质把行列式转化成上三角矩阵的行列式。
113 | 后者的行列式即为对角线之积。
114 | 
115 | \section{行列式按行(列)展开}
116 | 本小节讨论另一种行列式的计算方法。
117 | 
118 | \subsection{行列式按一行(列)展开}
119 | \begin{definition}[余子式]
120 |   在$n$阶行列式$|\mmA|=|a_{ij}|_{n\times n}$中划去第$i$行第$j$列后
121 |   所剩下的$(n-1)^2$个元素按照原来的相对位置排成的$n-1$阶子式$M_{ij}$
122 |   叫做元素$a_{ij}$在$\mmA$中的\textbf{余子式}。
123 |   而\[ A_{ij} = (-1)^{i+j}M_{ij} \]
124 |   叫做元素$a_{ij}$在$\mmA$中的\textbf{代数余子式}。
125 |   这里$1\le i, j \le n$。
126 | \end{definition}
127 | 
128 | \begin{theorem}[按行(列)展开] \label{thrm:det-expansion}
129 |   $n$阶行列式$|\mmA|=|a_{ij}|_{n\times n}$
130 |   等于任一行(列)各元素与其代数余子式的乘积之和，即
131 |   \begin{align*}
132 |   |\mmA| &= a_{i1}A_{i1}+a_{i2}A_{i2}+\dots+a_{in}A_{in}\quad(i=1,2,\dots,n) \\
133 |   |\mmA| &= a_{1j}A_{1j}+a_{2j}A_{2j}+\dots+a_{nj}A_{nj}\quad(j=1,2,\dots,n)
134 |   \end{align*}
135 | \end{theorem}
136 | 
137 | \begin{theorem} \label{thrm:det-expansion-zero}
138 |   $n$阶行列式$|\mmA|=|a_{ij}|_{n\times n}$
139 |   的任一行(列)元素与另一行(列)元素的代数余子式乘积之和等于零，即
140 |   \begin{align*}
141 |     a_{i1}A_{j1}+a_{i2}A_{j2}+\dots+a_{in}A_{jn} &= 0\quad(i\neq j) \\
142 |     a_{1i}A_{1j}+a_{2i}A_{2j}+\dots+a_{ni}A_{nj} &= 0\quad(i\neq j)
143 |   \end{align*}
144 | \end{theorem}
145 | 
146 | \begin{remark}
147 |   定理\ref{thrm:det-expansion}和\ref{thrm:det-expansion-zero}
148 |   可以统一表示为(仅列出行的情况)
149 |   \begin{displaymath}
150 |   \sum_{k=1}^{n}a_{ik}A_{jk} = \begin{cases}
151 |     |\mmA| & (i=j) \\
152 |     0      & (i\neq j)
153 |   \end{cases}
154 |   \end{displaymath}
155 | \end{remark}
156 | 
157 | \subsection{范德蒙(Vandermonde)行列式}
158 | \begin{displaymath}
159 |   V_n = \mdet{ccccc}{
160 |     1         & 1         & 1         & \cdots & 1      \\
161 |     x_1       & x_2       & x_3       & \cdots & x_n    \\
162 |     x_1^2     & x_2^2     & x_3^2     & \cdots & x_n^2  \\
163 |     \vdots    & \vdots    & \vdots    & \ddots & \vdots \\
164 |     x_1^{n-1} & x_2^{n-1} & x_3^{n-1} & \cdots & x_n^{n-1}
165 |   } = \prod_{1\le i<j\le n}(x_j - x_i)
166 | \end{displaymath}
167 | 
168 | \section{用行列式求逆阵\ 克莱姆法则}
169 | 本小节通过引入伴随矩阵这个中间媒介，
170 | 来探索方阵可逆与行列式之间的关系，
171 | 从而得到方阵可逆的充要条件，以及通过行列式求逆阵方法。
172 | 
173 | 有了上述方法，我们就能利用行列式来解线性方程组，
174 | 并总结出了克莱姆法则。但克莱姆法则也有其局限性。
175 | 后面会讲高斯消元来解一般线性方程组。
176 | 
177 | \subsection{用行列式求逆矩阵}
178 | \begin{theorem}[行列式乘法规则] \label{thrm:det-mul}
179 |   对任意$n$阶方阵$\mmA,\mmB$,有
180 |   \[ |\mmA\mmB|=|\mmA||\mmB| \]
181 | \end{theorem}
182 | 
183 | \begin{remark}
184 |   证明思路是，首先证明引理：对任意$n$阶方阵$\mmA$和$n$阶初等阵$\mmP$，
185 |   有$|\mmA\mmP|=|\mmP\mmA|=|\mmP||\mmA|$。
186 |   然后利用定理\ref{thrm:inv-equiv-cond}对$\mmB$讨论：
187 |   如果$\mmB$可逆，就能拆成一系列初等阵之积，从而利用引理得证；
188 |   如果$\mmB$不可逆，只要证明等式两边都等于0。
189 | \end{remark}
190 | 
191 | \begin{theorem}[行列式数乘规则] \label{thrm:det-num-mul}
192 |   对任意$n$阶方阵$\mmA$和$\lambda\in\mfR$，有
193 |   \[ |\lambda\mmA| = \lambda^n|\mmA| \]
194 | \end{theorem}
195 | 
196 | \begin{definition}[伴随矩阵]
197 |   $n$阶方阵$\mmA$的\textbf{伴随矩阵}为
198 |   \begin{displaymath}
199 |     \mmA^* = \mmat{cccc}{
200 |       A_{11} & A_{12} & \cdots & A_{1n} \\
201 |       A_{21} & A_{22} & \cdots & A_{2n} \\
202 |       \vdots & \vdots & \ddots & \vdots \\
203 |       A_{m1} & A_{m2} & \cdots & A_{mn} }^\mT
204 |   \end{displaymath}
205 | \end{definition}
206 | 
207 | \begin{theorem}[伴随矩阵的性质] \label{thrm:adjugate-mat-prop}
208 |   设$\mmA$是$n$阶方阵，那么有
209 |   \[ \mmA\mmA^*=\mmA^*\mmA=|\mmA|\mmI \]
210 | \end{theorem}
211 | 
212 | \begin{remark}
213 |   伴随矩阵就是为了这个性质而定义的。
214 | \end{remark}
215 | 
216 | \begin{theorem}[伴随矩阵的行列式]
217 |   设$\mmA$是$n$阶方阵，那么有
218 |   \[ |\mmA^*| = |\mmA|^{n-1} \]
219 | \end{theorem}
220 | 
221 | \begin{remark}
222 |   该式对$|\mmA|$取任意值都成立。
223 |   当$|\mmA|\neq 0$时，
224 |   对伴随矩阵的性质\ref{thrm:adjugate-mat-prop}
225 |   应用行列式乘法规则\ref{thrm:det-mul}
226 |   以及数乘规则\ref{thrm:det-num-mul}即可证明该式。
227 |   当$|\mmA|=0$时，
228 |   则直接通过定义来证明。
229 | \end{remark}
230 | 
231 | \begin{theorem}[方阵可逆的充要条件]
232 |   设$\mmA$是$n$阶方阵，那么
233 |   \[ \mmA\ \text{可逆} \iff |\mmA| \neq 0 \]
234 |   并且对于可逆矩阵$\mmA$有
235 |   \begin{enumerate}
236 |     \item $\mmA^{-1} = \mmA^*/|\mmA|$
237 |     \item $(\mmA^*)^{-1} = \mmA/|\mmA|$
238 |   \end{enumerate}
239 | \end{theorem}
240 | 
241 | \subsection{线性代数方程组与克莱姆(Cramer)法则}
242 | $n$元方程组的矩阵形式为
243 | \begin{equation} \label{eq:linear-eq:set}
244 |   \mmA \mvx = \mvb
245 | \end{equation}
246 | 其中$\mmA = (a_{ij})_{n\times n}$是\textbf{系数矩阵}，
247 | $\overline{\mmA}=(\mmA, \mvb)$是\textbf{增广矩阵}，
248 | $\mvx = (x_1,\dots,x_n)^\mT$与$\mvb = (b_1,\dots,b_n)^\mT$是$n$维列向量，
249 | 分别称为\textbf{未知向量}与\textbf{常数向量}。
250 | 若$\mvx$的一组取值$\hat{\mvx}$能满足\eqref{eq:linear-eq:set}，
251 | 则称$\hat{\mvx}$为\eqref{eq:linear-eq:set}的一个\textbf{解向量}。
252 | 
253 | 若常数向量不为$\mvZero$，则称\eqref{eq:linear-eq:set}为\textbf{非齐次线性方程组}，
254 | 否则，叫做\textbf{齐次线性方程组}。
255 | 
256 | \begin{theorem}[克莱姆(Cramer)法则]
257 |   若$n$元线性代数方程组的系数矩阵$\mmA$的行列式$|\mmA|\neq 0$，
258 |   则方程组有唯一解$\mvx = (x_1,\dots,x_n)$，其中
259 |   \begin{displaymath}
260 |     x_j = \frac{D_j}{|\mmA|} \quad (j=1,\dots,n)
261 |   \end{displaymath}
262 |   $D_j$是将$|\mmA|$的第$j$列换成$\mvb$所得的行列式。
263 | \end{theorem}
264 | 
265 | \begin{corollary}[齐次线性方程组有非零解的充要条件]
266 |   对于$n$元齐次线性方程组$\mmA\mvx=\mvZero$，
267 |   若$|\mmA|\neq 0$，则只有零解；
268 |   若$|\mmA| = 0$，则有无穷多非零解。
269 | \end{corollary}
270 | 
271 | \begin{remark}
272 |   值得注意的是，克莱姆法则只适用于方程个数等于未知量个数的方程组，
273 |   而且系数行列式不能为零。
274 |   此外，克莱姆法则的计算复杂度也更高，为$O(n^4)$，
275 |   不如后面要介绍的高斯消元法$O(n^3)$的复杂度。
276 | \end{remark}


--------------------------------------------------------------------------------
/LinearAlgebra/InnerProductSpaceAndOrthogonality.tex:
--------------------------------------------------------------------------------
  1 | \chapter{内积空间与正交性}
  2 | 
  3 | \section{内积空间}
  4 | 我们知道线性空间是对向量的抽象，而向量还有内积的概念没有出现在线性空间中。
  5 | 所以，本小节首先在线性空间的基础上引入内积操作来定义内积空间，
  6 | 从而建立了长度、交角、正交性的概念。
  7 | 然后根据线性空间数域的不同，我们会在有限维上分别讨论欧几里得空间和酉空间。
  8 | 最后，我们讨论一下线性空间和欧几里得空间同构的概念，
  9 | 说明它们都同构于我们常用的向量空间。
 10 | 
 11 | \subsection{实内积空间与欧几里得空间}
 12 | \begin{definition}[实内积空间与欧几里得空间]
 13 |   设$V$是实数域$\mfR$上的一个线性空间。
 14 |   对于任意$\alpha,\beta\in V$，
 15 |   定义一个返回实数的运算$(\alpha,\beta)$，满足：
 16 |   \begin{enumerate}
 17 |     \item 对称性：
 18 |     $(\alpha,\beta)=(\beta,\alpha)$
 19 |     \item 线性性：
 20 |     $(k\alpha,\beta)=k(\alpha,\beta),\quad
 21 |       (\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma)$
 22 |     \item 正定性：
 23 |     $(\alpha,\alpha)\ge 0$。
 24 |     当且仅当$\alpha=\theta$时，$(\alpha,\alpha)=0$
 25 |   \end{enumerate}
 26 |   其中$\alpha,\beta,\gamma\in V, k\in\mfR$。
 27 |   我们称$(\alpha,\beta)$为$\alpha,\beta$的\textbf{内积}，
 28 |   $V$为\textbf{实内积空间}。
 29 |   有限维的实内积空间又称\textbf{欧几里得空间}。
 30 | \end{definition}
 31 | 
 32 | \begin{theorem}[实内积空间的性质] \label{thrm:real-inner-prod-space-prop}
 33 |   设$V$是实内积空间。对于$\alpha,\beta,\gamma\in V, k\in\mfR$，有
 34 |   \begin{enumerate}
 35 |     \item \label{thrm:RIPS-prop1}
 36 |     $(\alpha,\beta+\gamma)=(\alpha,\gamma)+(\beta,\gamma)$
 37 |     \item
 38 |     $(\alpha,k\beta)=k(\alpha,\beta)$
 39 |     \item
 40 |     $(\theta,\beta)=0=(\alpha,\theta)$
 41 |     \item
 42 |     $(\alpha,\beta)=
 43 |       \left(\sum_{i=1}^{m}a_i\alpha_i,\sum_{j=1}^{n}b_j\beta_j\right) $
 44 |     \begin{equation} \label{eq:metric-mat}
 45 |       = (a_1,a_2,\dots,a_m) \mmat{cccc}{
 46 |         (\alpha_1,\beta_1)&(\alpha_1,\beta_2)&\cdots&(\alpha_1,\beta_n)\\
 47 |         (\alpha_2,\beta_1)&(\alpha_2,\beta_2)&\cdots&(\alpha_2,\beta_n)\\
 48 |         \vdots            &\vdots            &\ddots&\vdots            \\
 49 |         (\alpha_m,\beta_1)&(\alpha_m,\beta_2)&\cdots&(\alpha_m,\beta_n)}
 50 |         \mmat{c}{b_1 \\ b_2 \\ \vdots \\ b_n}
 51 |     \end{equation}
 52 |   \end{enumerate}
 53 | \end{theorem}
 54 | 
 55 | \begin{definition}[长度]
 56 |   设$V$是实内积空间。对于$\alpha\in V$，
 57 |   $\| \alpha \| = \sqrt{(\alpha,\alpha)}$
 58 |   称为$\alpha$的\textbf{长度}或\textbf{模}。
 59 | \end{definition}
 60 | 
 61 | \begin{theorem}[柯西-施瓦兹(Cauchy-Schwartz)不等式]
 62 |   设$V$是实内积空间。对于任意$\alpha,\beta\in V$，有
 63 |   \begin{displaymath}
 64 |     |(\alpha,\beta)| \le \|\alpha\|\cdot\|\beta\|
 65 |   \end{displaymath}
 66 |   等号仅在$\alpha,\beta$线性相关时成立。
 67 | \end{theorem}
 68 | 
 69 | \begin{definition}[交角]
 70 |   实内积空间中的两个非零向量$\alpha,\beta$的交角$\theta$定义为
 71 |   \begin{displaymath}
 72 |     \theta = \arccos\frac{(\alpha,\beta)}{\|\alpha\|\cdot\|\beta\|},
 73 |     \quad  0\le\theta\le\pi
 74 |   \end{displaymath}
 75 | \end{definition}
 76 | 
 77 | \begin{definition}[正交]
 78 |   设$\alpha,\beta$是实内积空间中的两个向量。
 79 |   若$(\alpha,\beta)=0$，则称$\alpha,\beta$\textbf{正交}，
 80 |   记作$\alpha\perp\beta$。
 81 | \end{definition}
 82 | 
 83 | \begin{remark}
 84 |   零向量与任意向量正交。
 85 | \end{remark}
 86 | 
 87 | \begin{theorem}[正交的充要条件]
 88 |   设$\alpha,\beta$是实内积空间中的两个向量，则
 89 |   \begin{displaymath}
 90 |     \alpha\perp\beta \iff \|\alpha+\beta\|^2=\|\alpha\|^2+\|\beta\|^2
 91 |   \end{displaymath}
 92 | \end{theorem}
 93 | 
 94 | \subsection{复内积空间与酉空间}
 95 | \begin{definition}[复内积空间与酉空间]
 96 |   设$V$是复数域$\mfC$上的一个线性空间。
 97 |   对于任意$\alpha,\beta\in V$，
 98 |   定义一个返回复数的运算$(\alpha,\beta)$，满足：
 99 |   \begin{enumerate}
100 |     \item 共轭对称性：
101 |     $(\alpha,\beta)=\mconj{(\beta,\alpha)}$
102 |     \item 线性性：
103 |     $(k\alpha,\beta)=k(\alpha,\beta),\quad
104 |       (\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma)$
105 |     \item 正定性：
106 |     $(\alpha,\alpha)$是非负实数。
107 |     当且仅当$\alpha=\theta$时，$(\alpha,\alpha)=0$
108 |   \end{enumerate}
109 |   其中$\alpha,\beta,\gamma\in V, k\in\mfC$。
110 |   我们称$(\alpha,\beta)$为$\alpha,\beta$的\textbf{内积}，
111 |   $V$为\textbf{复内积空间}。
112 |   有限维的复内积空间又称\textbf{酉空间}。
113 | \end{definition}
114 | 
115 | \begin{theorem}[复内积空间的性质]
116 |   复内积空间满足定理\ref{thrm:real-inner-prod-space-prop}列出的
117 |   除了性质\ref{thrm:RIPS-prop1}以外的所有性质。
118 |   性质\ref{thrm:RIPS-prop1}应该改写为：
119 |   \[ (\alpha,k\beta)=\mconj{k}(\alpha,\beta) \]
120 | \end{theorem}
121 | 
122 | 复内积空间的长度、正交性同实内积空间定义。
123 | 柯西-施瓦兹不等式依旧成立。
124 | 只有交角要重新定义为
125 | \begin{displaymath}
126 |   \theta = \arccos\frac{|(\alpha,\beta)|}{\|\alpha\|\cdot\|\beta\|},
127 |   \quad 0\le\theta\le\frac{\pi}{2}
128 | \end{displaymath}
129 | 
130 | 下面是复矩阵相关的三个概念。
131 | 只用了解一下，不会深入讨论。
132 | 
133 | \begin{definition}[共轭矩阵]
134 |   设$\mmA$是$n$阶复矩阵。
135 |   把$\mmA$的元素都取共轭得到的矩阵叫做\textbf{共轭矩阵}，
136 |   记作$\mconj{\mmA}$。
137 | \end{definition}
138 | 
139 | \begin{definition}[酉矩阵]
140 |   设$\mmA$是$n$阶复矩阵。
141 |   若$\mmA$满足$\mconj{\mmA^\mT}\mmA=\mmA\mconj{\mmA^\mT}=\mmI$，
142 |   则称$\mmA$是\textbf{酉矩阵}。
143 | \end{definition}
144 | 
145 | \begin{remark}
146 |   酉矩阵是对正交矩阵的推广。正交矩阵会在下面讨论。
147 | \end{remark}
148 | 
149 | \begin{definition}[厄米特(Hermite)矩阵]
150 |   设$\mmA$是$n$阶复矩阵。
151 |   若$\mmA$满足$\mconj{\mmA^\mT}=\mmA$，
152 |   则称$\mmA$是\textbf{厄米特(Hermite)矩阵}
153 | \end{definition}
154 | 
155 | \begin{remark}
156 |   厄米特矩阵是对对称矩阵的推广。
157 | \end{remark}
158 | 
159 | \subsection{空间的同构}
160 | \begin{definition}[线性空间的同构]
161 |   设$V,W$是两个数域$\mfF$上的线性空间。
162 |   如果存在一个一一映射$f:V\mapsto W$，满足
163 |   \begin{enumerate}
164 |     \item
165 |     $f(\alpha+\beta)=f(\alpha)+f(\beta)$
166 |     \item
167 |     $f(k\alpha)=kf(\alpha)$
168 |   \end{enumerate}
169 |   其中$\alpha,\beta\in V,k\in\mfF$，
170 |   则称$V$和$W$\textbf{同构}。$f$被称为\textbf{同构映射}。
171 | \end{definition}
172 | 
173 | \begin{definition}[欧几里得空间的同构]
174 |   设$V,W$是两个欧几里得空间。
175 |   如果存在一个一一映射$f:V\mapsto W$，
176 |   除了满足线性空间同构的两个条件外，还满足
177 |   \[ (f(\alpha), f(\beta)) = (\alpha, \beta) \]
178 |   其中$\alpha,\beta\in V$，
179 |   则称$V$和$W$\textbf{同构}。$f$被称为\textbf{同构映射}。
180 | \end{definition}
181 | 
182 | \begin{theorem}[线性空间同构的充要条件]
183 |   数域$\mfF$上的两个线性空间$V,W$同构当且仅当$\mdim V = \mdim W$。
184 | \end{theorem}
185 | 
186 | \begin{remark}
187 |   这意味着数域$\mfF$上的$n$维线性空间都同构于$\mfF^n$。
188 | \end{remark}
189 | 
190 | \begin{theorem}[欧几里得空间同构的充要条件]
191 |   两个欧几里得空间$V,W$同构当且仅当$\mdim V = \mdim W$。
192 | \end{theorem}
193 | 
194 | \begin{remark}
195 |   这意味着$n$维线性空间都同构于$\mfR^n$。
196 | \end{remark}
197 | 
198 | \section{欧几里得空间的标准正交基}
199 | 根据式\eqref{eq:metric-mat}，我们能发现，给定一组基，
200 | 任意两个元素的内积可以通过坐标向量和一个与这组基相关联矩阵来计算，
201 | 我们把这样的矩阵定义为度量矩阵，以此为起点开始讨论。
202 | 
203 | 首先，我们会探寻不同基的度量矩阵之间的关系，并把这种关系称为合同关系。
204 | 
205 | 然后，我们希望会有这样一组基，它的度量矩阵是单位矩阵，
206 | 因为这样能大大简化我们的内积运算。我们把这样的基叫做标准正交基。
207 | 我们会证明，标准正交基一定是存在的，
208 | 并给出求标准正交基的方法——施密特(Schmit)正交化。
209 | 
210 | \subsection{度量矩阵与矩阵的合同}
211 | \begin{definition}[度量矩阵]
212 |   设$V$是$n$维欧几里得空间，$\alpha_1,\dots,\alpha_n$是一组基底。
213 |   对任意$\alpha,\beta\in V$，存在坐标向量$\mvx,\mvy$，使得
214 |   $\alpha=\mmBasis{\alpha}\mvx$，$\beta=\mmBasis{\alpha}\mvy$。
215 |   根据式\eqref{eq:metric-mat}，我们有
216 |   \begin{displaymath}
217 |     (\alpha,\beta) = \mvx^\mT\mmA\mvy
218 |   \end{displaymath}
219 |   其中，$\mmA$如式\eqref{eq:metric-mat}中所示。
220 |   我们称矩阵$\mmA$为维欧几里得空间在基底$\alpha_1,\dots,\alpha_n$下的
221 |   \textbf{度量矩阵}。
222 | \end{definition}
223 | 
224 | 线性变换在不同基下对应的矩阵之间有着相似关系，
225 | 那么欧几里得空间不同基下的度量矩阵有什么关系呢？
226 | 
227 | \begin{definition}[矩阵的合同]
228 |   设$\mmA,\mmB$是两个$n$阶方阵，如果有满秩方阵$M$，
229 |   使得$\mmB=\mmM^\mT\mmA\mmM$，则称$\mmA$与$\mmB$\textbf{合同}。
230 | \end{definition}
231 | 
232 | \begin{remark}
233 |   合同关系是等价关系。
234 | \end{remark}
235 | 
236 | \begin{theorem}[不同基底下的度量矩阵的关系] \label{thrm:metric-mat-rel}
237 |   欧几里得空间中两组不同基底下的度量矩阵是合同的。
238 | \end{theorem}
239 | 
240 | \begin{remark}
241 |   如果$\mmBasis{\alpha},\mmBasis{\beta}$是欧几里得空间的两组基底，
242 |   它们的度量矩阵分别是$\mmA$和$\mmB$，
243 |   由$\mmBasis{\alpha}$到$\mmBasis{\beta}$的过渡矩阵为$\mmP$，
244 |   那么$\mmB=\mmP^\mT\mmA\mmP$。
245 |   合同关系就是由此来定义的。
246 | \end{remark}
247 | 
248 | \subsection{标准正交基与施密特(Schmit)正交化}
249 | \begin{definition}[标准正交基]
250 |   若$n$维欧几里得空间在基底$\alpha_1,\dots,\alpha_n$下的度量矩阵为单位矩阵，
251 |   那么我们称$\alpha_1,\dots,\alpha_n$为\textbf{标准正交基}。
252 | \end{definition}
253 | 
254 | \begin{remark}
255 |   欧几里得空间的标准正交基是一组长度为1的两两正交的向量组。
256 |   欧几里得空间的任意两个元素的内积就是它们对于标准正交基的坐标向量的内积。
257 | \end{remark}
258 | 
259 | \begin{theorem}[施密特(Schmit)正交化]
260 |   在$n$维欧几里得空间$V$中给定任意一组基$\alpha,\alpha_2,\alpha_n$，
261 |   我们都由此找到一组标准正交基$\beta_1,\beta_2,\dots,\beta_n$：
262 |   \begin{enumerate}
263 |     \item
264 |     令$\beta_1=\alpha_1$。
265 |     \item
266 |     令$\beta_2=k_1\beta_1+\alpha_2$。利用$(\beta_2,\beta_1)=0$能解得
267 |     \begin{displaymath}
268 |       k_1 = -\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}
269 |     \end{displaymath}
270 |     代入回去就能得到$\beta_2$。
271 |     \item
272 |     令$\beta_3=k_1\beta_1+k_2\beta_2+\alpha_3$。
273 |     利用$(\beta_3,\beta_1)=0,(\beta_3,\beta_2)=0$，能解得
274 |     \begin{displaymath}
275 |       k_1 = -\frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)},\quad
276 |       k_2 = -\frac{(\alpha_3,\beta_2)}{(\beta_2,\beta_2)}
277 |     \end{displaymath}
278 |     代入回去就能得到$\beta_3$。
279 |     \item
280 |     以此类推，令$\beta_{s+1}=k_1\beta_1+\dots+k_2\beta_s+\alpha_{s+1}$。
281 |     利用\[ (\beta_{s+1},\beta_{i})=0,\ i=1,\dots,s \]
282 |     能解得
283 |     \begin{displaymath}
284 |       k_i = -\frac{(\alpha_{s+1},\beta_{i})}{(\beta_{i},\beta_{i})},
285 |       \ i=1,\dots,s
286 |     \end{displaymath}
287 |     代入回去就能得到$\beta_s$。
288 |     \item
289 |     最后对求得的$\beta_1,\dots,\beta_n$单位化，
290 |     即令$\beta_i\leftarrow\frac{1}{\|\beta_i\|}\beta_i$，
291 |     $i=1,\dots,n$。
292 |   \end{enumerate}
293 | \end{theorem}
294 | 
295 | \section{正交矩阵与正交变换}
296 | 欧几里得空间的两组标准正交基之间的过渡矩阵$\mmP$有着特殊的性质：
297 | 因为标准正交基的度量矩阵是单位矩阵，所以根据定理\ref{thrm:metric-mat-rel}，
298 | 有$\mmI=\mmP^\mT\mmI\mmP=\mmP^\mT\mmP$。
299 | 满足这种性质的矩阵$\mmP$我们将称之为正交矩阵。
300 | 
301 | 这一小节，我们会讨论一些正交矩阵的性质，以及与之对应的正交变换的性质。
302 | 
303 | \subsection{正交矩阵}
304 | \begin{definition}[正交矩阵]
305 |   若$n$阶实矩阵$\mmA$满足
306 |   \[ \mmA\mmA^\mT = \mmA^\mT\mmA = \mmI \]
307 |   则称$\mmA$为\textbf{正交矩阵}。
308 | \end{definition}
309 | 
310 | \begin{theorem}[正交矩阵的性质]
311 |   正交矩阵具有以下性质
312 |   \begin{enumerate}
313 |     \item
314 |     两个同阶正交矩阵的乘积也是正交矩阵。
315 |     \item
316 |     正交矩阵的逆矩阵是正交矩阵。
317 |     \item
318 |     正交矩阵的行列式为1或-1。
319 |   \end{enumerate}
320 | \end{theorem}
321 | 
322 | \begin{theorem}
323 |   欧几里得空间中由标准正交基到标准正交基的过渡矩阵是正交矩阵。
324 | \end{theorem}
325 | 
326 | \begin{remark}
327 |   这是引言提到的结论。
328 | \end{remark}
329 | 
330 | \begin{theorem}
331 |   设$\epsilon_1,\epsilon_2,\dots,\epsilon_n$是一组标准正交基，
332 |   $\mmP$是正交矩阵，且
333 |   \begin{displaymath}
334 |     (\beta_1,\beta_2,\dots,\beta_n) =
335 |       (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmP
336 |   \end{displaymath}
337 |   那么$\beta_1,\beta_2,\dots,\beta_n$也是一组标准正交基。
338 | \end{theorem}
339 | 
340 | \subsection{正交变换}
341 | \begin{definition}[正交变换]
342 |   设$T$是欧几里得空间$V$的一个线性变换，且对任意$\alpha,\beta\in V$，有
343 |   \begin{displaymath}
344 |     (T(\alpha), T(\beta)) = (\alpha,\beta)
345 |   \end{displaymath}
346 |   则称$T$是一个正交变换。
347 | \end{definition}
348 | 
349 | \begin{theorem}[正交变换的等价条件]
350 |   设$T$是欧几里得空间$V$的一个线性变换，则以下四个命题等价：
351 |   \begin{enumerate}
352 |     \item
353 |     $T$是正交变换。
354 |     \item
355 |     $T$不改变向量的长度，即$\forall\alpha\in V$，
356 |     $\|T(\alpha)\|=\|\alpha\|$。
357 |     \item
358 |     $T$将一组标准正交基变换成另一组标准正交基。
359 |     \item
360 |     $T$在$V$的任一祖标准正交基下的矩阵是正交矩阵。
361 |   \end{enumerate}
362 | \end{theorem}
363 | 
364 | \begin{theorem}
365 |   若$T$是正交变换，则$T^{-1}$也是正交变换。
366 | \end{theorem}
367 | 


--------------------------------------------------------------------------------
/LinearAlgebra/LinearSpaceAndLinearMap.tex:
--------------------------------------------------------------------------------
  1 | \chapter{线性空间与线性变换}
  2 | 
  3 | \section{线性空间}
  4 | 在这一小节，我们把先前向量的概念进一步抽象，得到了线性空间的概念。
  5 | 向量组有线性相关、线性无关、极大线性无关组等概念，
  6 | 这在线性空间中就转变成纬度、基、坐标的概念。
  7 | 
  8 | 线性空间和物理的联系也是很紧密的。
  9 | 因为向量是物理的常用量，而线性空间就是从向量抽象来的。
 10 | 回忆一下物理学的知识，我们知道一个物理量在不同参考系的表示是不一样的。
 11 | 对应到线性空间上来，我们会发现一个元素在不同基底下的坐标也是不一样的。
 12 | 所以我们要研究这些坐标与基底的变换关系。
 13 | 
 14 | 最后我们会简单讨论一下子空间的概念。
 15 | 
 16 | \subsection{线性空间}
 17 | \begin{definition}[线性空间] \label{def:linear-space}
 18 |   设$V$是非空集合，$\mfF$是一个数域。
 19 |   若在$V$上定义两种运算：加法$\oplus$和数乘$\otimes$，满足
 20 |   \begin{description}
 21 |     \item[加法]
 22 |     \begin{enumerate}
 23 |       \item 封闭性：
 24 |       $\forall\alpha,\beta\in V$，$\alpha\oplus\beta\in V$。
 25 |       \item 交换律：
 26 |       $\forall\alpha,\beta\in V$，$\alpha\oplus\beta = \beta\oplus\alpha$
 27 |       \item 结合律：
 28 |       $\forall\alpha,\beta,\gamma\in V$，
 29 |       $(\alpha\oplus\beta)\oplus\gamma = \alpha\oplus(\beta\oplus\gamma)$。
 30 |       \item 零元存在：
 31 |       $\exists\theta\in V,\forall\alpha\in V$，$\alpha\oplus\theta=\alpha$。
 32 |       \item 逆元存在：
 33 |       $\forall\alpha\in V,\exists\beta\in V$，$\alpha\oplus\beta=\theta$。
 34 |       我们把$\beta$记为``$-\alpha$''。
 35 |     \end{enumerate}
 36 |     \item[数乘]
 37 |     \begin{enumerate}
 38 |       \item 封闭性：
 39 |       $\forall\lambda\in\mfF,\alpha\in V$，$\lambda\otimes\alpha\in V$。
 40 |       \item 结合律：
 41 |       $\forall\lambda_1,\lambda_2\in\mfF,\alpha\in V$，
 42 |       $\lambda_1\otimes(\lambda_2\otimes\alpha) =
 43 |         (\lambda_1\lambda_2)\otimes\alpha$。
 44 |       \item 分配律1：
 45 |       $\forall\lambda_1,\lambda_2\in\mfF,\alpha\in V$，
 46 |       $(\lambda_1\oplus\lambda_2)\otimes\alpha =
 47 |         (\lambda_1\otimes\alpha)\oplus(\lambda_2\otimes\alpha)$
 48 |       \item 分配律2：
 49 |       $\forall\lambda\in\mfF,\alpha,\beta\in V$，
 50 |       $\lambda\otimes(\alpha\oplus\beta) =
 51 |         (\lambda\otimes\alpha)\oplus(\lambda\otimes\beta)$。
 52 |       \item 单位元存在：
 53 |       $\forall\alpha\in V$，
 54 |       $1\otimes\alpha = \alpha$。
 55 |     \end{enumerate}
 56 |   \end{description}
 57 |   则称$V$是数域$\mfF$上的一个\textbf{线性空间}，又称\textbf{向量空间}。
 58 |   若$\mfF$是实数域$\mfR$，则称$V$是\textbf{实线性空间}。
 59 |   若$\mfF$是复数域$\mfC$，则称$V$是\textbf{复线性空间}。
 60 | \end{definition}
 61 | 
 62 | \begin{remark}
 63 |   如果有点抽象代数的背景，读者不难发现上述加法满足的是阿贝尔群的性质。
 64 | \end{remark}
 65 | 
 66 | \begin{theorem}[线性空间的性质]
 67 |   设$V$是$\mfF$上的线性空间，那么
 68 |   \begin{enumerate}
 69 |     \item 加法零元的具有唯一性
 70 |     \item 加法逆元的具有唯一性
 71 |     \item 加法零元的求法：
 72 |     $\forall\alpha\in V$，$0\otimes\alpha=\theta$
 73 |     \item 加法逆元的求法：
 74 |     $\forall\alpha\in V$，$(-1)\otimes\alpha=-\alpha$
 75 |     \item $\forall k\in\mfF$，$k\otimes\theta=\theta$
 76 |     \item 若$\lambda\otimes\alpha=\theta$，则$\lambda=0$或$\alpha=\theta$。
 77 |   \end{enumerate}
 78 | \end{theorem}
 79 | 为了书写与阅读的方便，以后``$\oplus$''用正常的加号来表示，
 80 | ``$\otimes$''可省略。参考向量的记法。
 81 | 
 82 | \subsection{基与坐标}
 83 | 向量组的线性相关、线性无关、线性表示的概念也适用于线性空间。
 84 | 
 85 | \begin{definition}[线性相关与线性无关]
 86 |   设$V$是线性空间，$\alpha_1,\alpha_2,\dots,\alpha_s\in V$。
 87 |   若数域中存在一组不全为0的数$k_1,k_2,\dots,k_s$，使得
 88 |   \[ k_1\alpha_1 + k_2\alpha_2 + \dots + k_s\alpha_s = \theta \]
 89 |   则称$\alpha_1,\alpha_2,\dots,\alpha_s$\textbf{线性相关}。
 90 |   否则，则称\textbf{线性无关}。
 91 | \end{definition}
 92 | 
 93 | \begin{definition}[线性表示]
 94 |   设$V$是线性空间，$\alpha,\alpha_1,\alpha_2,\dots,\alpha_s\in V$。
 95 |   若数域中存在一组数$k_1,k_2,\dots,k_s$，使得
 96 |   \[ \alpha = k_1\alpha_1 + k_2\alpha_2 + \dots + k_s\alpha_s \]
 97 |   则称$\alpha$为$\alpha_1,\alpha_2,\dots,\alpha_s$的\textbf{线性组合}，
 98 |   也称$\alpha$可以由$\alpha_1,\alpha_2,\dots,\alpha_s$\textbf{线性表示}。
 99 | \end{definition}
100 | 
101 | \begin{definition}[维数]
102 |   如果一个线性空间$V$中，线性无关的元素的最大个数是$n$，
103 |   则称该线性空间是$n$维的，记作$\mdim V = n$。
104 | 
105 |   如果对任意正整数$N$，总存在$N$个线性无关的元素，
106 |   则称该线性空间是\textbf{无穷维线性空间}。
107 |   不是无穷维的线性空间叫做有穷维线性空间。
108 | \end{definition}
109 | 
110 | \begin{remark}
111 |   本章中我们不讨论无穷维线性空间。
112 | \end{remark}
113 | 
114 | \begin{definition}[基与坐标]
115 |   若$\alpha_1,\alpha_2,\dots,\alpha_n$是$n$维线性空间$V$中一组线性无关的元素，
116 |   且$V$中任意元素$\alpha$都可由$\alpha_1,\alpha_2,\dots,\alpha_n$线性表示，
117 |   即\[ \alpha = k_1\alpha_1 + k_2\alpha_2 + \dots + k_n\alpha_n \]
118 |   则称$\alpha_1,\alpha_2,\dots,\alpha_n$是$V$的一组\textbf{基底}(简称\textbf{基})。
119 |   其中，有序元组$(k_1,k_2,\dots,k_n)$称为$\alpha$在
120 |   基底$\alpha_1,\alpha_2,\dots,\alpha_n$下的坐标。
121 | \end{definition}
122 | 
123 | \begin{remark}
124 |   线性空间的基对应的是极大线性无关组的概念。
125 | \end{remark}
126 | 
127 | \subsection{基变换与坐标变换}
128 | \begin{theorem}[基底变换公式]
129 |   设$\alpha_1,\alpha_2,\dots,\alpha_n$与$\beta_1,\beta_2,\dots,\beta_n$是
130 |   线性空间$V$的两组基底，那么可以写成
131 |   \begin{equation} \label{eq:basis-transform}
132 |     (\beta_1,\beta_2,\dots,\beta_n) = (\alpha_1,\alpha_2,\dots,\alpha_n)
133 |     \mmat{cccc}{
134 |       a_{11} & a_{12} & \cdots & a_{1n} \\
135 |       a_{21} & a_{22} & \cdots & a_{2n} \\
136 |       \vdots & \vdots & \ddots & \vdots \\
137 |       a_{m1} & a_{m2} & \cdots & a_{mn} }
138 |   \end{equation}
139 |   我们把它简记为
140 |   \begin{displaymath}
141 |     \mmBasis{\beta} = \mmBasis{\alpha}\cdot\mmP
142 |   \end{displaymath}
143 |   我们称$\mmP$是$\mmBasis{\alpha}$到$\mmBasis{\beta}$的\textbf{过渡矩阵}，
144 |   式\eqref{eq:basis-transform}是\textbf{基底变换公式}。
145 | \end{theorem}
146 | 
147 | \begin{remark}
148 |   过渡矩阵$\mmP$是非奇异矩阵。
149 |   因为如果$\mmP$是奇异的，就存在$\mvx\neq\mvZero$，使得$\mmP\mvx=\mvZero$。
150 |   从而有$\mmBasis{\beta}\mvx = \mmBasis{\alpha}\mmP\mvx = \mvZero$。
151 |   于是$\mmBasis{\beta}$是奇异矩阵，这与``$\beta_1,\dots,\beta_n$是基底''是矛盾的。
152 | \end{remark}
153 | 
154 | \begin{theorem}[坐标变换公式]
155 |   设$\mmBasis{\alpha}$和$\mmBasis{\beta}$是线性空间$V$的两组基底，
156 |   $\mmP$是从$\mmBasis{\alpha}$到$\mmBasis{\beta}$的过渡矩阵。
157 |   若$\mvx=(x_1,\dots,x_n)^\mT$和$\mvy=(y_1,\dots,y_n)^\mT$
158 |   分别是元素$\alpha\in V$在基底$\mmBasis{\alpha}$和$\mmBasis{\beta}$下的坐标，即
159 |   \[ \alpha = \mmBasis{\beta}\mvy = \mmBasis{\alpha}\mvx \]
160 |   那么有
161 |   \begin{equation} \label{eq:coordinate-transform}
162 |     \mvy = \mmP^{-1}\mvx
163 |   \end{equation}
164 |   式\eqref{eq:coordinate-transform}被称为\textbf{坐标变换公式}。
165 | \end{theorem}
166 | 
167 | \subsection{子空间}
168 | \begin{definition}
169 |   设$V$是数域$\mfF$上的线性空间。若$W\subset V$也是数域$\mfF$上的线性空间，
170 |   则称$W$是$V$的\textbf{子空间}。
171 |   $W=\{\theta\}$叫做\textbf{平凡子空间}。
172 | \end{definition}
173 | 
174 | \begin{theorem}[子空间的充要条件]
175 |   设$V$是数域$\mfF$上线性空间。
176 |   $W\subset V$是$V$的子空间的充要条件是：
177 |   1. 对加法封闭；2. 对乘法封闭。
178 |   换句话说，即是$\forall\alpha,\beta\in W,\lambda,\mu\in\mfF$，
179 |   \[ \lambda\alpha + \mu\beta \in W \]
180 | \end{theorem}
181 | 
182 | \begin{definition}[子集张成的子空间]
183 |     设$V$是数域$\mfF$上的线性空间，$\alpha_1,\alpha_2,\dots,\alpha_s\in V$。
184 |     我们定义$V$的子空间
185 |     \begin{displaymath}
186 |     \mspan\{ \alpha_1,\alpha_2,\dots,\alpha_s \} =
187 |     \{ \alpha: \alpha=\sum_{i=1}^{s}k_i\alpha_i, \forall k_1,\dots,k_s\in\mfF \}
188 |     \end{displaymath}
189 |     称作由向量组$\alpha_1,\alpha_2,\dots,\alpha_s$张成的子空间。
190 | \end{definition}
191 | 
192 | \begin{definition}[线性空间的和]
193 |   设$W_1,W_2$是线性空间的两个子空间，则它们的\textbf{和}定义为
194 |   \begin{displaymath}
195 |     W_1+W_2 = \{ u: u=\alpha+\beta, \forall\alpha\in W_1,\beta\in W_2 \}
196 |   \end{displaymath}
197 | \end{definition}
198 | 
199 | \begin{theorem}
200 |   设$V$是线性空间，$W_1,W_2$是$V$的子空间，那么有以下结论：
201 |   \begin{enumerate}
202 |     \item $W_1\cap W_2$是$V$的子空间。
203 |     \item $W_1\cup W_2$不是$V$的子空间。
204 |     \item $W_1+W_2$是$V$的子空间。
205 |   \end{enumerate}
206 | \end{theorem}
207 | 
208 | \begin{theorem}[维数定理]
209 |   设$W_1,W_2$是线性空间$V$的两个有限维子空间，则有
210 |   \begin{displaymath}
211 |   \mdim W_1 + \mdim W_2 = \mdim(W_1+W_2) + \dim(W_1\cap W_2)
212 |   \end{displaymath}
213 | \end{theorem}
214 | 
215 | \begin{definition}[直接和]
216 |   设$V_1,V_2$是线性空间$V$的两个子空间。
217 |   若对任意$\alpha\in V$，存在唯一的$\alpha_1\in V_1, \alpha_2\in V_2$，
218 |   使得$\alpha=\alpha_1+\alpha_2$，
219 |   则称$V$是$V_1$和$V_2$的\textbf{直接和}或\textbf{直和}，
220 |   记作$V=V_1\oplus V_2$。
221 |   也称$V_1$和$V_2$是$V$内的\textbf{互补空间}。
222 | \end{definition}
223 | 
224 | \begin{theorem}[直接和的等价条件]
225 |   设$V_1,V_2$是线性空间$V$的两个子空间。
226 |   \begin{align*}
227 |     V=V_1\oplus V_2
228 |     &\iff V = V_1 + V_2\ \text{且}\ V_1\cap V_2 = \{ \theta \} \\
229 |     &\iff \mdim (V_1\oplus V_2) = \mdim V_1 + \mdim V_2
230 |   \end{align*}
231 | \end{theorem}
232 | 
233 | \section{线性变换}
234 | 如果说线性空间是对向量的抽象，那么线性变换就是对矩阵的抽象。
235 | 回想一下，我们在上一小节研究了基与坐标变换的公式，
236 | 公式中就是用矩阵来刻画了``变换''这个过程。
237 | 在介绍换线性变换的基本概念之后，
238 | 我们会证明，在取定一组基下，线性变换与矩阵有着一一对应的关系。
239 | 
240 | 虽然线性变换在一组基下仅有唯一的矩阵与之对应，
241 | 但换个角度来看，有不同的基就会有不同的矩阵与之对应。
242 | 这些矩阵间又有什么关系呢？这就引出了相似矩阵的概念。
243 | 
244 | \subsection{线性变换的概念}
245 | \begin{definition}[线性变换]
246 |   设$V,W$是数域$\mfF$上的线性空间。
247 |   函数$T: V\mapsto W$被称为$V$到$W$的\textbf{变换}。
248 |   若对任意$\alpha,\beta\in V, k \in\mfF$，$T$满足
249 |   \[ T(\alpha+\beta)=T(\alpha)+T(\beta),\quad T(k\alpha) = kT(\alpha) \]
250 |   则称$T$是$V$到$W$的\textbf{线性变换}。
251 | \end{definition}
252 | 
253 | \begin{theorem}[线性变换的性质]
254 |   设$V,W$是数域$\mfF$上的线性空间，$T$是$V$到$W$的线性变换，
255 |   $\theta_1$和$\theta_2$分别是$V$和$W$上的零元。
256 |   $T$满足以下性质：
257 |   \begin{enumerate}
258 |     \item
259 |     $T(\theta_1) = \theta_2$
260 |     \item
261 |     $\forall\alpha,\beta\in V,\lambda,\mu\in\mfF$，
262 |     $T(\lambda\alpha+\mu\beta)=\lambda T(\alpha)+\mu T(\beta)$
263 |     \item
264 |     若$V$中的$\alpha_1,\alpha_2,\dots,\alpha_s$线性相关，
265 |     则$T(\alpha_1),T(\alpha_2),\dots,T(\alpha_s)$也线性相关。
266 |   \end{enumerate}
267 | \end{theorem}
268 | 
269 | \begin{definition}[特殊的线性变换]
270 |   设$V$是数域$\mfF$上的线性空间，$T$是$V$上的线性变换。
271 |   \begin{enumerate}
272 |     \item
273 |     若对任意$\alpha\in V$，$T(\alpha)=\theta$，
274 |     则称$T$为\textbf{零变换}，常用$T_0$来表示。
275 |     \item
276 |     若对任意$\alpha\in V$，$T(\alpha)=\alpha$，
277 |     则称$T$为\textbf{恒等变换}，常用$E$或$I$表示。
278 |     \item
279 |     若对任意$\alpha\in V$，$T(\alpha)=k\alpha$，其中$k\in\mfF$，
280 |     则称$T$为\textbf{数乘变换}，常用$T_k$来表示。
281 |   \end{enumerate}
282 | \end{definition}
283 | 
284 | \begin{definition}[象空间与核空间]
285 |   设$T$是线性空间$V$到$W$的线性变换，
286 |   则$T$的\textbf{象空间}定义为：
287 |   \[ \mim(T) = \{ \xi: \xi=T(\alpha), \alpha\in V\} \]
288 |   $T$的\textbf{核空间}定义为：
289 |   \[ \mker(T) = \{ \alpha: T(\alpha)=\theta, \alpha\in V \} \]
290 | \end{definition}
291 | 
292 | \begin{theorem}[象空间与核空间的性质]
293 |   设$T$是线性空间$V$到$W$的线性变换，那么
294 |   \begin{enumerate}
295 |     \item
296 |     $\mim(T)$是$V$的子空间，$\mker(T)$是$W$的子空间。
297 |     \item
298 |     $\mdim(\mim(T)) + \mdim(\ker(T)) = \dim(V)$
299 |   \end{enumerate}
300 | \end{theorem}
301 | 
302 | \subsection{线性变换的运算和可逆线性变换}
303 | 设$L(V)$是线性空间$V$上所有线性变换构成的集合。
304 | 类似矩阵，给定一个数域$\mfF$，
305 | 我们也可以在$L(V)$上定义加法、数乘和乘法运算：
306 | \begin{description}
307 |   \item[加法]
308 |   对任意$T_1,T_2\in L(V),\alpha\in V$，$(T_1+T_2)(\alpha)=T_1(\alpha)+T_2(\alpha)$。
309 |   \item[数乘]
310 |   对任意$T\in L(V),\alpha\in V$，$(kT)(\alpha)=kT(\alpha)$，
311 |   其中$k\in\mfF$。
312 |   \item[乘法]
313 |   因为线性变换定义上是个函数，所以两个线性变换相乘定义为两个函数的复合。
314 | \end{description}
315 | 
316 | \begin{theorem}
317 |   拥有上面定义的加法、数乘规则的$L(V)$是线性空间。
318 | \end{theorem}
319 | 
320 | \begin{definition}[可逆线性变换]
321 |   设$T$是线性空间$V$上的一个线性变换。
322 |   如果$V$上存在一个变换$\sigma$，使得
323 |   \[ T\sigma = \sigma T = E \]
324 |   其中$E$是$V$上的恒等变换，则称$\sigma$是$T$的\textbf{逆变换}。
325 |   不难看出，如果$T$的逆变换存在，那么它必然是唯一的，
326 |   因此，我们把$T$的逆变换记作$T^{-1}$，
327 |   并称$T$为\textbf{可逆线性变换}。
328 | \end{definition}
329 | 
330 | \subsection{线性变换的矩阵表示}
331 | 接下来，我们讨论在给定一组基下，线性变换与矩阵有一一对应的关系。
332 | 需要注意的是，我们这里讨论的线性变换是从一个线性空间到自身的变换，
333 | 所以这里的矩阵也就是方阵。
334 | 
335 | 首先，如果知道一个$n$维线性空间$V$上的线性变换$T$，
336 | 我们就能知道它在基$\epsilon_1,\epsilon_2\dots,\epsilon_n$下对应的矩阵：
337 | 对任意$i=1,2,\dots,n$，应该有一组坐标$a_{1i},a_{2i},\dots,a_{ni}$，使得
338 | \begin{displaymath}
339 |   T(\epsilon_i) = a_{1i}\epsilon_1+a_{2i}\epsilon_2+\dots+a_{ni}\epsilon_n
340 | \end{displaymath}
341 | 写成矩阵的形式，即是
342 | \begin{displaymath}
343 |   (T(\epsilon_1), T(\epsilon_2),\dots,T(\epsilon_n)) =
344 |     (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmA
345 | \end{displaymath}
346 | 其中$\mmA=(a_{ij})_{n\times n}$。
347 | 这样，对任意$\alpha=x_1\epsilon_1+x_2\epsilon_2+\dots+x_n\epsilon_n\in V$，
348 | 我们就能通过矩阵求出它经过线性变换后元素：
349 | \begin{equation} \label{eq:coord-after-linear-trans}
350 |   T(\alpha) = (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmA
351 |     (x_1,x_2,\dots,x_n)^\mT
352 | \end{equation}
353 | 因此，我们称$\mmA$是
354 | \textbf{线性变换$T$在基$\epsilon_1,\epsilon_2\dots,\epsilon_n$下的矩阵}。
355 | 
356 | 反之，在线性空间$V$的一组基$\epsilon_1,\epsilon_2\dots,\epsilon_n$下，
357 | 给定矩阵$\mmA=(a_{ij})_{n\times n}$，
358 | 存在线性变换$T$，使得
359 | \begin{displaymath}
360 |   (T(\epsilon_1), T(\epsilon_2),\dots,T(\epsilon_n)) =
361 |     (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmA
362 | \end{displaymath}
363 | 这个$T$是这样构造的：
364 | 对任意$\alpha=x_1\epsilon_1+x_2\epsilon_2+\dots+x_n\epsilon_n\in V$，
365 | \begin{displaymath}
366 |   T(\alpha) = (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmA
367 |     (x_1,x_2,\dots,x_n)^\mT
368 | \end{displaymath}
369 | 
370 | 总结一下上面的论述，有如下定理：
371 | \begin{theorem}
372 |   在线性空间$V$的一组基$\epsilon_1,\epsilon_2\dots,\epsilon_n$下，
373 |   线性变换$T$与$n$阶方阵$\mmA$一一对应。
374 |   $\mmA$的第$i$列就是$T(\epsilon_i)$在
375 |   基$\epsilon_1,\epsilon_2\dots,\epsilon_n$下的坐标。
376 | \end{theorem}
377 | 
378 | \subsection{相似矩阵}
379 | \begin{theorem}
380 |   设$n$为线性空间$V$的两组基底为$\epsilon_1,\epsilon_2\dots,\epsilon_n$以及
381 |   $\eta_1,\eta_2,\dots,\eta_n$。由$\epsilon_1,\epsilon_2\dots,\epsilon_n$到
382 |   $\eta_1,\eta_2,\dots,\eta_n$的过渡矩阵为$\mmP$。
383 |   $V$上线性变换$T$在这两组基下的矩阵分别为$\mmA,\mmB$，那么有
384 |   \[ \mmB = \mmP^{-1}\mmA\mmP \]
385 | \end{theorem}
386 | 
387 | \begin{remark}
388 |   直观的理解就是，
389 |   \begin{displaymath}
390 |     (\epsilon_1,\epsilon_2\dots,\epsilon_n)\xrightarrow{\mmP}
391 |     (\eta_1,\eta_2,\dots,\eta_n)\xrightarrow{\mmB}
392 |     T(\eta_1,\eta_2,\dots,\eta_n)
393 |   \end{displaymath}
394 |   等效于
395 |   \begin{displaymath}
396 |   (\epsilon_1,\epsilon_2\dots,\epsilon_n)\xrightarrow{\mmA}
397 |   T(\epsilon_1,\epsilon_2\dots,\epsilon_n)\xrightarrow{\mmP}
398 |   T(\eta_1,\eta_2,\dots,\eta_n)
399 |   \end{displaymath}
400 |   所以有$\mmP\mmB=\mmA\mmP$。变形即是上面定理的结果。
401 |   这也是这个定理的证明思路。
402 | \end{remark}
403 | 
404 | \begin{definition}[相似矩阵]
405 |   设$\mmA,\mmB$是两个同型矩阵。
406 |   若存在满秩矩阵$P$，使得$\mmB=\mmP^{-1}\mmA\mmP$，
407 |   则称$\mmB$是$\mmA$的\textbf{相似矩阵}，记作$\mmA\sim\mmB$。
408 | \end{definition}
409 | 
410 | \begin{remark}
411 |   矩阵的相似是等价关系。
412 | \end{remark}
413 | 
414 | \begin{theorem}[矩阵相似的等价条件] \label{thrm:mat-sim-equiv-cond}
415 |   两个$n$阶方阵$\mmA,\mmB$相似当且仅当
416 |   它们是$n$维线性空间$V$上的某一线性变换$T$在不同基下的矩阵。
417 | \end{theorem}
418 | 
419 | \section{特征值与特征向量}
420 | 本小节首先会花一些篇幅来分析特征值，而不是简单给出求解特征值的方法。
421 | 这样是试图加强对特征值意义的理解。
422 | 然后会给出一些矩阵之间特征值的关联。
423 | 最后讨论一下矩阵的对角化问题。
424 | 
425 | \subsection{特征值与特征向量}
426 | 对于$n$维线性空间$V$内的一个线性变换$T$，
427 | 我们总希望找一组基$\xi_1,\xi_2,\dots,\xi_n$，
428 | 使得$T$在这组基下的矩阵具有最简单的形式，即有
429 | \begin{equation} \label{eq:diagonalizable}
430 |   (T(\xi_1), T(\xi_2),\dots,T(\xi_n)) = (\xi_1,\xi_2,\dots,\xi_n)
431 |     \cdot \mdiag(\lambda_1,\lambda_2,\dots,\lambda_n)
432 | \end{equation}
433 | 这样，根据式\eqref{eq:coord-after-linear-trans}，
434 | 任意$\alpha\in V$经过$T$变换后的坐标就是把它在
435 | 基$\xi_1,\xi_2,\dots,\xi_n$下的坐标放大常数倍。
436 | 
437 | 根据上面的分析，我们需要找这样一组$\xi$和$\lambda$，使得$T(\xi) = \lambda\xi$。
438 | 这就引出了线性变换的特征值和特征向量的定义(注意，还不是矩阵的特征值与特征向量)。
439 | 
440 | \begin{definition}[线性变换的特征值和特征向量]
441 |   设$V$是数域$\mfF$上的一个线性空间，$T$是$V$上的一个线性变换。
442 |   如果对$\lambda\in\mfF$，存在非零向量$\xi\in V$，使得
443 |   \[ T(\xi) = \lambda\xi \]
444 |   则称$\lambda$是$T$的一个\textbf{特征值}，
445 |   而称$\xi$是$T$对应于$\lambda$的一个\textbf{特征向量}。
446 | \end{definition}
447 | 
448 | \begin{theorem}[特征子空间]
449 |   设$V$是数域$\mfF$上的线性空间，$T$是$V$上的线性变换，
450 |   则给定一个特征值$\lambda\in\mfF$，
451 |   \begin{displaymath}
452 |     V_\lambda = \{ \xi\in V: T(\xi)=\lambda\xi \}
453 |   \end{displaymath}
454 |   构成了$V$的一个子空间。
455 |   我们把它称为$T$对应于$\lambda$的特征子空间。
456 | \end{theorem}
457 | 
458 | 下面，我们要考虑如何求解线性变换的特征值与特征向量。
459 | 因为线性变换在给定一组基下与矩阵有着一一对应的关系，
460 | 所以我们尝试从矩阵开始入手。
461 | 
462 | 我们设$\epsilon_1,\epsilon_2,\dots,\epsilon_n$是线性空间$V$的一组基，
463 | $T$在这组基下的矩阵是$\mmA$。
464 | 设$\xi$是线性变换$T$的一个特征向量，它对应的特征值是$\lambda$，
465 | 它在基$\epsilon_1,\epsilon_2,\dots,\epsilon_n$下的坐标是
466 | $\mvx=(x_1,\dots,x_n)^\mT$。
467 | 那么，根据式\eqref{eq:coord-after-linear-trans}，我们有
468 | \[ T(\xi) = (\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mmA\mvx \]
469 | 又因为
470 | \[ T(\xi) = \lambda\xi = \lambda(\epsilon_1,\epsilon_2,\dots,\epsilon_n)\mvx \]
471 | 所以联立以上两个等式，我们就有
472 | \begin{displaymath}
473 |   (\epsilon_1,\epsilon_2,\dots,\epsilon_n)(\mmA\mvx - \lambda\mvx)=0
474 | \end{displaymath}
475 | 因为$\epsilon_1,\epsilon_2,\dots,\epsilon_n$线性无关，
476 | 所以只可能是$\mmA\mvx - \lambda\mvx = \mvZero$，即
477 | \begin{equation} \label{eq:eigen}
478 |   (\mmA - \lambda\mmI)\mvx = \mvZero
479 | \end{equation}
480 | 
481 | 接下来我们需要解这个方程来得到特征值$\lambda$
482 | 和特征向量对应的坐标$\mvx$。
483 | 想要$\mvx$有非零解，充要条件是$|\mmA - \lambda\mmI| = 0$。
484 | 我们就能根据这一条件解出$\lambda$，
485 | 然后把$\lambda$代入上面的方程\eqref{eq:eigen}中，
486 | 最后按照解方程的一般步骤，就能获得$\mvx$的基础解系。
487 | 
488 | 我们还能发现，对式\eqref{eq:eigen}变形，能得到类似于$T(\xi)=\lambda\xi$形式的等式
489 | \begin{displaymath}
490 | \mmA\mvx=\lambda\mvx
491 | \end{displaymath}
492 | 而且上面一大堆分析都是针对矩阵$\mmA$的，和线性变换$T$基本上没关系。
493 | 所以，我们不如也定义矩阵的特征值与特征向量，先针对更加具体的矩阵进行研究，
494 | 再与$T$的特征值与特征向量联系起来。
495 | 
496 | \begin{definition}[矩阵的特征值和特征向量]
497 |   对于$n$阶矩阵$\mmA$，记
498 |   \[P(\lambda)=|\mmA-\lambda\mmI|\]
499 |   $P(\lambda)$被称为$\mmA$的\textbf{特征多项式}。
500 |   $P(\lambda)=0$的根称为$\mmA$的\textbf{特征值}或\textbf{特征根}。
501 |   如果$\lambda$是$P(\lambda)=0$的$k$重根，
502 |   那么又称$\lambda$是\textbf{$k$重特征值}，$k$叫做\textbf{代数重数}。
503 | 
504 |   对于一个特征值$\lambda_0$，
505 |   我们称方程$(\mmA-\lambda_0\mmI)\mvx=0$的非零解为
506 |   $\mmA$对应于$\lambda_0$的\textbf{特征向量}。
507 |   解空间线性无关的特征向量的个数叫做\textbf{几何重数}。
508 | \end{definition}
509 | 
510 | \begin{remark}
511 |   线性变换和矩阵的特征值、特征向量还是有区别的。
512 |   线性变换的特征值属于线性空间的数域$\mfF$，而矩阵的特征值属于复数域。
513 |   另外，矩阵的特征向量在线性变换眼里就是一个坐标，
514 |   它需要与线性变换对应这个矩阵的基相乘，才是线性空间的特征向量。
515 | \end{remark}
516 | 
517 | \begin{definition}[矩阵的谱]
518 |   $n$阶矩阵$\mmA$的所有特征值$\lambda_1,\dots,\lambda_n$
519 |   叫做矩阵$\mmA$的\textbf{谱}。
520 |   $\max\{|\lambda_1|,\dots,|\lambda_n|\}$被称为\textbf{谱半径}。
521 | \end{definition}
522 | 
523 | \begin{definition}[矩阵的迹]
524 |   设矩阵$\mmA=(a_{ij})_{n\times n}$。
525 |   定义$\sum_{i=1}^{n}a_{ii}$叫做矩阵$\mmA$的迹，记为$\mtr\mmA$。
526 | \end{definition}
527 | 
528 | \begin{theorem}[特征值的性质]
529 |   设$n$阶矩阵$\mmA$的所有特征值为$\lambda_1,\dots,\lambda_n$，则
530 |   \begin{enumerate}
531 |     \item $|\mmA| = \prod_{i=1}^{n}\lambda_i$
532 |     \item $\mtr\mmA = \sum_{i=1}^{n}\lambda_i$
533 |   \end{enumerate}
534 | \end{theorem}
535 | 
536 | \subsection{矩阵之间特征值的关联}
537 | \begin{theorem}[矩阵运算对特征值和特征向量的影响]
538 |   设$\mmA$是$n$阶方阵，$\lambda_0$是$\mmA$的一个特征值，
539 |   $\alpha_0$是对应$\lambda_0$的一个特征向量。
540 |   \begin{enumerate}
541 |     \item
542 |     对于逆矩阵，有$\mmA^{-1}\alpha_0 = \frac{1}{\lambda_0}\alpha_0$
543 |     \item
544 |     对于伴随矩阵，有$\mmA^*\alpha_0 = \frac{|\mmA|}{\lambda_0}\alpha_0$
545 |     \item
546 |     对于转置矩阵，它的特征多项式与$\mmA$的特征多项式相同，
547 |     所以它们有相同的特征值。但是特征向量未必相同。
548 |     \item
549 |     对于矩阵多项式$f(\mmA)=\sum_{i=1}^{k} c_i\mmA^i$，
550 |     有$f(\mmA)\alpha_0=\left(\sum_{i=1}^{k} c_i\lambda_0^i\right)\alpha_0$
551 |   \end{enumerate}
552 | \end{theorem}
553 | 
554 | \begin{remark}
555 |   如果知道$\mmA$的特征值和特征向量，就可以利用上述定理
556 |   快速求出这些相关的矩阵的特征值与特征向量。
557 | \end{remark}
558 | 
559 | \begin{theorem}[相似矩阵之间特征值的联系]
560 |   相似矩阵有相同的特征多项式，从而也有相同的谱。
561 | \end{theorem}
562 | 
563 | \begin{remark}
564 |   这符合直观：相似矩阵是同一个线性变换在不同基下的矩阵，
565 |   因此求出的特征值都应该是相同的。
566 | \end{remark}
567 | 
568 | \begin{theorem}[分块对角矩阵的特征值]
569 |   设$\mmA$是分块对角矩阵
570 |   \begin{displaymath}
571 |     \mmA = \mmat{cccc}{
572 |       \mmA_1 & & & \\
573 |       & \mmA_2 & & \\
574 |       & & \ddots & \\
575 |       & & & \mmA_n }
576 |   \end{displaymath}
577 |   则$\mmA$的特征多项式就是$\mmA_1,\dots,\mmA_n$的特征多项式的乘积。
578 |   从而$\mmA_1,\dots,\mmA_n$的所有特征值就是$\mmA$的全部特征值。
579 | \end{theorem}
580 | 
581 | \subsection{矩阵的对角化}
582 | 回想一下式\eqref{eq:diagonalizable}，
583 | 这是我们一开始就想要获得的性质，
584 | 我们把这个性质称为``可对角化''。
585 | 经过之前的讨论，我们现在知道，
586 | 式\eqref{eq:diagonalizable}中对角矩阵上的对角线元素就是特征值，
587 | 那一组基就是特征向量。
588 | 然而，尽管我们现在会找特征值与特征向量了，
589 | 但是能找到的所有特征向量未必能构成一组基。
590 | 我们现在要研究在什么条件下，这个可对角化的性质可以被满足。
591 | 
592 | \begin{definition}[可对角化的矩阵]
593 |   设$T$是$n$维线性空间上的一个线性变换。
594 |   如果存在一组基，使$T$在这组基下的矩阵是对角形，
595 |   则说$T$所对应的矩阵是\textbf{可对角化矩阵}。
596 | \end{definition}
597 | 
598 | \begin{remark}
599 |   根据定理\ref{thrm:mat-sim-equiv-cond}，
600 |   我们可以得到另一种说法：
601 |   矩阵可对角化当且仅当它相似于对角矩阵。
602 | \end{remark}
603 | 
604 | \begin{theorem}[矩阵可对角化的充要条件]
605 |   $n$阶矩阵$\mmA$可对角化当且仅当它有$n$个线性无关的特征向量。
606 | \end{theorem}
607 | 
608 | \begin{remark}
609 |   如果$\xi_1,\dots,\xi_n$是$\mmA$的$n$个线性无关的特征向量，
610 |   它们各自对应的特征值是$\lambda_1,\dots,\lambda_n$，
611 |   那么，存在矩阵$\mmP=(\xi_1,\dots,\xi_n)$，使得
612 |   \begin{displaymath}
613 |     \mmP^{-1}\mmA\mmP = \mmat{ccc}{
614 |       \lambda_1 & & \\
615 |       & \ddots    & \\
616 |       & & \lambda_n }
617 |   \end{displaymath}
618 | \end{remark}
619 | 
620 | 接下来，我们再进一步细化这个充要条件。
621 | \begin{lemma}
622 |   矩阵互异的特征值所对应的特征向量线性无关。
623 | \end{lemma}
624 | 
625 | \begin{lemma}
626 |   设矩阵的两个互异的特征值为$\lambda_1,\lambda_2$，
627 |   $\xi_1,\dots,\xi_m$是$\lambda_1$的特征向量，
628 |   $\eta_1,\dots,\eta_n$是$\lambda_2$的特征向量，
629 |   则$\xi_1,\dots,\xi_m,\eta_1,\dots,\eta_n$线性无关。
630 | \end{lemma}
631 | 
632 | \begin{lemma}
633 |   矩阵特征值的几何重数小于等于代数重数。
634 |   换句话说，假设$\lambda$是矩阵的一个$k$重特征根，
635 |   则对应于$\lambda$的特征向量中，
636 |   极大线性无关组的大小不会超过$k$。
637 | \end{lemma}
638 | 
639 | \begin{theorem}[矩阵可对角化的充要条件]
640 |   $n$阶矩阵$\mmA$可对角化当且仅当
641 |   对于每个$k_i$重特征根$\lambda_i$，
642 |   $\mmA-\lambda_i\mmI$的秩为$n-k_i$
643 | \end{theorem}
644 | 
645 | \begin{remark}
646 |   换句话说，矩阵可对角化当且仅当
647 |   所有特征根的几何重数等于代数重数。
648 | \end{remark}
649 | 


--------------------------------------------------------------------------------
/LinearAlgebra/Matrix.tex:
--------------------------------------------------------------------------------
  1 | \chapter{矩阵}
  2 | 
  3 | \section{矩阵及其运算}
  4 | 这一小节主要介绍了矩阵的基本概念和基本运算。
  5 | 
  6 | 矩阵的概念对学过线性代数的人来说是稀松平常的了，
  7 | 所以这里主要给出了重要概念和特殊矩阵的定义和符号，
  8 | 方便后面的讨论。
  9 | 
 10 | 矩阵的基本运算涉及了线性运算、乘积、转置。
 11 | 大家应该对此都很熟悉，这里就简单给出了一些性质，并不作证明。
 12 | 此外，我们还由转置运算给出了对称矩阵、反对称矩阵的概念。
 13 | 
 14 | \subsection{矩阵的概念}
 15 | \begin{definition}[矩阵]
 16 |   由$m\times n$个数排成$m$行$n$列的矩形数表
 17 |   \begin{equation} \label{eq:mat-def}
 18 |     \mmA = \mmat{cccc}{
 19 |       a_{11} & a_{12} & \cdots & a_{1n} \\
 20 |       a_{21} & a_{22} & \cdots & a_{2n} \\
 21 |       \vdots & \vdots & \ddots & \vdots \\
 22 |       a_{m1} & a_{m2} & \cdots & a_{mn} }
 23 |   \end{equation}
 24 |   称为一个$m\times n$矩阵。
 25 |   其中数$a_{ij}$称为矩阵$\mmA$的元素。
 26 |   $i$为行标，$j$为列标，
 27 |   $a_{ij}$是$\mmA$位于第$i$行第$j$列的元素，或简称$\mmA$的$(i,j)$元素。
 28 |   式\eqref{eq:mat-def}可简记为$\mmA=(a_{ij})_{m\times n}$或$(a_{ij})$。
 29 | \end{definition}
 30 | 
 31 | 下面是一些特殊的矩阵：
 32 | \begin{itemize}
 33 |   \item
 34 |   $m\times 1$矩阵又称为\textbf{列矩阵}或$m$\textbf{维列向量}。
 35 |   \item
 36 |   $1\times n$矩阵又称为\textbf{行矩阵}或$n$\textbf{维行向量}。
 37 |   \item
 38 |   $n\times n$矩阵又称为$n$\textbf{阶方阵}。
 39 |   对于$n$阶方阵$\mmA=(a_{ij})$，
 40 |   其对角线上的元素$a_{11},\dots,a_{nn}$又称\textbf{主对角线元素}。
 41 |   \item
 42 |   如果一个$n$阶方阵除主对角线元素外，其余元素都为0，
 43 |   那么我们称这种矩阵为\textbf{对角矩阵}，记为
 44 |   \[
 45 |     \mdiag(k_1, k_2\dots,k_n)= \mmat{cccc}{
 46 |       k_1 &     &        & \\
 47 |           & k_2 &        & \\
 48 |           &     & \ddots & \\
 49 |           &     &        & k_n }
 50 |   \]
 51 |   \item
 52 |   $\mmI = \mdiag(1,1,\dots,1)$被称为\textbf{单位矩阵}。
 53 |   \item
 54 |   \textbf{零矩阵}$\mmZero$是所有元素都为0的矩阵。
 55 |   \item
 56 |   设$\mmA=(a_{ij})$是$n$阶方阵。
 57 |   若当$i>j$时，$a_{ij}=0$，则称$\mmA$为\textbf{上三角阵}。
 58 |   若当$i<j$时，$a_{ij}=0$，则称$\mmA$为\textbf{下三角阵}。
 59 |   两者统称\textbf{三角阵}。
 60 | \end{itemize}
 61 | 
 62 | \begin{definition}[矩阵相等]
 63 |   如果$\mmA=(a_{ij})$与$\mmB=(b_{ij})$都是$m\times n$矩阵，
 64 |   且对$i=1,2,\dots,m,\ j=1,2,\dots,n$，有$a_{ij}=b_{ij}$，
 65 |   则称$\mmA$与$\mmB$相等，记作$\mmA=\mmB$。
 66 | \end{definition}
 67 | 
 68 | \subsection{矩阵的线性运算}
 69 | 矩阵的线性运算包含\textbf{加法}和\textbf{数乘}。定义比较简单，在此不加赘述。
 70 | 
 71 | 根据后面线性空间的定义\ref{def:linear-space}，
 72 | 矩阵空间也是线性空间。
 73 | 
 74 | \subsection{矩阵的乘法}
 75 | \begin{definition}[矩阵的乘法]
 76 |   设$\mmA=(a_{ik})_{m\times s}, \mmB=(b_{kj})_{s\times n}$，令
 77 |   \begin{equation}
 78 |   c_{ij}=\sum_{k=1}^{s}a_{ik}b_{kj}
 79 |   \end{equation}
 80 |   则$\mmC=(c_{ij})_{m\times n}$被称为$\mmA$和$\mmB$的乘积，
 81 |   记为$\mmC = \mmA\mmB$。
 82 | \end{definition}
 83 | 
 84 | 矩阵的乘法满足分配率和结合律，但不满足交换律。
 85 | 
 86 | \subsection{矩阵的转置}
 87 | \begin{definition}[矩阵的转置]
 88 |   设$\mmA=(a_{ij})_{m\times n}$，
 89 |   令$b_{ij}=a_{ji}$，
 90 |   则$\mmB=(b_{ij})_{n\times m}$被称为$\mmA$的转置矩阵，
 91 |   记为$\mmA^\mT$。
 92 | \end{definition}
 93 | 
 94 | \begin{theorem}[转置矩阵的性质]
 95 |   转置矩阵具有以下性质：
 96 |   \begin{enumerate}
 97 |     \item $\left(\mmA^\mT\right)^\mT = \mmA$
 98 |     \item $(\mmA+\mmB)^\mT=\mmA^\mT + \mmB^\mT$
 99 |     \item $(k\mmA)^\mT=k\mmA^\mT$
100 |     \item $(\mmA\mmB)^\mT=\mmB^\mT\mmA^\mT$
101 |   \end{enumerate}
102 | \end{theorem}
103 | 
104 | \begin{definition}[对称矩阵与反对称矩阵]
105 |   对于$n$阶方阵$\mmA=(a_{ij})$，
106 |   如果满足$\mmA^\mT=\mmA$，则称$\mmA$为\textbf{对称矩阵}。
107 |   如果满足$\mmA^\mT=-\mmA$，则称$\mmA$为\textbf{反对称矩阵}。
108 | \end{definition}
109 | 
110 | \begin{remark}
111 |   不难看出，反对称矩阵的主对角线元素都为零。
112 | \end{remark}
113 | 
114 | \section{矩阵的分块}
115 | 矩阵的分块是化简矩阵运算简单而又重要的思想。
116 | 其中最重要的是分块矩阵的乘法。
117 | 
118 | \subsection{分块矩阵的概念}
119 | \begin{definition}[分块矩阵]
120 |   一般地，将一个$m\times n$矩阵$\mmA$用横线划分成$r$块，
121 |   用竖线划分成$s$块，就能得到一个$r\times s$分块矩阵。
122 |   \begin{equation} \label{eq:mat-partition}
123 |   \mmA = \mmat{cccc}{
124 |     \mmA_{11} & \mmA_{12} & \cdots & \mmA_{1s} \\
125 |     \mmA_{21} & \mmA_{22} & \cdots & \mmA_{2s} \\
126 |     \vdots    & \vdots    & \ddots & \vdots    \\
127 |     \mmA_{r1} & \mmA_{r2} & \cdots & \mmA_{rs} }
128 |     = (\mmA_{ij})_{r\times s}
129 |   \end{equation}
130 |   其中，$\mmA_{ij}(i=1,\dots,r,\ j=1,\dots,s)$是$m_i\times n_j$矩阵，
131 |   $\sum_{i=1}^{r}m_i = m$，$\sum_{j=1}^{s}n_j=n$。
132 | \end{definition}
133 | 
134 | 最常用的一种矩阵分块方法是把$m\times n$划分成$m$个行向量，
135 | 或者$n$个列向量。
136 | 
137 | \subsection{分块矩阵的运算}
138 | 分块矩阵的运算中需要注意的是转置和乘法。
139 | 
140 | 转置运算不仅需要把矩阵的每一行转成列，而且内部子块也需要转置。
141 | 对于式\eqref{eq:mat-partition}中的矩阵$\mmA$，它的转置是
142 | \[
143 |   \mmA^\mT = \mmat{cccc}{
144 |     \mmA_{11}^\mT & \mmA_{21}^\mT & \cdots & \mmA_{r1}^\mT \\
145 |     \mmA_{12}^\mT & \mmA_{22}^\mT & \cdots & \mmA_{r2}^\mT \\
146 |     \vdots        & \vdots        & \ddots & \vdots        \\
147 |     \mmA_{1s}^\mT & \mmA_{2s}^\mT & \cdots & \mmA_{sr}^\mT }
148 | \]
149 | 
150 | 对于乘法运算，
151 | 给定两个矩阵$\mmA=(a_{ij})_{m\times n}$，$\mmB=(b_{jk})_{n\times p}$，
152 | 只要使$\mmB$的行分法与$\mmA$的列分法一致，
153 | 就能把子块当作数一样按照矩阵乘法的规则进行计算。
154 | 
155 | \subsection{准对角矩阵}
156 | \begin{definition}[准对角矩阵]
157 |   对于$n$阶方阵$\mmA$，
158 |   如果有一种分法，使$\mmA$的主对角线以外的子块都是零矩阵，
159 |   且主对角线上子块都是方阵，则称$\mmA$为准对角矩阵。
160 | \end{definition}
161 | 
162 | \begin{remark}
163 |   当然，准对角矩阵包含对角矩阵作为特殊情况。
164 | \end{remark}
165 | 
166 | 设$\mmA$和$\mmB$都是$n$阶方阵。
167 | 如果有相同的分法，使得
168 | \[
169 | \mmA = \mmat{cccc}{
170 |   \mmA_1 &        &        & \\
171 |          & \mmA_2 &        & \\
172 |          &        & \ddots & \\
173 |          &        &        & \mmA_n },\quad
174 | \mmB = \mmat{cccc}{
175 |   \mmB_1 &        &        & \\
176 |          & \mmB_2 &        & \\
177 |          &        & \ddots & \\
178 |          &        &        & \mmB_n }
179 | \]
180 | 都是准对角矩阵，那么显然有
181 | \[
182 | \mmA\mmB = \mmat{cccc}{
183 |     \mmA_1\mmB_1 &              &        & \\
184 |                  & \mmA_2\mmB_2 &        & \\
185 |                  &              & \ddots & \\
186 |                  &              &        & \mmA_n\mmB_n }
187 | \]
188 | 
189 | \section{逆矩阵与初等变换}
190 | 本小节开始讨论逆矩阵，
191 | 并试图通过初等变换的概念，从更本质的视角来看待矩阵
192 | ——矩阵就是所谓标准型乘上有限个初等阵。
193 | 也因为初等阵具有良好的性质——可逆性，
194 | 所以矩阵可逆当且仅当它的标准型就是单位矩阵。
195 | 
196 | \subsection{逆矩阵}
197 | \begin{definition}[逆矩阵]
198 |   设$\mmA$是$n$阶方阵。如果存在$n$阶方阵$\mmB$，使
199 |   \begin{equation}
200 |     AB=BA=I
201 |   \end{equation}
202 |   则称$\mmB$为$\mmA$的\textbf{逆矩阵}，记作$A^{-1}$，
203 |   并说$\mmA$是\textbf{非奇异矩阵}或\textbf{可逆矩阵}，
204 |   否则便称$\mmA$是\textbf{奇异矩阵}或\textbf{不可逆矩阵}。
205 | \end{definition}
206 | 
207 | \begin{theorem}[逆矩阵的唯一性]
208 |   可逆矩阵的逆矩阵是唯一的。
209 | \end{theorem}
210 | 
211 | \begin{theorem}[可逆矩阵的性质]
212 |   若$\mmA,\mmB$是可逆矩阵，
213 |   则$\mmA^{-1}$，$k\mmA\,(k\neq 0)$，$\mmA^\mT$，$\mmA\mmB$都是可逆矩阵，且
214 |   \begin{enumerate}
215 |     \item $(\mmA^{-1})^{-1} = \mmA$
216 |     \item $(k\mmA)^{-1} = \frac{1}{k}\mmA^{-1}$
217 |     \item $(\mmA^\mT)^{-1} = (\mmA^{-1})^\mT$
218 |     \item $(\mmA\mmB)^{-1} = \mmB^{-1}\mmA^{-1}$
219 |   \end{enumerate}
220 | \end{theorem}
221 | 
222 | \subsection{初等变换与初等阵}
223 | 矩阵的\textbf{初等变换}可以分为\textbf{初等行变换}和\textbf{初等列变换}。
224 | 下面主要讨论初等行变换。初等列变换与之相似。
225 | 
226 | \begin{definition}[初等行变换]
227 |   初等行变换有三种：
228 |   \begin{enumerate}
229 |     \item 交换矩阵的第$i$行和第$j$行，记为$\mTfRowSwi{i}{j}$。
230 |     \item 将矩阵的第$i$行乘非零常数$k$，记为$\mTfRowMul{k}{j}$。
231 |     \item 把矩阵的第$i$行加上第$j$行的$k$倍，记为$\mTfRowAdd{i}{+k}{j}$。
232 |   \end{enumerate}
233 | \end{definition}
234 | 
235 | \begin{definition}[初等阵]
236 |   单位矩阵经过一次初等变换得到的矩阵叫做\textbf{初等矩阵}，
237 |   或简称\textbf{初等阵}。
238 | \end{definition}
239 | 
240 | \begin{remark}
241 |   显然，初等阵是方阵，并且都是可逆的。
242 | \end{remark}
243 | 
244 | 使用三种初等行变换能得到三个初等阵，
245 | 我们把它们分别记作
246 | $\mmRowSwi{i}{j}$，$\mmRowMul{k}{i}$和$\mmRowAdd{i}{+k}{j}$。
247 | 对单位矩阵实行一次初等列变换，同样能得到上述三种形式的初等阵，
248 | 所以初等阵只有以上三种。
249 | 
250 | \begin{theorem}[一般矩阵的初等变换与初等阵的联系]
251 |   对于一个$m\times n$矩阵$\mmA$做一次初等行变换，
252 |   就相当于对$\mmA$左乘一个$m$阶初等矩阵；
253 |   对$\mmA$做一次初等列变换，
254 |   就相当于对$\mmA$右乘一个$n$阶初等矩阵。
255 | \end{theorem}
256 | 
257 | \begin{definition}[矩阵等价]
258 |   如果矩阵$\mmA$可以通过有限次初等变换化为矩阵$\mmB$，
259 |   那么就说$\mmA$与$\mmB$等价。
260 | \end{definition}
261 | 
262 | \begin{remark}
263 |   矩阵等价是一个等价关系，即满足自反性、对称性、传递性。
264 | \end{remark}
265 | 
266 | \begin{theorem}[标准型]
267 |   任意非零$m\times n$矩阵$\mmA$都等价于矩阵
268 |   \[
269 |     \mmat{cc}{\mmI_r & \mmZero \\ \mmZero & \mmZero}
270 |     \quad (1\le r \le \min(m,n))
271 |   \]
272 |   它称为矩阵$\mmA$的\textbf{标准型}。
273 |   换句话说，任意非零$m\times n$矩阵$\mmA$，
274 |   必有初等矩阵$\mmP_1,\dots,\mmP_s$，$\mmQ_1,\dots,\mmQ_t$，
275 |   使得
276 |   \[
277 |     \mmP_s\dots\mmP_1\cdot\mmA\cdot\mmQ_1\dots\mmQ_t =
278 |       \mmat{cc}{\mmI_r & \mmZero \\ \mmZero & \mmZero}
279 |   \]
280 | \end{theorem}
281 | 
282 | 因为初等矩阵可逆，所以有如下推论
283 | 
284 | \begin{corollary}
285 |   对于任意非零$m\times n$矩阵$\mmA$，
286 |   存在可逆$m\times m$矩阵$\mmP$和可逆$n\times n$矩阵$\mmQ$，
287 |   使得
288 |   \[
289 |     \mmP\mmA\mmQ = \mmat{cc}{\mmI_r & \mmZero \\ \mmZero & \mmZero}
290 |     \quad (1\le r \le \min(m,n))
291 |   \]
292 |   或写成
293 |   \[
294 |     \mmA = \mmP^{-1}\mmat{cc}{\mmI_r & \mmZero \\ \mmZero & \mmZero}\mmQ^{-1}
295 |     \quad (1\le r \le \min(m,n))
296 |   \]
297 | \end{corollary}
298 | 
299 | \subsection{矩阵可逆的充要条件}
300 | 
301 | \begin{theorem}
302 |   设$\mmA,\mmB$是$n$阶方阵，
303 |   若$\mmA\mmB=\mmI_n$，
304 |   则$\mmA,\mmB$都是可逆阵，且它们互为逆阵。
305 | \end{theorem}
306 | 
307 | \begin{theorem} \label{thrm:inv-equiv-cond}
308 |   设$\mmA$是$n$阶方阵，则下列结论等价：
309 |   \begin{enumerate}
310 |     \item $\mmA$是可逆矩阵。
311 |     \item $\mmA$可以表示为有限个初等阵的乘积。
312 |     \item $\mmA$可以经过有限次初等变换化为单位矩阵。
313 |   \end{enumerate}
314 | \end{theorem}
315 | 
316 | \subsection{用初等变换求逆矩阵}
317 | \[
318 |   \mmat{c|c}{\mmA & \mmI} \xrightarrow{\text{初等行变换}}
319 |   \mmat{c|c}{\mmI & \mmA^{-1}}
320 | \]
321 | 


--------------------------------------------------------------------------------
/LinearAlgebra/QuadraticForm.tex:
--------------------------------------------------------------------------------
  1 | \chapter{二次型}
  2 | 
  3 | \section{二次型的概念}
  4 | 本小节首先介绍实二次型和标准型的概念，其中最重要的是二次型的矩阵表示。
  5 | 然后我们会看到，二次型能通过对变量进行线性变换转化为另一个二次型。
  6 | 这两个二次型与表示矩阵的合同有着紧密的联系。
  7 | 
  8 | \subsection{二次型与标准型}
  9 | \begin{definition}[实二次型及其矩阵表示]
 10 |   设多项式
 11 |   \begin{equation} \label{eq:quadratic-form}
 12 |     f(x_1,x_2,\dots,x_n)=\sum_{i=1}^n\sum_{j=1}^n a_{ij}x_ix_j,
 13 |     \quad (a_{ij} = a_{ji})
 14 |   \end{equation}
 15 |   其中，$x_1,x_2,\dots,x_n$是变量，$a_{ij}$是实数，
 16 |   那么我们称式\eqref{eq:quadratic-form}为\textbf{实二次型}。
 17 |   如果令$\mmA=(a_{ij})_{n\times n}$，$\mvx=(x_1,\dots,x_n)^\mT$，
 18 |   那么$\mmA$是实对称矩阵，且式\eqref{eq:quadratic-form}可以用矩阵表示为
 19 |   \begin{displaymath}
 20 |     f(x_1,x_2,\dots,x_n) = \mvx^\mT\mmA\mvx
 21 |   \end{displaymath}
 22 |   我们把$\mmA$叫做$f$的\textbf{表示矩阵}。
 23 | \end{definition}
 24 | 
 25 | \begin{remark}
 26 |   下面主要研究的是实二次型。所以下面提到二次型的地方都是指的实二次型。
 27 | \end{remark}
 28 | 
 29 | \begin{definition}[标准型]
 30 |   设$\mvx=(x_1,\dots,x_n)^\mT,\mvy=(y_1,\dots,y_n)^\mT$为两组变量，
 31 |   矩阵$\mmP$建立了它们的线性变换关系：$\mvx=\mmP\mvy$。
 32 |   如果$\mmP$为满秩矩阵，那么我们称这种变换为\textbf{满秩线性变换}。
 33 |   如果二次型能通过满秩线性变换变成新变量的平方和，
 34 |   那么我们称新的多项式为该二次型的\textbf{标准型}。
 35 | \end{definition}
 36 | 
 37 | \subsection{表示矩阵的合同与二次型的秩}
 38 | 如果给定一个二次型$\mvx^\mT\mmA\mvx$和满秩线性变换$\mvx=\mmP\mvy$，
 39 | 那么我们能得到
 40 | \begin{displaymath}
 41 | \mvx^\mT\mmA\mvx
 42 | = \mvy^\mT\mmP^\mT\mmA\mmP\mvy
 43 | = \mvy^\mT\mmB\mvy
 44 | \end{displaymath}
 45 | 其中$\mmB=\mmP^\mT\mmA\mmP$是二次型$\mvy^\mT\mmB\mvy$的表示矩阵。
 46 | 由此可见，经过满秩线性变换联系的两个二次型的表示矩阵$\mmB$和$\mmA$是合同的。
 47 | 除此以外，我们不难证明$r(\mmB)=r(\mmA)$。
 48 | 据此，我们能定义二次型的秩：
 49 | 
 50 | \begin{definition}[二次型的秩]
 51 |   我们称二次型的表示矩阵的秩为\textbf{二次型的秩}。
 52 | \end{definition}
 53 | 
 54 | \section{化二次型为标准型}
 55 | 下面我们要考虑的问题自然是：如何把二次型化为它的标准型？
 56 | 如果我们想要把二次型$\mvx^\mT\mmA\mvx$化为标准型$\mvy^\mT\mmB\mvy$，
 57 | 那么$\mmB$必须是对角矩阵。
 58 | 所以，把二次型化为标准型的问题就转化为，
 59 | 给定一个对称矩阵$\mmA$，如何找到一个与它合同的对角矩阵$\mmB$。
 60 | 
 61 | \subsection{实对称矩阵的对角化——正交变换法}
 62 | \begin{theorem}
 63 |   实对称矩阵的特征值都是实数。
 64 | \end{theorem}
 65 | 
 66 | \begin{theorem}
 67 |   实对称矩阵不同特征值的特征向量正交。
 68 | \end{theorem}
 69 | 
 70 | \begin{theorem}[实对称矩阵的可对角化]
 71 |   对任意实对称矩阵$\mmA$，都存在正交矩阵$\mmQ$，
 72 |   使得$\mmQ^{-1}\mmA\mmQ$为对角矩阵。
 73 | \end{theorem}
 74 | 
 75 | 以上定理说明了，实对称矩阵是可对角化的，
 76 | 所以实对称矩阵必有$n$个线性无关的特征向量。
 77 | 又因为实对称矩阵的特征值之间的特征向量都是正交的，
 78 | 所以我们只要给特征值内部的特征向量正交化，
 79 | 就能得到$n$个正交的特征向量。
 80 | 正交矩阵$Q$就是这$n$个特征向量单位化的组合。
 81 | 下面是$n$阶实对称矩阵$\mmA$对角化的一般步骤：
 82 | \begin{enumerate}
 83 |   \item
 84 |   求$\mmA$的特征值；
 85 |   \item
 86 |   求$n$个线性无关的特征向量；
 87 |   \item
 88 |   将每个特征值内的特征向量按照施密特的方法正交化；
 89 |   \item
 90 |   把所有特征向量单位化，就能组合得到$\mmQ$。
 91 | \end{enumerate}
 92 | 
 93 | \begin{remark}
 94 |   因为正交矩阵有性质$\mmQ^{-1}=\mmQ^\mT$，
 95 |   所以对于实对称矩阵而言，相似于对角矩阵和合同于对角矩阵是一回事——
 96 |   这也就是我们想把二次型化为标准型要做的事情。
 97 |   以上化标准型的方法叫做\textbf{正交变换法}。
 98 | \end{remark}
 99 | 
100 | \begin{theorem}[主轴定理]
101 |   任何实二次型都可以用正交变换化为标准型。
102 | \end{theorem}
103 | 
104 | \subsection{配方法}
105 | 配方法的步骤如下：
106 | \begin{enumerate}
107 |   \item
108 |   若二次项含有某个变量的平方，那么先集中含有此变量的乘积项，然后配方。
109 |   \item
110 |   对剩下的变量依次应用同样的过程。
111 |   \item
112 |   最后二次项会化为变量线性组合的平方和。
113 | \end{enumerate}
114 | 
115 | \section{规范型与惯性定理}
116 | 从二次型的标准型出发继续做满秩线性变换，能得到平方项的系数只能为$\pm 1$的规范型。
117 | 惯性定理刻画了二次型的本质特征：无论经过怎么样的满秩线性变换，
118 | 最后得到的规范型的正系数和负系数的个数都是相同的。
119 | 
120 | \subsection{规范型}
121 | \begin{definition}[规范型]
122 |   对于二次型，如果能通过满秩线性变换得到形如
123 |   \begin{displaymath}
124 |     f = z_1^2+\dots+z_p^2-z_{p+1}^2-\dots-z_{r}^2
125 |   \end{displaymath}
126 |   的多项式，则称该多项式为二次型的\textbf{规范型}。
127 | \end{definition}
128 | 
129 | \subsection{惯性定理}
130 | \begin{theorem}
131 |   秩为$r$的$n$元实二次型$f=\mvx^\mT\mmA\mvx$
132 |   可以通过满秩线性变换$\mvx=\mmP\mvy$化为规范型
133 |   \begin{displaymath}
134 |     f = y_1^2+\dots+y_p^2-y_{p+1}^2-\dots-y_{r}^2
135 |     + 0\cdot y_{r+1}^2 + \dots + 0\cdot y_{n}^2
136 |   \end{displaymath}
137 |   其中$0\le p \le r \le n$。
138 | \end{theorem}
139 | 
140 | \begin{theorem}[惯性定理]
141 |   若对秩为$r$的$n$元实二次型$f=\mvx^\mT\mmA\mvx$
142 |   做两个满秩线性变换$\mvx=\mmB\mvy$和$\mvx=\mmC\mvz$
143 |   分别把它们化为规范型
144 |   \begin{displaymath}
145 |   f = y_1^2+\dots+y_p^2-y_{p+1}^2-\dots-y_{r}^2
146 |   \end{displaymath}
147 |   和
148 |   \begin{displaymath}
149 |   f = z_1^2+\dots+z_p^2-z_{q+1}^2-\dots-y_{r}^2
150 |   \end{displaymath}
151 |   那么，$p=q$。
152 | \end{theorem}
153 | 
154 | \subsection{惯性指数}
155 | \begin{definition}[正负惯性指数]
156 |   在二次型$f$的一个标准型中，
157 |   正项的个数叫做$f$的\textbf{正惯性指数}，
158 |   负项的个数叫做$f$的\textbf{负惯性指数}。
159 | \end{definition}
160 | 
161 | \begin{remark}
162 |   正负惯性指数之和即是二次型的秩。
163 | \end{remark}
164 | 
165 | \begin{theorem}
166 |   两个$n$元实二次型能够用满秩线性变换相互转化的充要条件是
167 |   正负惯性指数分别相等。
168 | \end{theorem}
169 | 
170 | \section{正定二次型}
171 | 本小节主要讨论一类特殊的实二次型——正定二次型，
172 | 并给出判定正定二次型的充要条件。
173 | 
174 | \subsection{正定二次型与正定矩阵的概念}
175 | \begin{definition}[正定二次型与正定矩阵]
176 |   设$f=\mvx^\mT\mmA\mvx$为实二次型。
177 |   如果对任意$\mvx\neq\mvZero$，有$\mvx^\mT\mmA\mvx > 0(<0)$，
178 |   则称这个二次型为\textbf{正定二次型}(\textbf{负定二次型})。
179 |   $\mmA$则被称为\textbf{正定矩阵}。
180 | \end{definition}
181 | 
182 | \subsection{判定正定二次型与正定矩阵的充要条件}
183 | \begin{theorem}[正定二次型的充要条件]
184 |   $n$元实二次型是正定二次型的充要条件是它的正惯性指数为$n$。
185 | \end{theorem}
186 | 
187 | \begin{definition}[顺序主子式]
188 |   设$\mmA$为$n$阶矩阵，行列式
189 |   \begin{displaymath}
190 |     D_i=\mdet{cccc}{
191 |       a_{11} & a_{12} & \cdots & a_{1i} \\
192 |       a_{21} & a_{22} & \cdots & a_{2i} \\
193 |       \vdots & \vdots & \ddots & \vdots \\
194 |       a_{i1} & a_{i2} & \cdots & a_{ii} }
195 |   \end{displaymath}
196 |   称为$\mmA$的\textbf{$i$阶顺序主子式}($i=1,\dots,n$)。
197 | \end{definition}
198 | 
199 | \begin{theorem}[正定矩阵的充要条件]
200 |   设$\mmA$是$n$阶方阵。以下命题等价：
201 |   \begin{enumerate}
202 |     \item
203 |     $\mmA$是正定矩阵。
204 |     \item
205 |     $\mmA$的所有特征值为正。
206 |     \item
207 |     $\mmA$合同于单位矩阵。($\mmA$能写成$\mmP^\mT\mmP$)
208 |     \item
209 |     $\mmA$的各阶顺序主子式都为正。
210 |   \end{enumerate}
211 | \end{theorem}


--------------------------------------------------------------------------------
/LinearAlgebra/VectorAndLinearSystem.tex:
--------------------------------------------------------------------------------
  1 | \chapter{向量组的线性相关性与线性代数方程组}
  2 | 
  3 | \section{向量组的线性无关}
  4 | 在一个方程组中，会有一些方程是``无用的''，
  5 | 也就是说，它能由其它方程通过线性运算表示出来。
  6 | 向量组的线性无关与此概念紧密联系——向量组即是一个方程的系数矩阵。
  7 | 向量组的极大线性无关组也就反应了在方程组中去掉那些无用的方程后得到的方程组。
  8 | 向量组的秩即是这些有用的方程的个数。
  9 | 
 10 | \subsection{线性相关与线性无关}
 11 | \begin{definition}[线性组合与线性表示]
 12 |   设$\alpha,\alpha_1,\alpha_2,\dots,\alpha_r$是一组$n$维向量。
 13 |   如果存在数$k_1,k_2,\dots,k_r$，使得
 14 |   \[ \alpha = k_1\alpha_1+k_2\alpha_2+\dots k_r\alpha_r \]
 15 |   则称$\alpha$是$\alpha_1,\alpha_2,\dots,\alpha_r$的\textbf{线性组合}，
 16 |   或者说$\alpha$可由$\alpha_1,\alpha_2,\dots,\alpha_r$\textbf{线性表示}，
 17 |   其中，$k_1,k_2,\dots,k_r$叫做\textbf{表示系数}。
 18 | \end{definition}
 19 | 
 20 | \begin{definition}[线性相关与线性无关]
 21 |   设$\alpha_1,\alpha_2,\dots,\alpha_r$是一组$n$维向量。
 22 |   如果存在一组\textbf{不全为零}的数$k_1,k_2,\dots,k_r$，使得
 23 |   \[ k_1\alpha_1+k_2\alpha_2+\dots k_r\alpha_r = \mvZero \]
 24 |   则称向量组$\alpha_1,\alpha_2,\dots,\alpha_r$\textbf{线性相关}；
 25 |   否则，称\textbf{线性无关}。
 26 | \end{definition}
 27 | 
 28 | \begin{theorem}[线性相关与线性组合的联系]
 29 |     $\alpha_1,\alpha_2,\dots,\alpha_r\ (r\ge 2)$线性相关
 30 |     当且仅当至少有一个向量是其它向量的线性组合。
 31 | \end{theorem}
 32 | 
 33 | \begin{theorem}[线性相关与线性无关的等价条件]
 34 |   设$\alpha_1,\alpha_2,\dots,\alpha_r$是一组$n$维列向量，
 35 |   $\mvk = (k_1,k_2,\dots,k_r)^\mT$，
 36 |   矩阵$\mmA = (\alpha_1,\alpha_2,\dots,\alpha_r)$，那么
 37 |   \begin{align*}
 38 |   \alpha_1,\alpha_2,\dots,\alpha_r\ \text{线性相关}
 39 |   &\iff \mmA\mvk = \mvZero\ \text{有非零解} \\
 40 |   &\iff |\mmA|=0
 41 |   \end{align*}
 42 |   \begin{align*}
 43 |   \alpha_1,\alpha_2,\dots,\alpha_r\ \text{线性无关}
 44 |   &\iff \mmA\mvk = \mvZero\ \text{仅有零解} \\
 45 |   &\iff |\mmA|\neq 0
 46 |   \end{align*}
 47 | \end{theorem}
 48 | 
 49 | \subsection{向量组组内关系}
 50 | \begin{theorem}[接长与补短]
 51 |   设向量组$S_1: \alpha_1,\alpha_2,\dots,\alpha_r$。
 52 |   若在每个向量中添加一个分量，把它变成$n+1$维向量组$S_2$，
 53 |   那么$S_1$线性无关能推出$S_2$线性无关，
 54 |   $S_2$线性相关能推出$S_1$线性相关。
 55 | \end{theorem}
 56 | 
 57 | \begin{theorem}[部分与整体]
 58 |   设向量组
 59 |   \[ S_1: \alpha_1,\alpha_2,\dots,\alpha_r \]
 60 |   与向量组
 61 |   \[ S_2: \alpha_1,\alpha_2,\dots,\alpha_r,\alpha_{r+1},\dots,\alpha_s \]
 62 |   是两个$n$维向量组。
 63 |   若$S_1$线性相关，则$S_2$线性相关；
 64 |   反之，若$S_2$线性无关，则$S_1$线性无关。
 65 | \end{theorem}
 66 | 
 67 | \begin{remark}
 68 |   直白地说，就是部分相关可以推出整体相关，整体无关可以推出部分无关。
 69 | \end{remark}
 70 | 
 71 | \begin{theorem}
 72 |   任意$n+1$个$n$维向量一定线性相关。
 73 | \end{theorem}
 74 | 
 75 | \subsection{向量组组间关系}
 76 | \begin{definition}[向量组等价]
 77 |   设向量组
 78 |   \[ S_1: \alpha_1,\alpha_2,\dots,\alpha_r \]
 79 |   \[ S_2: \beta_1,\beta_2,\dots,\beta_s \]
 80 |   若$S_1$中每个向量都可以被向量组$S_2$线性表示，
 81 |   则称向量组$S_1$可被$S_2$\textbf{线性表出}。
 82 |   若$S_1$与$S_2$能互相线性表出，那么称$S_1$和$S_2$\textbf{等价}。
 83 | \end{definition}
 84 | 
 85 | \begin{remark}
 86 |   向量组的等价是等价关系。
 87 | \end{remark}
 88 | 
 89 | \begin{theorem} \label{thrm:vector-set-size}
 90 |   设有两个向量组$S_1$和$S_2$，分别含有$r$和$s$个向量。
 91 |   若$S_1$能由$S_2$线性表出，且$r > s$，那么$S_1$线性相关。
 92 |   反之，若$S_1$线性无关且能由$S_2$线性表出，那么$r \le s$。
 93 | \end{theorem}
 94 | 
 95 | \begin{corollary} \label{thrm:vector-set-equiv}
 96 |   若两个线性无关的向量组$S_1$和$S_2$等价，那么它们包含的向量个数相同。
 97 | \end{corollary}
 98 | 
 99 | \subsection{极大线性无关组与向量组的秩}
100 | \begin{definition}
101 |   若一个向量组中有部分向量$\alpha_1,\alpha_2,\dots,\alpha_s$具有下面两个性质：
102 |   \begin{enumerate}
103 |     \item
104 |     $\alpha_1,\alpha_2,\dots,\alpha_s$线性无关；
105 |     \item
106 |     从原向量组中任选一个新向量(如果还有的话)加入到这个向量组中，
107 |     所得的部分向量组就线性相关了。
108 |   \end{enumerate}
109 |   那么称$\alpha_1,\alpha_2,\dots,\alpha_s$为原向量组的\textbf{极大线性无关组}。
110 | \end{definition}
111 | 
112 | \begin{theorem} \label{thrm:vector-set-self-equiv}
113 |    向量组的任意一个极大线性无关组都与向量组本身等价。
114 | \end{theorem}
115 | 
116 | \begin{remark}
117 |   一个向量组的极大线性无关组不一定是唯一的，
118 |   但是根据定理\ref{thrm:vector-set-self-equiv}
119 |   和推论\ref{thrm:vector-set-equiv}可以证明，
120 |   它们的大小一定是相同的。
121 | \end{remark}
122 | 
123 | \begin{definition}[向量组的秩]
124 |   向量组$S$的极大线性无关组所含向量的个数称为这个向量组的\textbf{秩}，
125 |   记作$r(S)$。
126 | \end{definition}
127 | 
128 | 有的秩的概念，定理\ref{thrm:vector-set-size}
129 | 和推论\ref{thrm:vector-set-equiv}可以做出如下推广：
130 | \begin{theorem}
131 |   设有向量组$S_1$和$S_2$。
132 |   \begin{enumerate}
133 |     \item
134 |     若$S_1$能由$S_2$线性表出，那么$r(S_1) \le r(S_2)$。
135 |     \item
136 |     若$S_1$与$S_2$等价，那么$r(S_1)=r(S_2)$。
137 |   \end{enumerate}
138 | \end{theorem}
139 | 
140 | \section{矩阵的秩}
141 | 矩阵如果按行划分，或者按列划分，其实都能看成一个向量组。
142 | 既然向量组有秩，那么矩阵的秩也可以因此定义出来。
143 | 我们会发现，不管是按行划分，还是按列划分，
144 | 行向量组与列向量组的秩都是相同的，
145 | 这个同一的值就是矩阵的秩。
146 | 
147 | \subsection{矩阵的行秩、列秩和秩}
148 | \begin{definition}[行秩与列秩]
149 |   一个矩阵$\mmA=(a_{ij})_{m\times n}$的行向量组的秩叫做$\mmA$的\textbf{行秩}，
150 |   列向量组的秩叫做$\mmA$的\textbf{列秩}。
151 | \end{definition}
152 | 
153 | \begin{theorem}[行秩与列秩的不变性]
154 |   一个矩阵的行秩和列秩在初等变换下保持不变。
155 | \end{theorem}
156 | 
157 | \begin{remark}
158 |   因为任何矩阵都能通过初等变换化为标准型，标准型的行秩与列秩相同，
159 |   所以更进一步的结论呼之欲出。
160 | \end{remark}
161 | 
162 | \begin{theorem}[行秩与列秩相等]
163 |   一个矩阵的行秩等于列秩。
164 | \end{theorem}
165 | 
166 | \begin{remark}
167 |   有了这个定理，我们就能把行秩和列秩统称为秩。
168 | \end{remark}
169 | 
170 | \begin{theorem}[秩]
171 |   矩阵$\mmA$的行秩或列秩称为这个矩阵的\textbf{秩}，记作$r(\mmA)$。
172 | \end{theorem}
173 | 
174 | \subsection{矩阵的秩的性质}
175 | \begin{theorem}
176 |   设$\mmA=(a_{ij})_{m\times s}, \mmB=(b_{jk})_{s\times p}$，则
177 |   \[ r(\mmA\mmB) \le \min\{ r(\mmA), r(\mmB) \} \]
178 | \end{theorem}
179 | 
180 | \begin{remark}
181 |   根据需要也可以写成$r(\mmA\mmB) \le r(\mmA)$，$r(\mmA\mmB)\le r(\mmB)$。
182 | \end{remark}
183 | 
184 | \begin{theorem}
185 |   设$\mmA$是$m\times n$阶矩阵，
186 |   $\mmP$是$m$阶可逆方阵，$\mmQ$是$n$阶可逆方阵，则
187 |   \[ r(\mmA) = r(\mmP\mmA) = r(\mmA\mmQ) \]
188 | \end{theorem}
189 | 
190 | \begin{theorem}
191 |   设$\mmA$和$\mmB$都是$m\times n$阶矩阵，则
192 |   \[ r(\mmA+\mmB) \le r(\mmA) + r(\mmB) \]
193 | \end{theorem}
194 | 
195 | \section{线性代数方程组}
196 | 先前我们已经讨论过使用行列式与伴随矩阵的方法(克莱姆法则)来解方程组了。
197 | 本小节继上面对向量组相关性的讨论，来研究解线性代数方程组的新方法：
198 | 高斯消元法。
199 | 
200 | \subsection{高斯消元}
201 | 对于线性代数方程组$\mmA\mvx=\mvb$，它的增广矩阵$\overline{\mmA}$是
202 | \begin{displaymath}
203 |   \mmat{cccc|c}{
204 |     a_{11} & a_{12} & \cdots & a_{1n} & b_1 \\
205 |     a_{21} & a_{22} & \cdots & a_{2n} & b_2 \\
206 |     \vdots & \vdots & \ddots & \vdots & \vdots \\
207 |     a_{m1} & a_{m2} & \cdots & a_{mn} & b_m
208 |   }
209 | \end{displaymath}
210 | 通过高斯消元，可以转化为如下形式：
211 | \begin{equation} \label{eq:gauss-elim}
212 |   \mmat{cccccc|c}{
213 |     c_{11} & c_{12} & \cdots & c_{1r} & \cdots & c_{1n} & c_1    \\
214 |            & c_{22} & \cdots & c_{2r} & \cdots & c_{2n} & c_2    \\
215 |            &        & \ddots & \vdots &        & \vdots & \vdots \\
216 |            &        &        & c_{rr} & \cdots & c_{rn} & c_r    \\
217 |            &        &        &        &        &        & c_{r+1}
218 |   }
219 | \end{equation}
220 | 其中$c_{ii}\neq 0\ (i=1,\dots,r)$。
221 | 当$c_{r+1}=0$时，方程组有解。
222 | 当$c_{r+1}\neq 0$时，方程组无解。
223 | 因此有如下结论：
224 | 
225 | \begin{theorem}[线性代数方程组有解的充要条件]
226 |   线性代数方程组$\mmA\mvx=\mvb$有解当且仅当
227 |   \[ r(\mmA) = r(\overline{\mmA}) \]
228 |   若有解：
229 |   \begin{enumerate}
230 |     \item 若$r(\mmA)=n$，则有唯一解。
231 |     \item 若$r(\mmA) < n$，则有无穷多解。
232 |   \end{enumerate}
233 | \end{theorem}
234 | 
235 | \begin{remark}
236 |   对于齐次方程组$\mmA\mvx=\mvZero$，
237 |   必有$r(\mmA)=r(\overline{\mmA})$，
238 |   因此齐次方程组一定有解。
239 |   当$r(\mmA)=n$时，则只有零解。
240 |   当$r(\mmA)\neq n$时，则有无穷多解。
241 | \end{remark}
242 | 
243 | \subsection{线性代数方程组解的结构}
244 | 经过高斯消元得到的式\eqref{eq:gauss-elim}如果有解(即$c_{r+1}=0$)，
245 | 那么可以进一步转化为
246 | \begin{equation} \label{eq:gauss-elim-further}
247 |   \mmat{ccccccc|c}{
248 |     1 &        &        &   & d_{r1}   & \cdots & d_{r1} & d_1    \\
249 |       & 1      &        &   & d_{r2}   & \cdots & d_{r2} & d_2    \\
250 |       &        & \ddots &   & \vdots   & \ddots & \vdots & \vdots \\
251 |       &        &        & 1 & d_{rr+1} & \cdots & d_{rn} & d_r
252 |   }
253 | \end{equation}
254 | 方程的解应该是一目了然的了。
255 | 据此，我们开始讨论线性代数方程组解的结构。
256 | 首先是齐次线性方程组。
257 | 
258 | \begin{definition}[基础解系]
259 |   齐次线性方程组$\mmA\mvx=\mvZero$的解向量组(构成\textbf{解空间})
260 |   的一个极大线性无关组
261 |   叫做它的一个\textbf{基础解系}。
262 | \end{definition}
263 | 
264 | \begin{theorem}
265 |   若齐次线性方程组的系数矩阵$\mmA$的秩小于$n$，
266 |   则方程组必有基础解系。且基础解系所含解的个数等于$n-r$。
267 | \end{theorem}
268 | 
269 | \begin{remark}
270 |   把式\eqref{eq:gauss-elim-further}中$d_1,\dots,d_r$设为0，
271 |   则有如下形式的解：
272 |   \begin{displaymath}
273 |   \meqs{rcl}{
274 |     x_1 &=& \xi_{11}x_{r+1}+\xi_{12}x_{r+2}+\cdots+\xi_{1n-r}x_{n} \\
275 |     x_2 &=& \xi_{21}x_{r+1}+\xi_{22}x_{r+2}+\cdots+\xi_{2n-r}x_{n} \\
276 |     & \vdots & \\
277 |     x_r &=& \xi_{r1}x_{r+1}+\xi_{r2}x_{r+2}+\cdots+\xi_{rn-r}x_{n} \\
278 |   }
279 |   \end{displaymath}
280 |   由此得到一个基础解系为
281 |   \begin{displaymath}
282 |   \meqs{rcl} {
283 |     \xi_1 &=& (\xi_{11}, \xi_{21}, \dots, \xi_{r1}, 1, 0, \dots, 0)^\mT \\
284 |     \xi_2 &=& (\xi_{12}, \xi_{22}, \dots, \xi_{r2}, 0, 1, \dots, 0)^\mT \\
285 |     & \vdots & \\
286 |     \xi_{n-r} &=& (\xi_{1n-r}, \xi_{2n-r}, \dots, \xi_{rn-r}, 0, 0, \dots, 1)^\mT
287 |   }
288 |   \end{displaymath}
289 |   方程组任何解$\xi$都可以由$\xi_1,\dots,\xi_{n-r}$线性表示。
290 | \end{remark}
291 | 
292 | 接下来是非齐次线性方程组的解的结构。
293 | 设非齐次线性方程组为$\mmA\mvx=\mvb$。
294 | 它对应的齐次线性方程组为$\mmA\mvx=\mvZero$，
295 | 称为\textbf{导出组}。它们解的结构有着密切的联系：
296 | \begin{enumerate}
297 |   \item
298 |   若$\eta_1,\eta_2$是$\mmA\mvx=\mvb$的解，
299 |   那么$\eta_1-\eta_2$是$\mmA\mvx=\mvZero$的解。
300 |   \item
301 |   若$\eta$是$\mmA\mvx=\mvb$的解，$\xi$是$\mmA\mvx=\mvZero$的解，
302 |   那么$\eta+\xi$是$\mmA\mvx=\mvb$的解。
303 | \end{enumerate}
304 | 
305 | \begin{theorem}[非齐次线性方程组的通解]
306 |   设$\eta_0$是$\mmA\mvx=\mvb$的一个解，那么方程的任意解$\eta$都能表示为
307 |   \[ \eta = \eta_0 + k_1\xi_1 + \cdots + k_{n-r}\xi_{n-r} \]
308 |   其中$\xi_1,\dots,\xi_{n-r}$是方程导出组$\mmA\mvx=\mvZero$的基础解系，
309 |   $k_1,\dots,k_{n-r} \in \mfR$。
310 | \end{theorem}
311 | 


--------------------------------------------------------------------------------
/MathematicalStatistics/HypothesisTest.tex:
--------------------------------------------------------------------------------
  1 | \chapter{假设检验}
  2 | 
  3 | \section{假设检验的基本概念}
  4 | 本小节介绍假设检验的基本概念，
  5 | 包括显著水平，假设检验的一般步骤和假设检验存在的两类错误。
  6 | 
  7 | \subsection{显著水平}
  8 | 在假设检验中，我们需要对小概率的说法给出统一界定，通常给出一个上限$\alpha$。
  9 | 当一个事件发生的概率小于$\alpha$是，我们认为这是小概率事件，
 10 | 而称$\alpha$为\textbf{显著水平}。
 11 | 
 12 | \subsection{假设检验的步骤}
 13 | \begin{enumerate}
 14 |   \item
 15 |   根据实际问题，提出原假设$H_0$和备择假设$H_1$；
 16 |   \item
 17 |   确定检验统计量；
 18 |   \item
 19 |   根据显著水平$\alpha$确定拒绝域；
 20 |   \item
 21 |   由样本计算统计值；
 22 |   \item
 23 |   做出判断是否接受$H_0$。
 24 | \end{enumerate}
 25 | 
 26 | \subsection{两类错误}
 27 | 假设检验可能会出现两类错误：
 28 | \begin{enumerate}
 29 |   \item
 30 |   第一类错误：当$H_0$为真时，我们仍有可能拒绝$H_0$，此时犯了``弃真''的错误。
 31 |   第一类错误的概率就是显著水平$\alpha$。
 32 |   \item
 33 |   第二类错误：当$H_0$为假时，我们仍有可能接受$H_0$，此时犯了``存伪''的错误。
 34 |   第二类错误的概率用$\beta$表示。
 35 | \end{enumerate}
 36 | 
 37 | Neyman-Pearson原则：
 38 | 在控制第一类错误概率的前提下，尽量减小犯第二类错误的概率。
 39 | 
 40 | \section{正态总体的假设检验}
 41 | 本小节给出单正态总体的均值和方差、双正态总体的均值差和方差的检验方法。
 42 | 
 43 | \subsection{单正态总体的均值和方差的检验}
 44 | 设$X_1,X_2,\dots,X_n$为正态总体$X\sim N(\mu,\sigma^2)$的一个样本。
 45 | \begin{enumerate}
 46 |   \item
 47 |   已知方差$\sigma^2$，检验均值$\mu$：
 48 |   \begin{displaymath}
 49 |     H_0:\mu=\mu_0 \qquad
 50 |     H_1: \begin{cases}
 51 |       \mu\neq\mu_0 \\
 52 |       \mu < \mu_0 \\
 53 |       \mu > \mu_0
 54 |     \end{cases}
 55 |   \end{displaymath}
 56 |   \begin{displaymath}
 57 |     \text{检验统计量}: U=\frac{\mbar{X}-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)
 58 |   \end{displaymath}
 59 |   \begin{displaymath}
 60 |     \text{拒绝域}: \begin{cases}
 61 |       |\widetilde{U}| \ge u_{\alpha/2} & (\mu\neq\mu_0) \\
 62 |       \widetilde{U}   \le -u_\alpha    & (\mu < \mu_0) \\
 63 |       \widetilde{U}   \ge u_\alpha     & (\mu < \mu_0)
 64 |     \end{cases}
 65 |   \end{displaymath}
 66 |   \item
 67 |   未知方差，检验均值$\mu$：
 68 |   \begin{displaymath}
 69 |     H_0:\mu=\mu_0 \qquad
 70 |     H_1: \begin{cases}
 71 |       \mu\neq\mu_0 \\
 72 |       \mu < \mu_0 \\
 73 |       \mu > \mu_0
 74 |     \end{cases}
 75 |   \end{displaymath}
 76 |   \begin{displaymath}
 77 |     \text{检验统计量}: T=\frac{\mbar{X}-\mu_0}{S_n/\sqrt{n-1}}\sim t(n-1)
 78 |   \end{displaymath}
 79 |   \begin{displaymath}
 80 |     \text{拒绝域}: \begin{cases}
 81 |       |\widetilde{T}| \ge t_{\alpha/2} & (\mu\neq\mu_0) \\
 82 |       \widetilde{T}   \le -t_\alpha    & (\mu < \mu_0) \\
 83 |       \widetilde{T}   \ge t_\alpha     & (\mu < \mu_0)
 84 |     \end{cases}
 85 |   \end{displaymath}
 86 |   \item
 87 |   检验方差$\sigma^2$:
 88 |   \begin{displaymath}
 89 |     H_0:\sigma^2=\sigma_0^2 \qquad
 90 |     H_1: \begin{cases}
 91 |       \sigma^2\neq\sigma_0^2 \\
 92 |       \sigma^2 < \sigma_0^2 \\
 93 |       \sigma^2 > \sigma_0^2
 94 |     \end{cases}
 95 |   \end{displaymath}
 96 |   \begin{displaymath}
 97 |     \text{检验统计量}: \chi^2=\frac{nS_n^2}{\sigma_0^2}\sim \chi^2(n-1)
 98 |   \end{displaymath}
 99 |   \begin{displaymath}
100 |     \text{拒绝域}: \begin{cases}
101 |       \widetilde{\chi^2} \ge \chi^2_{\alpha/2}(n-1)
102 |         \ \text{或}\ \widetilde{\chi^2} \le \chi^2_{1-\alpha/2}(n-1)
103 |         & (\sigma^2\neq\sigma_0^2) \\
104 |       \widetilde{\chi^2} \le \chi^2_{1-\alpha/2}(n-1)
105 |         & (\sigma^2 < \sigma_0^2) \\
106 |       \widetilde{\chi^2} \ge \chi^2_{\alpha/2}(n-1)
107 |         & (\sigma^2 > \sigma_0^2)
108 |     \end{cases}
109 |   \end{displaymath}
110 | \end{enumerate}
111 | 
112 | \subsection{双正态总体的均值差和方差的检验}
113 | 设$X_1,X_2,\dots,X_{n_1}$为正态总体$X\sim N(\mu_1,\sigma_1^2)$的样本，
114 | $Y_1,Y_2,\dots,Y_{n_2}$为正态总体$Y\sim N(\mu_2,\sigma_2^2)$的样本。
115 | $\mbar{X},S_1^2,\mbar{Y},S_2^2$分别表示$X,Y$的样本均值与修正样本方差。
116 | 设$X,T$独立。
117 | \begin{enumerate}
118 |   \item
119 |   已知$\sigma_1^2,\sigma_2^2$，检验均值$\mu_1=\mu_2$：
120 |   \begin{displaymath}
121 |     H_0:\mu_1=\mu_2 \qquad
122 |     H_1: \begin{cases}
123 |       \mu_1\neq\mu_2 \\
124 |       \mu_1 < \mu_2 \\
125 |       \mu_2 > \mu_2
126 |     \end{cases}
127 |   \end{displaymath}
128 |   \begin{displaymath}
129 |     \text{检验统计量}: U=\frac{(\mbar{X}-\mbar{Y})}
130 |       {\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)
131 |   \end{displaymath}
132 |   \begin{displaymath}
133 |     \text{拒绝域}: \begin{cases}
134 |       |\widetilde{U}| \ge u_{\alpha/2} & (\mu_1\neq\mu_2) \\
135 |       \widetilde{U}   \le -u_\alpha    & (\mu_1 < \mu_2) \\
136 |       \widetilde{U}   \ge u_\alpha     & (\mu_2 > \mu_2)
137 |     \end{cases}
138 |   \end{displaymath}
139 |   \item
140 |   检验方差$\sigma_1^2=\sigma_2^2$：
141 |   \begin{displaymath}
142 |     H_0:\sigma_1^2=\sigma_2^2 \qquad
143 |     H_1: \begin{cases}
144 |       \sigma_1^2\neq\sigma_2^2 \\
145 |       \sigma_1^2 < \sigma_2^2 \\
146 |       \sigma_1^2 > \sigma_2^2
147 |     \end{cases}
148 |   \end{displaymath}
149 |   \begin{displaymath}
150 |     \text{检验统计量}: F=\frac{S_1^2}{S_2^2} \sim F(n_1-1,n_2-1)
151 |   \end{displaymath}
152 |   \begin{displaymath}
153 |     \text{拒绝域}: \begin{cases}
154 |       \widetilde{F} \ge F_{\alpha/2}(n_1-1,n_2-1)\ \text{或}& \\
155 |       \qquad\widetilde{F} \le F_{1-\alpha/2}(n_1-1,n_2-1)
156 |         & (\sigma_1^2\neq\sigma_2^2) \\
157 |       \widetilde{F} \le F_{1-\alpha/2}(n_1-1,n_2-1)
158 |         & (\sigma_1^2 < \sigma_2^2) \\
159 |       \widetilde{F} \ge F_{\alpha/2}(n_1-1,n_2-1)
160 |         & (\sigma_1^2 > \sigma_2^2)
161 |     \end{cases}
162 |   \end{displaymath}
163 | \end{enumerate}
164 | 


--------------------------------------------------------------------------------
/MathematicalStatistics/ParameterEstimation.tex:
--------------------------------------------------------------------------------
  1 | \chapter{参数估计}
  2 | 
  3 | \section{点估计}
  4 | 本小节首先讨论两种点估计的方法：矩估计和极大似然估计。
  5 | 然后讨论估计量的评选标准。
  6 | 
  7 | \subsection{点估计的概念}
  8 | 参数的\textbf{点估计}就是对总体分布中的未知参数$\theta$，
  9 | 以样本$X_1,X_2,\dots,X_n$构造统计量
 10 | $\hat{\theta}(X_1,X_2,\dots,X_n)$作为参数$\theta$的估计，
 11 | 称$\hat{\theta}(X_1,X_2,\dots,X_n)$为参数$\theta$\textbf{估计量}。
 12 | 
 13 | 当测得样本值$(x_1,x_2,\dots,x_n)$时，
 14 | 代入$\hat{\theta}(X_1,X_2,\dots,X_n)$，
 15 | 即可得到参数$\theta$\textbf{估计值}：
 16 | $\hat{\theta}(x_1,x_2,\dots,x_n)$。
 17 | 
 18 | \subsection{矩估计}
 19 | 矩估计的思想是：以样本矩作为总体矩的估计，从而得到参数的估计量。
 20 | 具体方法如下。
 21 | 
 22 | 设$X_1,X_2,\dots,X_n$为来自总体$X$的样本，总体$X$的分布函数为
 23 | \begin{displaymath}
 24 |   F(x;\theta_1,\theta_2,\dots,\theta_k)
 25 | \end{displaymath}
 26 | 其中$\theta_1,\theta_2,\dots,\theta_k$为未知参数。
 27 | 记$\mu_m(\theta_1,\theta_2,\dots,\theta_k)=\mexpect[X^m]$
 28 | 为总体的$m$阶矩，
 29 | $A_m=\frac{1}{n}\sum_{i=1}^{n}X_i^m$为样本的$m$阶矩。
 30 | 
 31 | 若$\mu_m\ (m=1,2,\dots,k)$都存在，那么我们联立方程
 32 | \begin{displaymath}
 33 |   \meqs{c}{
 34 |     \mu_1(\theta_1,\theta_2,\dots,\theta_k) = A_1 \\
 35 |     \vdots \\
 36 |     \mu_k(\theta_1,\theta_2,\dots,\theta_k) = A_k
 37 |   }
 38 | \end{displaymath}
 39 | 从中解出方程组的解$\hat{\theta}_1,\hat{\theta}_2,\dots,\hat{\theta}_k$。
 40 | 
 41 | 我们把$\hat{\theta}_1,\hat{\theta}_2,\dots,\hat{\theta}_k$
 42 | 作为$\theta_1,\theta_2,\dots,\theta_k$的估计量，称为\textbf{矩估计量}。
 43 | 矩估计量的观察值叫做\textbf{矩估计值}。
 44 | 
 45 | \begin{theorem}
 46 |   无论总体$X$服从何种分布，
 47 |   若总体均值$\mu$和总体方差$\sigma^2$为未知参数，
 48 |   那么其矩估计量一定是样本均值和样本方差，即：
 49 |   \begin{displaymath}
 50 |     \hat{\mu}=\mbar{X},\quad \hat{\sigma^2}=S_n^2
 51 |   \end{displaymath}
 52 | \end{theorem}
 53 | 
 54 | \begin{remark}
 55 |   注意，对于矩估计来说，$\hat{\sigma^2}$和$\hat{\sigma}^2$不一定是相同的。
 56 |   前者是方差的矩估计量，后者是标准差矩估计量的平方。
 57 |   但对于后面介绍的极大似然估计来说，它们是相同的。
 58 | \end{remark}
 59 | 
 60 | \subsection{极大似然估计}
 61 | 极大似然估计的思想是：
 62 | 以样本$X_1,X_2,\dots,X_n$的观测值$x_1,x_2,\dots,x_n$来
 63 | 估计参数$\theta_1,\theta_2,\dots,\theta_k$。
 64 | 若选取$\hat{\theta}_1,\hat{\theta}_2,\dots,\hat{\theta}_k$
 65 | 使观测值出现的概率最大，那么把
 66 | $\hat{\theta}_1,\hat{\theta}_2,\dots,\hat{\theta}_k$
 67 | 作为参数$\theta_1,\theta_2,\dots,\theta_k$的估计量。
 68 | 下面分离散和连续两种情形来讨论具体方法。
 69 | 
 70 | \begin{enumerate}
 71 |   \item
 72 |   若总体$X$为离散型，其分布律的形式已知为
 73 |   \begin{displaymath}
 74 |     P(X=x) = f(x; \theta)
 75 |   \end{displaymath}
 76 |   其中$\theta$为待估参数(这里仅讨论一个参数的情况)。
 77 |   又设$x_1,x_2,\dots,x_n$是样本$X_1,X_2,\dots,X_n$的一组样本值。
 78 |   那么事件$X_1=x_1$，$X_2=x_2$，$\dots$，$X_n=x_n$同时发生的概率为
 79 |   \begin{displaymath}
 80 |     L(\theta) = P(X_1=x_1,X_2=x_2,\dots,X_n=x_n)
 81 |     = \prod_{i=1}^n f(x_i;\theta)
 82 |   \end{displaymath}
 83 |   我们把$L(\theta)$称为样本的\textbf{极大似然函数}。取
 84 |   \begin{displaymath}
 85 |     \hat{\theta}(x_1,x_2,\dots,x_n)= \argmax_\theta L(\theta)
 86 |   \end{displaymath}
 87 |   为参数$\theta$的\textbf{极大似然估计值}。
 88 |   $\hat{\theta}(X_1,X_2,\dots,X_n)$称为$\theta$的\textbf{极大似然估计量}。
 89 |   \item
 90 |   若总体$X$为连续型，其概率密度的形式已知为
 91 |   \begin{displaymath}
 92 |     p(x;\theta)
 93 |   \end{displaymath}
 94 |   其中$\theta$为待估参数(这里仅讨论一个参数的情况)。
 95 |   设$x_1,x_2,\dots,x_n$是样本$X_1,X_2,\dots,X_n$的一组样本值，
 96 |   那么连续型随机变量的极大似然函数为
 97 |   \begin{displaymath}
 98 |     L(\theta) = \prod_{i=1}^n p(x_i;\theta)
 99 |   \end{displaymath}
100 |   其极大似然估计量和估计值的定义和离散型的定义相同。
101 | \end{enumerate}
102 | 
103 | 现在我们讨论求解$\hat{\theta}=\argmax_\theta L(\theta)$的方法。
104 | 若极大似然函数$L$只有一个参数，即$L=L(\theta)$，
105 | 那么通过下列方程来解$\theta$：
106 | \begin{displaymath}
107 |   \frac{\md L}{\md \theta}=0
108 |   \quad\text{或}\quad
109 |   \frac{\md \ln L}{\md \theta}=0
110 | \end{displaymath}
111 | 若极大似然函数$L$有多个参数，即$L=L(\theta_1,\theta_2,\dots,\theta_k)$，
112 | 那么通过下列方程组来解$\theta_1,\theta_2,\dots,\theta_k$：
113 | \begin{displaymath}
114 |   \meqs{c}{
115 |     \mpartials{\theta_1}{L} = 0\\
116 |     \vdots \\
117 |     \mpartials{\theta_k}{L} = 0
118 |   }\quad\text{或}\quad
119 |   \meqs{c}{
120 |     \mpartials{\theta_1}{\ln L} = 0\\
121 |     \vdots \\
122 |     \mpartials{\theta_k}{\ln L} = 0
123 |   }
124 | \end{displaymath}
125 | 
126 | \begin{theorem}[极大似然估计的不变性]
127 |   设$\hat{\theta}$是$\theta$的极大似然估计量，
128 |   $u=u(\theta)$是$\theta$的函数，且有单值反函数，
129 |   则$\hat{u}=u(\hat{\theta})$是$u(\theta)$的极大似然估计量。
130 | \end{theorem}
131 | 
132 | \subsection{估计量的评选标准}
133 | 
134 | \begin{definition}[无偏性]
135 |   设$\theta$的估计量为$\hat{\theta}$。若
136 |   $\mexpect[\hat{\theta}]=\theta$，
137 |   则称$\hat{\theta}$是$\theta$的\textbf{无偏估计量}。
138 | \end{definition}
139 | 
140 | \begin{remark}
141 |   $S_n^2$不是$\sigma^2$的无偏估计量，
142 |   而$S_{n-1}^2$才是$\sigma_2$的无偏估计量，
143 |   但$S_{n-1}$不是$\sigma$的无偏估计量。
144 |   由此也能看出，$\hat{\theta}$是$\theta$的无偏估计量
145 |   不一定能推出$g(\hat{\theta})$是$g(\theta)$的无偏估计量。
146 | \end{remark}
147 | 
148 | \begin{definition}[有效性]
149 |   设$\hat{\theta}_1,\hat{\theta}_2$是$\theta$的无偏估计量。
150 |   若$\mvar(\hat{\theta}_2)\le \mvar(\hat{\theta}_1)$，
151 |   则称$\hat{\theta}_2$比$\hat{\theta}_1$\textbf{有效}。
152 | \end{definition}
153 | 
154 | \begin{definition}[一致性]
155 |   设$\hat{\theta}_n=\hat{\theta}_n(X_1,X_2,\dots,X_n)$
156 |   是$\theta$的估计量。
157 |   若$\hat{\theta}_n \mprto \theta$，
158 |   则称$\hat{\theta}_n$是$\theta$的\textbf{一致估计量}。
159 | \end{definition}
160 | 
161 | 下面是两个常用的结论：
162 | 
163 | \begin{theorem}
164 |   样本的$k$阶矩是总体$k$阶矩的一致性估计量。
165 | \end{theorem}
166 | 
167 | \begin{theorem}
168 |   设$\hat{\theta}$是$\theta$的无偏估计量。若
169 |   \begin{displaymath}
170 |     \lim_{n\to\infty}\mvar(\hat{\theta})=0
171 |   \end{displaymath}
172 |   则$\hat{\theta}$是$\theta$的一致估计量。
173 | \end{theorem}
174 | 
175 | \begin{remark}
176 |   使用切比雪夫不等式证明。
177 | \end{remark}
178 | 
179 | \section{区间估计}
180 | 本小节首先给出区间估计的概念和用来求置信区间的枢轴变量法。
181 | 然后就单正态总体和双正态总体给出求它们一些参数的置信区间的示例。
182 | 最后讨论一下单侧置信区间和非正态总体均值的区间估计。
183 | 
184 | \subsection{区间估计的概念}
185 | 参数的\textbf{区间估计}是对总体分布中的未知参数$\theta$，
186 | 以样本$X_1,X_2,\dots,X_n$构造两个统计量
187 | $\hat{\theta}_1(X_1,X_2,\dots,X_n)$和
188 | $\hat{\theta}_2(X_1,X_2,\dots,X_n)$，
189 | 以区间$[\hat{\theta}_1,\hat{\theta}_2]$作为参数$\theta$的估计，
190 | 使得对给定的概率$1-\alpha$，满足：
191 | \begin{displaymath}
192 |   P\left(\hat{\theta}_1(X_1,X_2,\dots,X_n) < \theta <
193 |     \hat{\theta}_2(X_1,X_2,\dots,X_n)\right) = 1-\alpha
194 | \end{displaymath}
195 | 我们称$[\hat{\theta}_1,\hat{\theta}_2]$为\textbf{置信区间}，
196 | $1-\alpha$为该区间的\textbf{置信度}。
197 | 
198 | 几点说明：
199 | \begin{enumerate}
200 |   \item
201 |   置信区间的长度$L$反映了估计精度。$L$越小，估计精度越高。
202 |   \item
203 |   $\alpha$反映了估计的可靠度。
204 |   $\alpha$约小越可靠，但这时$L$往往增大，因而估计精度降低。
205 |   \item
206 |   $\alpha$确定后，置信区间的选取方法不唯一，常选长度最小的一个。
207 | \end{enumerate}
208 | 
209 | \subsection{枢轴变量法}
210 | 可以使用如下所述的\textbf{枢轴变量法}来寻找置信区间：
211 | \begin{enumerate}
212 |   \item
213 |   先找到一样本函数$U(X_1,X_2,\dots,X_n;\theta)$，
214 |   其包含待估参数$\theta$，而不包含其他未知参数，
215 |   且$U$的分布已知，不依赖于任何未知参数。
216 |   $U$被称为\textbf{枢轴变量}。
217 |   \item
218 |   给定置信度$1-\alpha$，根据$U$的分布找两个常数$a$和$b$，使得
219 |   \begin{displaymath}
220 |     P(a<U<b)=1-\alpha
221 |   \end{displaymath}
222 |   \item
223 |   由$a<U<b$解出$\hat{\theta}_1<\theta<\hat{\theta}_2$，
224 |   则$[\hat{\theta}_1,\hat{\theta}_2]$为所求的置信区间。
225 | \end{enumerate}
226 | 
227 | \subsection{单正态总体的均值和方差的区间估计}
228 | 设$X_1,X_2,\dots,X_n$为正态总体$X\sim N(\mu,\sigma^2)$的一个样本，
229 | 置信度为$1-\alpha$。
230 | \begin{enumerate}
231 |   \item
232 |   已知方差$\sigma^2$，求均值$\mu$的置信区间：
233 |   \begin{align*}
234 |     &\because U = \frac{\mbar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \\
235 |     &\therefore P\left(-u_{\alpha/2} \le U
236 |       \le u_{\alpha/2}\right) = 1-\alpha \\
237 |     &\therefore P\left(\mbar{X}-u_{\alpha/2}\frac{\sigma}{\sqrt{n}}\le\mu
238 |       \le\mbar{X}+u_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right) = 1-\alpha \\
239 |     &\therefore \text{置信区间为}
240 |      \left[\mbar{X}-u_{\alpha/2}\frac{\sigma}{\sqrt{n}},
241 |        \mbar{X}+u_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right]
242 |   \end{align*}
243 |   \item
244 |   方差未知，求均值$\mu$的置信区间：
245 |   \begin{align*}
246 |     &\because \frac{\mbar{X}-\mu}{S_n/\sqrt{n-1}}\sim t(n-1) \\
247 |     &\therefore P\left(-t_{\alpha/2}(n-1)
248 |       \le \frac{\mbar{X}-\mu}{S_n/\sqrt{n-1}}
249 |       \le t_{\alpha/2}(n-1)\right) = 1-\alpha \\
250 |     &\therefore \text{置信区间为}
251 |       \left[\mbar{X}-t_{\alpha/2}(n-1)\frac{S_n}{\sqrt{n-1}},
252 |         \mbar{X}+t_{\alpha/2}(n-1)\frac{S_n}{\sqrt{n-1}}\right]
253 |   \end{align*}
254 |   \item
255 |   求方差$\sigma^2$的置信区间：
256 |   \begin{align*}
257 |     &\because \frac{nS_n^2}{\sigma^2}\sim \chi^2(n-1) \\
258 |     &\therefore P\left(\chi^2_{1-\alpha/2}(n-1)
259 |       \le \frac{nS_n^2}{\sigma^2}
260 |       \le \chi^2_{\alpha/2}(n-1)\right) = 1-\alpha \\
261 |     &\therefore \text{置信区间为}
262 |       \left[\frac{nS_n^2}{\chi^2_{\alpha/2}(n-1)},
263 |         \frac{nS_n^2}{\chi^2_{1-\alpha/2}(n-1)}\right]
264 |   \end{align*}
265 | \end{enumerate}
266 | 
267 | \subsection{双正态总体的均值差和方差比的区间估计}
268 | 设$X_1,X_2,\dots,X_{n_1}$为正态总体$X\sim N(\mu_1,\sigma_1^2)$的样本，
269 | $Y_1,Y_2,\dots,Y_{n_2}$为正态总体$Y\sim N(\mu_2,\sigma_2^2)$的样本。
270 | $\mbar{X},S_1^2,\mbar{Y},S_2^2$分别表示$X,Y$的样本均值与修正样本方差。
271 | 设$X,T$独立，置信度为$1-\alpha$。
272 | \begin{enumerate}
273 |   \item
274 |   已知$\sigma_1^2,\sigma_2^2$，求均值差$\mu_1-\mu_2$的置信区间：
275 |   \begin{align*}
276 |     &\because \frac{(\mbar{X}-\mbar{Y})-(\mu_1-\mu_2)}
277 |       {\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1) \\
278 |     &\therefore P\left(-u_{\alpha/2}
279 |       \le \frac{(\mbar{X}-\mbar{Y})-(\mu_1-\mu_2)}
280 |         {\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}
281 |       \le u_{\alpha/2}\right) = 1-\alpha \\
282 |     &\therefore \text{置信区间为}
283 |       \left[\left(\mbar{X}-\mbar{Y}\right)-u_{\alpha/2}
284 |         \sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}},
285 |         \left(\mbar{X}-\mbar{Y}\right)+u_{\alpha/2}
286 |         \sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}\right]
287 |   \end{align*}
288 |   \item
289 |   求方差比$\sigma_1^2/\sigma_2^2$的置信区间：
290 |   \begin{align*}
291 |     &\because \frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}
292 |       \sim F(n_1-1,n_2-1) \\
293 |     &\therefore P\left(F_{1-\alpha/2}(n_1-1,n_2-1)
294 |       \le \frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}
295 |       \le F_{\alpha/2}(n_1-1,n_2-1)\right) = 1-\alpha \\
296 |     &\therefore \text{置信区间为}
297 |       \left[\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha/2}(n_1-1,n_2-1)},
298 |         \frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)}\right]
299 |   \end{align*}
300 | \end{enumerate}
301 | 
302 | \subsection{单侧置信区间}
303 | 对总体分布中的未知参数$\theta$，
304 | 以样本$X_1,X_2,\dots,X_n$构造统计量
305 | \begin{displaymath}
306 |   \hat{\theta}_1(X_1,X_2,\dots,X_n)
307 | \end{displaymath}
308 | 以区间$[\hat{\theta}_1,+\infty)$作为参数$\theta$的估计，
309 | 使得对给定的概率$1-\alpha$，满足：
310 | \begin{displaymath}
311 |   P\left(\theta>\hat{\theta}_1(X_1,X_2,\dots,X_n)\right) = 1-\alpha
312 | \end{displaymath}
313 | 则称$[\hat{\theta}_1,+\infty)$是$\theta$置信度为$1-\alpha$的
314 | \textbf{单侧置信区间}。$\hat{\theta}_1$称为\textbf{单侧置信下限}。
315 | 同样地能定义\textbf{单侧置信上限}。
316 | 
317 | 以正态总体的单侧置信区间为例。
318 | 设$X_1,X_2,\dots,X_n$为正态总体$X\sim N(\mu,\sigma^2)$的一个样本。
319 | \begin{enumerate}
320 |   \item
321 |   若$\sigma^2$未知，求$\mu$的$1-\alpha$单侧置信下限：
322 |   \begin{align*}
323 |     &\because \frac{\mbar{X}-\mu}{S_n/\sqrt{n-1}}\sim t(n-1) \\
324 |     &\therefore P\left(\frac{\mbar{X}-\mu}{S_n/\sqrt{n-1}}
325 |       \le t_{\alpha}(n-1)\right) = 1-\alpha \\
326 |     &\therefore \text{单侧置信区间为}
327 |       \left[\mbar{X}-t_{\alpha}(n-1)\frac{S_n}{\sqrt{n-1}},
328 |         +\infty\right.\Big)
329 |   \end{align*}
330 |   \item
331 |   求$\sigma^2$的$1-\alpha$单侧置信上限：
332 |   \begin{align*}
333 |     &\because \frac{nS_n^2}{\sigma^2}\sim \chi^2(n-1) \\
334 |     &\therefore P\left(\frac{nS_n^2}{\sigma^2}
335 |       \ge \chi^2_{1-\alpha}(n-1)\right) = 1-\alpha \\
336 |     &\therefore \text{置信区间为}
337 |       \Big(\left.-\infty,
338 |         \frac{nS_n^2}{\chi^2_{1-\alpha}(n-1)}\right]
339 |   \end{align*}
340 | \end{enumerate}
341 | 
342 | \subsection{非正态总体均值的区间估计}
343 | 总体分布非正态时，通常很难求出统计量的具体分布。
344 | 若样本量较大，可利用极限定理求出枢轴变量的近似分布，再求出未知参数的区间估计。
345 | 
346 | 例如，设$X_1,X_2,\dots,X_n$为来自均值为$\mu$，方差为$\sigma^2$的总体的一组样本。
347 | 如果要求均值$\mu$的置信度为$1-\alpha$的置信区间，
348 | 那么当$n$充分大时，由中心极限定理可知，
349 | \begin{displaymath}
350 |   \frac{\mbar{X}-\mu}{\sigma/\sqrt{n}}\stackrel{\text{近似}}{\sim}N(0,1)
351 | \end{displaymath}
352 | 若$\sigma$未知，可以用修正样本标准差$S_{n-1}$代替，
353 | 由此得$\mu$的置信度为$1-\alpha$的置信区间为
354 | \begin{displaymath}
355 |   \left[\mbar{X}-u_{\alpha/2}\frac{S_{n-1}}{\sqrt{n}},
356 |   \mbar{X}+u_{\alpha/2}\frac{S_{n-1}}{\sqrt{n}}\right]
357 | \end{displaymath}
358 | 


--------------------------------------------------------------------------------
/MathematicalStatistics/StatisticsAndSamplingDistribution.tex:
--------------------------------------------------------------------------------
  1 | \chapter{统计量与抽样分布}
  2 | 
  3 | \section{统计的基本概念}
  4 | 本小节主要介绍了总体，个体，样本，统计量与抽样分布的基本概念。
  5 | 
  6 | \subsection{总体与个体}
  7 | \begin{definition}[总体]
  8 |   研究对象的某项数量指标的值的全体被称为\textbf{总体}。
  9 | \end{definition}
 10 | 
 11 | \begin{definition}[个体]
 12 |   总体中的每个元素被称为\textbf{个体}。
 13 | \end{definition}
 14 | 
 15 | \begin{definition}[总体分布]
 16 |   研究对象的数量指标$X$的取值在客观上有一定的分布，
 17 |   因此，可将其看做随机变量，它的分布被称为\textbf{总体分布}。
 18 | \end{definition}
 19 | 
 20 | \subsection{样本}
 21 | \begin{definition}[样本]
 22 |   从总体中随机抽取的一些个体被称为\textbf{样本}。
 23 | \end{definition}
 24 | 
 25 | \begin{definition}[抽样]
 26 |   抽得样本的过程被称为\textbf{抽样}。
 27 | \end{definition}
 28 | 
 29 | \begin{definition}[样本容量]
 30 |   样本中个体的数量被称为\textbf{样本容量}。
 31 | \end{definition}
 32 | 
 33 | \begin{definition}[样本值]
 34 |   对样本观察得到的数值被称为\textbf{样本值}。
 35 | \end{definition}
 36 | 
 37 | 就一次具体观察而言，样本值是确定的数。
 38 | 但在不同的抽样下，样本值会发生变化，因此可将样本看做是随机变量。
 39 | 
 40 | \begin{definition}[简单随机样本]
 41 |   设随机变量$X$的分布函数是$F(x)$。
 42 |   若相互独立的随机变量$X_1,X_2,\dots,X_n$具有同一分布函数$F$，
 43 |   则称$X_1,X_2,\dots,X_n$为从总体$X$中得到的容量为$n$的\textbf{简单随机样本}，
 44 |   简称为样本，其观察值$x_1,x_2,\dots,x_n$称为样本值。
 45 | \end{definition}
 46 | 
 47 | 样本的两个特性(对抽样的要求)：
 48 | \begin{enumerate}
 49 |   \item 代表性：
 50 |   样本的每个分量$X_i$与总体$X$具有相同的分布。
 51 |   \item 独立性：
 52 |   $X_1,X_2,\dots,X_n$相互独立。
 53 | \end{enumerate}
 54 | 
 55 | \begin{definition}[样本联合分布/密度]
 56 |   若$X_1,X_2,\dots,X_n$为$X$的一个样本，
 57 |   $F(x)$和$p(x)$为$X$的分布函数与密度函数，
 58 |   则$X_1,X_2,\dots,X_n$的\textbf{联合分布函数}为
 59 |   \begin{displaymath}
 60 |     F^*(x_1,x_2,\dots,x_n)=\prod_{i=1}^n F(x_i)
 61 |   \end{displaymath}
 62 |   $X_1,X_2,\dots,X_n$的\textbf{联合概率密度}为
 63 |   \begin{displaymath}
 64 |     p^*(x_1,x_2,\dots,x_n)=\prod_{i=1}^n p(x_i)
 65 |   \end{displaymath}
 66 | \end{definition}
 67 | 
 68 | \subsection{统计量}
 69 | \begin{definition}[统计量]
 70 |   设$X_1,X_2,\dots,X_n$为来自总体$X$的一个样本。
 71 |   若$g(x_1,x_2,\dots,x_n)$是连续函数，且$g$中不含任何未知参数，则称
 72 |   \begin{displaymath}
 73 |     g(X_1,X_2,\dots,X_n)
 74 |   \end{displaymath}
 75 |   是一个\textbf{统计量}。
 76 |   设$x_1,x_2,\dots,x_n$是$X_1,X_2,\dots,X_n$的样本值，则称
 77 |   \begin{displaymath}
 78 |     g(x_1,x_2,\dots,x_n)
 79 |   \end{displaymath}
 80 |   是$g(X_1,X_2,\dots,X_n)$的观察值。
 81 | \end{definition}
 82 | 
 83 | \begin{remark}
 84 |   统计量也是随机变量。
 85 | \end{remark}
 86 | 
 87 | \begin{definition}[常用统计量]
 88 |   设$X_1,X_2,\dots,X_n$为来自总体$X$的一个样本，
 89 |   下面是一些常用统计量的定义：
 90 |   \begin{enumerate}
 91 |     \item 样本均值：
 92 |     \begin{displaymath}
 93 |       \mbar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i
 94 |     \end{displaymath}
 95 |     \item 样本方差：
 96 |     \begin{displaymath}
 97 |       S_n^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mbar{X})^2
 98 |       = \frac{1}{n}\sum_{i=1}^{n}X_i^2- \mbar{X}^2
 99 |     \end{displaymath}
100 |     \item 修正样本方差：
101 |     \begin{displaymath}
102 |       S_{n-1}^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i-\mbar{X})^2
103 |     \end{displaymath}
104 |     \item 样本标准差：
105 |     \begin{displaymath}
106 |       S_n = \sqrt{S_n^2}
107 |     \end{displaymath}
108 |     \item 样本$k$阶(原点)矩：
109 |     \begin{displaymath}
110 |       A_k = \frac{1}{n}\sum_{i=1}^{n}X_i^k
111 |     \end{displaymath}
112 |     \item 样本$k$阶中心矩：
113 |     \begin{displaymath}
114 |       B_k = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mbar{X})^k
115 |     \end{displaymath}
116 |   \end{enumerate}
117 | \end{definition}
118 | 
119 | \subsection{抽样分布}
120 | \begin{definition}[抽样分布]
121 |   统计量的分布称为\textbf{抽样分布}。
122 | \end{definition}
123 | 
124 | \section{正态总体的抽样分布}
125 | 本小节首先介绍正态总体的四种抽样分布以及相关的上$\alpha$分为点的概念，
126 | 它们分别是：正态总体样本的线性函数的分布，$\chi^2$分布，$t$分布和$F$分布。
127 | 然后，我们给出四个定理，它们描述了正态总体的统计量的分布。
128 | 
129 | \subsection{正态总体样本的线性函数的分布}
130 | \begin{theorem}
131 |   设$X_1,X_2,\dots,X_n$为来自正态总体$X\sim N(\mu,\sigma^2)$的样本，
132 |   则统计量$U=\sum_{i=1}^{n}a_iX_i$服从正态分布
133 |   \begin{displaymath}
134 |     U\sim N\left(\mu\sum_{i=1}^{n}a_i,\sigma^2\sum_{i=1}^{n}a_i^2\right)
135 |   \end{displaymath}
136 |   若取$a_i=1/n\ (i=1,2,\dots,n)$，则
137 |   \begin{displaymath}
138 |     U = \mbar{X} \sim N(\mu, \frac{\sigma^2}{n})
139 |   \end{displaymath}
140 | \end{theorem}
141 | 
142 | \begin{definition}[标准正态分布的上$\alpha$分位点]
143 |   设$X\sim N(0,1)$，$0<\alpha<1$，称满足
144 |   \begin{displaymath}
145 |     P(X>u_\alpha) = \alpha
146 |   \end{displaymath}
147 |   的$u_\alpha$为$N(0,1)$分布的上$\alpha$分位点。
148 | \end{definition}
149 | 
150 | \begin{theorem}
151 |   设$u_\alpha$是标准正态分布的上$\alpha$分位点，
152 |   则$\Phi(u_\alpha)=1-\alpha$。
153 | \end{theorem}
154 | 
155 | \subsection{$\chi^2$分布}
156 | \begin{definition}[$\chi^2$分布]
157 |   设$X_1,X_n,\dots,X_n$独立同分布于$N(0,1)$，则称随机变量
158 |   \begin{displaymath}
159 |     \chi^2 = X_1^2+X_2^2+\dots+X_n^2
160 |   \end{displaymath}
161 |   所服从的分布为自由度为$n$的$\chi^2$分布，
162 |   记为$\chi^2\sim\chi^2(n)$。
163 | \end{definition}
164 | 
165 | \begin{theorem}[$\chi^2$分布的可加性]
166 |   设$X_1\sim\chi^2(n_1), X_2\sim\chi^2(n_2)$，
167 |   且$X_1,X_2$相互独立，则
168 |   \begin{displaymath}
169 |     X_1+X_2\sim\chi^2(n_1+n_2)
170 |   \end{displaymath}
171 | \end{theorem}
172 | 
173 | \begin{theorem}[$\chi^2$分布的数字特征]
174 |   若$X\sim\chi^2(n)$，则
175 |   \begin{displaymath}
176 |     \mexpect[X] = n,\quad \mvar(X) = 2n
177 |   \end{displaymath}
178 | \end{theorem}
179 | 
180 | \begin{definition}[$\chi^2$分布的上$\alpha$分位点]
181 |   设$X\sim\chi^2(n)$，$0<\alpha<1$，称满足
182 |   \begin{displaymath}
183 |   P(X>\chi_\alpha^2(n)) = \alpha
184 |   \end{displaymath}
185 |   的点$\chi_\alpha^2(n)$为$\chi^2(n)$分布的上$\alpha$分位点。
186 | \end{definition}
187 | 
188 | \subsection{$t$分布}
189 | \begin{definition}[$t$分布]
190 |   设$X\sim N(0,1),Y\sim \chi^2(n)$，且$X,Y$相互独立，
191 |   则称随机变量
192 |   \begin{displaymath}
193 |     T=\frac{X}{\sqrt{Y/n}}
194 |   \end{displaymath}
195 |   服从自由度为$n$的$t$分布，记为$T\sim t(n)$。
196 | \end{definition}
197 | 
198 | \begin{theorem}[$t$分布的性质]
199 |   $t$分布具有下面一些性质：
200 |   \begin{enumerate}
201 |     \item
202 |     $t$分布的密度函数关于$t=0$对称。
203 |     \item
204 |     当$n$充分大时，$t$分布的密度函数$p(t)$近似于$N(0,1)$的密度函数$\Phi(t)$。
205 |   \end{enumerate}
206 | \end{theorem}
207 | 
208 | \begin{definition}[$t$分布的上$\alpha$分位点]
209 |   设$X\sim t(n)$，$0<\alpha<1$，称满足
210 |   \begin{displaymath}
211 |     P(X>t_\alpha(n)) = \alpha
212 |   \end{displaymath}
213 |   的点$t_\alpha(n)$为$t(n)$分布的上$\alpha$分位点，
214 | \end{definition}
215 | 
216 | \begin{theorem}[$t$分布的上$\alpha$分位点的性质]
217 |   $t_{1-\alpha}(n) = -t_\alpha(n)$。
218 | \end{theorem}
219 | 
220 | \subsection{$F$分布}
221 | \begin{definition}[$F$分布]
222 |   设$U\sim\chi^2(n_1), V\sim\chi^2(n_2)$，且$U,V$独立，
223 |   则称随机变量
224 |   \begin{displaymath}
225 |     F = \frac{U/n_1}{V/n_2}
226 |   \end{displaymath}
227 |   服从自由度为$(n_1,n_2)$的$F$分布，
228 |   记为$F\sim F(n_1,n_2)$。
229 | \end{definition}
230 | 
231 | \begin{theorem}[$F$分布的性质]
232 |   若$F\sim F(n_1,n_2)$，则
233 |   \begin{displaymath}
234 |     \frac{1}{F} \sim F(n_2,n_1)
235 |   \end{displaymath}
236 | \end{theorem}
237 | 
238 | \begin{definition}[$F$分布的上$\alpha$分位点]
239 |   设$X\sim F(n_1,n_2)$，$0<\alpha<1$，称满足
240 |   \begin{displaymath}
241 |     P(X>F_\alpha(n_1,n_2)) = \alpha
242 |   \end{displaymath}
243 |   的点$F_\alpha(n_1,n_2)$为$F(n_1,n_2)$分布的上$\alpha$分位点，
244 | \end{definition}
245 | 
246 | \begin{theorem}[$F$分布的上$\alpha$分位点的性质]
247 |   $F_{1-\alpha}(n_1,n_2) = 1/F_\alpha(n_2,n_1)$。
248 | \end{theorem}
249 | 
250 | \subsection{正态总体的抽样分布的四个定理}
251 | \begin{theorem}[样本均值的分布]
252 |   设$X_1,X_2,\dots,X_n$是来自正态总体$X\sim N(\mu,\sigma^2)$的样本，则
253 |   \begin{displaymath}
254 |     \frac{\mbar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)
255 |   \end{displaymath}
256 | \end{theorem}
257 | 
258 | \begin{theorem}[样本方差的分布]
259 |   设$X_1,X_2,\dots,X_n$是来自正态总体$X\sim N(\mu,\sigma^2)$的样本，则
260 |   \begin{displaymath}
261 |     \frac{nS_n^2}{\sigma^2} =
262 |     \frac{\sum_{i=1}^n(X_i-\mbar{X})^2}{\sigma^2} \sim \chi^2(n-1)
263 |   \end{displaymath}
264 |   且$\mbar{X}$与$S_n^2$相互独立。
265 | \end{theorem}
266 | 
267 | \begin{remark}
268 |   作为对比，我们还能记得，根据$\chi^2$分布的定义有
269 |   \begin{displaymath}
270 |     \frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma^2} \sim \chi^2(n)
271 |   \end{displaymath}
272 |   把$\mu$换成$\mbar{X}$就会导致自由度的变化。
273 | \end{remark}
274 | 
275 | \begin{theorem}[样本均值和样本方差的分布]
276 |   设$X_1,X_2,\dots,X_n$是来自正态总体$X\sim N(\mu,\sigma^2)$的样本，则
277 |   \begin{displaymath}
278 |     \frac{\mbar{X}-\mu}{S_n/\sqrt{n-1}}\sim t(n-1)
279 |   \end{displaymath}
280 | \end{theorem}
281 | 
282 | \begin{remark}
283 |   这是由样本均值的分布和样本方差的分布根据$t$分布的定义相除得到的。
284 | \end{remark}
285 | 
286 | \begin{theorem}[两总体样本方差比、样本均值差的分布]
287 |   设$X_1,X_2,\dots,X_{n_1}$是来自正态总体$X\sim N(\mu_1,\sigma_1^2)$的样本，
288 |   $Y_1,Y_2,\dots,Y_{n_2}$是来自正态总体$Y\sim N(\mu_2,\sigma_2^2)$的样本，
289 |   $S_1^2=\frac{1}{n_1-1}\sum_{i=1}^{n_1}(X_i-\mbar{X})^2$和
290 |   $S_2^2=\frac{1}{n_2-1}\sum_{i=1}^{n_2}(Y_i-\mbar{Y})^2$
291 |   分别是$X$和$Y$的修正样本方差，则
292 |   \begin{enumerate}
293 |     \item 样本方差比：
294 |     \begin{displaymath}
295 |       \frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}\sim F(n_1-1,n_2-1)
296 |     \end{displaymath}
297 |     \item 样本均值差：
298 |     \begin{displaymath}
299 |       \frac{(\mbar{X}-\mbar{Y})-(\mu_1-\mu_2)}
300 |       {\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}
301 |       \sim N(0,1)
302 |     \end{displaymath}
303 |     \item 若$\sigma_1^2=\sigma_2^2=\sigma^2$，则
304 |     \begin{displaymath}
305 |       \frac{1}{\sigma^2}\left[(n_1-1)S_1^2+(n_2-1)S_2^1\right]
306 |       \sim \chi^2(n_1+n_2-2)
307 |     \end{displaymath}
308 |     从而有与方差无关的样本均值差：
309 |     \begin{displaymath}
310 |       \frac{(\mbar{X}-\mbar{Y})-(\mu_1-\mu_2)}
311 |       {S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}
312 |       \sim t(n_1+n_2-2)
313 |     \end{displaymath}
314 |     其中，$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
315 |     为$S_1^2$和$S_2^2$的加权平均。
316 |   \end{enumerate}
317 | \end{theorem}
318 | 


--------------------------------------------------------------------------------
/Probability/ContinuousRandomVariable.tex:
--------------------------------------------------------------------------------
  1 | \chapter{连续型随机变量}
  2 | 
  3 | \section{连续型随机变量的概念}
  4 | 本小节的主要内容为：
  5 | 分布函数，连续型随机变量的概率密度与性质，连续型随机变量函数分布的求法，
  6 | 二维连续型随机变量的概率密度、边缘密度和条件密度，
  7 | 连续型随机变量的独立性，二维随机变量函数分布的求法。
  8 | 
  9 | \subsection{分布函数}
 10 | \begin{definition}[分布函数]
 11 |   设$X$是一个随机变量，$x$是任意实数，则函数
 12 |   \begin{displaymath}
 13 |     F(x)=P(X\le x)
 14 |   \end{displaymath}
 15 |   称为$X$的分布函数。
 16 | \end{definition}
 17 | 
 18 | \begin{remark}
 19 |   根据定义可以直接得到，对于任意实数$x_1,x_2\ (x_1<x_2)$，
 20 |   \begin{displaymath}
 21 |   P(x_1 < X \le x_2) = F(x_2) - F(x_1)
 22 |   \end{displaymath}
 23 | \end{remark}
 24 | 
 25 | \begin{remark}
 26 |   离散型随机变量和连续型随机变量都适用于分布函数的定义。
 27 | \end{remark}
 28 | 
 29 | \begin{theorem}[分布函数的性质]
 30 |   分布函数$F(x)=P(X\le x)$具有以下性质：
 31 |   \begin{enumerate}
 32 |     \item
 33 |     $F(x)$是单调非递减函数。
 34 |     \item
 35 |     $0\le F(x)\le 1$且
 36 |     $F(-\infty) = 0$，$F(+\infty) = 1$。
 37 |     \item
 38 |     $F(x)$是右连续的。
 39 |   \end{enumerate}
 40 |   反之，任一具有以上三性质的函数必是某随机变量的分布函数。
 41 | \end{theorem}
 42 | 
 43 | \subsection{连续型随机变量与概率密度}
 44 | \begin{definition}[连续型随机变量] \label{def:continuous-rv}
 45 |   设$X$为随机变量，$F(x)$为$X$的分布函数。
 46 |   若存在非负函数$p(x)$，使对于任意实数$x$有
 47 |   \begin{displaymath}
 48 |     F(x) = \mintcumto{x}p(t)dt
 49 |   \end{displaymath}
 50 |   则称$X$为\textbf{连续型随机变量}，
 51 |   其中$p(x)$称为$X$的\textbf{概率密度函数}，简称\textbf{密度函数}。
 52 | \end{definition}
 53 | 
 54 | \begin{theorem}[连续型随机变量$F(x)$与$p(x)$的性质]
 55 |   设$F(x)$和$p(x)$分别是连续型随机变量$X$的分布函数与密度函数，则
 56 |   \begin{enumerate}
 57 |     \item
 58 |     $p(x) \ge 0$
 59 |     \item
 60 |     $\mintall p(x)dx = 1$
 61 |     \item
 62 |     $F(x)$是连续函数。
 63 |     \item
 64 |     $P(x_1< X\le x_2)=\int_{x_1}^{x_2}p(x)dx$
 65 |     \item
 66 |     对任意$a\in\mfR$，$P(X=a)=0$。
 67 |     \item
 68 |     若$p(x)$在点$x$处连续，则有
 69 |     $F'(x)=p(x)$。
 70 |   \end{enumerate}
 71 | \end{theorem}
 72 | 
 73 | \subsection{连续型随机变量函数的分布} \label{subsec:con-rv-func-distribution}
 74 | 设$X$是连续型随机变量，其密度函数为$p_X(x)$，
 75 | $y=g(x)$是关于$x$的连续函数，$Y=g(X)$是连续型随机变量。
 76 | 下面给出求$Y=g(X)$的密度函数$p_Y(y)$的两种方法。
 77 | 
 78 | 第一种方法是\textbf{分布函数法}。
 79 | 我们首先求$Y$的分布函数
 80 | \begin{displaymath}
 81 |   F_Y(y) = P(Y \le y) = P(g(X) \le y) = \int_{x: g(x)\le y} p_X(x)dx
 82 | \end{displaymath}
 83 | 然后对分布函数求导，得到$p_Y(y) = F'_Y(y)$。
 84 | 
 85 | 第二种方法是直接使用定理：
 86 | 设$X$的密度函数为
 87 | \begin{displaymath}
 88 |   p_X(x) = \begin{cases}
 89 |     > 0 & a < x < b \\
 90 |     0   & \text{其它}
 91 |   \end{cases}
 92 | \end{displaymath}
 93 | 其中$a$可为$-\infty$，$b$可为$+\infty$。
 94 | 若$y=g(x)$在$(a,b)$处处可导且单调，
 95 | 则$Y=g(X)$也是连续型随机变量，其概率密度为
 96 | \begin{displaymath}
 97 |   p_Y(y)=\begin{cases}
 98 |     p_X(g^{-1}(y))\cdot |(g^{-1}(y))'| & \alpha < y < \beta \\
 99 |     0 & \text{其它}
100 |   \end{cases}
101 | \end{displaymath}
102 | 其中，$\alpha=\min\{g(a), g(b) \}, \beta=\max\{g(a),g(b)\}$。
103 | 
104 | \subsection{二维连续型随机变量}
105 | \begin{definition}[联合分布函数]
106 |   设$(X,Y)$是一个二维随机向量，则对于任意实数对$(x,y)$，
107 |   \begin{displaymath}
108 |     F(x,y) = P(X\le x, Y\le y)
109 |   \end{displaymath}
110 |   是$(x,y)$的函数，称为二维随机向量$(X,Y)$的\textbf{联合分布函数}。
111 | \end{definition}
112 | 
113 | \begin{theorem}[联合分布函数的性质]
114 |   联合分布函数$F(x,y)$具有以下性质：
115 |   \begin{enumerate}
116 |     \item
117 |     $F(x,y)$分布对每个变量单调非减。
118 |     \item
119 |     $0\le F(x,y)\le 1$且
120 |     \begin{gather*}
121 |     F(-\infty,y)=F(x,-\infty) = 0 \\
122 |     F(-\infty,-\infty)=0,\ F(+\infty,+\infty)=1
123 |     \end{gather*}
124 |     \item
125 |     $F(x,y)$关于每个变量右连续，即
126 |     $F(x,y)=F(x+0,y)=F(x,y+0)$。
127 |     \item
128 |     $F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\ge 0$，
129 |     其中$x_1\le x_2, y_1 \le y_2$。
130 |   \end{enumerate}
131 | \end{theorem}
132 | 
133 | \begin{definition}[二维连续型随机变量与联合概率密度函数]
134 |   对于二维随机变量$(X,Y)$的分布函数$F(x,y)$，
135 |   如果存在非负函数$p(x,y)$，使得对于任意的$x,y$有
136 |   \begin{displaymath}
137 |   F(x,y)=\mintcumto{x}\mintcumto{y}p(u,v)dudv
138 |   \end{displaymath}
139 |   则称$(X,Y)$是\textbf{二维连续型随机变量}，
140 |   函数$p(x,y)$称为$(X,Y)$的\textbf{联合概率密度函数}，
141 |   简称\textbf{概率密度}。
142 | \end{definition}
143 | 
144 | \begin{theorem}[联合概率密度函数的性质]
145 |   设$p(x,y)$是连续随机向量$(X,Y)$的联合概率密度函数，则
146 |   \begin{enumerate}
147 |     \item
148 |     $p(x,y)\ge 0$
149 |     \item
150 |     $\mintall\mintall p(u,v)dudv = 1$
151 |     \item
152 |     若$p(x,y)$在点$(x,y)$连续，则有
153 |     \[ \frac{\partial^2 F(x,y)}{\partial x\partial y} = p(x,y) \]
154 |     \item
155 |     $P\left((X,Y)\in G\right) = \iint_G p(x,y)dxdy$
156 |   \end{enumerate}
157 | \end{theorem}
158 | 
159 | \begin{definition}[边缘分布函数]
160 |   设二维随即向量$(X,Y)$的联合分布函数为$F(x,y)$。
161 |   我们定义
162 |   \begin{displaymath}
163 |     F_X(x)=F(x,+\infty)
164 |   \end{displaymath}
165 |   为$X$的\textbf{边缘分布函数}。
166 |   同样地，$F_Y=F(+\infty,y)$为$Y$的边缘分布函数。
167 | \end{definition}
168 | 
169 | \begin{definition}[边缘密度]
170 |   设二维随即向量$(X,Y)$的概率密度函数为$p(x,y)$，
171 |   联合分布函数为$F(x,y)$。
172 |   我们定义
173 |   \begin{displaymath}
174 |     p_X(x)=F'_X(x) = \mintall p(x,y)dy
175 |   \end{displaymath}
176 |   为$X$的\textbf{边缘密度}。
177 |   同样地，$p_Y(y)=F'_Y(y) = \mintall p(x,y)dx$
178 |   为$Y$的边缘密度。
179 | \end{definition}
180 | 
181 | \begin{definition}[二维连续型随机变量的条件密度]
182 |   设$(X,Y)$是连续随机向量，则
183 |   \begin{displaymath}
184 |     F_{Y|X=x}(y)=P(Y\le y|X = x)=
185 |       \mintcumto{y}\frac{p(x,v)}{p_X(x)}dv
186 |   \end{displaymath}
187 |   为$Y$在$X=x$的条件下的\textbf{条件分布}。而
188 |   \begin{displaymath}
189 |     p_{Y|X=x}(y)=\frac{p(x,y)}{p_X(x)}
190 |   \end{displaymath}
191 |   为$Y$在$X=x$的条件下的\textbf{条件密度}，也记为$p_{Y|X}(y|x)$。
192 | \end{definition}
193 | 
194 | \begin{theorem}[条件密度的两个公式]
195 |   条件密度也有乘法公式
196 |   \begin{displaymath}
197 |     p(x,y) = p_X(x)p_{Y|X}(y|x)
198 |   \end{displaymath}
199 |   和全概率公式
200 |   \begin{displaymath}
201 |     p_X(x) = \mintall p(x,y)dy
202 |     = \mintall p_{X|Y}(x|y)p_Y(y)dy
203 |   \end{displaymath}
204 | \end{theorem}
205 | 
206 | \subsection{连续型随机变量的独立性}
207 | \begin{definition}[两个随机变量的独立性]
208 |   设$X,Y$为随机变量。
209 |   若对任意实数$x,y$，随机事件$X\le x$与$Y\le y$相互独立，即
210 |   \begin{displaymath}
211 |     P(X\le x,  Y\le y)=P(X\le x)P(Y\le y)
212 |   \end{displaymath}
213 |   或等价地，
214 |   \begin{displaymath}
215 |     F(x,y)=F_X(x)F_Y(y)
216 |   \end{displaymath}
217 |   则称随机变量$X$与$Y$相互独立。
218 | \end{definition}
219 | 
220 | \begin{theorem}[两个连续型随机变量相互独立的条件]
221 |   设$X,Y$为连续型随机变量。若
222 |   \begin{displaymath}
223 |     p(x,y)=p_X(x)p_Y(x)
224 |   \end{displaymath}
225 |   则$X,Y$相互独立。
226 | \end{theorem}
227 | 
228 | \subsection{二维随机变量函数的分布}
229 | 对于二维随机变量$(X,Y)$，实函数$z=g(x,y)$，
230 | 可定义随机变量$Z=g(X,Y)$。
231 | 
232 | 使用类似\ref{subsec:disc-rv-func-distribution}节
233 | 和\ref{subsec:con-rv-func-distribution}节的方法，
234 | 同样可以求出$Z$的分布。
235 | 下面给出两个比较特殊的二维随机变量函数的分布：
236 | \textbf{和分布}以及\textbf{极大极小分布}。
237 | 
238 | \begin{description}
239 |   \item[和分布]
240 |   如果$Z=X+Y$，$p(x,y)$是$X,Y$的概率密度函数，则
241 |   \begin{displaymath}
242 |     p_Z(z) = \mintall p(x,z-x)dx
243 |   \end{displaymath}
244 |   如果$X,Y$相互独立，则能更进一步化为卷积公式
245 |   \begin{displaymath}
246 |     p_Z(z) = \mintall p_X(x)p_Y(z-x)dx
247 |   \end{displaymath}
248 |   \item[极大极小分布]
249 |   如果$X,Y$相互独立。设$M=\max\{X,Y\}$，$N=\min\{X,Y\}$，则
250 |   \begin{align*}
251 |     F_M(z) &= P(\max\{X,Y\}\le z) = P(X\le z, Y\le z) \\
252 |     &= P(X\le z)P(Y\le z) \\
253 |     &= F_X(z)F_Y(z)
254 |   \end{align*}
255 |   \begin{align*}
256 |     F_N(z) &= P(\min\{X,Y\}\le z) = 1 - P(\min\{X,Y\}>z) \\
257 |     &= 1 - P(X>z,Y>z) = 1 - P(X>z)P(Y>z) \\
258 |     &= 1 - (1-F_X(z))(1-F_Y(z))
259 |   \end{align*}
260 |   推广：如果$X_1,X_2,\dots,X_n$相互独立，则
261 |   \begin{gather*}
262 |     F_{\max_iX_i}(z) = \prod_{i=1}^{n}F_{X_i}(z) \\
263 |     F_{\min_iX_i}(z) = 1-\prod_{i=1}^{n}(1-F_{X_i}(z))
264 |   \end{gather*}
265 | \end{description}
266 | 
267 | \section{常见连续型随机变量的分布}
268 | 本小节主要介绍以下常见的连续型随机变量的分布：
269 | 均匀分布，指数分布，正态分布，二维均匀分布，二维正态分布。
270 | 
271 | \subsection{均匀分布}
272 | \begin{definition}[均匀分布]
273 |   设连续型随机变量$X$具有概率密度
274 |   \begin{displaymath}
275 |     p(x) = \begin{cases}
276 |       \frac{1}{b-a} & a < x < b \\
277 |       0 & \text{其它}
278 |     \end{cases}
279 |   \end{displaymath}
280 |   则称$X$在区间上$(a,b)$服从\textbf{均匀分布}，
281 |   记为$X\sim U(a,b)$。它的分布函数为
282 |   \begin{displaymath}
283 |     F(X) = \begin{cases}
284 |       0 & x < a \\
285 |       \frac{x-a}{b-a} & a \le x < b \\
286 |       1 & x > b
287 |     \end{cases}
288 |   \end{displaymath}
289 | \end{definition}
290 | 
291 | \begin{theorem}[均匀分布的数字特征]
292 |   设随机变量$X\sim U(a,b)$，则
293 |   \begin{displaymath}
294 |     \mexpect[X]=\frac{a+b}{2},\quad \mvar(X)=\frac{(b-a)^2}{12}
295 |   \end{displaymath}
296 | \end{theorem}
297 | 
298 | \begin{theorem}
299 |   设连续型随机变量$X$的分布函数$F(x)$严格单调递增。
300 |   令$Y=F(X)$，则$Y\sim U(0,1)$。
301 | \end{theorem}
302 | 
303 | \begin{remark}
304 |   该定理告诉我们，可以利用均匀分布来生成其它分布。
305 | \end{remark}
306 | 
307 | \subsection{指数分布}
308 | \begin{definition}[指数分布]
309 |   设连续型随机变量$X$的概率密度为
310 |   \begin{displaymath}
311 |     p(x) = \begin{cases}
312 |       \lambda e^{-\lambda x} & x > 0 \\
313 |       0 & x \le 0
314 |     \end{cases}
315 |   \end{displaymath}
316 |   其中$\lambda$为常数，
317 |   则称$X$服从参数为$\lambda$的\textbf{指数分布}，
318 |   记为$X\sim E(\lambda)$。
319 |   它的分布函数为
320 |   \begin{displaymath}
321 |     F(x) = \begin{cases}
322 |       1 - e^{-\lambda x} & x > 0 \\
323 |       0 & x \le 0
324 |     \end{cases}
325 |   \end{displaymath}
326 | \end{definition}
327 | 
328 | \begin{theorem}[指数分布的数字特征]
329 |   设随机变量$X\sim E(\lambda)$，则
330 |   \begin{displaymath}
331 |     \mexpect[X] = \frac{1}{\lambda},\quad \mvar(X) = \frac{1}{\lambda^2}
332 |   \end{displaymath}
333 | \end{theorem}
334 | 
335 | \begin{theorem}[指数分布的无记忆性]
336 |   设$X\sim E(\lambda)$，则对于任意实数$s,t>0$有
337 |   \begin{displaymath}
338 |     P(X>s+t|X>t) = P(X>s)
339 |   \end{displaymath}
340 | \end{theorem}
341 | 
342 | \begin{theorem}[多个独立指数分布的极小分布]
343 |   设$X_i\sim E(\lambda_i)\ (i=1,2,\dots,n)$且相互独立。
344 |   令$Y=\min_i X_i$，则$Y\sim E(\sum_{i=1}^{n}\lambda_i)$，
345 |   且$P(\min_i X_i = X_j)= \lambda_j/\sum_{i=1}^{n}\lambda_i$
346 | \end{theorem}
347 | 
348 | \subsection{正态分布}
349 | \begin{definition}
350 |   设连续型随机变量$X$的概率密度为
351 |   \begin{displaymath}
352 |     p(x)=\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}
353 |     \ (-\infty < x < +\infty)
354 |   \end{displaymath}
355 |   其中$\mu,\sigma\ (\sigma > 0)$为常数，
356 |   则称$X$服从参数为$\mu,\sigma^2$的\textbf{正态分布}(也叫高斯分布)，
357 |   记为$X\sim N(\mu,\sigma^2)$。
358 | \end{definition}
359 | 
360 | \begin{theorem}[正态分布的数字特征]
361 |   设随机变量$X\sim N(\mu,\sigma^2)$，则
362 |   \begin{displaymath}
363 |     \mexpect[X] = \mu,\quad \mvar(X) = \sigma^2
364 |   \end{displaymath}
365 | \end{theorem}
366 | 
367 | \begin{definition}[标准正态分布]
368 |   我们把$N(0,1)$称为\textbf{标准正态分布}。
369 |   标准正态分布的密度函数记为
370 |   \begin{displaymath}
371 |     \phi(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}
372 |     \ (-\infty < x < +\infty)
373 |   \end{displaymath}
374 |   标准正态分布的分布函数记为
375 |   \begin{displaymath}
376 |     \Phi(x) = \mintcumto{x}\frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} dt
377 |   \end{displaymath}
378 | \end{definition}
379 | 
380 | \begin{theorem}
381 |   $\forall x\in\mfR$，$\Phi(-x) = 1 - \Phi(x)$
382 | \end{theorem}
383 | 
384 | \begin{theorem}
385 |   若$X\sim N(0,1)$，则
386 |   \begin{displaymath}
387 |     \mexpect[X^k] = \begin{cases}
388 |       (k-1)!! & \text{$k$为偶数} \\
389 |       0       & \text{$k$为奇数}
390 |     \end{cases}
391 |   \end{displaymath}
392 |   
393 | \end{theorem}
394 | \begin{theorem}[正态分布的性质]
395 |   设$X\sim N(\mu,\sigma^2)$，$Y=aX+b\ (a\neq 0)$，则
396 |   \begin{displaymath}
397 |     Y \sim N\left(a\mu+b,(a\sigma)^2\right)
398 |   \end{displaymath}
399 | \end{theorem}
400 | 
401 | \begin{corollary}[标准化]
402 |   若$X\sim N(\mu,\sigma^2)$，则$(X-\mu)/\sigma \sim N(0,1)$
403 | \end{corollary}
404 | 
405 | \begin{remark}
406 |   根据这个推论，任意随机变量$X\sim N(\mu,\sigma^2)$落在在某个区间的概率
407 |   可以转化为标准正态分布来求：
408 |   \begin{align*}
409 |     P(a \le X \le b)
410 |     &= P\left(\frac{a-\mu}{\sigma} \le \frac{X-\mu}{\sigma}
411 |       \le \frac{b-\mu}{\sigma}\right) \\
412 |     &= \Phi\left(\frac{a-\mu}{\sigma}\right)
413 |      - \Phi\left(\frac{b-\mu}{\sigma}\right)
414 |   \end{align*}
415 |   其中$\Phi(x)$可以查表得到。
416 | \end{remark}
417 | 
418 | \begin{theorem}[3$\sigma$原理]
419 |   设随机变量$X\sim N(\mu,\sigma^2)$，则
420 |   \begin{gather*}
421 |     P(|X-\mu|\le\sigma) = 68.26 \% \\
422 |     P(|X-\mu|\le 2\sigma) = 95.44 \% \\
423 |     P(|X-\mu|\le 3\sigma) = 99.74 \%
424 |   \end{gather*}
425 | \end{theorem}
426 | 
427 | \begin{theorem}[独立正态分布随机变量的和]
428 |   设$X\sim N(\mu_1,\sigma_1^2), Y\sim N(\mu_2,\sigma_2^2)$，
429 |   且两者独立，则
430 |   \begin{displaymath}
431 |     X + Y \sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)
432 |   \end{displaymath}
433 | \end{theorem}
434 | 
435 | \subsection{二维均匀分布}
436 | \begin{definition}[二维均匀分布]
437 |   设$D$是平面上的有界区域，其面积为$A$。
438 |   如果二维随机变量$(X,Y)$的密度函数为
439 |   \begin{displaymath}
440 |     p(x,y) = \begin{cases}
441 |       \frac{1}{A} & (x,y)\in D \\
442 |       0 & (x,y)\notin D
443 |     \end{cases}
444 |   \end{displaymath}
445 |   则称$(X,Y)$服从$D$上的二维均匀分布。
446 | \end{definition}
447 | 
448 | \subsection{二维正态分布}
449 | \begin{definition}[二维正态分布]
450 |   若二维随机变量$(X,Y)$具有密度函数
451 |   \begin{align*}
452 |     p(x,y)=&\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}
453 |       \exp\left\{-\frac{1}{2(1-\rho^2)}\left[
454 |         \left(\frac{x-\mu_1}{\sigma_1}\right)^2\right.\right.\\
455 |         &\left.\left.-2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)
456 |           \left(\frac{y-\mu_2}{\sigma_2}\right)
457 |         +\left(\frac{y-\mu_2}{\sigma_2}\right)^2\right]\right\}
458 |   \end{align*}
459 |   其中$\mu_1,\mu_2,\sigma_1,\sigma_2 > 0, |\rho| < 1$均为常数，
460 |   则称$(X,Y)$服从\textbf{二维正态分布}，记作
461 |   $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$。
462 | \end{definition}
463 | 
464 | \begin{remark}
465 |   这里$\rho$的含义是相关系数，参见\ref{subsec:correlation-coefficent}节。
466 | \end{remark}
467 | 
468 | \begin{theorem}[二维正态分布的性质]
469 |   设$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，则
470 |   \begin{enumerate}
471 |     \item
472 |     $X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$，
473 |     即二维正态分布的边缘分布仍是正态分布。
474 |     \item
475 |     $X,Y$相互独立当且仅当$\rho = 0$。
476 |     \item
477 |     $\mcov(X,Y) = \rho\sigma_1\sigma_2$
478 |   \end{enumerate}
479 | \end{theorem}
480 | 


--------------------------------------------------------------------------------
/Probability/DiscreteRandomVariable.tex:
--------------------------------------------------------------------------------
  1 | \chapter{离散型随机变量}
  2 | 
  3 | \section{离散型随机变量的概念}
  4 | 本小节的主要内容为：
  5 | 随机变量的定义，离散型随机变量的分布律，随机变量的函数，
  6 | 二维离散型随机变量的联合分布律、边缘分布律，离散型随机变量的独立性。
  7 | 
  8 | \subsection{随机变量}
  9 | \begin{definition}[随机变量]
 10 |   设$\Omega$为样本空间。
 11 |   我们把实值函数$X:\Omega\mapsto\mfR$称为\textbf{随机变量}，简记为r.v.。
 12 | \end{definition}
 13 | 
 14 | 随机变量分为离散型随机变量(定义\ref{def:discrete-rv})
 15 | 和连续型随机变量(定义\ref{def:continuous-rv})。
 16 | 
 17 | \subsection{离散型随机变量与分布律}
 18 | \begin{definition}[离散型随机变量] \label{def:discrete-rv}
 19 |   若随机变量$X$的取值是有限个或者可列无穷个，
 20 |   则称$X$为\textbf{离散型随机变量}。
 21 | \end{definition}
 22 | 
 23 | \begin{definition}[离散型随机变量的分布律]
 24 |   设离散型随机变量$X$的所有可能取值为
 25 |   $x_1,x_2,\dots,x_n,\dots$，则称
 26 |   \begin{displaymath}
 27 |   P(X=x_i)=p_i\ (i=1,2,\dots)
 28 |   \end{displaymath}
 29 |   为$X$的\textbf{分布律}。常表示为
 30 |   \begin{center}
 31 |     \begin{tabular}{c|ccccc}
 32 |       $X$ & $x_1$ & $x_2$ & $\dots$ & $x_n$ & $\dots$ \\
 33 |       \hline
 34 |       $P$ & $p_1$ & $p_2$ & $\dots$ & $p_n$ & $\dots$ \\
 35 |     \end{tabular}
 36 |   \end{center}
 37 | \end{definition}
 38 | 
 39 | \begin{theorem}[离散型随机变量分布律的性质]
 40 |   设$P(X=x_i)=p_i\ (i=1,2,\dots)$是随机变量$X$的分布律，则
 41 |   \begin{enumerate}
 42 |     \item
 43 |     $\forall n\in \mfN$，$p_n \ge 0$
 44 |     \item
 45 |     $\sum_{i}p_i = 1$
 46 |   \end{enumerate}
 47 | \end{theorem}
 48 | 
 49 | \subsection{随机变量的函数} \label{subsec:disc-rv-func-distribution}
 50 | \begin{definition}[随机变量的函数]
 51 |   设$X$是随机变量，$y=g(x)$是实函数。
 52 |   构造另一随机变量$Y$，当$X$取值$x$时，$Y$取值$y=g(x)$，
 53 |   则称$Y$是随机变量$X$的函数，记为$Y=g(X)$。
 54 | \end{definition}
 55 | 
 56 | 离散型随机变量函数的分布律的求法：
 57 | \[ P(Y=y)=\sum_{x:g(x)=y} P(X=x) \]
 58 | 
 59 | 连续型随机变量函数的分布的求法见小节\ref{subsec:con-rv-func-distribution}。
 60 | 
 61 | \subsection{二维离散型随机变量}
 62 | \begin{definition}[二维离散型随机变量]
 63 |   若二维随机变量$(X,Y)$的取值是有限个或可列无穷多个，
 64 |   则称$(X,Y)$为\textbf{二维离散型随机变量}。
 65 | \end{definition}
 66 | 
 67 | \begin{definition}[二维离散型随机变量的联合分布律]
 68 |   设$(X,Y)$为二维离散型随机变量，
 69 |   $X,Y$的取值为$(x_i,y_j),\ i,j=1,2,\dots$，则称
 70 |   \begin{displaymath}
 71 |   P(X=x_i,Y=y_j)=p_{ij}\ (i,j=1,2\dots)
 72 |   \end{displaymath}
 73 |   为$(X,Y)$的\textbf{联合分布律}。常表示为
 74 |   \begin{center}
 75 |     \begin{tabular}{c|ccccc}
 76 |       \diagbox{$X$}{$Y$} & $y_1$ & $y_2$ & $\dots$ & $y_j$ & $\dots$ \\
 77 |       \hline
 78 |       $x_1$ & $p_{11}$ & $p_{12}$ & $\dots$ & $p_{1j}$ & $\dots$ \\
 79 |       $x_2$ & $p_{21}$ & $p_{22}$ & $\dots$ & $p_{2j}$ & $\dots$ \\
 80 |       $\vdots$ & $\vdots$ & $\vdots$ & & $\vdots$ & \\
 81 |       $x_i$ & $p_{i1}$ & $p_{i2}$ & $\dots$ & $p_{ij}$ & $\dots$ \\
 82 |       $\vdots$ & $\vdots$ & $\vdots$ & & $\vdots$ & \\
 83 |     \end{tabular}
 84 |   \end{center}
 85 | \end{definition}
 86 | 
 87 | \begin{theorem}[二维离散型随机变量联合分布律的性质]
 88 |   设$P(X=x_i,Y=y_j)=p_{ij}\ (i,j=1,2\dots)$
 89 |   是二维随机变量$(X,Y)$的联合分布律，则
 90 |   \begin{enumerate}
 91 |     \item
 92 |     $\forall i,j\in\mfN$，$p_{ij} \ge 0$
 93 |     \item
 94 |     $\sum_{ij}p_{ij}=1$
 95 |   \end{enumerate}
 96 | \end{theorem}
 97 | 
 98 | \begin{definition}
 99 |   设$P(X=x_i,Y=y_j)=p_{ij}\ (i,j=1,2\dots)$
100 |   是二维随机变量$(X,Y)$的联合分布律，则
101 |   \begin{displaymath}
102 |     P(X=x_i) = \sum_{j} P(X=x_i,Y=y_j) = \sum_{j=1}^{\infty}p_{ij}
103 |     \meqdef p_{i\cdot}
104 |   \end{displaymath}
105 |   被称为$X$的边缘分布律，
106 |   \begin{displaymath}
107 |     P(Y=y_j) = \sum_{i} P(X=x_i,Y=y_j) = \sum_{i=1}^{\infty}p_{ij}
108 |     \meqdef p_{\cdot j}
109 |   \end{displaymath}
110 |   被称为$Y$的边缘分布律。
111 | \end{definition}
112 | 
113 | \subsection{离散型随机变量的独立性}
114 | \begin{definition}[两个离散型随机变量的独立性]
115 |   对于离散型随机变量$X$和$Y$，若对于所有可能取值$x,y$有
116 |   \begin{displaymath}
117 |     P(X=x,Y=y)=P(X=x)P(Y=y)
118 |   \end{displaymath}
119 |   即$p_{ij}=p_{i\cdot}p_{\cdot j}\ (i,j=1,2,\dots)$，
120 |   则称$X$与$Y$独立。
121 | \end{definition}
122 | 
123 | \begin{definition}[多离散型随机变量的独立性]
124 |   设$X_1,X_2,\dots,X_n$为离散型随机变量。
125 |   \begin{enumerate}
126 |     \item
127 |     若对于任意$x_1,x_2,\dots,x_n$，有
128 |     \begin{displaymath}
129 |       P(X_1=x_1,\dots,X_n=x_n)=\prod_{i=1}^{n}P(X_i=x_i)
130 |     \end{displaymath}
131 |     则称$X_1,X_2,\dots,X_n$\textbf{相互独立}。
132 |     \item
133 |     若其中任意两个均独立，
134 |     则称$X_1,X_2,\dots,X_n$\textbf{两两独立}。
135 |   \end{enumerate}
136 | \end{definition}
137 | 
138 | \section{常见离散型随机变量的分布}
139 | 本小节介绍了常见的离散型随机变量的分布及它们的性质，
140 | 其中包含：0-1分布，二项分布，泊松分布，几何分布。
141 | 
142 | \subsection{0-1分布}
143 | 
144 | \begin{definition}[伯努利试验]
145 |   如果随机试验只有两个结果：$A$与$\mcmpl{A}$，
146 |   则称该试验为\textbf{伯努利试验}(Bernoulli trial)。
147 | \end{definition}
148 | 
149 | \begin{definition}[0-1分布]
150 |   定义随机变量
151 |   \begin{displaymath}
152 |     X = \begin{cases}
153 |       1 & \text{若$A$发生} \\
154 |       0 & \text{若$A$不发生}
155 |     \end{cases}
156 |   \end{displaymath}
157 |   记$P(A)=p$，则称$X$服从\textbf{0-1分布}
158 |   \begin{center}
159 |     \begin{tabular}{c|cc}
160 |       $X$ & $0$ & $1$ \\
161 |       \hline
162 |       $P$ & $1-p$ & $p$ \\
163 |       \end{tabular}
164 |   \end{center}
165 | \end{definition}
166 | 
167 | \begin{theorem}[0-1分布的数字特征]
168 |   设$X$服从0-1分布，则
169 |   \begin{displaymath}
170 |     \mexpect[X]=p,\quad \mvar(X) = p(1-p)
171 |   \end{displaymath}
172 | \end{theorem}
173 | 
174 | \subsection{二项分布}
175 | \begin{definition}[$n$重伯努利试验]
176 |   有一类独立重复试验概型，具有如下特点：
177 |   \begin{enumerate}
178 |     \item 每次试验只有两种结果：$A$与$\mcmpl{A}$
179 |     \item 试验进行$n$次，每次试验结果相互独立
180 |   \end{enumerate}
181 |   则称该独立重复试验为\textbf{$n$重伯努利试验}。
182 | \end{definition}
183 | 
184 | \begin{definition}[二项分布]
185 |   若随机变量$X$的分布律为
186 |   \begin{displaymath}
187 |     P(X=i) = \binom{n}{i}p^i(1-p)^{n-i}\ (i=1,2,\dots,n)
188 |   \end{displaymath}
189 |   其中$n$为自然数，$0\le p \le 1$，
190 |   则称$X$服从参数为$n,p$的\textbf{二项分布}，
191 |   记作$X\sim B(n,p)$。
192 | \end{definition}
193 | 
194 | \begin{remark}
195 |   对于给定的$n,p$，函数$P(X=k)$随$k$的增大先递增后递减。
196 |   如果要求$k$取何值时$P(X=k)$最大，我们只需要列出方程组
197 |   \begin{displaymath}
198 |     \meqs{c}{
199 |     P(X=k) \ge P(X=k-1) \\
200 |     P(X=k) \ge P(X=k+1)}
201 |   \end{displaymath}
202 |   就能解得，$k$是区间$[\,(n+1)p-1,\,(n+1)p\,]$的一个整数。
203 | \end{remark}
204 | 
205 | \begin{theorem}[二项分布的数字特征]
206 |   设随机变量$X\sim B(n,p)$，则
207 |   \begin{displaymath}
208 |     \mexpect[X] = np,\quad \mvar(X) = np(1-p)
209 |   \end{displaymath}
210 | \end{theorem}
211 | 
212 | \begin{theorem}[泊松定理] \label{thrm:poisson}
213 |   如果$np_n\to\lambda(>0) (n\to\infty)$，
214 |   那么对于固定的正整数$k$，有
215 |   \begin{displaymath}
216 |     \lim_{n\to\infty} \binom{n}{k}p_n^k(1-p_n)^{n-k} =
217 |       \frac{\lambda^k}{k!}e^{-\lambda}
218 |   \end{displaymath}
219 | \end{theorem}
220 | 
221 | \begin{remark}
222 |   当$n$很大时，计算$P_n(k)=\binom{n}{k}p^k(1-p)^{n-k}$比较麻烦。
223 |   但如果$n$很大$(\ge 20)$且$p$很小$(\le 0.1)$时，
224 |   就可以用上面的泊松近似公式来计算。
225 | \end{remark}
226 | 
227 | \subsection{泊松分布}
228 | \begin{definition}[泊松分布]
229 |   若随机变量$X$的分布律为
230 |   \begin{displaymath}
231 |     P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}\ (k=0,1,2,\dots)
232 |   \end{displaymath}
233 |   其中$\lambda > 0$，
234 |   则称随机变量$X$服从参数为$\lambda$的\textbf{泊松分布}，
235 |   记为$X\sim P(\lambda)$。
236 | \end{definition}
237 | 
238 | \begin{remark}
239 |   泊松分布通常用于描述大量试验中稀有事件出现次数的概率模型。
240 |   从定理\ref{thrm:poisson}就能看出来这一点。
241 |   参数$\lambda$的物理含义是：事件平均的发生次数。
242 | \end{remark}
243 | 
244 | \begin{theorem}[泊松分布的数字特征]
245 |   设随机变量$X\sim P(\lambda)$，则
246 |   \begin{displaymath}
247 |     \mexpect[X]=\lambda,\quad \mvar(X)=\lambda
248 |   \end{displaymath}
249 | \end{theorem}
250 | 
251 | \begin{theorem}[泊松分布的和]
252 |   若随机变量$X,Y$独立，且$X\sim P(\lambda_1)$，$Y\sim P(\lambda_2)$，
253 |   则$X+Y \sim P(\lambda_1+\lambda_2)$。
254 | \end{theorem}
255 | 
256 | \subsection{几何分布}
257 | \begin{definition}[几何分布]
258 |   在多重伯努利试验中，$P(A)=p$，$P(\mcmpl{A})=1-p\meqdef q$。
259 |   重复独立实验，直到事件$A$首次发生。
260 |   令$X$表示所需要试验的次数，则$X$服从参数为$p$的\textbf{几何分布}，即
261 |   \begin{displaymath}
262 |     P(X=k)=q^{k-1}p\ (k=1,2,\dots)
263 |   \end{displaymath}
264 |   记为$X\sim G(p)$。
265 | \end{definition}
266 | 
267 | \begin{theorem}[几何分布的无记忆性]
268 |   假设已经经历了$n$次失败，则从当前起直至成功所需次数与$n$无关。
269 |   严格地，若随机变量$X\sim G(p)$，则对任意自然数$s,t$，有
270 |   \begin{displaymath}
271 |     P(X>s+t|X>s) = P(X>t)
272 |   \end{displaymath}
273 | \end{theorem}
274 | 
275 | \begin{theorem}[几何分布的数字特征]
276 |   设随机变量$X\sim G(p)$，则
277 |   \begin{displaymath}
278 |     \mexpect[X] = \frac{1}{p},\quad \mvar(X)=\frac{1-p}{p^2}
279 |   \end{displaymath}
280 | \end{theorem}
281 | 


--------------------------------------------------------------------------------
/Probability/LimitTheory.tex:
--------------------------------------------------------------------------------
  1 | \chapter{极限理论}
  2 | 
  3 | \section{大数定律}
  4 | 本小节首先给出依概率收敛的概念，
  5 | 然后讨论大数定律以及相关的定理。
  6 | 
  7 | \subsection{依概率收敛}
  8 | \begin{definition}[依概率收敛]
  9 |   设$Y_1,Y_2,\dots,Y_n,\dots$是随机变量序列，$a$是一个常数。
 10 |   若对任意$\epsilon >0$，有
 11 |   \begin{displaymath}
 12 |     \lim_{n\to\infty}P(|Y_n - a|<\epsilon) = 1
 13 |   \end{displaymath}
 14 |   或
 15 |   \begin{displaymath}
 16 |     \lim_{n\to\infty}P(|Y_n-a|\ge\epsilon) = 0
 17 |   \end{displaymath}
 18 |   则称$Y_1,Y_2,\dots,Y_n,\dots$\textbf{依概率收敛}于$a$，
 19 |   记为$Y_n \mprto a$。
 20 | \end{definition}
 21 | 
 22 | \begin{theorem}[连续映射定理]
 23 |   若$X_n\mprto a$，函数$g(\cdot)$在点$a$处连续，则
 24 |   \begin{displaymath}
 25 |     g(X_n) \mprto g(a)
 26 |   \end{displaymath}
 27 |   若$X_n\mprto a$，$Y_n\mprto b$，
 28 |   函数$g(\cdot,\cdot)$在点$(a,b)$处连续，则
 29 |   \begin{displaymath}
 30 |     g(X_n,Y_n) \mprto g(a,b)
 31 |   \end{displaymath}
 32 | \end{theorem}
 33 | 
 34 | \subsection{大数定律的定义}
 35 | \begin{definition}[大数定律]
 36 |   设$X_1,X_2,\dots$是随机变量序列。若
 37 |   \begin{displaymath}
 38 |     \frac{1}{n}\sum_{k=1}^{n}X_k \mprto
 39 |       \frac{1}{n}\sum_{k=1}^{n}\mexpect[X_k]
 40 |   \end{displaymath}
 41 |   则称$\{X_n\}$服从\textbf{大数定律}。
 42 | \end{definition}
 43 | 
 44 | \begin{remark}
 45 |   大数定律指的是随机变量的平均值依概率趋向于它们数学期望的平均值。
 46 | \end{remark}
 47 | 
 48 | \subsection{大数定律的相关定理}
 49 | \begin{theorem}[马尔可夫大数定律]
 50 |   若随机序列$\{X_n\}$满足
 51 |   \begin{displaymath}
 52 |     \frac{1}{n^2}\mvar\left(\sum_{i=1}^{n}X_i\right)\to 0\ (n\to\infty)
 53 |   \end{displaymath}
 54 |   则$\{X_n\}$服从大数定律。
 55 | \end{theorem}
 56 | 
 57 | \begin{remark}
 58 |   注意，尽管马尔科夫大数定律叫``定律''，但实质上是``定理''。
 59 |   下面几个定律也是这样的。
 60 | \end{remark}
 61 | 
 62 | \begin{theorem}[切比雪夫大数定律]
 63 |   若$\{X_n\}$为\emph{两两互不相关}的随机变量序列，
 64 |   且存在常数$C$，使得对每个随机变量$X_k$，
 65 |   $\mvar(X_k)\le C\ (k=1,2,\dots)$
 66 |   则$\{X_n\}$服从大数定律。
 67 | \end{theorem}
 68 | 
 69 | \begin{theorem}[辛钦大数定律]
 70 |   若随机变量序列$\{X_n\}$独立同分布，
 71 |   且数学期望$\mexpect[X_k]=\mu\ (k=1,2,\dots)$均存在，
 72 |   则$\{X_n\}$服从大数定律，即
 73 |   \begin{displaymath}
 74 |     \frac{1}{n}\sum_{k=1}^n X_k \mprto
 75 |       \frac{1}{n}\sum_{k=1}^{n}\mexpect[X_k] = \mu
 76 |   \end{displaymath}
 77 | \end{theorem}
 78 | 
 79 | \begin{remark}
 80 |   该定理从理论上指出：用算术平均值来近似实际真值是合理的。
 81 | \end{remark}
 82 | 
 83 | \begin{theorem}[伯努利大数定律]
 84 |   设$n_A$为$n$重伯努利试验中事件$A$发生的次数，则
 85 |   \begin{displaymath}
 86 |     \frac{n_A}{n}\mprto P(A)
 87 |   \end{displaymath}
 88 | \end{theorem}
 89 | 
 90 | \begin{remark}
 91 |   该定理给出了频率的稳定性的严格的数学意义，
 92 |   即频率$\mprto$概率。
 93 | \end{remark}
 94 | 
 95 | \section{中心极限定理}
 96 | 本小节主要讨论中心极限定理的定义和相关定理。
 97 | 
 98 | \subsection{中心极限定理的定义}
 99 | \begin{definition}[中心极限定理]
100 |   设$\{X_n\}$为独立随机变量序列，
101 |   且$\mexpect[X_k],\mvar(X_k)\ (k=1,2,\dots)$存在。
102 |   令$Z_n$为$\sum_{k=1}^nX_k$标准化随机变量，即
103 |   \begin{displaymath}
104 |     Z_n = \frac{\sum_{k=1}^{n}X_k - \sum_{k=1}^{n}\mexpect[X_k]}
105 |       {\sqrt{\sum_{k=1}^{n}\mvar(X_k)}}
106 |   \end{displaymath}
107 |   若对任意$x\in\mfR$，有
108 |   \begin{displaymath}
109 |     \lim_{n\to\infty} P(Z_n\le x) =
110 |       \frac{1}{2\pi}\mintcumto{x} e^{-\frac{t^2}{2}}dt = \Phi(x)
111 |   \end{displaymath}
112 |   则称$\{X_n\}$服从\textbf{中心极限定理}。
113 | \end{definition}
114 | 
115 | \begin{remark}
116 |   中心极限定理指的是$\sum_{k=1}^n X_k$的极限分布是正态分布。
117 |   另外注意，尽管中心极限定理叫``定理''，但它和大数定律一样都是``定义''层面上的。
118 | \end{remark}
119 | 
120 | \subsection{中心极限定理的相关定理}
121 | 
122 | \begin{theorem}[林德贝格-勒维中心极限定理(独立同分布情形)]
123 |   设$\{X_n\}$独立同分布，
124 |   且$\mexpect[X_k]=\mu,\mvar(X_k)=\sigma^2\ (k=1,2,\dots)$，
125 |   则$\{X_n\}$服从中心极限定理，即
126 |   \begin{displaymath}
127 |     \lim_{n\to\infty}P\left(\frac{\sum_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}
128 |       \le x\right) = \Phi(x)
129 |   \end{displaymath}
130 | \end{theorem}
131 | 
132 | \begin{remark}
133 |   该定理说明，对于独立同分布的随机序列$\{X_n\}$，
134 |   它们的和$\sum_{k=1}^n X_k$近似服从于$N(n\mu, n\sigma^2)$。
135 | \end{remark}
136 | 
137 | \begin{theorem}[德莫佛-拉普拉斯中心极限定理(伯努利情形)]
138 |   设$\mu_n$是$n$重伯努利试验中事件$A$发生的次数，记
139 |   $p=P(A)$，则对任意$x\in\mfR$，有
140 |   \begin{displaymath}
141 |     \lim_{n\to\infty}P\left(\frac{\mu_n-np}{\sqrt{np(1-p)}}
142 |       \le x\right) = \Phi(x)
143 |   \end{displaymath}
144 | \end{theorem}
145 | 
146 | \begin{corollary}
147 |   设$\mu_n\sim B(n,p)$。当$n$充分大时，
148 |   \begin{displaymath}
149 |     P(a < \mu_n \le b) \approx
150 |       \Phi\left(\frac{b-np}{\sqrt{np(1-p)}}\right)
151 |       - \Phi\left(\frac{a-np}{\sqrt{np(1-p)}}\right)
152 |   \end{displaymath}
153 | \end{corollary}
154 | 
155 | \begin{remark}
156 |   这个公式给出了$n$较大时二项分布的概率计算方法
157 | \end{remark}
158 | 
159 | \subsection{大数定律与中心极限定理的比较}
160 | 对于独立同分布的随机变量序列$\{X_n\}$，
161 | 大数定律描述了其均值(或和)在$n\to\infty$的趋势，
162 | 中心极限定理则能给出给定$n$与$x$时的具体概率近似。
163 | 


--------------------------------------------------------------------------------
/Probability/NumericalCharacteristics.tex:
--------------------------------------------------------------------------------
  1 | \chapter{随机变量的数字特征}
  2 | 
  3 | \section{数学期望}
  4 | 本小节首先分别给出离散型和连续型随机变量的数学期望的定义，
  5 | 然后讨论数学期望的性质，以及条件期望。
  6 | 
  7 | \subsection{离散型随机变量的数学期望}
  8 | \begin{definition}[离散型随机变量的数学期望]
  9 |   设$X$为离散型随机变量，分布律为$P(X=x_i)=p_i\ (i=1,2,\dots)$。
 10 |   若级数$\sum_{i=1}^{\infty}x_ip_i$绝对收敛，
 11 |   则称$\sum_{i=1}^{\infty}x_ip_i$为$X$的\textbf{数学期望}，
 12 |   记为$\mexpect[X]$，即
 13 |   \begin{displaymath}
 14 |     \mexpect[X] = \sum_{i=1}^{\infty}x_ip_i
 15 |   \end{displaymath}
 16 |   若$\sum_{i=1}^{\infty}|x_i|p_i$发散，
 17 |   则称$X$的数学期望不存在。
 18 | \end{definition}
 19 | 
 20 | \begin{theorem}[离散非负随机变量的期望的其它计算方法]
 21 |   设$X$是取值为非负整数的离散随机变量，则
 22 |   \begin{displaymath}
 23 |     \mexpect[X] = \sum_{i=1}^{\infty} P(X\ge i)
 24 |   \end{displaymath}
 25 | \end{theorem}
 26 | 
 27 | \subsection{连续型随机变量的数学期望}
 28 | \begin{definition}[连续型随机变量的数学期望]
 29 |   设连续型随机变量$X$的概率密度为$p(x)$，
 30 |   若积分$\mintall xp(x)dx$绝对收敛，
 31 |   则称该积分为$X$的\textbf{数学期望}，记为$\mexpect[X]$，即
 32 |   \begin{displaymath}
 33 |     \mexpect[X] = \mintall xp(x)dx
 34 |   \end{displaymath}
 35 |   若积分$\mintall |x|p(x)dx$发散，
 36 |   则称$X$的数学期望不存在。
 37 | \end{definition}
 38 | 
 39 | \subsection{数学期望的性质}
 40 | \begin{theorem}[数学期望的性质]
 41 |   数学期望有如下一些性质：
 42 |   \begin{enumerate}
 43 |     \item 线性性质：
 44 |     $\mexpect[X+Y] = \mexpect[X] + \mexpect[Y]$，
 45 |     $\mexpect[cX] = c\mexpect[X]$
 46 |     \item
 47 |     如果$f(x)$是凸函数，那么
 48 |     \begin{displaymath}
 49 |       \mexpect[f(X)] \ge f(\mexpect[X])
 50 |     \end{displaymath}
 51 |   \end{enumerate}
 52 | \end{theorem}
 53 | 
 54 | \begin{theorem}
 55 |   设连续型随机变量$X$的密度函数为$p(x)$。
 56 |   若$g(x)$连续，那么
 57 |   \begin{displaymath}
 58 |     \mexpect[g(X)] = \mintall g(x)p(x)dx
 59 |   \end{displaymath}
 60 |   类似地，设$X,Y$是连续型随机变量，联合密度为$p(x,y)$。
 61 |   若$g(x,y)$连续，那么
 62 |   \begin{displaymath}
 63 |     \mexpect[g(X,Y)] = \mintall\mintall g(x,y)p(x,y)dxdy
 64 |   \end{displaymath}
 65 | \end{theorem}
 66 | 
 67 | \subsection{条件期望}
 68 | \begin{definition}[离散型随机变量的条件期望]
 69 |   在事件$A$的条件下，离散型随机变量$X$的条件期望定义为
 70 |   \begin{displaymath}
 71 |     \mexpect[X|A] = \sum_{x} xP(X=x|A)
 72 |   \end{displaymath}
 73 | \end{definition}
 74 | 
 75 | \begin{theorem}[全期望公式]
 76 |   设事件$A_1,A_2,\dots,A_n$是概率空间的一个划分，
 77 |   则对于随机变量$X$，有
 78 |   \begin{displaymath}
 79 |     \mexpect[X] = \sum_{i=1}^n P(A_i)\mexpect[X|A_i]
 80 |   \end{displaymath}
 81 | \end{theorem}
 82 | 
 83 | \begin{theorem}[条件期望的线性性质]
 84 |   对于有限个随机变量$X_1,X_2,\dots,X_n$，
 85 |   以及常数$c_1,c_2,\dots,c_n$，有
 86 |   \begin{displaymath}
 87 |     \mexpect\left[\sum_{i=1}^{n}c_iX_i\bigg|A\right] =
 88 |       \sum_{i=1}^{n}c_i\mexpect[X|A]
 89 |   \end{displaymath}
 90 | \end{theorem}
 91 | 
 92 | \begin{theorem}[条件期望定义的随机变量]
 93 |   如果$X$和$Y$是随机变量，
 94 |   那么$\mexpect[X|Y]$是随机变量$Y$的函数。
 95 |   且拥有性质
 96 |   \begin{displaymath}
 97 |     \mexpect\left[\mexpect[X|Y]\right] = \mexpect[X]
 98 |   \end{displaymath}
 99 | \end{theorem}
100 | 
101 | \section{方差\ 协方差\ 相关系数}
102 | 本小节主要讨论：方差，协方差，相关系数与相关性。
103 | 
104 | \subsection{方差}
105 | \begin{definition}[中位数]
106 |   设$X$为随机变量。对于$m\in\mfR$，若
107 |   $P(X\ge m) \ge 1/2$且$P(X\le m) \ge 1/2$。
108 |   则称$m$为$X$的\textbf{中位数}。
109 | \end{definition}
110 | 
111 | \begin{definition}[方差与标准差]
112 |   设$X$是一个随机变量，
113 |   若$\mexpect[(X-\mexpect[X])^2]$存在，
114 |   则称$\mexpect[(X-\mexpect[X])^2]$为$X$的\textbf{方差}，
115 |   记为$\mvar(X)$，即
116 |   \begin{displaymath}
117 |     \mvar(X) = \mexpect\left[(X-\mexpect[X])^2\right]
118 |   \end{displaymath}
119 |   此外，称$\sqrt{\mvar(X)}$为\textbf{标准差}，记为$\msdev(X)$。
120 | \end{definition}
121 | 
122 | \begin{theorem}[方差的其它计算方法]
123 |   设$X$是随机变量，则
124 |   \begin{displaymath}
125 |     \mvar(X) = \mexpect\left[X^2\right]-\mexpect[X]^2
126 |   \end{displaymath}
127 | \end{theorem}
128 | 
129 | \begin{theorem}[方差的性质]
130 |   设$C$为常数，$X$为随机变量，则：
131 |   \begin{enumerate}
132 |     \item
133 |     $\mvar(C)=0$
134 |     \item
135 |     $\mvar(CX)=C^2\mvar(X)$
136 |   \end{enumerate}
137 | \end{theorem}
138 | 
139 | \begin{remark}
140 |   方差不具有线性性质。
141 | \end{remark}
142 | 
143 | \subsection{协方差}
144 | \begin{definition}[协方差]
145 |   定义随机变量$X$和$Y$间的\textbf{协方差}为
146 |   \begin{align*}
147 |     \mcov(X,Y)
148 |     &=\mexpect[(X-\mexpect[X])(Y-\mexpect[Y])] \\
149 |     &= \mexpect[XY] - \mexpect[X]\mexpect[Y]
150 |   \end{align*}
151 |   特别地，$\mcov(X,X)=\mvar(X)$。
152 | \end{definition}
153 | 
154 | \begin{theorem}[协方差的性质]
155 |   协方差有如下一些性质：
156 |   \begin{enumerate}
157 |     \item
158 |     $\mcov(X,C) = 0$，其中$C$为常数。
159 |     \item
160 |     $\mcov(X,Y) = \mcov(Y,X)$
161 |     \item
162 |     $\mcov(aX,bY)=ab\mcov(X,Y)$，其中$a,b$为常数。
163 |     \item
164 |     $\mcov(X_1+X_2,Y)=\mcov(X_1,Y)+\mcov(X_2,Y)$
165 |     \item
166 |     $\mvar(X\pm Y)=\mvar(X)+\mvar(Y)\pm 2\mcov(X,Y)$
167 |   \end{enumerate}
168 | \end{theorem}
169 | 
170 | \begin{theorem}[相互独立的随机变量的协方差]
171 |   若随机变量$X,Y$独立，则
172 |   \begin{displaymath}
173 |     \mcov(X,Y) = 0
174 |   \end{displaymath}
175 |   亦即$\mexpect[XY]=\mexpect[X]\mexpect[Y]$，
176 |   所以$\mvar(X\pm Y) = \mvar(X)\pm \mvar(Y)$。
177 | \end{theorem}
178 | 
179 | \begin{remark}
180 |   反之并不成立，即$\mcov(X,Y)=0$并不意味着$X,Y$相互独立。
181 | \end{remark}
182 | 
183 | \begin{theorem}[随机变量和的方差]
184 |   对于有限个随机变量$X_1,X_2,\dots,X_n$，
185 |   \begin{align*}
186 |     \mvar\left(\sum_{i=1}^{n}X_i\right)
187 |     &= \sum_{i=1}^{n}\mvar(X) + 2\sum_{1\le i<j\le n}\mcov(X_i,X_j) \\
188 |     &= \sum_{\substack{1\le i\le n \\ 1\le j\le n}}\mcov(X_i,X_j)
189 |   \end{align*}
190 |   特别地，若$X_1,X_2,\dots,X_n$两两独立，则
191 |   \begin{displaymath}
192 |     \mvar\left(\sum_{i=1}^{n}X_i\right) = \sum_{i=1}^{n}\mvar(X_i)
193 |   \end{displaymath}
194 | \end{theorem}
195 | 
196 | \subsection{相关系数} \label{subsec:correlation-coefficent}
197 | \begin{definition}[标准化随机变量]
198 |   设随机变量$X$的期望$\mexpect[X]$和方差$\mvar(X)$，则
199 |   \begin{displaymath}
200 |     \widetilde{X} = X-\mexpect[X]
201 |   \end{displaymath}
202 |   被称为$X$的\textbf{中心化随机变量}，
203 |   \begin{displaymath}
204 |     X^* = \frac{X-\mexpect[X]}{\sqrt{\mvar(X)}}
205 |   \end{displaymath}
206 |   被称为$X$的\textbf{标准化随机变量}。
207 | \end{definition}
208 | 
209 | \begin{remark}
210 |   随机变量标准化的目的是使期望为0，方差为1。
211 | \end{remark}
212 | 
213 | \begin{definition}[相关系数]
214 |   对随机变量$X,Y$，设$\mvar(X)>0,\mvar(Y)>0$均存在，则称
215 |   \begin{displaymath}
216 |     \rho_{XY}=\frac{\mcov(X,Y)}{\sqrt{\mvar(X)\mvar(Y)}}
217 |   \end{displaymath}
218 |   为$X$和$Y$的\textbf{相关系数}。
219 |   在不引起混淆时，记$\rho_{XY}$为$\rho$。
220 | \end{definition}
221 | 
222 | \begin{remark}
223 |   记$X,Y$的标准化随机变量为$X^*,Y^*$，则有
224 |   \begin{displaymath}
225 |     \rho_{XY}=\mcov(X^*,Y^*)
226 |   \end{displaymath}
227 | \end{remark}
228 | 
229 | \begin{theorem}[柯西-施瓦兹(Cauchy-Schwartz)不等式]
230 |   设$X,Y$为随机变量，则
231 |   \begin{displaymath}
232 |     \mexpect[XY]^2 \le \mexpect[X^2]\mexpect[Y^2]
233 |   \end{displaymath}
234 | \end{theorem}
235 | 
236 | \begin{theorem}[相关系数的性质]
237 |   对随机变量$X,Y$，设$\rho_{XY}$为它们的相关系数，则
238 |   $|\rho_{XY}|\le 1$，即$\mcov(X,Y)^2 \le \mvar(X)\mvar(Y)$。
239 | \end{theorem}
240 | 
241 | \begin{remark}
242 |   由柯西施瓦兹不等式直接得证。
243 | \end{remark}
244 | 
245 | \begin{theorem}
246 |   $|\rho_{XY}|=1$当且仅当存在常数$a,b$，使得
247 |   \[ P(Y=aX+b) = 1 \]
248 |   即$X$与$Y$有线性关系的概率为1。
249 | \end{theorem}
250 | 
251 | \begin{theorem}[相关性]
252 |   对随机变量$X,Y$，
253 |   \begin{itemize}
254 |     \item
255 |     若$|\rho_{XY}|=1$，
256 |     则称$X,Y$\textbf{线性相关}。
257 |     \begin{itemize}
258 |       \item
259 |       若$\rho_{XY}=1$，则称$X,Y$\textbf{正相关}。
260 |       \item
261 |       若$\rho_{XY}=-1$，则称$X,Y$\textbf{负相关}。
262 |     \end{itemize}
263 |     \item
264 |     $|\rho_{XY}|=0$表示$X$与$Y$不存在线性关系，称为\textbf{不相关}。
265 |   \end{itemize}
266 | \end{theorem}
267 | 
268 | \begin{remark}
269 |   $\rho_{XY}$表示$X$与$X$存在线性关系的强弱程度。
270 |   $|\rho_{XY}|$越大，则$X$与$Y$线性关系越强，反之越弱。
271 | \end{remark}
272 | 
273 | \begin{theorem}[独立与不相关]
274 |   设$X,Y$为随机变量，则
275 |   \begin{center}
276 |     \begin{tabular}{cccl}
277 |       \multirow{4}{*}{$X,Y$独立} &
278 |       \multirow{4}{*}{$\Longrightarrow$} &
279 |       \multirow{4}{*}{$X,Y$不相关} &
280 |       $\iff \rho_{XY}=0$ \\
281 |       & & & $\iff \mcov(X,Y)=0$ \\
282 |       & & & $\iff \mexpect[XY]=\mexpect[X]\mexpect[Y]$ \\
283 |       & & & $\iff \mvar(X+Y)=\mvar(X)+\mvar(Y)$ \\
284 |     \end{tabular}
285 |   \end{center}
286 | \end{theorem}
287 | 
288 | \begin{remark}
289 |   $X,Y$不相关指的是$X,Y$不存在线性关系，不代表$X,Y$独立。
290 | \end{remark}
291 | 
292 | \section{集中度(Concentration of measure)}
293 | 本小节主要介绍几个衡量尾分布的不等式。
294 | 
295 | \subsection{马尔可夫不等式}
296 | \begin{theorem}[马尔科夫不等式]
297 |   设随机变量$X$非负，则对任意$a>0$，有
298 |   \begin{displaymath}
299 |     P(X\ge a) \le \frac{\mexpect[X]}{a}
300 |   \end{displaymath}
301 | \end{theorem}
302 | 
303 | \begin{theorem}[马尔科夫不等式的推广]
304 |   设$X$为随机变量，$f(X)$为取值非负的实函数，则对任意$a>0$，有
305 |   \begin{displaymath}
306 |     P(f(X)\ge a) \le \frac{\mexpect[f(X)]}{a}
307 |   \end{displaymath}
308 | \end{theorem}
309 | 
310 | \subsection{切比雪夫不等式}
311 | \begin{theorem}[切比雪夫不等式]
312 |   设$X$为随机变量，则对任意$a>0$，有
313 |   \begin{displaymath}
314 |     P\left(|X-\mexpect[X]|>a\right) \le \frac{\mvar(X)}{a^2}
315 |   \end{displaymath}
316 | \end{theorem}


--------------------------------------------------------------------------------
/Probability/RandomEventAndProbability.tex:
--------------------------------------------------------------------------------
  1 | \chapter{随机事件与概率}
  2 | 
  3 | \section{随机事件与运算}
  4 | 本小节首先用集合的概念来定义样本空间与随机事件。
  5 | 然后介绍事件之间的关系与运算——类似于集合的关系与运算。
  6 | 
  7 | \subsection{随机事件与样本空间}
  8 | \begin{definition}[随机现象]
  9 |   具有不确定性的现象叫做\textbf{随机现象}。
 10 | \end{definition}
 11 | 
 12 | \begin{definition}[随机试验]
 13 |   对随机现象的一次观测叫做\textbf{随机试验}。
 14 | \end{definition}
 15 | 
 16 | \begin{definition}[样本点]
 17 |   随机试验的一次结果叫做\textbf{样本点}，记作$\omega$。
 18 | \end{definition}
 19 | 
 20 | \begin{definition}[样本空间]
 21 |   随机试验所有可能的样本点的集合叫做\textbf{样本空间}，记作$\Omega$。
 22 | \end{definition}
 23 | 
 24 | \begin{definition}[随机事件]
 25 |   样本空间的一个子集叫做\textbf{随机事件}。
 26 | \end{definition}
 27 | 
 28 | \begin{remark}
 29 |   随机事件本质上是集合。
 30 |   所以\textbf{必然事件}就是样本空间本身。
 31 |   \textbf{不可能事件}就是空集。
 32 | \end{remark}
 33 | 
 34 | \subsection{事件的关系与运算}
 35 | 
 36 | \begin{definition}[事件的关系]
 37 |   事件有如下三种关系：
 38 |   \begin{description}
 39 |     \item[包含]
 40 |     若事件$A$发生必然导致事件$B$发生，则称$B$包含$A$，
 41 |     记作$A\subset B$。
 42 |     \item[相等]
 43 |     若$A\subset B$且$B\subset A$，则称$A$与$B$相等，
 44 |     记作$A=B$。
 45 |     \item[互斥]
 46 |     若事件$A$和事件$B$不可能同时发生，即$A\cap B=\varnothing$，
 47 |     则称$A$与$B$互斥，也称$A$与$B$互不相容。
 48 |   \end{description}
 49 | \end{definition}
 50 | 
 51 | \begin{definition}[事件的运算]
 52 |   事件有如下一些运算：
 53 |   \begin{description}
 54 |     \item[事件的并]
 55 |     事件$A$和事件$B$至少有一个会发生的事件称为$A$和$B$的并，记作$A\cup B$。
 56 |     $n$个事件$A_1,\dots,A_n$中至少有一个会发生的事件称为$A_1,\dots,A_n$的并，
 57 |     记作$\bigcup_{i=1}^n A_i$。
 58 |     \item[事件的交]
 59 |     事件$A$和事件$B$同时发生的事件称为$A$和$B$的交，
 60 |     记作$A\cap B$或简记为$AB$。
 61 |     $n$个事件$A_1,\dots,A_n$中同时发生的事件称为$A_1,\dots,A_n$的交，
 62 |     记作$\bigcap_{i=1}^n A_i$。
 63 |     \item[对立事件]
 64 |     事件$A$不发生的事件称为$A$的对立事件，记作$\mcmpl{A}$。
 65 |     \item[事件的差]
 66 |     事件$A$发生而事件$B$不发生的事件称为$A$与$B$的差，
 67 |     记作$A-B$或$A\mcmpl{B}$。
 68 |   \end{description}
 69 | \end{definition}
 70 | 
 71 | 事件运算的规律参考集合运算的规律。
 72 | 
 73 | \section{概率的概念与性质}
 74 | 我们首先介绍一下频率的概念，与概率作区分。
 75 | 然后使用公理化的方法给出概率的定义。
 76 | 最后介绍概率常用的性质。
 77 | 
 78 | \subsection{频率的概念与性质}
 79 | \begin{definition}[频率]
 80 |   在相同的条件下进行$n$次试验，
 81 |   其中事件$A$发生的次数$n_A$称为$A$发生的\textbf{频数}。
 82 |   比值$n_A/n$称为$A$发生的\textbf{频率}，记作$f_n(A)$，即
 83 |   \[ f_n(A) = \frac{n_A}{n} \]
 84 | \end{definition}
 85 | 
 86 | \begin{theorem}[频率的性质]
 87 |   频率满足下面一些性质：
 88 |   \begin{enumerate}
 89 |     \item
 90 |     $0 \le f_n(A) \le 1$
 91 |     \item
 92 |     $f_n(\Omega) = 1$
 93 |     \item
 94 |     若$A_1,\dots,A_n$两两互不相容，那么
 95 |     $f_n\left(\bigcup_{i=1}^n A_i\right) = \sum_{i=1}^n f_n(A_i)$。
 96 |   \end{enumerate}
 97 | \end{theorem}
 98 | 
 99 | \subsection{概率的概念与性质}
100 | \begin{definition}[概率]
101 |   在随机试验的样本空间$\Omega$上，对每一个事件$A$赋予一个实数，
102 |   记为$P(A)$，称为事件$A$的\textbf{概率}，满足：
103 |   \begin{enumerate}
104 |     \item 非负性：
105 |     $P(A)\ge 0$
106 |     \item 规范型：
107 |     $P(\Omega) = 1$
108 |     \item 可列可加性：
109 |     若$A_1,\dots,A_n,\dots$两两互不相容，则
110 |     \begin{displaymath}
111 |       P\left(\bigcup_{i=1}^\infty A_i\right)=\sum_{i=1}^\infty P(A_i)
112 |     \end{displaymath}
113 |   \end{enumerate}
114 | \end{definition}
115 | 
116 | \begin{theorem}[概率的性质]
117 |   从概率的公理化定义能推出下面的性质：
118 |   \begin{enumerate}
119 |     \item
120 |     $P(\varnothing) = 0$
121 |     \item
122 |     若$A_1,\dots,A_n$两两互不相容，则
123 |     \begin{displaymath}
124 |     P\left(\bigcup_{i=1}^n A_i\right)=\sum_{i=1}^n P(A_i)
125 |     \end{displaymath}
126 |     \item
127 |     $P(B-A) = P(B) - P(BA)$
128 |     \item
129 |     $P(\mcmpl{A}) = 1 - P(A)$
130 |     \item
131 |     $P(A\cup B) = P(A) + P(B) - P(AB)$
132 |     \item
133 |     容斥原理：
134 |     \begin{align*}
135 |       P\left(\bigcup_{i=1}^n A_i\right)
136 |       &= \sum_{i=1}^n P(A_i) - \sum_{1\le i<j\le n} P(A_iA_j)
137 |       + \sum_{1\le i<j<k\le n} P(A_iA_jA_k) \\
138 |       &+ \dots + (-1)^{n-1}P(A_1A_2\dots A_n)
139 |     \end{align*}
140 |     \item
141 |     Union Bound(也称Boole不等式):
142 |     \begin{displaymath}
143 |       P\left(\bigcup_i A_i\right) \le \sum_i P(A_i)
144 |     \end{displaymath}
145 |   \end{enumerate}
146 | \end{theorem}
147 | 
148 | \begin{remark}
149 |   Union Bound在随机算法分析中是很常用的放缩手段，需要特别留意。
150 | \end{remark}
151 | 
152 | \section{两个基本概型}
153 | 下面介绍两个基本概型：古典概型与几何概型。
154 | 
155 | \subsection{古典概型}
156 | 有这样一类试验，它们的共同特点是样本空间的元素只有有限个，
157 | 每个基本事件发生的可能性相同。
158 | 这类试验被称为\textbf{等可能概型}，又称为\textbf{古典概型}。
159 | 
160 | 在古典概型下，
161 | \begin{displaymath}
162 |   P(A)=\frac{\text{$A$包含的样本点数}}{\text{$\Omega$包含的样本点数}}
163 |   =\frac{|A|}{|\Omega|}
164 | \end{displaymath}
165 | 概率计算等价于计数问题。
166 | 
167 | \subsection{几何概型}
168 | 设有一个可度量区域$\Omega$。
169 | 向$\Omega$内任意投点$M$，$M$落于$\Omega$内任一点等可能，
170 | 且落在$\Omega$内任何子区域$A$内上的可能性与$A$的度量成正比，
171 | 而与$A$的位置和形状无关，则称该试验为\textbf{几何概型试验}。
172 | 定义$M$落在$A$中的概率为
173 | \begin{displaymath}
174 |   P(A) = \frac{\text{$A$的几何测度}}{\text{$\Omega$的几何测度}}
175 | \end{displaymath}
176 | 
177 | \section{条件概率}
178 | 
179 | \subsection{条件概率的概念}
180 | \begin{definition}[条件概率]
181 |   设$A,B$是两个事件，且$P(B)>0$，则称
182 |   \begin{displaymath}
183 |     P(A|B) = \frac{P(AB)}{P(B)}
184 |   \end{displaymath}
185 |   为事件$B$发生的条件下，事件$A$的\textbf{条件概率}。
186 | \end{definition}
187 | 
188 | \begin{remark}
189 |   $P(\cdot|B)$满足概率的定义，
190 |   所以概率的性质对条件概率仍使用。
191 | \end{remark}
192 | 
193 | \subsection{条件概率的公式}
194 | \begin{theorem}[乘法公式]
195 |   对于事件$A$和$B$，根据条件概率的定义，直接有
196 |   \begin{displaymath}
197 |     P(AB) = P(A)P(B|A) = P(B)P(A|B)
198 |   \end{displaymath}
199 |   推广至事件$A_1,A_2,A_3,\dots,A_n$，有
200 |   \begin{displaymath}
201 |     P(A_1A_2\cdots A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)
202 |     \cdots P(A_n|A_1A_2\cdots A_{n-1})
203 |   \end{displaymath}
204 | \end{theorem}
205 | 
206 | \begin{definition}[样本空间的划分]
207 |   设$\Omega$为试验$E$的样本空间，$A_1,A_2,\dots,A_n$为$E$的一组事件。
208 |   若满足
209 |   \begin{enumerate}
210 |     \item
211 |     $A_1,A_2,\dots,A_n$两两互不相容
212 |     \item
213 |     $\bigcup_{i=1}^n A_i = \Omega$
214 |   \end{enumerate}
215 |   则称$A_1,A_2,\dots,A_n$为样本空间$\Omega$的一个划分。
216 | \end{definition}
217 | 
218 | \begin{theorem}[全概率公式]
219 |   设事件$A_1,A_2,\dots,A_n$是概率空间$\Omega$的一个划分，
220 |   且它们的概率都不为零，则对任意事件$B$，有
221 |   \begin{displaymath}
222 |     P(B) = \sum_{i=1}^nP(A_i)P(B|A_i)
223 |   \end{displaymath}
224 | \end{theorem}
225 | 
226 | \begin{remark}
227 |   我们把事件$B$看作某一过程的结果，
228 |   把$A_1,A_2,\dots,A_n$看作该过程的若干个原因。
229 |   全概率公式告诉我们，如果
230 |   \begin{enumerate}
231 |     \item
232 |     每一原因发生的概率已知(即$P(A_i)$已知)，
233 |     \item
234 |     每一原因对结果的影响已知(即$P(B|A_i)$已知)，
235 |   \end{enumerate}
236 |   那么即可求出结果发生的概率$P(B)$。
237 | \end{remark}
238 | \begin{theorem}[贝叶斯公式]
239 |   设事件$A_1,A_2,\dots,A_n$是概率空间$\Omega$的一个划分，
240 |   且它们的概率都不为零，则
241 |   \begin{align*}
242 |     P(A_i|B) &= \frac{P(A_iB)}{P(B)} \\
243 |     &= \frac{P(A_i)P(B|A_i)}{\sum_{k=1}^n P(A_k)P(B|A_k)}
244 |   \end{align*}
245 | \end{theorem}
246 | 
247 | \begin{remark}
248 |   我们把事件$B$看作某一过程的结果，
249 |   把$A_1,A_2,\dots,A_n$看作该过程的若干个原因。
250 |   贝叶斯公式告诉我们，如果
251 |   \begin{enumerate}
252 |     \item
253 |     每一原因发生的概率已知(即$P(A_k)$已知)，
254 |     \item
255 |     每一原因对结果的影响已知(即$P(B|A_k)$已知)，
256 |   \end{enumerate}
257 |   那么就能求出$B$由第$i$个原因引起的概率$P(A_i|B)$。
258 | \end{remark}
259 | 
260 | \subsection{独立性}
261 | \begin{definition}[两个随机事件的相互独立性]
262 |   若随机事件$A,B$满足
263 |   \begin{displaymath}
264 |     P(AB)=P(A)P(B)
265 |   \end{displaymath}
266 |   则称$A$与$B$\textbf{相互独立}。
267 | \end{definition}
268 | 
269 | \begin{theorem}[两个随机事件相互独立的充要条件]
270 |   事件$A,B$相互独立当且仅当
271 |   \begin{displaymath}
272 |     P(A|B) = P(A)
273 |   \end{displaymath}
274 | \end{theorem}
275 | 
276 | \begin{theorem}[相互独立与互不相容的关系]
277 |   设$A,B$是两个概率不为零的随机事件，那么
278 |   \begin{enumerate}
279 |     \item 
280 |     若$A,B$相互独立，则它们不可能互不相容。
281 |     \item 
282 |     若$A,B$互不相容，则它们不可能相互独立。
283 |   \end{enumerate}
284 | \end{theorem}
285 | 
286 | \begin{definition}[$n$个事件的相互独立性]
287 |   设$A_1,A_2,\dots,A_n$为$n$个随机事件，
288 |   如果对于任意集合$S \subset[n]$，有
289 |   \begin{displaymath}
290 |     P\left(\bigcap_{i\in S} A_i\right) = \prod_{i\in S}P(A_i)
291 |   \end{displaymath}
292 |   则称$A_1,A_2,\dots,A_n$相互独立。
293 | \end{definition}
294 | 
295 | \begin{remark}
296 |   $n$个事件相互独立，则其中任意$k$个事件也相互独立，反之不成立。
297 | \end{remark}
298 | 


--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
 1 | # 简介
 2 | 心血来潮想把之前上的数学课笔记做成电子版，
 3 | 于是开了这个坑。希望我能慢慢填完吧，
 4 | 毕竟纸质笔记的格式要转换过来不是那么一一对应的。
 5 | 详略程度也要适当把握一下。
 6 | 
 7 | # 最新
 8 | - (2020/6/10) 要毕业了。大概彻底弃坑了哈哈哈。目前的内容以pdf形式发布在了[Release](https://github.com/QinlinChen/MathNotes/releases)中。
 9 | - (2019/7/19) 忘记把笔记本带回家了。咕咕咕。
10 | - (2019/6/10) 这学期太忙了，微积分又断更了Orz。暑假再说吧。
11 | - (2019/3/31) 开始周更微积分。
12 | - (2019/2/8) 今天又想把机器学习相关的数学加进来了。
13 |   说起来做这个笔记的另一个动力就是为了复习机器学习的数学基础，
14 |   没想到还差些矩阵向量求导、SVD等内容。
15 |   不过还是等我忙完要学习的内容再说吧。
16 | - (2019/2/3) 目前已经完成了线性代数、概率论和数理统计部分的笔记。
17 |   接下来会放一段时间。等开学了慢慢补完微积分。
18 | 
19 | # 结构
20 | 主要与有四个模块：
21 | - 微积分 (施工中)
22 | - 线性代数 (已完成)
23 | - 概率论 (已完成)
24 | - 数理统计 (已完成)
25 | 
26 | 还有一些我上过但当时没做笔记所以如果要整理出来必然是大工程的数学课有：
27 | - 图论
28 | - 抽象代数
29 | 
30 | 前四个模块在tex结构中对应的是`part`。
31 | 我为它们建立好了对应的目录。
32 | 每个模块的每一章应该独立成一个tex文件放在对应模块的目录中，
33 | 并通过`\include`指令加入到`main.tex`文件。
34 | 可以查看`main.tex`文件查看我已经部分施工的内容。
35 | 
36 | 图论和抽象代数属于计划外，有人愿意的话可以帮我补全吧
37 | 
38 | 此外，我在`main.tex`开头也定义了一些数学command。
39 | 命名规则还在探索中。
40 | 
41 | # 编译与发布
42 | 为了减少git控制文件的大小，我就不把pdf文件放上来了。
43 | 
44 | release里面有按阶段编译的pdf文件，
45 | 但是如果发现有笔误的话，我只会修改tex文件，
46 | 新编译的pdf文件只会时不时地更新到release里面。
47 | 
48 | 如果要更新到最新内容，可以自行用`xelatex`指令对`main.tex`编译两次得到pdf文件(或者配置使用TexStudio一件编译)。


--------------------------------------------------------------------------------
/main.tex:
--------------------------------------------------------------------------------
  1 | \documentclass[oneside,a4paper,UTF8]{ctexbook}
  2 | 
  3 | \usepackage{amsmath}
  4 | \usepackage{amsfonts}
  5 | \usepackage{amssymb}
  6 | \usepackage{amsthm}
  7 | \usepackage{textcomp}
  8 | \usepackage{bm}
  9 | \usepackage{diagbox}
 10 | \usepackage{extarrows}
 11 | \usepackage{multirow}
 12 | \usepackage{booktabs}
 13 | \usepackage{makeidx}
 14 | \usepackage{url}
 15 | \usepackage[colorlinks,urlcolor=blue]{hyperref}
 16 | \makeindex
 17 | 
 18 | \theoremstyle{definition} \newtheorem{definition}{定义}[chapter]
 19 | \theoremstyle{definition} \newtheorem{theorem}[definition]{定理}
 20 | \theoremstyle{definition} \newtheorem{lemma}[definition]{引理}
 21 | \theoremstyle{definition} \newtheorem{corollary}[definition]{推论}
 22 | \theoremstyle{remark} \newtheorem*{remark}{Remark}
 23 | 
 24 | % math field begin
 25 | \newcommand{\mf}[1]{\mathbb{#1}}
 26 | \newcommand{\mfN}{\mf{N}}
 27 | \newcommand{\mfZ}{\mf{Z}}
 28 | \newcommand{\mfR}{\mf{R}}
 29 | \newcommand{\mfQ}{\mf{Q}}
 30 | \newcommand{\mfC}{\mf{C}}
 31 | \newcommand{\mfF}{\mf{F}}
 32 | % math field end
 33 | 
 34 | % math matrix begin
 35 | \newcommand{\mm}[1]{\mathbf{#1}}
 36 | \newcommand{\mmA}{\mm{A}}
 37 | \newcommand{\mmB}{\mm{B}}
 38 | \newcommand{\mmC}{\mm{C}}
 39 | \newcommand{\mmE}{\mm{E}}
 40 | \newcommand{\mmM}{\mm{M}}
 41 | \newcommand{\mmI}{\mm{I}}
 42 | \newcommand{\mmP}{\mm{P}}
 43 | \newcommand{\mmQ}{\mm{Q}}
 44 | \newcommand{\mmZero}{\mm{0}}
 45 | \newcommand{\mmat}[2]{\left(\begin{array}{#1} #2 \end{array}\right)}
 46 | \newcommand{\mdet}[2]{\left|\begin{array}{#1} #2 \end{array}\right|}
 47 | \newcommand{\meqs}[2]{\left\{\begin{array}{#1} #2 \end{array}\right.}
 48 | % three elementry row transformations and matrices
 49 | \newcommand{\mTfRowSwi}[2]{#1 \leftrightarrow #2}
 50 | \newcommand{\mTfRowMul}[2]{#1(#2)}
 51 | \newcommand{\mTfRowAdd}[3]{#1 #2 (#3)}
 52 | \newcommand{\mmRowSwi}[2]{\mmP(\mTfRowSwi{#1}{#2})}
 53 | \newcommand{\mmRowMul}[2]{\mmP(\mTfRowMul{#1}{#2})}
 54 | \newcommand{\mmRowAdd}[3]{\mmP(\mTfRowAdd{#1}{#2}{#3})}
 55 | % Basis matrix %
 56 | \newcommand{\mmBasis}[1]{\mmB_{#1}}
 57 | % math matrix end
 58 | 
 59 | % math vector begin
 60 | \newcommand{\mv}[1]{\bm{#1}}
 61 | \newcommand{\mva}{\mv{a}}
 62 | \newcommand{\mvb}{\mv{b}}
 63 | \newcommand{\mvk}{\mv{k}}
 64 | \newcommand{\mvx}{\mv{x}}
 65 | \newcommand{\mvy}{\mv{y}}
 66 | \newcommand{\mvz}{\mv{z}}
 67 | \newcommand{\mvZero}{\mv{0}}
 68 | % math vector end
 69 | 
 70 | % math function begin
 71 | \newcommand{\mfuncname}[1]{\textrm{#1}}
 72 | \newcommand{\mdiag}{\mfuncname{diag}}
 73 | \newcommand{\mdim}{\mfuncname{dim}}
 74 | \newcommand{\mspan}{\mfuncname{span}}
 75 | \newcommand{\mim}{\mfuncname{im}}
 76 | \newcommand{\mker}{\mfuncname{ker}}
 77 | \newcommand{\mtr}{\mfuncname{tr}}
 78 | \newcommand{\mexpect}{\mathbb{E}}
 79 | \newcommand{\mvar}{\mfuncname{Var}}
 80 | \newcommand{\msdev}{\sigma}
 81 | \newcommand{\mcov}{\mfuncname{Cov}}
 82 | % math function end
 83 | 
 84 | % math operator beign
 85 | \newcommand{\mconj}[1]{\overline{#1}}
 86 | \newcommand{\mcmpl}[1]{\overline{#1}} % complement set
 87 | \newcommand{\mbar}[1]{\overline{#1}}
 88 | \DeclareMathOperator*{\argmax}{arg\,max}
 89 | \DeclareMathOperator*{\argmin}{arg\,min}
 90 | \newcommand{\mintcumto}[1]{\int_{-\infty}^{#1}}
 91 | \newcommand{\mintall}{\mintcumto{+\infty}}
 92 | \newcommand{\mpartials}[2]{\frac{\partial #2}{\partial #1}}
 93 | \newcommand{\mpartiall}[1]{\frac{\partial}{\partial #1}}
 94 | % math operator end
 95 | 
 96 | % math symbol begin
 97 | \newcommand{\md}{\textrm{d}}
 98 | \newcommand{\mT}{\textrm{T}}
 99 | \newcommand{\meqdef}{\overset{\text{def}}{=}}
100 | \newcommand{\mprto}{\xrightarrow{P}}
101 | % math symbol end
102 | 
103 | \begin{document}
104 | \author{陈钦霖}
105 | \title{数学笔记}
106 | \date{\today}
107 | 
108 | \maketitle
109 | \tableofcontents
110 | 
111 | \part{微积分}
112 | \include{Calculus/AnalysisFoundation}
113 | \include{Calculus/DifferentialCalculusOfUnaryFunction}
114 | 
115 | \part{线性代数}
116 | \include{LinearAlgebra/Matrix}
117 | \include{LinearAlgebra/Determinant}
118 | \include{LinearAlgebra/VectorAndLinearSystem}
119 | \include{LinearAlgebra/LinearSpaceAndLinearMap}
120 | \include{LinearAlgebra/InnerProductSpaceAndOrthogonality}
121 | \include{LinearAlgebra/QuadraticForm}
122 | 
123 | \part{概率论}
124 | \include{Probability/RandomEventAndProbability}
125 | \include{Probability/DiscreteRandomVariable}
126 | \include{Probability/ContinuousRandomVariable}
127 | \include{Probability/NumericalCharacteristics}
128 | \include{Probability/LimitTheory}
129 | 
130 | \part{数理统计}
131 | \include{MathematicalStatistics/StatisticsAndSamplingDistribution}
132 | \include{MathematicalStatistics/ParameterEstimation}
133 | \include{MathematicalStatistics/HypothesisTest}
134 | 
135 | \include{Calculus/IntegralCalculusOfUnaryFunction}
136 | \include{Calculus/SpaceAnalyticGeometry}
137 | \include{Calculus/DifferentialCalculusOfMultivariateFunction}
138 | \include{Calculus/IntegralCalculusOfMultivariateFunction}
139 | \include{Calculus/ImproperIntegral}
140 | \include{Calculus/InfiniteSeries}
141 | \include{Calculus/OrdinaryDifferentialEquation}
142 | 
143 | % TODO: \printindex
144 | 
145 | \end{document}


--------------------------------------------------------------------------------