36 | 
37 | 
22 |
23 | 2. 对话式教材书写模式,任务驱动型的学习方式,沉浸式体验优化建模的乐趣
24 |
25 | ## 📆课程安排（12天）
26 | > 预计每日学习时长1~2小时.
27 | 1. 线性规划【3天】
28 | 2. 整数规划【2天】
29 | 3. 混合整数规划【3天】
30 | 4. 模型优化【2天】
31 | 5. 灵敏度分析【2天】
32 |
33 | ## 🛠️我们将用到的工具
34 |
35 |
59 |
60 | 
61 |
62 |
40 |
63 |
64 |
65 |
66 |
![\"聚类案例描述\"](\"../figure/1.png\")
\n",
25 | "\n",
26 | "针对“问题2：数据集中的数据应该如何处理？”，我们的任务是通过无监督学习算法找到数据中有用的信息，这类无监督学习算法叫做——降维。在大数据的背景下，数据维度呈现爆炸式的增长，如果没一个特征逐一分析是否有用，是否应该留在模型中将会花费很长的时间 ，而且绝大部分的特征其实都是对模型没什么贡献的，而降维算法就是能在减少数据集中特征数量的同时，避免丢失太多信息并保持/改进模型性能的方法。本节内容我们先不涉及降维算法，将在降维章节具体学习。\n",
27 | "\n",
28 | "关于聚类算法的章节任务，我们主要学习以下内容：\n",
29 | "- 1、常用的聚类算法\n",
30 | " - 1.1 K-means聚类算法\n",
31 | " - 1.2 K-means算法的改进：K-means++\n",
32 | " - 1.3 高斯混合模型（GMM）\n",
33 | " - 1.4 基于密度的聚类方法：DBSCAN\n",
34 | " - 1.5 层次聚类算法\n",
35 | "- 2、聚类算法的内部性评价指标：\n",
36 | " - 2.1 轮廓系数（Silhouette Coefficient Index）\n",
37 | " - 2.2 CH分数（Calinski Harabasz Score）\n",
38 | " - 2.3 戴维森堡丁指数(DBI)\n",
39 | "- 3、聚类算法案例分析：淘宝用户数据RFM客户分群\n",
40 | " - 3.1 如何定义R、F、M的相关特征\n",
41 | " - 3.2 Kmeans算法得到用户分群\n",
42 | " - 3.3 客群分群的相关业务解释\n"
43 | ],
44 | "metadata": {
45 | "collapsed": false
46 | }
47 | },
48 | {
49 | "cell_type": "code",
50 | "execution_count": 2,
51 | "outputs": [],
52 | "source": [
53 | "# 引入数据科学常用工具库\n",
54 | "import numpy as np\n",
55 | "import pandas as pd\n",
56 | "import warnings\n",
57 | "import matplotlib.pyplot as plt\n",
58 | "%matplotlib inline\n",
59 | "warnings.filterwarnings(\"ignore\")\n",
60 | "pd.set_option(\"display.max_columns\", 100) # 设置最大列数\n",
61 | "pd.set_option(\"display.max_rows\", 1000) # 设置显示最大行数"
62 | ],
63 | "metadata": {
64 | "collapsed": false
65 | }
66 | },
67 | {
68 | "cell_type": "markdown",
69 | "source": [
70 | "## 1、常用的聚类算法\n",
71 | "\n",
72 | "聚类算法的主要工作是将数据集中的样本划分为若干个不相交的子集，每个样本子集叫做一个“簇”，也可以称为“类”。值得注意的是，聚类算法是不能事先知道业务从而得到某个类的，只能通过**数据的结构关系**得到数据中的结构存在的簇，如：聚类算法没有办法得到实际的客户分群中存在“”\n"
73 | ],
74 | "metadata": {
75 | "collapsed": false
76 | }
77 | },
78 | {
79 | "cell_type": "markdown",
80 | "source": [],
81 | "metadata": {
82 | "collapsed": false
83 | }
84 | }
85 | ],
86 | "metadata": {
87 | "kernelspec": {
88 | "display_name": "Python 3",
89 | "language": "python",
90 | "name": "python3"
91 | },
92 | "language_info": {
93 | "codemirror_mode": {
94 | "name": "ipython",
95 | "version": 2
96 | },
97 | "file_extension": ".py",
98 | "mimetype": "text/x-python",
99 | "name": "python",
100 | "nbconvert_exporter": "python",
101 | "pygments_lexer": "ipython2",
102 | "version": "2.7.6"
103 | }
104 | },
105 | "nbformat": 4,
106 | "nbformat_minor": 0
107 | }
108 |
--------------------------------------------------------------------------------
/Wakanda-Optimization/Task3_整数规划/solution.txt:
--------------------------------------------------------------------------------
1 | Solution:
2 | Objective value = 1692353.9999999998
3 | y1 = 1.0
4 | y2 = 1.0
5 | y3 = 0.0
6 | y4 = 1.0
7 | y5 = 0.0
8 | y6 = 0.0
9 | y7 = 1.0
10 | z_1_1_p = 0.0
11 | z_1_1_n = 0.0
12 | z_1_2_p = 0.0
13 | z_1_2_n = 0.0
14 | z_1_3_p = 0.0
15 | z_1_3_n = 0.0
16 | z_1_4_p = 0.0
17 | z_1_4_n = 0.0
18 | z_1_5_p = 0.0
19 | z_1_5_n = 0.0
20 | z_1_6_p = 0.0
21 | z_1_6_n = 0.0
22 | z_1_7_p = 0.0
23 | z_1_7_n = 0.0
24 | z_1_8_p = 0.0
25 | z_1_8_n = 0.0
26 | z_1_9_p = 0.0
27 | z_1_9_n = 0.0
28 | z_1_10_p = 0.0
29 | z_1_10_n = 0.0
30 | z_1_11_p = 0.0
31 | z_1_11_n = 0.0
32 | z_1_12_p = 0.0
33 | z_1_12_n = 0.0
34 | z_1_13_p = 0.0
35 | z_1_13_n = 0.0
36 | z_1_14_p = 500.0000000000001
37 | z_1_14_n = 500.0000000000001
38 | z_1_15_p = 0.0
39 | z_1_15_n = 0.0
40 | z_2_1_p = 0.0
41 | z_2_1_n = 0.0
42 | z_2_2_p = 0.0
43 | z_2_2_n = 0.0
44 | z_2_3_p = 0.0
45 | z_2_3_n = 0.0
46 | z_2_4_p = 0.0
47 | z_2_4_n = 0.0
48 | z_2_5_p = 0.0
49 | z_2_5_n = 0.0
50 | z_2_6_p = 0.0
51 | z_2_6_n = 0.0
52 | z_2_7_p = 0.0
53 | z_2_7_n = 0.0
54 | z_2_8_p = 0.0
55 | z_2_8_n = 0.0
56 | z_2_9_p = 0.0
57 | z_2_9_n = 0.0
58 | z_2_10_p = 0.0
59 | z_2_10_n = 0.0
60 | z_2_11_p = 0.0
61 | z_2_11_n = 0.0
62 | z_2_12_p = 0.0
63 | z_2_12_n = 0.0
64 | z_2_13_p = 0.0
65 | z_2_13_n = 0.0
66 | z_2_14_p = 0.0
67 | z_2_14_n = 0.0
68 | z_2_15_p = 0.0
69 | z_2_15_n = 0.0
70 | z_3_1_p = 0.0
71 | z_3_1_n = 0.0
72 | z_3_2_p = 0.0
73 | z_3_2_n = 0.0
74 | z_3_3_p = 0.0
75 | z_3_3_n = 0.0
76 | z_3_4_p = 0.0
77 | z_3_4_n = 0.0
78 | z_3_5_p = 0.0
79 | z_3_5_n = 0.0
80 | z_3_6_p = 0.0
81 | z_3_6_n = 0.0
82 | z_3_7_p = 0.0
83 | z_3_7_n = 0.0
84 | z_3_8_p = 0.0
85 | z_3_8_n = 0.0
86 | z_3_9_p = 0.0
87 | z_3_9_n = 0.0
88 | z_3_10_p = 0.0
89 | z_3_10_n = 0.0
90 | z_3_11_p = 0.0
91 | z_3_11_n = 0.0
92 | z_3_12_p = 0.0
93 | z_3_12_n = 0.0
94 | z_3_13_p = 0.0
95 | z_3_13_n = 0.0
96 | z_3_14_p = 0.0
97 | z_3_14_n = 0.0
98 | z_3_15_p = 0.0
99 | z_3_15_n = 0.0
100 | z_4_1_p = 0.0
101 | z_4_1_n = 0.0
102 | z_4_2_p = 273.0000000000001
103 | z_4_2_n = 273.0000000000001
104 | z_4_3_p = 0.0
105 | z_4_3_n = 0.0
106 | z_4_4_p = 0.0
107 | z_4_4_n = 0.0
108 | z_4_5_p = 194.0
109 | z_4_5_n = 194.0
110 | z_4_6_p = 0.0
111 | z_4_6_n = 0.0
112 | z_4_7_p = 0.0
113 | z_4_7_n = 0.0
114 | z_4_8_p = 0.0
115 | z_4_8_n = 0.0
116 | z_4_9_p = 0.0
117 | z_4_9_n = 0.0
118 | z_4_10_p = 0.0
119 | z_4_10_n = 0.0
120 | z_4_11_p = 0.0
121 | z_4_11_n = 0.0
122 | z_4_12_p = 0.0
123 | z_4_12_n = 0.0
124 | z_4_13_p = 0.0
125 | z_4_13_n = 0.0
126 | z_4_14_p = 0.0
127 | z_4_14_n = 0.0
128 | z_4_15_p = 0.0
129 | z_4_15_n = 0.0
130 | z_5_1_p = 0.0
131 | z_5_1_n = 0.0
132 | z_5_2_p = 0.0
133 | z_5_2_n = 0.0
134 | z_5_3_p = 0.0
135 | z_5_3_n = 0.0
136 | z_5_4_p = 0.0
137 | z_5_4_n = 0.0
138 | z_5_5_p = 0.0
139 | z_5_5_n = 0.0
140 | z_5_6_p = 0.0
141 | z_5_6_n = 0.0
142 | z_5_7_p = 0.0
143 | z_5_7_n = 0.0
144 | z_5_8_p = 0.0
145 | z_5_8_n = 0.0
146 | z_5_9_p = 0.0
147 | z_5_9_n = 0.0
148 | z_5_10_p = 0.0
149 | z_5_10_n = 0.0
150 | z_5_11_p = 0.0
151 | z_5_11_n = 0.0
152 | z_5_12_p = 0.0
153 | z_5_12_n = 0.0
154 | z_5_13_p = 0.0
155 | z_5_13_n = 0.0
156 | z_5_14_p = 0.0
157 | z_5_14_n = 0.0
158 | z_5_15_p = 0.0
159 | z_5_15_n = 0.0
160 | z_6_1_p = 0.0
161 | z_6_1_n = 0.0
162 | z_6_2_p = 0.0
163 | z_6_2_n = 0.0
164 | z_6_3_p = 0.0
165 | z_6_3_n = 0.0
166 | z_6_4_p = 0.0
167 | z_6_4_n = 0.0
168 | z_6_5_p = 0.0
169 | z_6_5_n = 0.0
170 | z_6_6_p = 0.0
171 | z_6_6_n = 0.0
172 | z_6_7_p = 0.0
173 | z_6_7_n = 0.0
174 | z_6_8_p = 0.0
175 | z_6_8_n = 0.0
176 | z_6_9_p = 0.0
177 | z_6_9_n = 0.0
178 | z_6_10_p = 0.0
179 | z_6_10_n = 0.0
180 | z_6_11_p = 0.0
181 | z_6_11_n = 0.0
182 | z_6_12_p = 0.0
183 | z_6_12_n = 0.0
184 | z_6_13_p = 0.0
185 | z_6_13_n = 0.0
186 | z_6_14_p = 0.0
187 | z_6_14_n = 0.0
188 | z_6_15_p = 0.0
189 | z_6_15_n = 0.0
190 | z_7_1_p = 0.0
191 | z_7_1_n = 0.0
192 | z_7_2_p = 27.99999999999993
193 | z_7_2_n = 27.99999999999993
194 | z_7_3_p = 750.0
195 | z_7_3_n = 750.0
196 | z_7_4_p = 606.0
197 | z_7_4_n = 606.0
198 | z_7_5_p = 0.0
199 | z_7_5_n = 0.0
200 | z_7_6_p = 205.00000000000003
201 | z_7_6_n = 205.00000000000003
202 | z_7_7_p = 201.00000000000003
203 | z_7_7_n = 201.00000000000003
204 | z_7_8_p = 680.0
205 | z_7_8_n = 680.0
206 | z_7_9_p = 479.99999999999994
207 | z_7_9_n = 479.99999999999994
208 | z_7_10_p = 50.000000000000284
209 | z_7_10_n = 50.000000000000284
210 | z_7_11_p = 0.0
211 | z_7_11_n = 0.0
212 | z_7_12_p = 0.0
213 | z_7_12_n = 0.0
214 | z_7_13_p = 0.0
215 | z_7_13_n = 0.0
216 | z_7_14_p = 0.0
217 | z_7_14_n = 0.0
218 | z_7_15_p = 0.0
219 | z_7_15_n = 0.0
--------------------------------------------------------------------------------
/Wakanda-Optimization/Task0_前言/Preface.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "cells": [
3 | {
4 | "cell_type": "markdown",
5 | "metadata": {},
6 | "source": [
7 | "# 0 写在课程前面的话\n",
8 | "\n"
9 | ]
10 | },
11 | {
12 | "cell_type": "markdown",
13 | "metadata": {},
14 | "source": [
15 | "在食用课程之前$,$ 笔者想简单介绍一下这门课到底讲什么$,$ 又想传递给读者什么信息.\n",
16 | "\n",
17 | "相信有过数模参赛经验的小伙伴对优化这个词并不陌生$,$ 我们在比赛中总会遇到诸如\"确定最佳方案\"\"求出最佳的配比\"此类的\"最值\"问题$,$ 而在比赛细节中我们往往也需要\"拟合最佳的参数\"$,$ 这些都是大大小小的**优化问题**$,$ 而笔者想利用这门课抛砖引玉$,$ 当成是未接触过优化以及曾接触但不熟悉的同学的一块优化敲门砖. 本课程旨在以最简单但不平凡的例子渗透介绍优化范畴的两个核心内容: **优化建模**$,$ **下降算法**$,$ 而对于优化类的问题$,$ 如何建模与如何算法求解也是最重要的部分.\n",
18 | "\n",
19 | "我们涉及的优化模型由三个基本组成: 决策变量 $x_1,x_2,\\cdots,x_n$——影响目标的自变量$,$ 目标函数 $f(x_1,x_2,\\cdots,x_n)$——确定最佳决策的指标依据$,$ 约束条件 $c_i(x_1,x_2,\\cdots,x_n)\\leqslant(=,\\geqslant) 0$——现实中的限制. 由于本次课程讨论的大多数都是最简单的线性函数$,$ 为表述简单$,$ 我们会尽可能多的采用向量语言: 如利用向量 $\\boldsymbol{x}=(x_1,x_2,\\cdots,x_n)^T$ 表示决策变量$,$ 或利用矩阵来表达如下的约束\n",
20 | "\n",
21 | "$$A\\boldsymbol{x}\\leqslant \\boldsymbol{b}\\Leftrightarrow \n",
22 | "\\begin{cases}\n",
23 | "a_{11}x_1+a_{12}x_2+\\cdots+a_{1n}x_n\\leqslant b_1\\\\\n",
24 | "a_{21}x_1+a_{22}x_2+\\cdots+a_{2n}x_n\\leqslant b_2\\\\\n",
25 | "\\vdots\\\\\n",
26 | "a_{m1}x_1+a_{m2}x_2+\\cdots+a_{mn}x_n\\leqslant b_m\\\\\n",
27 | "\\end{cases},A=\\begin{bmatrix}\n",
28 | "a_{11}&a_{12}&\\cdots&a_{1n}\\\\\n",
29 | "a_{21}&a_{22}&\\cdots&a_{2n}\\\\\n",
30 | "\\vdots&\\vdots&\\ddots&\\vdots\\\\\n",
31 | "a_{m1}&a_{m2}&\\cdots&a_{mn}\\\\\n",
32 | "\\end{bmatrix}.$$\n",
33 | "\n",
34 | "此外$,$ 我们用 $R,R^n$ 代表实数域以及 $n$ 维实数 (向量) 空间$,f:R^n\\to R$ 代表 $n$ 元实值函数. \n",
35 | "\n",
36 | "用规范化的语言$,$ 我们现实中遇到的所有优化问题都可描述为如下的形式:\n",
37 | "\n",
38 | "\\begin{align}\n",
39 | "\\tag{0.1}\\label{eq 0.1}&\\min f(\\boldsymbol{x})\\\\\n",
40 | "s.t.&\\tag{0.2}\\label{eq 0.2}\\begin{cases}\n",
41 | "c_i(\\boldsymbol{x})\\leqslant 0,i=1,2,\\cdots,m\\\\\n",
42 | "c_j(\\boldsymbol{x})=0,j=1,2,\\cdots,k\n",
43 | "\\end{cases}\n",
44 | "\\end{align}\n",
45 | "\n",
46 | "其中$,\\boldsymbol{x}\\in R^n,f:R^n\\to R,$ 并且我们不要求目标函数 $f$ 以及约束函数 $c_i,c_j$ 有什么多余的性质如可微 (这一点对刚入门的初学者而言是比较反直觉的)$,$ 对于求极大值的问题$,$ 可以等价写为\n",
47 | "\n",
48 | "$$\\max f(\\boldsymbol{x})\\Leftrightarrow \\min -f(\\boldsymbol{x}).$$\n",
49 | "\n",
50 | "优化问题 $\\eqref{eq 0.1}$ 中$,$ 约束 $\\eqref{eq 0.2}$ 构成的子集称为**可行域** $D,$ $D$ 中的点是符合 $\\eqref{eq 0.1}$ 要求的点$,$ 称为**可行解**$,$ 令 $f(\\boldsymbol{x})$ 最小的可行解 $\\boldsymbol{x}_0$ 称为**最优解**$,$ 我们一般用\n",
51 | "\n",
52 | "$$\\mathrm{argmin} \\{f(\\boldsymbol{x})\\mid \\boldsymbol{x}\\in D\\}$$\n",
53 | "\n",
54 | "记为 $\\eqref{eq 0.1}$ 的最优解. 当 $D=R^n$ 时 $\\eqref{eq 0.1}$ 称为**无约束优化问题**$,$ 相应地 $D\\subsetneq R^n$ 时称之为**约束优化问题**. \n",
55 | "\n",
56 | "\n",
57 | "\n",
58 | "在高中的时候我们就已经学过利用导数零点求极值点的方式$,$ 然而对于一个大规模的优化问题而言 (决策变量多$,$ 即 $\\boldsymbol{x}$ 维数高)$,$ 求导 (梯度) 并非那么简单$,$ 而且目标函数 $f$ 不一定可导$,$ 同时局部最优值（最大值或最小值）不一定是全局最优值（最大值或最小值，凸问题的性质)$,$ 这使得我们求解难度大大攀升. 在一般的问题求解中$,$ 我们往往是采用**迭代**的**下降算法**求解局部的“最优值”.\n",
59 | "\n",
60 | "我们涉及的下降算法基本思想是生成一列递减的点 $\\{\\boldsymbol{x}_n\\}_{n=1}^{\\infty}$ 来逼近 $\\eqref{eq 0.1}$ 的最优解$,$ 一般由以下几步组成:\n",
61 | "\n",
62 | "1. 确定初始解 $\\boldsymbol{x}_1$.\n",
63 | "\n",
64 | "2. 确定迭代方式 $\\boldsymbol{x}_{n+1}=g(\\boldsymbol{x}_n)$ 使得 $f(\\boldsymbol{x}_{n+1})\\leqslant f(\\boldsymbol{x}_n),n=1,2,\\cdots$.\n",
65 | "\n",
66 | "3. 确定终止准则 (计算机只能迭代有限点$,$ 我们希望在有限步能尽可能接近最优解)——当 $\\boldsymbol{x}_n$ 与 $f(\\boldsymbol{x}_n)$ 满足什么条件时$,$ 认为 $\\boldsymbol{x}_n$ 最小值的近似点$,$ 终止算法.\n",
67 | "\n",
68 | "\n",
69 | "迭代方式是下降算法最核心的一步$,$ 它决定算法生成的点列能否收敛得到最优解$,$ 迭代步长决定算法收敛的速度 (即算法运行的时间)$,$ 这在求解实际的优化问题过程中是非常关键的内容.\n",
70 | "\n",
71 | "本课程介绍的是最简单的一类优化问题: 目标函数与约束条件都是线性的$,$ 称为**线性规划问题(模型)**$,$ 在日常生活中蕴含着非常多地线性规划问题$,$ 如生产策略$,$ 工作指派等等$,$ 所以建立线性规划模型事实上是在现实生活中非常常见的$,$ 而由于性质的优越$,$ 线性规划问题的下降算法设计也是非常简单的——即我们接下来要学习的单纯形法与分支定界法.\n",
72 | "\n",
73 | "笔者在这里$,$ 借用比赛真题$,$ 详细展开线性规划模型如何应用到题目的建模中$,$ 以及讨论建模后如何设计对应的算法进行求解$,$ 带同学们感受建模与设计算法过程中的思路$,$ 以此让同学们熟悉优化范畴的问题$,$ 激发同学们解决优化问题的思维. 而由于课程设置是入门性的$,$ 加之笔者笔力与时间有限$,$ 故在本次课程中没有介绍更高级的优化知识$,$ 如非线性优化问题 (连续变量类)$,$ 组合优化问题 (离散变量类) 相关的建模以及理论知识$,$ 当然$,$ 笔者希望同学们在本次课程中能体会到优化建模的魅力$,$ 更加有信心的去学习更高深的优化知识.到这里，我们已经完成了一个数学建模案例的全流程. 一般地，数学建模的过程从抽象建模，模型求解，再到模型的检验优化，它总是有迹可循的. 在写这份教程的过程中我们一直想传达的一个观点是：学习建模，绝对不是简单知识点的学习！ 建模的过程更多是如何将实际生活中每一步的决策转化为数学的模式. 之所以这么做是因为生活中许多看似不同的问题，本质上都可以采用相同的数学工具解决，这就是数学建模的意义所在~
最后，江湖路远，但我们一定会再相见！--GitModel极客数模 团队
\n",
128 | "\n",
129 | "如图所示，分类器的形式有两种，一种是条件概率分类器$P\\left( Y|X \\right) $，一种判决函数分类器$Y=f(X)$。\n",
130 | "\n",
131 | "概率分类器$P\\left( Y|X \\right) $输出在当前样本自变量$X$下，因变量$Y$为某个特定输出$y_i$的条件概率，然后再对$Y$在不同输出值下的概率值进行比较，概率最大的类别则为分类器对新样本预测的类别。举个例子：在垃圾短信分类器中，若$P\\left( Y=1|X \\right) =0.7$，$P\\left( Y=0|X \\right) =0.3$，即对于样本特征$X$的输入，分类器将其判别为垃圾短信的概率为0.7，判别为正常短信的概率为0.3，那么我们则采纳概率较大的可能，将短信判别为垃圾短信。\n",
132 | "\n",
133 | "判决函数分类器$Y=f(X)$则是根据函数值$Y$的值对样本的类别进行判断。通常地，$f(X)=0$是很多分类器的临界点，若$f(X)<0$，则将样本判别为某个类别；若$f(X)>0$，则将样本判别为另一个类别。\n",
134 | "\n",
135 | "以条件概率作为分类器的算法通常是基于概率的算法，如决策树、朴素贝叶斯、线性判别等等；而以判决函数作为分类器的算法则往往是非概率算法，如支持向量机、k邻近、神经网络等等。\n",
136 | "\n"
137 | ]
138 | },
139 | {
140 | "cell_type": "markdown",
141 | "metadata": {},
142 | "source": [
143 | "**· 回归问题的解决范式**\n",
144 | "\n",
145 | "回归时监督学习的另一个重要的问题。它的任务是预测自变量$X$与因变量$Y$之间的关系，当自变量$X$的值发生变化时，因变量$Y$将同时发生怎样的变化。事实上，回归问题的学习过程等价于用一个函数$f$对训练集数据$(x_i,y_i)$进行拟合——选择一条函数曲线使其很好地拟合已知数据、并很好地预测未知数据。\n",
146 | "\n",
147 | "回归问题的解决范式与分类问题是相似的，也包含**模型学习（训练模型）** 与**对新样本数据进行预测**两个过程，只不过模型的输出$Y$是一个连续变量而不是有限离散变量。\n",
148 | "\n",
149 | "回归问题的解决过程范式图如下\n",
150 | "\n",
151 | "
"
152 | ]
153 | },
154 | {
155 | "cell_type": "markdown",
156 | "metadata": {},
157 | "source": [
158 | "## 2.2 无监督学习"
159 | ]
160 | },
161 | {
162 | "cell_type": "markdown",
163 | "metadata": {},
164 | "source": [
165 | "### 2.2.1 什么是无监督学习"
166 | ]
167 | },
168 | {
169 | "cell_type": "markdown",
170 | "metadata": {},
171 | "source": [
172 | "无监督学习(unsupervised learning)是指无标注数据（不带有因变量）中学习预测模型的机器学习问题。本质上，无监督学习的本质是学习数据中的统计规律或潜在结构。"
173 | ]
174 | },
175 | {
176 | "cell_type": "markdown",
177 | "metadata": {},
178 | "source": [
179 | "### 2.2.2 无监督学习的意义"
180 | ]
181 | },
182 | {
183 | "cell_type": "markdown",
184 | "metadata": {},
185 | "source": [
186 | "监督学习的意义很容易理解——建立自变量与因变量的映射关系，一方面精准预测新样本的因变量，另一方面可以更好地理解自变量与因变量间的关系。监督学习中的因变量$Y$就像是一盏盏明灯，指引着各种算法找到那个最优的映射关系$f$。\n",
187 | "\n",
188 | "然而，无监督学习在一定程度上就更具挑战性了。没有了因变量的存在，我们似乎很难“拟合”出一个模型用于预测。那么，无监督学习究竟是干什么的呢？答案是：理解与挖掘自变量间的关系。我们以无监督学习中常见的聚类算法为例，向大家介绍无监督学习的意义。\n",
189 | "\n",
190 | "在市场研究中，我们可以获取许多潜在消费者的特征变量，如家庭收入、消费习惯等等。我们想将消费者划分为低、中、高消费群，在不同消费群之间执行不同的营销策略。事实上，如果每个消费者的消费群归属是已知的，那么我们就可以用一个监督学习分类算法训练出一个分类器，再对新消费者样本进行分类判别。然而，消费群归属在实际情况中是不可能知道的，因为没有人会告诉你它属于哪个群体，换句话说，不会有一个“消费群归属”的变量作为因变量给我们进行监督学习。\n",
191 | "\n",
192 | "那么这该怎么办呢？我们思考一下，既然无法直接获取消费群归属的情况，那我们能不能基于已知的消费者数据$X$，寻找其中的规律然后自己构建一套规则$f$，人为地给他们划分呢？也就是说，将$X\\rightarrow f\\left( X \\right) $，然后根据每个样本$f(X)$的表现自主地给他们划分。**这就是无监督学习的基本思想——寻找一套规则$f$，使得初始自变量$X$变换为$f(X)$后，可以更好地呈现出数据中的某些特点。我们既可以直接根据无监督学习的结果进行人为的判别，也可以将其作为整个建模过程中的一种“数据处理”。**\n",
193 | "\n",
194 | "回到上述例子，我们可以用聚类分析算法解决之。聚类分析的目标是基于自变量$X$将观测样本归入不同的群，消费群相同的消费者，它们的某些自变量表现是相似且接近的，如果算法可以找出不同消费群自变量的表现模式，那将有利于我们人为地分类。我们看看以下两个图\n",
195 | "\n",
196 | "
\n",
197 | "\n",
198 | "以上两个图的样本都只有两个自变量$X_1$与$X_2$，左图所示的三个群界限分明，聚类算法可以成功地识别三个群；右图相对而言界限模糊，聚类任务相对前者较难。然而，实际情况中，变量的个数肯定不止两个，此时直观地图形检查法不再是一个可行的方法，我们就需要借用自动聚类的算法了。"
199 | ]
200 | },
201 | {
202 | "cell_type": "markdown",
203 | "metadata": {},
204 | "source": [
205 | "### 2.2.3 无监督学习的解决范式"
206 | ]
207 | },
208 | {
209 | "cell_type": "markdown",
210 | "metadata": {},
211 | "source": [
212 | "无监督学习的解决范式和监督学习的解决范式也大致相似，也是先根据训练数据学习出一个模型，再使用模型对数据进行预测。其实与其称之为预测，我更愿把其称为“转换”，即将原始自变量$X$转换为新的变量$f(X)$。\n",
213 | "\n",
214 | "无监督学习的解决范式示意图如下\n",
215 | "\n",
216 | "
\n",
217 | "\n",
218 | "无监督学习的模型有三类：函数模型$f(X)$，条件概率分布模型$P\\left( Y|X \\right) $与条件概率分布模型$P\\left( X|Y \\right) $。\n",
219 | "\n",
220 | "在预测过程中，前两个模型都是将$X$转换成另一个输出值$Y$，即有：$y_{N+1}=f\\left( x_{N+1} \\right) $或$y_{N+1}=arg\\,\\,\\max \\left( P\\left( y|x_{N+1} \\right) \\right) $，聚类算法与降维算法多为这种模型。而最后一种模型则输出的是在自变量$X$恰为当前输入值时的概率估计。\n",
221 | "\n"
222 | ]
223 | },
224 | {
225 | "cell_type": "markdown",
226 | "metadata": {},
227 | "source": [
228 | "# 3. 机器学习的基础概论"
229 | ]
230 | },
231 | {
232 | "cell_type": "markdown",
233 | "metadata": {},
234 | "source": [
235 | "在这一章，我们将学习机器学习中一些必须要掌握的理论知识，它们是许多机器学习模型的共同内核。掌握它们，我们将在后续的对每种算法的学习中更容易串联起彼此的联系，这将有助于我们理解、学习、整理。"
236 | ]
237 | },
238 | {
239 | "cell_type": "markdown",
240 | "metadata": {},
241 | "source": [
242 | "## 3.1 符号定义"
243 | ]
244 | },
245 | {
246 | "cell_type": "markdown",
247 | "metadata": {},
248 | "source": [
249 | "为方便后续各种算法的学习，我们在这里对各种数学符号进行统一的规定。\n",
250 | "\n",
251 | "**· 变量、变量取值与特征向量**\n",
252 | "\n",
253 | "自变量与因变量用大写字母表示，自变量为$X$，因变量为$Y$。\n",
254 | "\n",
255 | "变量在某个样本上的取值则用小写字母表示，自变量为$x$，因变量为$y$。\n",
256 | "\n",
257 | "变量可以是单变量的标量，也可以是多变量的向量，但由于机器学习通常都是同时处理多变量的，因此除特别声明外，教程中所有变量都是列向量。\n",
258 | "\n",
259 | "具有$n$个特征的样本实例$x$的特征向量记为\n",
260 | "$$\n",
261 | "x=\\left(x^{(1)}, x^{(2)}, \\cdots, x^{(i)}, \\cdots, x^{(n)}\\right)^{\\mathrm{T}}\n",
262 | "$$\n",
263 | "其中，$x^{(i)}$表示$x$的第$i$个特征。\n",
264 | "\n",
265 | "特别地，对于第$i$个样本，其特征向量记为\n",
266 | "$$\n",
267 | "x_i=\\left(x_i^{(1)}, x_i^{(2)}, \\cdots, x_i^{(n)}\\right)^{\\mathrm{T}}\n",
268 | "$$\n",
269 | "\n",
270 | "**· 样本数据集**\n",
271 | "\n",
272 | "样本数据集就是由各种样本组成的数据集，通常分为训练数据集与测试数据集，模型的训练是基于训练数据集的，预测则是基于测试数据集的。在这里我们定义训练数据集的符号（因为后续的模型学习都是基于训练集的）。\n",
273 | "\n",
274 | "对于监督学习，训练数据由特征向量$x_i$与对应的因变量$y_i$组成，表示为：\n",
275 | "$$\n",
276 | "T=\\left\\{\\left(x_1, y_1\\right),\\left(x_2, y_2\\right), \\cdots,\\left(x_N, y_N\\right)\\right\\}\n",
277 | "$$\n",
278 | "对于无监督学习，训练数据只由特征向量$x_i$构成，表示为：\n",
279 | "$$\n",
280 | "U=\\left\\{x_1, x_2, \\cdots, x_N\\right\\}\n",
281 | "$$\n",
282 | "以上两种训练集的样本个数均为$N$。"
283 | ]
284 | },
285 | {
286 | "cell_type": "markdown",
287 | "metadata": {},
288 | "source": [
289 | "## 3.2 机器学习方法三要素"
290 | ]
291 | },
292 | {
293 | "cell_type": "markdown",
294 | "metadata": {},
295 | "source": [
296 | "所谓机器学习方法三要素，就是我们可以通过这三个要素对任何一个机器学习方法进行全面地认知（如模型形式、训练方法、计算方法）等。机器学习方法由以下三要素组成：\n",
297 | "$$\n",
298 | "\\text{方法}=\\text{模型}+\\text{策略}+\\text{算法}\n",
299 | "$$"
300 | ]
301 | },
302 | {
303 | "cell_type": "markdown",
304 | "metadata": {},
305 | "source": [
306 | "### 3.2.1 模型"
307 | ]
308 | },
309 | {
310 | "cell_type": "markdown",
311 | "metadata": {},
312 | "source": [
313 | "所为模型，就是在机器学习中最终需要得出的条件概率分布或决策函数，然后使用这个模型对新样本进行预测、或者进行变量之间的分析。\n",
314 | "\n",
315 | "对于每一种机器学习方法而言，它们的模型是确定的。例如，在线性回归方法中，它的模型就是线性回归函数：\n",
316 | "$$\n",
317 | "y=\\beta _0+\\beta _1x^{\\left( 1 \\right)}+\\cdots +\\beta _kx^{\\left( k \\right)}\n",
318 | "$$\n",
319 | "在Logistics回归方法中，它的模型就是以下条件概率公式：\n",
320 | "$$\n",
321 | "P(y=1 \\mid x) =\\frac{1}{1+e^{-y}}=\\frac{1}{1+e^{-x^{'}\\beta}}\n",
322 | "$$\n",
323 | "在决策树方法中，它的模型就是一棵有着许多枝干的二叉树：\n",
324 | "\n",
325 | "
\n",
326 | "\n",
327 | "事实上，虽然对于某一个特定的机器学习方法来说，模型的形式是大致确定的，但是模型里面有非常多需要确定的参数，参数不同，模型也就不同，我们将**所有这些可能的模型组成的集合称为模型的假设空间(hypothesis space)**。\n",
328 | "\n",
329 | "对于决策函数模型来说，假设空间如下所示：\n",
330 | "$$\n",
331 | "\\mathcal{F}=\\left\\{f \\mid Y=f_\\theta(X), \\theta \\in \\mathbf{R}^n\\right\\}\n",
332 | "$$\n",
333 | "对于条件概率模型来说，假设空间如下所示：\n",
334 | "$$\n",
335 | "\\mathcal{F}=\\left\\{P \\mid P_\\theta(Y \\mid X), \\theta \\in \\mathbf{R}^n\\right\\}\n",
336 | "$$\n",
337 | "其中，$\\theta$则是模型中所有参数组成的向量，所有这些参数的集合也称为参数空间(parameter space)。"
338 | ]
339 | },
340 | {
341 | "cell_type": "markdown",
342 | "metadata": {},
343 | "source": [
344 | "### 3.2.2 策略"
345 | ]
346 | },
347 | {
348 | "cell_type": "markdown",
349 | "metadata": {},
350 | "source": [
351 | "模型的形式有了，但是模型里面的各种参数信息我们是不知道的。那么接下来要做的就是通过使用给定的样本数据，在茫茫无际的模型假设空间中找到最优的那个模型，换言之，为这个模型在参数空间中找到一个参数组合$\\theta$使得模型最优。\n",
352 | "\n",
353 | "那么，我们应该如何找到这个最优的模型呢？这就是策略需要考虑的事了，而**所有机器学习方法的策略都是相似的——让风险函数最小化。**什么是风险函数呢？我们接着往下看。"
354 | ]
355 | },
356 | {
357 | "cell_type": "markdown",
358 | "metadata": {},
359 | "source": [
360 | "**· 损失函数**\n",
361 | "\n",
362 | "我们先引入损失函数的概念。损失函数度量模型在一次预测中的“误差”，记为$L(Y, f(X))$，这里的误差指的是预测值$f(X)$与真实值$Y$的不一致程度。不同机器学习方法所采用的损失函数有所不同，常见的损失函数有以下几种：\n",
363 | "\n",
364 | "1. 0-1损失函数\n",
365 | "$$\n",
366 | "L(Y, f(X))= \\begin{cases}1, & Y \\neq f(X) \\\\ 0, & Y=f(X)\\end{cases}\n",
367 | "$$\n",
368 | "这种损失函数常用于解决分类问题的模型，分类错误则函数赋值为1，正确则赋值为0.\n",
369 | "\n",
370 | "2. 平方损失函数\n",
371 | "$$\n",
372 | "L(Y, f(X))=(Y-f(X))^2\n",
373 | "$$\n",
374 | "这种损失函数在回归问题中最常见，大家有没有意识到它就是线性回归方法的损失函数呢？\n",
375 | "\n",
376 | "3. 对数损失函数\n",
377 | "$$\n",
378 | "L(Y, P(Y \\mid X))=-\\log P(Y \\mid X)\n",
379 | "$$\n",
380 | "这种损失函数常用于以条件概率为模型的方法。\n",
381 | "\n",
382 | "以上三种损失函数是最基础的损失函数，实际的机器学习方法中会对这些损失函数进行一些改进与优化以增强模型的性能与稳定性。\n",
383 | "\n",
384 | "**· 风险函数——经验风险、结构风险、正则化**\n",
385 | "\n",
386 | "要衡量一个模型在一个数据集上的表现，只度量模型在单次预测上的误差肯定是不足够的，接下来我们引入风险函数的定义。风险函数则度量模型对所有训练集数据预测中的“平均好坏”，它又可以分为经验风险函数与结构风险函数。\n",
387 | "\n",
388 | "经验风险函数非常好理解，它就是模型$f(X)$（或$P(Y \\mid X)$）在训练数据集$T$上损失函数的平均值：\n",
389 | "$$\n",
390 | "R_{\\mathrm{emp}}(f)=\\frac{1}{N} \\sum_{i=1}^N L\\left(y_i, f\\left(x_i\\right)\\right)\n",
391 | "$$\n",
392 | "显然，经验风险函数衡量的就是模型在训练集上的平均误差。而找到模型假设空间中最优模型的策略就是风险函数最小化，我们便可以让经验风险函数最小化，将问题转化为一个最优化问题：\n",
393 | "$$\n",
394 | "\\min _{f \\in \\mathcal{F}} \\frac{1}{N} \\sum_{i=1}^N L\\left(y_i, f\\left(x_i\\right)\\right)\n",
395 | "$$\n",
396 | "经验风险最小化，就是模型在训练集的平均误差最小化，于是我们可以得知，以经验风险函数最小化为策略可以使模型**在训练集上的**误差最低，精度最高。\n",
397 | "\n",
398 | "看到这里，可能有同学会问：既然这个模型在训练集上误差最低，那这个策略是不是完美的呢？答案是：未必。因为绝大多数机器学习方法的最终目的是对未知新数据有好的预测效果，而不是对已知数据有好的预测效果。换句话说，我们评判模型的好坏应当着眼于其测试集上的性能而不是训练集上的性能。以经验风险函数最小化为策略确实可以使模型在训练集上的误差最低，但是这样的模型在测试集上的表现未必让人满意，因为可能会出现**过拟合现象**。\n",
399 | "\n",
400 | "我们在这里浅浅解释一下过拟合，进一步讨论会放在下面的部分。通俗地讲，过拟合就是模型对训练集上的数据特征过度地学习，把一些事实上不重要的噪声特征也纳入了模型，导致模型的复杂度过高，对未知数据的预测能力降低。简单地说，过拟合就是“钻了牛角尖，对一些细枝末节的东西过于在意”。\n",
401 | "\n",
402 | "那么，如何防止过拟合呢？我们在前面的解释中可以看到，过度学习的一大表现就是模型的复杂度过高，那如果我在原来的经验风险函数中加入一个对模型复杂度的“惩罚”，是不是就可以解决了这一问题呢？答案是肯定的，这就是**结构风险函数**的来由，它的公式为：\n",
403 | "$$\n",
404 | "R_{\\mathrm{srm}}(f)=\\frac{1}{N} \\sum_{i=1}^N L\\left(y_i, f\\left(x_i\\right)\\right)+\\lambda J(f)\n",
405 | "$$\n",
406 | "其中，$J(f)$是模型的复杂度，每个模型的复杂度函数定义都有不同。模型越复杂，$J(f)$越高；$\\lambda \\geqslant 0$是惩罚系数，$\\lambda$越高，复杂度的惩罚就越大。结构风险小的模型要求模型的训练集平均误差与模型复杂度都同时小，这使得它对于未知的测试集数据有较好的预测。让结构风险函数最小化也被称为**正则化**，如下所示：\n",
407 | "$$\n",
408 | "\\min _{f \\in \\mathcal{F}} \\frac{1}{N} \\sum_{i=1}^N L\\left(y_i, f\\left(x_i\\right)\\right)+\\lambda J(f)\n",
409 | "$$\n",
410 | "总结一下，机器学习方法的策略有两种：经验风险函数最小化与结构风险函数最小化。前者不限制模型的复杂度，对训练数据集的特征学习充分，但是可能产生过拟合；后者限制模型的复杂度，不容易使模型过拟合，但是过度的正则化会使模型对特征的学习不充分（这种情况被称为欠拟合）。正则化程度的选取，需要通过调参过程确定，这方面的内容将在后续课程提及。\n"
411 | ]
412 | },
413 | {
414 | "cell_type": "markdown",
415 | "metadata": {},
416 | "source": [
417 | "### 3.2.3 算法"
418 | ]
419 | },
420 | {
421 | "cell_type": "markdown",
422 | "metadata": {},
423 | "source": [
424 | "我们已经知晓了学习最优参数的策略实际上就是一个最优化问题，那么最后一个步骤就是针对这些最优化问题进行计算，这就是“算法”需要考虑的事了。\n",
425 | "\n",
426 | "算法是指学习模型的具体计算方法。这里面涉及数值计算的许多方法，是较为困难的部分，且每个机器学习方法都有各自独特的计算方法，因此在后续的机器学习方法讲解上，我们不会注重对“算法”部分的讲解。大家只需要稍作了解即可。\n",
427 | "\n",
428 | "注意：我们在这里说的算法特指计算方法，和在前面大章节说的“机器学习算法”中的算法并不一样，“机器学习算法”中的算法更多的理解为是一种“方法”，讲的人多了也便成了一种说法上的固定搭配。我们在后续的课程中也会经常使用“机器学习算法”、“xxx算法”这样的说法，这其中的算法实际上是方法，而非计算方法，望大家理解！"
429 | ]
430 | },
431 | {
432 | "cell_type": "markdown",
433 | "metadata": {},
434 | "source": [
435 | "## 3.3 模型评估"
436 | ]
437 | },
438 | {
439 | "cell_type": "markdown",
440 | "metadata": {},
441 | "source": [
442 | "经过了3.2的机器学习三要素步骤后，我们现在成功训练出了一个机器学习模型$f(X)$。但是，任务还没有完全结束，我们还有一项重要的任务需要进行——模型已经训练好了，可是它的“好不好”需要如何进行评估呢？那么这就是本章节需要探讨的内容！"
443 | ]
444 | },
445 | {
446 | "cell_type": "markdown",
447 | "metadata": {},
448 | "source": [
449 | "### 3.3.1 评估指标——测试误差"
450 | ]
451 | },
452 | {
453 | "cell_type": "markdown",
454 | "metadata": {},
455 | "source": [
456 | "我们在前面提到过，机器学习更注重对未知数据的预测能力，因此未参与到模型训练过程的测试集数据的误差(test error)便可以用来评估模型对未知数据的预测能力。\n",
457 | "\n",
458 | "当损失函数$L$给定后，我们便可以计算测试集的平均误差了。假设训练完毕的模型为$Y=\\hat{f}(X)$，则关于测试集的平均损失为：\n",
459 | "$$\n",
460 | "e_{\\mathrm{test}}=\\frac{1}{N^{\\prime}} \\sum_{i=1}^{N^{\\prime}} L\\left(y_i, \\hat{f}\\left(x_i\\right)\\right)\n",
461 | "$$\n",
462 | "其中，$N^{\\prime}$为测试集样本容量。\n",
463 | "\n",
464 | "值得注意的是，测试误差所采用的损失函数$L$与策略中的训练误差损失函数$L$未必是一致的，这种情况在分类问题上比较常见。例如，Xgboost模型所采用的训练损失函数是对数损失函数的变式，而测试损失函数则根据需求变化——既可以是0-1损失函数，也可以是诸如精确率(precision)与召回率(recall)等指标。当然，也有两者一致的情况，如回归问题的训练、测试损失函数都为平方损失函数。\n",
465 | "\n",
466 | "最后，如果一个模型的测试误差小，说明它对未知数据有较强的预测能力，我们称这种对未知数据的预测能力为**泛化能力(generalization ability)**"
467 | ]
468 | },
469 | {
470 | "cell_type": "markdown",
471 | "metadata": {},
472 | "source": [
473 | "### 3.3.2 过拟合及其解析"
474 | ]
475 | },
476 | {
477 | "cell_type": "markdown",
478 | "metadata": {},
479 | "source": [
480 | "在这一章节，我们对过拟合现象进行简要的剖析，并借用一个M次多项式建模的例子向大家直观地展示过拟合的后果。\n",
481 | "\n",
482 | "我们先给出过拟合的定义：过拟合是指学习时选择的模型所包含的参数过多，以至于其对训练集数据有很好的预测效果，但是对测试集数据效果很差的现象。\n",
483 | "\n",
484 | "下面，我们用一个例子向大家说明过拟合的危害。假设给定一个样本数为10的一维训练数据集：\n",
485 | "$$\n",
486 | "T=\\left\\{\\left(x_1, y_1\\right),\\left(x_2, y_2\\right), \\cdots,\\left(x_{10}, y_{10}\\right)\\right\\}\n",
487 | "$$\n",
488 | "我们需要对这10个给定样本点进行多项式拟合任务——即假定给定数据是由某个$M$次多项式函数生成的，我们要找出最有可能产生这些数据的$M$次多项式函数。\n",
489 | "\n",
490 | "设$M$次多项式为：\n",
491 | "$$\n",
492 | "f_M(x, w)=w_0+w_1 x+w_2 x^2+\\cdots+w_M x^M=\\sum_{j=0}^M w_j x^j\n",
493 | "$$\n",
494 | "根据多项式函数的知识，由于我们有10个数据点，因此可以拟合0~9次多项式函数。样本点分布与各阶多项式曲线拟合的情况如下：\n",
495 | "\n",
496 | "
\n",
497 | "\n",
498 | "四张图分别为$M=0,M=1,M=3,M=9$的拟合曲线情况，注意到每张图中都有一条相同的曲线，那是产生这些样本点的实际多项式模型（之所以不是完全贴合，是因为有噪声的添加）。\n",
499 | "\n",
500 | "可以看到，$M=0$时，多项式模型就是一条常数直线，拟合效果非常差，属于“欠拟合”；$M=1$时，多项式模型仅能学习到样本点的大致趋势，拟合效果也不佳。$M=3$时，模型已经能较好的拟合样本点了，且我们知道它已经很接近真实模型了；$M=9$时，模型对样本点做到了完全的贴合，但是我们知道训练样本点是存在噪声的，这种过度的拟合实际上把噪声信息也学习进了模型当中。这样的模型一旦对未知数据进行预测，效果将惨不忍睹！想象一下，还是由那一条曲线产生新的测试样本点，九阶模型预测的误差将有多大呢！\n",
501 | "\n",
502 | "从上述例子中，我们可以洞见训练误差、测试误差与模型复杂度间的大致关系。在模型复杂度较低的时候，训练、测试误差都很高，这是因为模型过于简单导致对数据特征的学习不充分，也就是模型欠拟合；随着模型复杂度的提高，训练、测试误差同步下降，但是测试误差存在一个理论的极小值点，在极小值点之后，随着复杂度的继续提高，测试误差将逐渐增大，发生过拟合。\n",
503 | "\n",
504 | "
"
505 | ]
506 | },
507 | {
508 | "cell_type": "markdown",
509 | "metadata": {},
510 | "source": [
511 | "## 3.4 模型选择"
512 | ]
513 | },
514 | {
515 | "cell_type": "markdown",
516 | "metadata": {},
517 | "source": [
518 | "我们在前面遵循机器学习方法三要素训练出了一个模型，并使用测试误差对这个模型进行了评估，那么最后一个环节来了——如何在众多可能的模型中选择出相对最优的那个模型呢？事实上，这个问题可以分为两部分：\n",
519 | "1. 如何在不同类别的模型中选出最好的类别；\n",
520 | "\n",
521 | "2. 如何在一类模型中选出最优的那组参数。\n",
522 | "\n",
523 | "对于第一个问题，我认为首先要做的是对各种模型都要有一定的了解，清楚每一种模型适合使用在怎样的场景下，这样在拿到数据后，我们心里自然就会知道可能有哪些模型适合处理这样的数据。如果可能存在多个模型效果相近，我们则可以比较这些模型的指标，选取最优者。\n",
524 | "\n",
525 | "关键问题是第二个。我们在前面的分析中一直有一个假设：模型是存在理论最优解的，然而在实际情况中我们不可能找到这种理想解，只能在众多参数组合中找到相对最优的那组。简单来说，就是需要我们列出可能的参数组合，再使用一定的选择方法找出最优的那组，并以这组参数作为当前最优的参数解。一个常用的选择方法就是交叉验证法，这个方法的介绍我们将留在后续章节，在这里我们先埋下一个坑，敬请期待！"
526 | ]
527 | },
528 | {
529 | "cell_type": "markdown",
530 | "metadata": {},
531 | "source": []
532 | }
533 | ],
534 | "metadata": {
535 | "kernelspec": {
536 | "display_name": "Python 3.8.12 ('ml')",
537 | "language": "python",
538 | "name": "python3"
539 | },
540 | "language_info": {
541 | "name": "python",
542 | "version": "3.8.12"
543 | },
544 | "orig_nbformat": 4,
545 | "vscode": {
546 | "interpreter": {
547 | "hash": "d04da679f0afee458c3e357f6d2cf382c79de022618e35f1262af9ecf478f5e1"
548 | }
549 | }
550 | },
551 | "nbformat": 4,
552 | "nbformat_minor": 2
553 | }
554 |
--------------------------------------------------------------------------------
/Wakanda-Optimization/Task1_线性规划(上)模型建立/Task 1_线性规划(上)模型建立.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "cells": [
3 | {
4 | "cell_type": "markdown",
5 | "metadata": {},
6 | "source": [
7 | "# 1 问题引导的线性规划知识"
8 | ]
9 | },
10 | {
11 | "cell_type": "markdown",
12 | "metadata": {},
13 | "source": [
14 | "## 1.1 题目简介：\n",
15 | " (源自2000年国赛B题$,$有改动)\n",
16 | "\n",
17 | "\n",
18 | "\n",
19 | "### ❓ 问题背景\n",
20 | "如上图所示$,$要铺设一条 $A_1\\rightarrow A_2\\rightarrow \\cdots\\rightarrow A_{15}$ 的输送天然气的主管道$,$经筛选后可以生产这种主管道钢管的钢厂有 $S_1,S_2,\\cdots,S_7$。图中单细线表示公路$,$双细线表示要铺设的管道 (假设沿管道或者原来有公路$,$或者建有施工公路)$,$圆圈表示火车站$,$每段公路和管道旁的阿拉伯数字表示里程 (单位km).\n",
21 | "\n",
22 | "为方便计$,1$km主管道钢管称为1单位钢管。\n",
23 | "\n",
24 | "\n",
25 | "\n",
26 | "钢厂 $S_i$ 在指定期限内能生产该钢管的最大数量为 $s_i$ 个单位$,$钢管出厂销价 $1$ 单位钢管为 $p_i$ 万元$,$如下表：\n",
27 | "\n",
28 | "$i$|$1$|$2$|$3$|$4$|$5$|$6$|$7$\n",
29 | ":--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:\n",
30 | "$s_i$|$800$|$800$|$1000$|$2000$|$2000$|$2000$|$3000$\n",
31 | "$p_i$|$160$|$155$|$155$|$160$|$155$|$150$|$160$\n",
32 | "\n",
33 | "\n",
41 | "\n",
42 | "\n",
43 | "公路运输费用为1单位钢管每公里 $0.1$ 万元 (不足整公里部分按整公里计算)。\n",
44 | "\n",
45 | "钢管可由铁路$,$公路运往铺设地点 (不只是运到点 $A_1,A_2,\\cdots,A_{15},$而是管道全线)$,$ 铺设费用为每公里 $0.1$ 万元.\n",
46 | "\n",
47 | "请制定一个主管道钢管的订购和运输计划$,$使总费用最小 (给出总费用)."
48 | ]
49 | },
50 | {
51 | "cell_type": "markdown",
52 | "metadata": {},
53 | "source": [
54 | "## 1.2 模型构建: 线性规划模型的引入\n",
55 | "\n",
56 | "### 1.2.1 遇到一道建模难题时$,$ 我们究竟要怎么处理$?$\n",
57 | "\n",
58 | "看到题目第一感觉怎么样$?$\n",
59 | "\n",
60 | "题目好乱$!$\n",
61 | "\n",
62 | "国赛下来问题约我等今日决战$,$ 如何对敌$?$ Don't be afraid$!$ 越是复杂的问题越要冷静分析$!$\n",
63 | "\n",
64 | "![](\"fig/fig5_可行域.png\")
\n",
134 | "\n",
135 | "\n",
136 | " "
137 | ]
138 | },
139 | {
140 | "cell_type": "markdown",
141 | "metadata": {},
142 | "source": [
143 | "图解法告诉我们：\n",
144 | "1. 该优化问题的可行域为一线段，即图中红色部分。我们的目标就是找到**当目标函数与红色线段有交点时，取值最小的点**；\n",
145 | "2. 显然取值最小的点在$ (1000,1000) $ 处取到，即最优解在 $ (1000,1000) $ 处取得；\n",
146 | "3. 将 $ (1000,1000) $ 代入目标函数，得最小费用为 $481400$ 万元.\n",
147 | "\n",
148 | "下面我们使用Scipy的优化工具，来尝试解决这一简单的问题，并与我们图解法的结果做比较."
149 | ]
150 | },
151 | {
152 | "cell_type": "code",
153 | "execution_count": 1,
154 | "metadata": {
155 | "ExecuteTime": {
156 | "end_time": "2022-08-14T13:33:13.393907Z",
157 | "start_time": "2022-08-14T13:33:12.980439Z"
158 | }
159 | },
160 | "outputs": [],
161 | "source": [
162 | "import numpy as np\n",
163 | "from scipy.optimize import minimize"
164 | ]
165 | },
166 | {
167 | "cell_type": "code",
168 | "execution_count": 31,
169 | "metadata": {
170 | "ExecuteTime": {
171 | "end_time": "2022-08-08T12:17:54.103202Z",
172 | "start_time": "2022-08-08T12:17:53.993870Z"
173 | }
174 | },
175 | "outputs": [
176 | {
177 | "name": "stdout",
178 | "output_type": "stream",
179 | "text": [
180 | "最优值： 481299.9999999999\n",
181 | "最优解： [1000. 1000.]\n"
182 | ]
183 | }
184 | ],
185 | "source": [
186 | "fun = lambda x : (228.3 * x[0]) + (253.1 * x[1]) # 目标函数\n",
187 | "\n",
188 | "cons = ({'type': 'eq', 'fun': lambda x: x[0] + x[1] - 2000}, # 等式约束，x0+x1-2000 = 0\n",
189 | " {'type': 'ineq', 'fun': lambda x: x[0]}, # 不等式约束 x0 >=0 \n",
190 | " {'type': 'ineq', 'fun': lambda x: x[1]},\n",
191 | " {'type': 'ineq', 'fun': lambda x: 1000 - x[0]}, # 1600-x0 >= 0\n",
192 | " {'type': 'ineq', 'fun': lambda x: 1600 - x[1]}\n",
193 | " )\n",
194 | "\n",
195 | "x0 = np.array((1.0, 1.0)) # 设置初始值(随机设置即可)\n",
196 | "\n",
197 | "res = minimize(fun, x0, method='SLSQP', constraints=cons) # 调用最小值模块\n",
198 | "print(\"最优值：\", res.fun)\n",
199 | "print(\"最优解：\", res.x)"
200 | ]
201 | },
202 | {
203 | "cell_type": "markdown",
204 | "metadata": {},
205 | "source": [
206 | "### 1.2.3 逐步还原问题的复杂度——线性规划模型的建立\n",
207 | "毕竟不是阿Q$,$ 解决了最简单的Boss之后我们就要开始调整难度了$,$ 从上节我们其实也发现了$,$ 这个问题的目标函数$,$ 约束条件$,$ 都是**线性**的$,$ 这样的优化模型我们称之为**线性规划模型**$,$ 其一般形式如下\n",
208 | "\n",
209 | "$$\\min z (\\boldsymbol{x}) =c_1x_1+c_2x_2+\\cdots+c_nx_n,$$\n",
210 | "\n",
211 | "$$s.t.\\begin{cases}\n",
212 | "a_{11}x_1+a_{12}x_2+\\cdots+a_{1n}x_n\\leqslant b_1,\\\\\n",
213 | "a_{21}x_1+a_{22}x_2+\\cdots+a_{2n}x_n\\leqslant b_2,\\\\\n",
214 | "\\vdots\\\\\n",
215 | "a_{k1}x_1+a_{k2}x_2+\\cdots+a_{kn}x_n\\leqslant b_k,\\\\\n",
216 | "a_{k+1,1}x_1+a_{k+1,2}x_2+\\cdots+a_{k+1,n}x_n= b_{k+1},\\\\\n",
217 | "a_{k+2,1}x_1+a_{k+2,2}x_2+\\cdots+a_{k+2,n}x_n=b_{k+2},\\\\\n",
218 | "\\vdots\\\\\n",
219 | "a_{k+l,1}x_1+a_{k+l,2}x_2+\\cdots+a_{k+l,n}x_n=b_{k+l},\\\\\n",
220 | "x_i\\geqslant 0,i=1,2,\\cdots,n\n",
221 | "\\end{cases}$$\n",
222 | "\n",
223 | "其中 $\\boldsymbol{x}= (x_1,x_2,\\cdots,x_n) $ 为 $n$ 个决策变量 (**取值范围是连续的**) $,$ 含有 $k$ 条线性的不等式约束以及 $l$ 条线性的等式约束$,x_i,b_j$ 皆为**非负数**.\n",
225 | "\n",
226 | "那变量的个数一旦大于两个$,$ 我们就没办法用图解法求解了$,$ 这个时候怎么办呢$?$ 别着急$,$ 一般的线性规划模型的求解方式早已成熟$,$ 我们可以直接使用各种软件以及代码进行求解$,$ 在下节讲解原理之前$,$ 我们不妨先把求解的方式当成一个黑盒子来看待——仅代入数据求解$,$ 暂不探索其中奥妙.\n",
227 | "\n",
228 | "#### 第一步: 简单增加节点数\n",
229 | "回到问题来$,$ 我们现在需要从上节中最简单的“三少” (厂少$,$ 节点少$,$ 路线少) 情形慢慢还原至题目原本的“三多” (厂多$,$ 节点多$,$ 路线多) 情形了$,$ 先来看看两钢厂三节点的情况\n",
230 | "\n",
231 | "\n",
232 | "\n",
233 | "该情形与上节的情形本质的不同便是我们需要考虑 $S_3,S_4$ 对中间节点 $A_{10}$ 的运输计划$,$ $S_3,S_4$ 分别该往 $A_{10}$ 运输多少$,$ 运输后是往左边铺设还是右边铺设亦或两边一起铺设都是我们需要考虑的$,$ 因此对于三节点的情形$,$ 我们需要考虑第 $i$ 个钢厂对中间节点 $A_{10}$ 运输钢管后从该节点出发$,$ 左边铺设的钢管量 $z_{i,10-}$ 以及右边铺设的钢管量 $z_{i,10+}$. 这里的正（负）号表示从节点 $A_{10}$的左边（右边）开始铺管。\n",
234 | "\n",
235 | "\n",
236 | "而同样的$,$ 我们也可以引入 $S_3$ 运输至 $A_9$ 往右边铺设的钢管长度 $z_{3,9+}$ 以及 $S_4$ 运输至 $A_{11}$ 往左边铺设的钢管长度 $z_{4,11-}$ (**思考一下**: 为什么不考虑 $z_{3,11-},z_{4,9+}$) 从而替代掉整体的订购钢管长度 $x_3,x_4,$ 那么新的优化模型即为\n",
237 | "\n",
238 | "$$\\min W_{order}+W_{trans}$$\n",
239 | "$$s.t.\\begin{cases}\n",
240 | "x_3=z_{3,9+}+z_{3,10+}+z_{3,10-},\\\\\n",
241 | "x_4=z_{4,10+}+z_{4,10-}+z_{4,11-},\\\\\n",
242 | "x_i\\leqslant s_i,i=3,4,\\\\\n",
243 | "x_3+x_4=780,\\\\\n",
244 | "z_{3,9+}\\geqslant 0,z_{4,11-}\\geqslant 0,\\\\\n",
245 | "z_{i,10+}\\geqslant 0,z_{i,10-}\\geqslant 0,i=3,4,\\\\\n",
246 | "\\end{cases}$$\n",
247 | "\n",
248 | "其中\n",
249 | "\n",
250 | "$$W_{order}=155x_3+160x_4,$$\n",
251 | "$$W_{trans}=73.3z_{3,9+}+101.1 (z_{3,10+}+z_{3,10-}) +93.1 (z_{4,10+}+z_{4,10-}) +78.9z_{4,11-}.$$\n",
252 | "\n",
253 | "尽管变量数多又怎么样呢$?$ 这仍然是一个线性规划模型$,$ 在成熟的求解方法面前$,$ 不过是一只纸糊的老虎.\n",
254 | "\n",
255 | "为了适应Scipy的表达语法，一共是八个变量，我们将其对应转化为一个长度为8的变量数组，我们先来将变量做一个对应\n",
256 | "\n",
257 | "| | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |\n",
258 | "| -------- | ----- | ----- | ------------- | -------------- | -------------- | -------------- | -------------- | -------------- |\n",
259 | "| 模型变量 | $x_3$ | $x_4$ | $z_{3,9^{+}}$ | $z_{3,10^{-}}$ | $z_{3,10^{-}}$ | $z_{4,10^{-}}$ | $z_{4,10^{+}}$ | $z_{4,11^{-}}$ |\n",
260 | "| 数组索引 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |\n"
261 | ]
262 | },
263 | {
264 | "cell_type": "code",
265 | "execution_count": 13,
266 | "metadata": {
267 | "ExecuteTime": {
268 | "end_time": "2022-08-07T08:07:59.810195Z",
269 | "start_time": "2022-08-07T08:07:59.631623Z"
270 | }
271 | },
272 | "outputs": [
273 | {
274 | "data": {
275 | "text/plain": [
276 | " fun: 178074.00000014115\n",
277 | " jac: array([155. , 160. , 73.30078125, 101.09960938,\n",
278 | " 101.09960938, 93.09960938, 93.09960938, 78.90039062])\n",
279 | " message: 'Optimization terminated successfully'\n",
280 | " nfev: 99\n",
281 | " nit: 11\n",
282 | " njev: 11\n",
283 | " status: 0\n",
284 | " success: True\n",
285 | " x: array([ 7.80000000e+02, 9.27798283e-10, 7.80000000e+02, 1.58856217e-09,\n",
286 | " 1.58850488e-09, 1.51388813e-09, 1.51349067e-09, -2.09962536e-09])"
287 | ]
288 | },
289 | "execution_count": 13,
290 | "metadata": {},
291 | "output_type": "execute_result"
292 | }
293 | ],
294 | "source": [
295 | "fun = lambda x : (155 * x[0] +160 * x[1]) + (73.3 * x[2] + 101.1 * (x[3] + x[4]) + 93.1*(x[5] + x[6]) + 78.9*x[7])# 目标函数\n",
296 | "\n",
297 | "cons = ({'type': 'eq', 'fun': lambda x: x[0] - x[2] - x[3] - x[4]}, # 等式约束\n",
298 | " {'type': 'eq', 'fun': lambda x: x[1] - x[5] - x[6] - x[7]},\n",
299 | " {'type': 'eq', 'fun': lambda x: x[0] + x[1] - 780},\n",
300 | " {'type': 'ineq', 'fun': lambda x: 1000 - x[0]}, # 不等式约束\n",
301 | " {'type': 'ineq', 'fun': lambda x: 2000 - x[1]},\n",
302 | " {'type': 'ineq', 'fun': lambda x: x[2]},\n",
303 | " {'type': 'ineq', 'fun': lambda x: x[3]},\n",
304 | " {'type': 'ineq', 'fun': lambda x: x[4]},\n",
305 | " {'type': 'ineq', 'fun': lambda x: x[5]},\n",
306 | " {'type': 'ineq', 'fun': lambda x: x[6]},\n",
307 | " {'type': 'ineq', 'fun': lambda x: x[7]},\n",
308 | " )\n",
309 | "\n",
310 | "x0 = np.array((1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0)) # 设置初始值(随机设置即可)\n",
311 | "\n",
312 | "res = minimize(fun, x0, method='SLSQP', constraints=cons) # 调用最小值模块\n",
313 | "res"
314 | ]
315 | },
316 | {
317 | "cell_type": "markdown",
318 | "metadata": {},
319 | "source": [
320 | "解得最终的结果为\n",
321 | "$x_4 = 780, z_{3,9^+} = 780$，其他全为0."
322 | ]
323 | },
324 | {
325 | "cell_type": "markdown",
326 | "metadata": {},
327 | "source": [
328 | "#### 第二步: 完全还原“三多”\n",
329 | "\n",
330 | "我们发现$,$ 节点数增加后的情形不过是将决策变量细化为了每个节点的左右钢管铺设量 $z_{ij+},z_{ij-},$ 其目标函数以及约束条件还是线性的$,$ 同样的道理在钢厂数的调节上也适用$,$ 只不过是将上面具体的模型变成了抽象的废话而已$,$ 在考虑 $15$ 个节点以及 $7$ 个钢厂的情况下$,$ 我们的决策变量是第 $i$ 个钢厂 $S_i$ 运输至第 $j$ 个节点 $A_j$ 后从该节点出发分别沿着左右方向铺设的钢管量 $z_{ij-},z_{ij+},i=1,2,\\cdots,7,j=1,2,\\cdots,15$ 其中起点终点有一边不需要铺设即 $z_{i1-}=z_{i,15+}=0,$ 约束条件仍然参照上文. 如图所示\n",
331 | "\n",
332 | " \n",
333 | "\n",
334 | " 我们需要深入考虑的是$,$ 第 $i$ 个钢厂 $S_i$ 运输至第 $j$ 个节点 $A_j$ 的路线选择有限$,$ 因此也必定存在最短路径 $c'_{ij}$ 以及其最小运输费用 $0.1c_{ij}'=c_{ij},$ 指定最短路线进行运输即可$,$ 此处通过计算机有限次计算即可事先得到 $c_{ij}$ 的数据进行储存如下\n",
335 | " \n",
336 | "目标函数的解析式增广为\n",
337 | "$$W_{order}=\\sum\\limits_{i=1}^{7}\\left (p_i\\sum\\limits_{j=1}^{15} (z_{ij+}+z_{ij-}) \\right) ,W_{trans}=\\sum\\limits_{i=1}^7\\sum\\limits_{j=1}^{15}c_{ij} (z_{ij+}+z_{ij-}) ,$$\n",
338 | "完善所有节点数以及钢厂数之后的线性规划模型如下\n",
339 | "$$\\min \\sum\\limits_{i=1}^{7}\\left (p_i\\sum\\limits_{j=1}^{15} (z_{ij+}+z_{ij-}) \\right) +\\sum\\limits_{i=1}^7\\sum\\limits_{j=1}^{15}c_{ij} (z_{ij+}+z_{ij-}) $$\n",
340 | "$$s.t. \\begin{cases}\n",
341 | "\\sum\\limits_{j=1}^{15} (z_{ij+}+z_{ij-}) \\leqslant s_i,i=1,2,\\cdots,15,\\\\\n",
342 | "\\sum\\limits_{i=1}^7\\sum\\limits_{j=1}^{15} (z_{ij+}+z_{ij-}) =L,\\\\\n",
343 | "z_{ij+}\\geqslant 0,z_{ij-}\\geqslant 0,i=1,2,\\cdots,7,j=1,2,\\cdots,15\\\\\n",
344 | "z_{i1-}=z_{i,15+}=0,i=1,2,\\cdots,15\n",
345 | "\\end{cases}\n",
346 | "$$\n",
347 | "其中$,p_{i}$ 是 $S_i$ 的钢管单位订购价$,s_i$ 是 $S_i$ 的订购上限$,c_{ij}$ 是 $S_i$ 到 $A_j$ 的公路最短路线费用$,L$ 是管道总长$,$ **皆为常数**. 从结构上来看$,$ 尽管它的决策变量与约束条件都非常多 (光是决策变量就有 $15\\times 7=105$ 个) $,$ 本质上还是一个线性规划问题$,$ 在计算出 $c_{ij}$ 后即可实现其求解.\n",
348 | "\n",
349 | " \n",
57 | "![](\"fig/fig1.3.1_解的情况.png\") \n",
58 | " | \n",
59 | " \n",
60 | "![](\"fig/fig1.3.2_解的情况.png\") \n",
61 | " | \n",
62 | " \n",
63 | "![](\"fig/fig1.3.3_解的情况.svg\") \n",
64 | " | \n",
65 | "
\n",
90 | "![](\"fig/fig6_凸集.png\") \n",
91 | " | \n",
92 | " \n",
93 | "![](\"fig/fig7_非凸集合.png\") \n",
94 | " | \n",
95 | " \n",
96 | "![](\"fig/fig8_凸多边形.png\") \n",
97 | " | \n",
98 | "
![](\"fig/fig9_Gradient_descent.gif\")
\n",
212 | "![](\"fig/fig9_单纯形表结构.png\")
\n",
275 | "![](\"fig/fig9_终止准则.png\")
"
391 | ]
392 | },
393 | {
394 | "cell_type": "markdown",
395 | "id": "d4031a27",
396 | "metadata": {},
397 | "source": [
398 | "## Reference\n",
399 | ""
400 | ]
401 | },
402 | {
403 | "cell_type": "markdown",
404 | "id": "ebe9ab58",
405 | "metadata": {},
406 | "source": [
407 | "![](\"fig/fig3.1.png\")
\n",
16 | "\n",
17 | "如上图所示$,$要铺设一条 $A_1\\rightarrow A_2\\rightarrow \\cdots\\rightarrow A_{15}$ 的输送天然气的主管道$,$经筛选后可以生产这种主管道钢管的钢厂有 $S_1,S_2,\\cdots,S_7$。图中粗线表示铁路$,$单细线表示公路$,$双细线表示要铺设的管道(假设沿管道或者原来有公路$,$或者建有施工公路)$,$圆圈表示火车站$,$每段铁路、公路和管道旁的阿拉伯数字表示里程(单位km).\n",
18 | "\n",
19 | "为方便计$,1$ km 主管道钢管称为 $1$ 单位钢管.\n",
20 | "\n",
21 | "一个钢厂如果承担制造这种钢管$,$ 至少需要生产 $500$ 个单位.钢厂 $S_i$ 在指定期限内能生产该钢管的最大数量为 $s_i$ 个单位$,$钢管出厂销价 $1$ 单位钢管为 $p_i$ 万元$,$ 如下表：\n",
22 | "\n",
23 | "$i$|$1$|$2$|$3$|$4$|$5$|$6$|$7$\n",
24 | ":--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:\n",
25 | "$s_i$|$800$|$800$|$1000$|$2000$|$2000$|$2000$|$3000$\n",
26 | "$p_i$|$160$|$155$|$155$|$160$|$155$|$150$|$160$\n",
27 | "$1$ 单位钢管的铁路运价如下表：\n",
28 | "\n",
29 | "里程(km)\t|$\\leqslant 300$\t|$301$~$350$\t|$351$~$400$\t|$401$~$450$\t|$451$~$500$\n",
30 | ":--:|:--:|:--:|:--:|:--:|:--:\n",
31 | "运价(万元)\t|$20$\t|$23$\t|$26$\t|$29$\t|$32$\n",
32 | "\n",
33 | "里程(km)\t|$501$～$600$\t|$601$～$700$\t|$701$～$800$\t|$801$～$900$\t|$901$～$1000$\n",
34 | ":--:|:--:|:--:|:--:|:--:|:--:\n",
35 | "运价(万元)\t|$37$\t|$44$\t|$50$\t|$55$\t|$60$\n",
36 | "\n",
37 | "$1000$ km以上每增加 $1$ 至 $100$ km 运价增加 $5$ 万元.\n",
38 | "\n",
39 | "公路运输费用为1单位钢管每公里 $0.1$ 万元 (不足整公里部分按整公里计算)$,$ 铺设费用为每公里 $0.1$ 万元.\n",
40 | "\n",
41 | "钢管可由铁路$,$公路运往铺设地点 (不只是运到点 $A_1,A_2,\\cdots,A_{15},$而是管道全线).\n",
42 | "\n",
43 | "**问题一(已解决):** 请制定一个主管道钢管的订购和运输计划$,$使总费用最小(给出总费用).\n",
44 | "\n",
45 | "**问题二:** 此外$,$ 每个钢管厂由于生产工艺不同所生产的钢管质量也有所不同$,$ 最具体现力的是直接影响天然气主管道稳定性的钢管的平均寿命$,$ 每个钢厂生产的钢管平均寿命为 $Y_i$ 年$,$ 如下表:\n",
46 | "\n",
47 | "$i$|$1$|$2$|$3$|$4$|$5$|$6$|$7$\n",
48 | ":--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:\n",
49 | "$Y_i$|$160$|$155$|$155$|$160$|$155$|$150$|$160$\n",
50 | "\n",
51 | "在这种情况下$,$ 请制定一个主管道钢管的订购和运输计划$,$ 使得其能同时兼顾成本以及主管道的稳定性.\n",
52 | "\n",
53 | "**问题三:** 我们还需考虑以下现实因素:\n",
54 | "\n",
55 | "1. 由于钢厂 $S_3$ 是国营企业$,$ 所以在订购时需保证其钢管供给的主要地位$,$ 钢管订购总量必须比其他钢厂要多.\n",
56 | "\n",
57 | "2. 因路况较差$,$ 钢厂 $S_2$ 到节点 $A_8$ 的钢管运输量不超过 $150$ 单位.\n",
58 | "\n",
59 | "3. 订购运输计划的预算是\n",
60 | "\n",
61 | "![引用自网络](\"https://commons.wikimedia.org/wiki/File:Gradient_descent.gif\"){kind=link}