├── Kaggle rank └── Kaggle rank 20190107.jpg ├── README.md ├── 学习笔记 ├── 其他视频学习 │ ├── 学习笔记 │ └── 笔记截图 │ │ ├── K邻近值分类器模型.jpg │ │ ├── TF训练图像分类器.jpg │ │ ├── 决策树分类器模型.jpg │ │ └── 数据处理的流程.jpg ├── 吴恩达机器学习 │ ├── 学习笔记 │ └── 笔记截图 │ │ ├── 1.jpg │ │ ├── 2.jpg │ │ ├── 3.jpg │ │ ├── 360截图20181206010154818.jpg │ │ ├── 360截图20181206010342953.jpg │ │ ├── 360截图20181206010351762.jpg │ │ ├── 360截图20181206011513548.jpg │ │ ├── 360截图20181208142829023.jpg │ │ ├── 360截图20181208172548019.jpg │ │ ├── 360截图20181208174827644.jpg │ │ ├── 360截图20181208175939129.jpg │ │ ├── 360截图20181208180228545.jpg │ │ ├── 360截图20181208181043382.jpg │ │ ├── 360截图20181208193551924.jpg │ │ ├── 360截图20181208193835919.jpg │ │ ├── 360截图20181208195026039.jpg │ │ ├── 360截图20181208195427004.jpg │ │ ├── 360截图20181208222850313.jpg │ │ ├── 360截图20181208223850851.jpg │ │ ├── 360截图20181208225201995.jpg │ │ ├── 360截图20181208225751371.jpg │ │ ├── 360截图20181209132605189.jpg │ │ ├── 360截图20181209133902736.jpg │ │ ├── 360截图20181209134043900.jpg │ │ ├── 360截图20181211002359481.jpg │ │ ├── 360截图20181212235815852.jpg │ │ ├── 360截图20181212235917705.jpg │ │ ├── 360截图20181213000755388.jpg │ │ ├── 360截图20181213001155765.jpg │ │ ├── 360截图20181213001440878.jpg │ │ ├── 360截图20181213001755078.jpg │ │ ├── 360截图20181213002036218.jpg │ │ ├── 360截图20181213002449967.jpg │ │ ├── 360截图20181213231035417.jpg │ │ ├── 360截图20181213231645466.jpg │ │ ├── 360截图20181213232626428.jpg │ │ ├── 360截图20181213232757218.jpg │ │ ├── 360截图20181213232854443.jpg │ │ ├── 360截图20181213233415951.jpg │ │ ├── 360截图20181217231837307.jpg │ │ ├── 360截图20181217233123036.jpg │ │ ├── 360截图20181217233415407.jpg │ │ ├── 360截图20181217234133411.jpg │ │ └── 360截图20181217234748410.jpg ├── 数学基础 │ ├── 学习笔记 │ └── 笔记截图 │ │ ├── 最小二乘法.jpg │ │ ├── 迭代终止准则.jpg │ │ └── 高中三角函数 公式.jpg ├── 斯坦福CS231n李飞飞计算机视觉 │ ├── 学习笔记 │ └── 笔记截图 │ │ ├── 360截图20181218230221858.jpg │ │ ├── 360截图20181218230532197.jpg │ │ └── 360截图20181218231105996.jpg └── 统计学习方法-李航 │ └── 学习笔记 ├── 学习路线 ├── 开源框架&库 ├── 模型训练流程 └── 算法分类 /Kaggle rank/Kaggle rank 20190107.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/Kaggle rank/Kaggle rank 20190107.jpg -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # AI_learning_route 2 | 3 | 我的人工智能学习路线：数学基础、机器学习、深度学习、Python、图像处理、计算机视觉、Python 4 | 5 | 学习AI，尽可能打好数学基础，AI从业者数学基础不扎实，只会用一些工具和框架，相当于某些武术家只会耍套路，外行人觉得很厉害，但是实战起来一定是纸上谈兵。可以说，数学基础是AI从业人员的内功，内功通常和掌握的基础知识正相关，基础知识越扎实，内功就越强大，以后才会走得更远，执剑天涯，笑傲江湖。 6 | -------------------------------------------------------------------------------- /学习笔记/其他视频学习/学习笔记: -------------------------------------------------------------------------------- 1 | 1、 -------------------------------------------------------------------------------- /学习笔记/其他视频学习/笔记截图/K邻近值分类器模型.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/其他视频学习/笔记截图/K邻近值分类器模型.jpg -------------------------------------------------------------------------------- /学习笔记/其他视频学习/笔记截图/TF训练图像分类器.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/其他视频学习/笔记截图/TF训练图像分类器.jpg -------------------------------------------------------------------------------- /学习笔记/其他视频学习/笔记截图/决策树分类器模型.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/其他视频学习/笔记截图/决策树分类器模型.jpg -------------------------------------------------------------------------------- /学习笔记/其他视频学习/笔记截图/数据处理的流程.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/其他视频学习/笔记截图/数据处理的流程.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/学习笔记: -------------------------------------------------------------------------------- 1 | 1、回归：回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。 2 | 回归分析是一种数学模型。当因变量和自变量为线性关系时，它是一种特殊的线性模型。当函数为参数未知的线性函数时，称为线性回归分析模型； 3 | 当函数为参数未知的非线性函数时，称为非线性回归分析模型。当自变量个数大于1时称为多元回归，当因变量个数大于1时称为多重回归。 4 | 5 | 2、回归分析的主要内容有以下： 6 | ①从一组数据出发，确定某些变量之间的定量关系式；即建立数学模型并估计未知参数。通常用最小二乘法。 7 | ②检验这些关系式的可信任程度。 8 | ③在多个自变量影响一个因变量的关系中，判断自变量的影响是否显著，并将影响显著的选入模型中，剔除不显著的变量。通常用逐步回归、向前回归和向后回归等方法。 9 | ④利用所求的关系式对某一过程进行预测或控制。 10 | 11 | 3、回归主要的种类有：线性回归、曲线回归、二元logistic回归、多元logistic回归。 12 | 13 | 4、在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。 14 | 15 | 5、Linear Regression线性回归：线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。 16 | Logistic Regression逻辑回归：逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。 17 | 在这里我们使用的是的二项分布（因变量），我们需要选择一个对于这个分布最佳的连结函数。它就是Logit函数。在上述方程中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差。 18 | Polynomial Regression多项式回归：对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。 19 | 20 | 6、最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 21 | 最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。建立如下规则：被选择的参数，使算出的函数曲线与观测值之差的平方和最小。 22 | 23 | 7、迭代:重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。 24 | 重复执行一系列运算步骤，从前面的量依次求出后面的量的过程。此过程的每一次结果，都是由对前一次所得结果施行相同的运算步骤得到的。 25 | 对计算机特定程序中需要反复执行的子程序*(一组指令)，进行一次重复，即重复执行程序中的循环，直到满足某条件为止，亦称为迭代。 26 | 迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法(或者称为一次解法)，即一次性解决问题。迭代算法是用计算机解决问题的一种基本方法，它利用计算机运算速度快、适合做重复性操作的特点， 27 | 让计算机对一组指令(或一定步骤)进行重复执行，在每次执行这组指令(或这些步骤)时，都从变量的原值推出它的一个新值，迭代法又分为精确迭代和近似迭代。比较典型的迭代法如“二分法”和"牛顿迭代法”属于近似迭代法。 28 | 最常见的迭代法是牛顿法。其他还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、惩罚函数法、斜率投影法、遗传算法、模拟退火等等。 29 | 一步一步逐渐精确。逻辑上：多次使用同一算法。 30 | 在计算机科学中，迭代是程序中对一组指令（或一定步骤）的重复。它既可以被用作通用的术语（与“重复”同义），也可以用来描述一种特定形式的具有可变状态的重复。 31 | 在第一种意义下，递归是迭代的一个例子，但是通常使用一种递归式的表达。比如用0!=1，n!=n*(n-1)!来表示阶乘。而迭代通常不是这样写的。 32 | 而在第二种（更严格的）意义下，迭代描述了在指令式编程语言中使用的编程风格。与之形成对比的是递归，它更偏向于声明式的风格。 33 | 由于数值迭代是逐步逼近最优点而获得近似解的，它无限地接近于最优点却又不是理论上的最优点，所以就需要考虑在什么样的条件下才终止迭代，获得一个足够精度的近似极小点，这一条件就是迭代计算的终止准则。 34 | 终止准则： 35 | (1) 点距准则：当相邻两迭代点X(k)、X(k+1)之间的距离已达到充分小时。 36 | (2)函数下降量准则：当相邻两迭代点X(k)、X(k+1)的目标函数值的下降量已达到充分小时。 37 | (3)梯度准则：当目标函数在迭代点的梯度已达到充分小时，迭代终止。 38 | 在优化设计中，一般只要满足以上终止准则之一，则可认为设计点收敛于极值点。 39 | 三种常用的迭代搜索优化方法：梯度下降法、牛顿方法、坐标上升的方法（在支持向量机部分引入的，为了解决soft margin SVM的优化问题） 40 | 梯度下降法：在解决多维度的优化问题中最常见的局部最优问题。究其原因是梯度下降法的搜索准则所致，按照梯度的负方向搜索，一味追求网络误差或能量函数的降低，使得搜索只具有“下山”的能力， 41 | 而不具备“爬山”的能力。所谓“爬山”的能力，就是当搜索陷入局部最优时，还能具备一定的“翻山越岭”的能力，能够从局部最优中逃出来，继续搜索全局最优。 42 | 牛顿法则是通过分析极大和极小值处曲线的特性，通过求导，并使导数为0，构造典型的f(X)=0f(X)=0的优化形式，每一步都从该点处的切线位置与XX轴（或平面）相交的处的X作为下一次迭代的搜索位置的X坐标（对应的yy可以通过f(X)f(X)求得）。 43 | 通常情况下牛顿法收敛速度比梯度下降方法要快。 44 | 坐标上升的方法，这个优化搜索方法是在支持向量机部分引入的，为了解决soft margin SVM的优化问题。 45 | 梯度下降与牛顿方法是两种非常常用的迭代优化方法，主要的思想就是通过迭代，一步一步地逼近最优解。 46 | 47 | 8、递归，就是在函数内部又去调用自己。递归实际上就是将规模为n的问题降价为n-1的问题进行求解。也就是去找n和n-1之间的关系。 48 | 49 | 9、递推：找到数学规律：通过公式计算到下一项的值，一直到我们要的结果为止。例如：兔子产子：通过前俩项得到下一项。递推分为顺推和逆推。 50 | 51 | 10、穷举：遇到一个问题，找不到更好的解决办法，（找不到数学公式或者规律）时，使用“最笨”的办法，利用计算机计算速度快的特点，将所有可能性全部列出来并将我们想要得到的结果记录下来。 52 | 穷举方法的特点：是算法简单，相应的程序也简单，但是计算量往往很大。但是计算机的优势就是运算速度快，所以此算法可以扬长避短，往往可以取得不错的效果。 53 | 案例：1)有一个三位数，个位数字比百位数字大，而百位数字又比十位数字大，并且各位数字之和等于各位数字相乘之积，求此三位数。2）百钱白鸡问题。 54 | 55 | 11、交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set), 56 | 首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。 57 | 用交叉验证的目的是为了得到可靠稳定的模型。在建立PCR 或PLS 模型时，一个很重要的因素是取多少个主成分的问题。用cross validation 校验每个主成分下的PRESS值，选择PRESS值小的主成分数。或PRESS值不再变小时的主成分数。 58 | 59 | 12、正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。 60 | 61 | -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/1.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/2.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/3.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/3.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181206010154818.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181206010154818.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181206010342953.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181206010342953.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181206010351762.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181206010351762.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181206011513548.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181206011513548.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208142829023.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208142829023.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208172548019.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208172548019.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208174827644.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208174827644.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208175939129.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208175939129.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208180228545.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208180228545.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208181043382.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208181043382.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208193551924.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208193551924.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208193835919.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208193835919.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208195026039.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208195026039.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208195427004.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208195427004.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208222850313.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208222850313.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208223850851.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208223850851.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208225201995.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208225201995.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181208225751371.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181208225751371.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181209132605189.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181209132605189.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181209133902736.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181209133902736.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181209134043900.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181209134043900.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181211002359481.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181211002359481.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181212235815852.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181212235815852.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181212235917705.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181212235917705.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213000755388.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213000755388.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213001155765.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213001155765.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213001440878.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213001440878.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213001755078.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213001755078.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213002036218.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213002036218.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213002449967.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213002449967.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213231035417.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213231035417.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213231645466.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213231645466.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213232626428.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213232626428.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213232757218.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213232757218.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213232854443.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213232854443.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181213233415951.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181213233415951.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181217231837307.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181217231837307.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181217233123036.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181217233123036.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181217233415407.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181217233415407.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181217234133411.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181217234133411.jpg -------------------------------------------------------------------------------- /学习笔记/吴恩达机器学习/笔记截图/360截图20181217234748410.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/吴恩达机器学习/笔记截图/360截图20181217234748410.jpg -------------------------------------------------------------------------------- /学习笔记/数学基础/学习笔记: -------------------------------------------------------------------------------- 1 | 高等数学 2 | 1、函数、极限、连续 3 | 2、一元函数微积分 4 | 3、空间解析几何与向量代数 5 | 4、多元函数微积分 6 | 5、无穷级数、极限：常数项级数、幂级数 7 | 6、常微分方程与差分方程 8 | 9 | 线性代数 10 | 1、行列式：展开定理 11 | 2、矩阵：变换 12 | 3、向量：线性相关性、极大无关组、向量组秩、向量空间 13 | 4、线性方程组：齐次、非齐次线性方程组 14 | 5、特征值与特征向量：矩阵相似对角化、实对称矩阵 15 | 6、二次型：化二次型为标准型、正定二次型 16 | 17 | 概率论 18 | 1、概率论 19 | 随机事件和概率 20 | 随机变量及其分布 21 | 多维随机变量及其分布 22 | 随机变量的数字特征 23 | 大数定律和中心定理 24 | 2、数理统计 25 | 数理统计基本概念 26 | 参数估计 27 | 假设检验 28 | -------------------------------------------------------------------------------- /学习笔记/数学基础/笔记截图/最小二乘法.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/数学基础/笔记截图/最小二乘法.jpg -------------------------------------------------------------------------------- /学习笔记/数学基础/笔记截图/迭代终止准则.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/数学基础/笔记截图/迭代终止准则.jpg -------------------------------------------------------------------------------- /学习笔记/数学基础/笔记截图/高中三角函数 公式.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/数学基础/笔记截图/高中三角函数 公式.jpg -------------------------------------------------------------------------------- /学习笔记/斯坦福CS231n李飞飞计算机视觉/学习笔记: -------------------------------------------------------------------------------- 1 | 1、 -------------------------------------------------------------------------------- /学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218230221858.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218230221858.jpg -------------------------------------------------------------------------------- /学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218230532197.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218230532197.jpg -------------------------------------------------------------------------------- /学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218231105996.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/xuleilx/AI_learning_route/db6a441440065ab8e25f76fa42acfee99b6a1f44/学习笔记/斯坦福CS231n李飞飞计算机视觉/笔记截图/360截图20181218231105996.jpg -------------------------------------------------------------------------------- /学习笔记/统计学习方法-李航/学习笔记: -------------------------------------------------------------------------------- 1 | 1、 -------------------------------------------------------------------------------- /学习路线: -------------------------------------------------------------------------------- 1 | 数学基础 2 | 黄海广：机器学习的数学基础 电子书/在线文档 3 | 百度文库：考研数学知识点总结 在线文档 4 | 5 | 机器学习 6 | 吴恩达：《机器学习》公开课 在线视频 7 | 黄海广：机器学习课程笔记 电子书/在线文档 8 | 李航：《统计学习方法》 电子书/在线文档、笔记、代码 9 | 周志华：《机器学习》 电子书 10 | 林轩田：《机器学习基石》 在线文档/离线视频 11 | 林轩田：《机器学习技法》 在线文档/离线视频 12 | 机器学习小抄-像背托福单词一样理解机器学习 电子书 13 | 李宏毅：李宏毅机器学习(2017) 在线视频 14 | 15 | 深度学习 16 | 吴恩达：《深度学习》公开课 在线视频 17 | 黄海广：深度学习课程笔记 电子书/在线文档 18 | 李宏毅：《一天读懂深度学习》 电子书 19 | Tensorflow：选择性看经典入门基础视频和教程 20 | TensorFlow技术解析与实战.李嘉璇.2017 电子书 21 | Tensorflow 实战Google深度学习框架 电子书 22 | 《Scikit-Learn与TensorFlow机器学习实用指南》 在线文档 23 | Keras：选择性看经典入门基础视频和教程 24 | 《python深度学习》书 配套代码和数据集 电子书/在线文档 25 | Keras深度学习笔记 在线文档 26 | 27 | 图像/视觉 28 | 数字信号处理：选择性看经典入门基础视频和教程 在线视频 29 | 数字图像处理：选择性看经典入门基础视频和教程 在线视频 30 | Opencv：选择性看经典入门基础视频和教程 31 | 2017CS231n 斯坦福李飞飞视觉识别 在线视频 32 | 斯坦福CS231n李飞飞计算机视觉 在线视频 33 | 34 | Python 35 | 《利用python进行数据分析》 在线文档/电子书 36 | python入门笔记 电子书 37 | 南京大学python视频教程 离线视频 38 | 39 | 阅读论文 40 | 学好英语，阅读经典优秀论文 41 | 一步步手推复现论文算法 42 | 论文阅读笔记与分类整理 43 | 44 | 参加比赛做实际项目 45 | 国际比赛：kaggle 46 | 国内比赛：天池 47 | Github开源项目 48 | 49 | 学习交流 50 | 微信群 51 | QQ群 52 | 技术大牛 53 | 学术活动 54 | 55 | 附件：已整理好的学习资料见 56 | 硬盘：AI_learning_route文件夹 57 | 浏览器：AI_learning_route收藏夹 58 | -------------------------------------------------------------------------------- /开源框架&库: -------------------------------------------------------------------------------- 1 | TensorFlow 2 | 基于TensorFlow上层框架&库： 3 | 机器学习库 4 | Numpy 5 | Pandas 6 | Matplotlib 7 | Scikit-learn 8 | scipy 9 | 深度学习库 10 | Keras 11 | 图像识别库 12 | opencv-python (conda install opencv-python) 13 | Pillow (conda install Pillow) 14 | dlib (conda install -c menpo dlib) 15 | face_recognition (pip install face_recognition) 16 | 17 | Caffe 18 | PyTorch 19 | MXNet -------------------------------------------------------------------------------- /模型训练流程: -------------------------------------------------------------------------------- 1 | 导入库 2 | 3 | 数据 4 | 读取数据 5 | 数据预处理：清洗、转换 6 | 数据可视化分析：观察比较、特征提取 7 | 数据拆分：训练集、测试集 8 | 数据归一化、标准化 9 | 10 | 模型 11 | 模型选择 12 | 模型训练 13 | 模型优化 14 | 损失函数（即最优化目标函数）：交叉熵函数 15 | 训练方法（即最优化算法）：梯度下降法 16 | 17 | 模型测试 18 | 19 | 模型验证 20 | 交叉验证 21 | 22 | 模型评估 23 | 预测精度 24 | 25 | 统计分析 26 | 分类判断 27 | 精度对比：最佳模型、参数 28 | 29 | 模型应用评估 30 | 加载模型 31 | 随机提取测试集的一组数据和标签测试 32 | 预测精度 33 | 34 | 35 | 36 | 37 | 38 | 39 | 交叉熵(Cross Entropy) 40 | 交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。 41 | 交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。 42 | 交叉熵用来衡量预测值和真实值的相似程度，如果完全相同，它们的交叉熵等于零 ,所以loss 越小学的好。 43 | 44 | 45 | 交叉验证(Cross-validation) 46 | 交叉验证主要用于回归建模中。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。 47 | 这个过程一直进行，直到所有的样本都被预报了一次而且仅被预报一次。把每个样本的预报误差平方加和，称为PRESS(predicted Error Sum of Squares)。 48 | 通常并不会把所有的数据集都拿来训练，而是分出一部分来（这一部分不参加训练）对训练集生成的参数进行测试，相对客观的判断这些参数对训练集之外的数据的符合程度。这种思想就称为交叉验证。 49 | 50 | 交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练, 51 | 再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。 52 | 交叉验证的目的是为了得到可靠稳定的模型。在建立PCR 或PLS 模型时，一个很重要的因素是取多少个主成分的问题。用cross validation 校验每个主成分下的PRESS值，选择PRESS值小的主成分数。 53 | 或PRESS值不再变小时的主成分数。 54 | 55 | K-fold cross-validation：K折交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次， 56 | 平均K次的结果或者使用其它结合方式，最终得到一个单一估测。 57 | 58 | 59 | -------------------------------------------------------------------------------- /算法分类: -------------------------------------------------------------------------------- 1 | 8大排序算法 2 | 插入排序 3 | 直接插入 4 | 希尔 5 | 选择排序 6 | 简单选择 7 | 堆排序 8 | 交换排序 9 | 冒泡排序 10 | 快速排序 11 | 归并排序 12 | 基数排序 13 | 14 | 机器学习算法 15 | 回归 16 | 线性回归 17 | 分类 18 | 逻辑回归 19 | 贝叶斯分类 20 | 决策树 21 | 随机森林 22 | K-临近值（KNN） 23 | 支持向量机（SVM） 24 | 聚类 25 | K-均值（K-means） 26 | 降维 27 | 28 | 深度学习算法 29 | 人工神经网络 30 | 卷积神经网络 31 | 循环神经网络 32 | 对抗神经网络 33 | 强化学习 34 | 迁移学习 35 | 求解算法 36 | BP神经网络 37 | 梯度下降法 38 | 大数据 39 | 数据挖掘 40 | 爬虫 41 | 数据分析 42 | 搜索算法 43 | 推荐算法 44 | 图像算法 45 | 图像重建 46 | 图像处理 47 | 图像描述 48 | 图像识别 49 | 图像分割 50 | 二值化 51 | 阈值法 52 | 边缘法 53 | 区域法 54 | 信号算法 55 | 小波法 56 | 阈值法 57 | 语音算法 58 | 语音识别 59 | 自然语言处理 60 | --------------------------------------------------------------------------------