├── 1.机器学习导论 ├── 1.机器学习导论.pdf ├── 机器学习导论.assets │ ├── 损失函数.jpg │ ├── 过拟合-1608704565678.jpg │ └── 过拟合.jpg └── 机器学习导论.md ├── 10.参数优化 ├── 10.参数优化.pdf ├── 参数优化.assets │ ├── 1529937121990.png │ ├── 1529937122133.png │ ├── 1529937122244.png │ ├── 1529937122353.png │ ├── 1529937122454.png │ ├── 1529937122556.png │ ├── 1529937122668.png │ └── 2019110915213854.png └── 参数优化.md ├── 11.word2vec ├── 11.word2vec.pdf ├── word2vec.assets │ ├── 1cd37c9bac3b7503801d5a812d1a1b01_720w.jpg │ ├── 1cd37c9bac3b7503801d5a812d1a1b01_hd.jpg │ ├── one-hot.png │ ├── space1.png │ ├── space2.png │ ├── space3.png │ ├── 举例1.png │ ├── 举例2.png │ └── 顺序.png └── word2vec.md ├── 12.深度循环神经网络 ├── 12.深度循环神经网络.pdf ├── 深度循环神经网络.assets │ ├── LSTM1.png │ ├── LSTM2.png │ ├── LSTM3.png │ ├── LSTM4.png │ ├── LSTM5.png │ ├── RNN1.png │ ├── equation │ ├── v2-15c5eb554f843ec492579c6d87e1497b_720w.jpg │ ├── v2-206db7ba9d32a80ff56b6cc988a62440_720w.jpg │ ├── v2-29298ec3d2b9094b20abdc6d9d7b1272_720w.png │ ├── v2-3884f344d71e92d70ec3c44d2795141f_720w.jpg │ ├── v2-3dcdfe3a2857af79dce603d5233fe20c_720w.jpg │ ├── v2-556c74f0e025a47fea05dc0f76ea775d_720w.jpg │ ├── v2-614cb67f4bfae76e8452b3dd06223cdf_720w.png │ ├── v2-9524a28210c98ed130644eb3c3002087_720w.jpg │ ├── v2-b0175ebd3419f9a11a3d0d8b00e28675_720w.jpg │ ├── v2-c55f84034dff09174aba1b343672de32_720w.jpg │ ├── v2-c55f84034dff09174aba1b343672de32_hd.jpg │ ├── v2-d044fd0087e1df5d2a1089b441db9970_720w.jpg │ ├── v2-e4f9851cad426dfe4ab1c76209546827_720w.jpg │ └── 举例.png └── 深度循环神经网络.md ├── 13.seq2seq ├── 13.seq2seq.pdf ├── seq2seq.assets │ ├── attention.png │ ├── self1.png │ ├── self2.png │ ├── self3.png │ ├── v2-03d0a60b60a0a28f52ed903c76bb9a22_720w.jpg │ ├── v2-06af03965d27025cc8116c224badbb13_720w.jpg │ ├── v2-087b831f622f83e4529c1bbf646530f0_720w.jpg │ ├── v2-0c259fb2d439b98de27d877dcd3d1fcb_720w.jpg │ ├── v2-32eb6aa9e23b79784ed1ca22d3f9abf9_720w.jpg │ ├── v2-3cd76d3e0d8a20d87dfa586b56cc1ad3_720w.jpg │ ├── v2-40cf3d31c1c0dca24872bd9fc1fc429f_720w.jpg │ ├── v2-60645bb5a5777b7bcee90c78de34eb00_720w.jpg │ ├── v2-752c1c91e1b4dbca1b64f59a7e026b9b_720w.jpg │ ├── v2-a5f8a19c6d89422fe7d8a74087088b37_720w.jpg │ ├── v2-b1b7cd5637f7c844510fd460e0e2c807_b.jpg │ ├── v2-eea2dcbfa49df9fb799ef8e6997260bf_720w.jpg │ ├── v2-f64cbdcf1d883ede36b26067e34f4e3e_720w.jpg │ └── v2-fa09c6446f304a8c7ad7c52e30201007_720w.jpg └── seq2seq.md ├── 14.深度卷积神经网络 ├── 14.深度卷积神经网络.pdf └── 深度卷积神经网络.md ├── 15.无监督学习 ├── 15.无监督学习.pdf ├── 无监督学习.assets │ ├── 2019-04-09-un-position.png │ ├── 2019-04-11-tuijian.png │ ├── 2019-04-11-vs.png │ ├── 2019-04-11-xifen.png │ ├── 2019-04-11-yichang.png │ └── 2019-11-26-top.png └── 无监督学习.md ├── 16.生成式模型 ├── 16.生成式模型.pdf ├── 生成式模型.assets │ ├── 1704791-20200830201005020-1934248466.png │ ├── 1704791-20200830201005331-374405961.png │ ├── 1704791-20200830201005747-1756528589.png │ ├── 1704791-20200830201006202-1550811897.png │ ├── 1704791-20200830201006575-286481737.png │ ├── 1704791-20200830201007033-586145775.jpg │ ├── 1704791-20200830201007412-242732947.png │ ├── 1704791-20200830201007684-1429835969.png │ ├── 1704791-20200830201007944-2025278899.png │ ├── 1704791-20200830201008198-933757323.png │ ├── 1704791-20200830201008441-1903491337.png │ ├── 1704791-20200830201008720-1299091656.png │ ├── 1704791-20200830201009092-891327748.png │ ├── 1704791-20200830201009396-1519305668.png │ ├── 1704791-20200830201009771-1336300371.png │ ├── 1704791-20200830201010198-1415674233.png │ ├── 2019-07-16-2bf-1.png │ ├── 2019-07-16-d-tg-1.png │ ├── 2019-07-16-g-tg.png │ ├── 2019-07-16-xh.png │ ├── equation │ ├── v2-0e6fdaf7666cfab881c59d2bee203671_720w.png │ ├── v2-47e26e6096ef6967f064986c23e373e5_720w.png │ ├── v2-5e68140c9f3b2fec91649929f90e6138_720w.png │ ├── v2-6bbb3dd20f5b01f864fc72481159a95d_720w.png │ ├── v2-9b9cf73c1064a87a26ef3c0f9eac7b76_720w.png │ ├── v2-9cb3d142f47715df12378f105c11d1f4_720w.png │ ├── v2-ab84e45babe1a71bc19963b0455bfdcf_720w.png │ ├── v2-bc64f778f95312aa0c37d2ddb62358ec_720w.png │ ├── v2-bc7aef1f4608f037f0ec08a88d8c71bc_720w.png │ ├── v2-e0ab404f7b693a4127ef887a3ffa2ba3_720w.png │ ├── v2-f0cd8b79a1dc8fb08c9a0bd2b7424065_720w.png │ ├── 原8.png │ ├── 原理1.png │ ├── 原理2.png │ ├── 原理3.png │ ├── 原理4.png │ ├── 原理5.png │ ├── 原理6.png │ └── 原理7.png └── 生成式模型.md ├── 17.强化学习 ├── 17.强化学习.pdf ├── 强化学习.assets │ ├── 1250469-20180630222610380-832021054.png │ ├── 1250469-20180630223222264-854955253.png │ ├── 1250469-20180630223415826-1216914632.png │ ├── 1250469-20180630224850128-1980092693.png │ ├── 1250469-20180630225023544-1960378379.png │ ├── 1250469-20180630225152100-1592652568.png │ ├── 1250469-20180630225405233-1582993249.png │ ├── 1250469-20180630230011557-1010123764.png │ ├── 1250469-20180630230626859-173849869.png │ ├── 3bf33a87e950352a842e0d055343fbf2b2118b6b │ ├── Q1.png │ ├── Q2.png │ ├── Q3.png │ ├── Q4.png │ ├── Q5.png │ ├── equation │ ├── markdown20191202193752.png │ ├── v2-1c739366cec766c3ac6393dc1a78d54d_720w.png │ ├── v2-2f7addac8f6c6f400042a0c3c589a4dc_720w.png │ ├── v2-4c956fa87311eaaa5d8204fbe608379f_720w.png │ ├── v2-537d939fbdd7d09200a07b46c7cdb24f_720w.png │ ├── v2-5a1358eb300f0066387ecbd4861ebd28_720w.png │ ├── v2-668a675bc401bfc38c9fbd42f38ac0d1_720w.png │ ├── v2-6ccc74c071fd10520ad4190080447bee_720w.jpg │ ├── v2-6ccc74c071fd10520ad4190080447bee_hd.jpg │ ├── v2-72edba325663132dd0f6caa12c699157_720w.png │ ├── v2-7378f0165d6e13b78778dbed00de6ada_720w.jpg │ ├── v2-7378f0165d6e13b78778dbed00de6ada_hd.jpg │ ├── v2-9263175852c99ecf418682b3be0d7f6e_720w.png │ ├── v2-a9c1145c3c165aa0ae7fa9761606f314_720w.png │ ├── v2-abfa915b25f3750429e0edc473f8beff_720w.png │ ├── v2-ec9db29b3b62a697575140fc26c2c8d5_720w.png │ ├── v2-ee5f243a020fd9acf37048d06647d298_720w.png │ ├── v2-f93bc407f375274b217bf3632759a706_720w.png │ ├── 数学方法.png │ ├── 策略1.png │ ├── 策略3.png │ ├── 策略5.png │ └── 策略6.png └── 强化学习.md ├── 18.集成学习 ├── 18.集成学习.pdf ├── 集成学习.assets │ ├── 7260028-1060deacce8c1f76.png │ ├── 7260028-10942c77860667b7.png │ ├── 7260028-263d531846fa5679.png │ ├── 7260028-444fab2db8c0829d.png │ ├── 7260028-86ea673d9f44837f.png │ ├── 7260028-a25b4f99f8a1bd31.png │ ├── 7260028-c1cf2733f2310592.png │ ├── 7260028-d8dd33324b699f46.png │ ├── 7260028-efb91e39b8b2bc01.png │ ├── 7260028-f29168098a3339d3.png │ └── 7260028-fa7b6103b8eb3ee4.png └── 集成学习.md ├── 19.Easteregg.机器学习中常见的超参 ├── 19.常见的超参.pdf ├── 常见的超参.assets │ ├── batch影响1.png │ ├── batch影响2.jpg │ └── 难以收敛.jpg └── 常见的超参.md ├── 2.数学基础 ├── 2.数学基础.pdf ├── 数学基础.assets │ ├── 23fc3d010b55a84e4a7f66b8b02bd02f.svg │ ├── 2bbe458bd2dec7b2cdacb5954d49a568.svg │ ├── 3b5568f4510de6601c831270ef37af8e.svg │ ├── 47b44530235acff6998900774c85683d.svg │ ├── 578141d96f7c4be1bd0c5d7da8843c1b.svg │ ├── 81fe531a8b73f638fe38cd1407fbb876.svg │ ├── 89b034baad2985f1f0a6fe377fc9f470.svg │ ├── 8c8cc47c15e3f7a1682d23728c8306f4.svg │ ├── 9bd1f51c50a12e37aa8e2c7723329c12.svg │ ├── a174e91a95f1f61703953745b9111c39.svg │ ├── b31aa378530e552127512be06a522b70.svg │ ├── c367c4463553d772c9d9d0794e19e394.svg │ ├── e0a32d6249245bacdff1dd9eb1f7ff67.svg │ ├── ea5a3b50c821dedb26f8d49b21094be7.svg │ ├── v2-5840febf51e2b21cd0c983ac758498e3_720w.jpeg │ ├── v2-a9b61515528e9a9a1f780313b7eb6a59_720w.jpg │ ├── v2-d44e56ff6a0358df69c91541dcf74014_720w.jpg │ └── 范数.png └── 数学基础.md ├── 3.线性回归 ├── 3.线性回归.pdf ├── 线性回归.assets │ ├── equation.svg │ ├── v2-0681758772410633ab904fff1fa8c9a0_720w.jpg │ ├── v2-3870e0b7c306899acfc61045c61f03ab_720w.jpg │ ├── v2-3df13c7f294493e9a985b37b424edb50_720w.jpg │ ├── v2-71afaf9c18630b844f47ae9aa2926513_720w.jpg │ ├── v2-7c6f5d5a8e92d570718da6dfc4a9da78_720w.jpg │ ├── v2-a7ae72e6b04f93126996ff5ff85f6576_720w.jpg │ ├── 代价函数1.png │ ├── 梯度下降1.png │ ├── 梯度下降2.png │ ├── 矩阵表示1.png │ ├── 矩阵表示2.png │ ├── 矩阵表示3.png │ ├── 矩阵表示4.png │ ├── 矩阵表示5.png │ ├── 表示法1.png │ └── 表示法2.png └── 线性回归.md ├── 4.概率参数估计 ├── 4.概率参数估计.pdf ├── 概率参数估计.assets │ ├── 108e33b6fdcd8c2bfbb5a6dc622bbe63.svg │ ├── 1cfefc1a2141ce8c3eabbf3c1afc495d.svg │ ├── 33e2bb5bc78a1ae6ad92e52c94ebf869.svg │ ├── 3c4f0549aa7c13980155f6cbd360d716.svg │ ├── 6254f22f0742a1e934d61e15c2e368a4.svg │ ├── 75dc42c0e6272f2a619fe20aa2e34813.svg │ ├── adfb8da70a3baa5edda23c8320738df6.svg │ ├── b009ed8c12317841c8767b828248a848.svg │ ├── d567988c57032b3ca595eab7b2c0350a.svg │ ├── equation │ ├── v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png │ ├── v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png │ ├── v2-38d81b31721da4d53c62ef7babb177ea_720w.png │ ├── v2-4b810db6d395f6aeacd4c53092c47771_720w.png │ ├── v2-4bde3952e6a2811c35446dbb479e26a9_720w.png │ ├── v2-71b7b1264ce33f8369a32b88eed900bc_720w.png │ ├── v2-7caa2cca71867344273c32a949b291f3_720w.png │ ├── v2-82d69514c761c791c6eaf90dc0771b44_720w.png │ ├── v2-83f2f4b00981806c74e330b2d6f91db5_720w.png │ ├── v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png │ ├── v2-88728bc679158c4178a52ce7e2ad88dd_720w.png │ ├── v2-8b7031854b7c8eb4dabbfd7254579721_720w.png │ ├── v2-9aef823f8f275db63c870ce80e97a4ea_720w.png │ ├── v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png │ ├── v2-b6b7d9dea01c56061444ad3aaf194501_720w.png │ ├── v2-c065045ef461f043409ae02019044631_720w.png │ ├── v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png │ ├── v2-cb4061944502b983bd5faa404d73ec2a_720w.jpg │ ├── v2-d97d8406a534753442730a26fde76631_720w.png │ ├── v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png │ ├── v2-eb40196a04b9add56b72fe463c441237_720w.png │ ├── 举例1.png │ ├── 举例2.png │ ├── 举例3.png │ ├── 举例4.png │ ├── 共轭分布1.png │ ├── 共轭分布2.png │ ├── 共轭分布3.png │ ├── 共轭分布4.png │ └── 共轭分布5.png └── 概率参数估计.md ├── 5.贝叶斯分类 ├── 5.贝叶斯分类.pdf ├── 贝叶斯分类.assets │ ├── v2-0a235903c3b7a4f2e64e97279d330164_720w.jpg │ ├── v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png │ ├── v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png │ ├── v2-16f9fef8c526321ee52c569c51861d39_720w.jpg │ ├── v2-2258b1a74b8817af6211a072e41ea43c_720w.jpg │ ├── v2-248de73d9355c6f4cd487668758ff50d_720w.jpg │ ├── v2-2a2cae0e56b314011282ba3d50b2336a_720w.jpg │ ├── v2-38d81b31721da4d53c62ef7babb177ea_720w.png │ ├── v2-3c7cb869db4d7b4ad0d2f2e88d65066c_720w.jpg │ ├── v2-41c91ea980464a9d6c0f0d384bf60a82_720w.jpg │ ├── v2-4b810db6d395f6aeacd4c53092c47771_720w.png │ ├── v2-4bde3952e6a2811c35446dbb479e26a9_720w.png │ ├── v2-4de239bc3c553e7c50b0aa0bea495b5e_720w.jpg │ ├── v2-62698386270df703bf6237d71d748f28_720w.jpg │ ├── v2-6709d24a8b5f88698ceb261806c0e76a_720w.jpg │ ├── v2-6ac53161a26b8ddf1f4e70f10615b8fd_720w.jpg │ ├── v2-71b7b1264ce33f8369a32b88eed900bc_720w.png │ ├── v2-7acdb7a3e805a9080c1afe670f066517_720w.jpg │ ├── v2-7caa2cca71867344273c32a949b291f3_720w.png │ ├── v2-82545e01296e57a8aab1f62e261084f7_720w.jpg │ ├── v2-82d69514c761c791c6eaf90dc0771b44_720w.png │ ├── v2-83f2f4b00981806c74e330b2d6f91db5_720w.png │ ├── v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png │ ├── v2-88728bc679158c4178a52ce7e2ad88dd_720w.png │ ├── v2-8b7031854b7c8eb4dabbfd7254579721_720w.png │ ├── v2-99813895195467a1c68242d1a880559f_720w.jpg │ ├── v2-9aef823f8f275db63c870ce80e97a4ea_720w.png │ ├── v2-a02e553c8385da3023a88be0890948f3_720w.jpg │ ├── v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png │ ├── v2-b0ef8d6b2a2c8a3f2353ef16e3c6385b_720w.jpg │ ├── v2-b6b7d9dea01c56061444ad3aaf194501_720w.png │ ├── v2-c065045ef461f043409ae02019044631_720w.png │ ├── v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png │ ├── v2-d97d8406a534753442730a26fde76631_720w.png │ ├── v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png │ ├── v2-eb21d376ce0cd7e026793351bb5a3e4b_720w.jpg │ ├── v2-eb40196a04b9add56b72fe463c441237_720w.png │ ├── v2-ebcfc3f297a2c6a229bfe2b2c52b80ec_720w.jpg │ ├── v2-ef787ebee65afcad5405653c52694912_720w.jpg │ ├── v2-f6d54eb7b106add92a4c4862bf7282b1_720w.jpg │ └── v2-f8780a00ef0443cf61e4b252a8de65ba_720w.jpg └── 贝叶斯分类.md ├── 6.线性判别分析 ├── 6.线性判别分析.pdf ├── 线性判别分析.assets │ ├── 1f07df408e5f067506479138916e0c8a.svg │ ├── 556ae428162479b22dfdf75f89e50e71.svg │ ├── equation │ ├── 优缺点.png │ ├── 生成模型.png │ └── 生成模型和判别模型.png └── 线性判别分析.md ├── 7.支持向量机与Kernel技术 ├── 7.支持向量机与Kernel技术.pdf ├── 支持向量机与Kernel技术.assets │ ├── 1.1.png │ ├── 2.1.png │ ├── 2.2.png │ ├── 2.3.png │ ├── 3.1.png │ ├── 3.2.png │ ├── 3.3.png │ ├── 4.1.png │ ├── fomula_1.png │ ├── 核函数1.png │ ├── 核函数2.png │ ├── 核函数3.png │ └── 核函数4.png └── 支持向量机与Kernel技术.md ├── 8.逻辑回归 ├── 8.逻辑回归.pdf ├── 逻辑回归.assets │ ├── 逻辑回归1.png │ ├── 逻辑回归2.png │ ├── 逻辑回归3.png │ ├── 逻辑回归4.png │ ├── 逻辑回归5.png │ ├── 逻辑回归6.png │ ├── 逻辑回归7.png │ ├── 逻辑回归8.png │ ├── 逻辑回归9.png │ ├── 逻辑回归91.png │ ├── 逻辑回归92.png │ ├── 逻辑回归93.png │ ├── 逻辑回归94.png │ └── 逻辑回归95.png └── 逻辑回归.md ├── 9.多层感知机 ├── 9.多层感知机.pdf ├── 多层感知机.assets │ ├── 1__1_.png │ ├── 2__1_.png │ ├── 3.png │ ├── 4.png │ ├── 5.png │ ├── image__10_.png │ ├── image__11_.png │ ├── image__13_.png │ ├── image__8_.png │ ├── image__9_.png │ ├── v2-26ddf929f49099ada0ca65ccb30522f6_720w.png │ ├── v2-32dea7e789c589ddba0d259904532cab_720w.png │ ├── v2-4702cea908ffffc23a0bdcb26135ebeb_720w.png │ ├── v2-591881425bd9c56f319a76ef0d4bc475_720w.png │ ├── v2-8453ee1fafb845b19441c0d74b8169d2_720w.png │ ├── v2-d87b0cd1f308baf1c554114ab5b56f24_720w.png │ ├── v2-e3c4ad7f022b8991895f6aff997bff3e_720w.png │ ├── v2-e44a4c975e8021e2c2a96adba6b11bc2_720w.png │ └── v2-fcd322da0dc8fee8474147623ba3cb04_720w.png └── 多层感知机.md ├── LICENSE └── README.md /1.机器学习导论/1.机器学习导论.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/1.机器学习导论/1.机器学习导论.pdf -------------------------------------------------------------------------------- /1.机器学习导论/机器学习导论.assets/损失函数.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/1.机器学习导论/机器学习导论.assets/损失函数.jpg -------------------------------------------------------------------------------- /1.机器学习导论/机器学习导论.assets/过拟合-1608704565678.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/1.机器学习导论/机器学习导论.assets/过拟合-1608704565678.jpg -------------------------------------------------------------------------------- /1.机器学习导论/机器学习导论.assets/过拟合.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/1.机器学习导论/机器学习导论.assets/过拟合.jpg -------------------------------------------------------------------------------- /1.机器学习导论/机器学习导论.md: -------------------------------------------------------------------------------- 1 | # 1.机器学习导论 2 | 3 | ## 机器学习概念 4 | 5 | 机器学习(Machine Learning, ML)，是人工智能的核心，属于人工智能的一个分支，是一个大的领域，是让计算机拥有像人一样的学习能力，模拟和实现人的学习行为和能力，可以像人一样具有识别和判断的能力，可以看作是仿生学。机器学习的核心就是数据，算法（模型），算力（计算机运算能力）。以前也有人工智能，机器学习。不过最近几年网络发展和大数据的积累，使得人工智能能够在数据和高运算能力下发挥它的作用。机器学习应用领域十分广泛，例如：数据挖掘、数据分类、计算机视觉、自然语言处理(NLP)、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。 6 | 7 | ## 核心要素 8 | 9 | Key Components of Machine Learning 10 | 11 | * Data (Experience) 12 | 13 | * Model (Hypothesis) 14 | * Loss Function (Objective) 15 | * Optimization Algorithm (Improve) 16 | 17 | ## 如何解决机器学习问题 18 | 19 | **1.Consider the nature of available data D** 20 | 21 | * How much data can you get? What would it cost (in money, time or effort)? 22 | 23 | **2.Choose a representation for the input X** 24 | * 1.Data preprocessing 25 | 26 | **3. Choose a set of possible models H (hypothesis space)** 27 | * set of functions h: X → Y 28 | 29 | **4. Choose the Performance measure P (error/lossfunction)** 30 | 31 | **5. Choose or design a learning algorithm** 32 | 33 | * for using examples (E) to converge on a member of H that optimizes P 34 | 35 | ## 机器学习分类 36 | 37 | 现有的机器学习种类繁多，我们一般可以进行如下的分类标准： 38 | 39 | - 是否在人类监督下学习（监督学习、非监督学习、半监督学习和强化学习） 40 | - 是否可以动态的增量学习（在线学习和批量学习） 41 | - 是简单的将新的数据点和已知的数据点进行匹配，还是像科学家那样对训练数据进行模型检测，然后建立一个预测模型（基于实例的学习和基于模型的学习） 42 | 43 | 这些标准之间并不排斥。 44 | 45 | ## 机器学习核心概念 46 | 47 | ### 泛化 48 | 49 | 我们常常提到模型的**泛化**能力，什么是泛化能力呢？ 50 | 51 | 百度百科这样解释：是指机器学习算法对新鲜样本的适应**能力**。 学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该**能力**称为**泛化能力**。 52 | 53 | 提取几个关键词：*新鲜样本、适应能力、规律、合适输出*。由此可见，经训练样本训练的模型需要对新样本做出合适的预测，这是泛化能力的体现。 54 | 55 | ### 过拟合 56 | 57 | ![过拟合](机器学习导论.assets/过拟合-1608704565678.jpg) 58 | 59 | ### 损失函数 60 | 61 | ![损失函数](机器学习导论.assets/损失函数.jpg) 62 | 63 | ## 数据划分 64 | 65 | 训练数据集：用于构建机器学习模型 66 | 67 | 验证数据集：辅助构建模型，用于在构建过程中评估模型，为模型提供无偏估计，进而调整模型超参数 68 | 69 | 测试数据集：用来评估训练好的最终模型的性能（测试集是始终不参与训练的） 70 | 71 | 72 | 73 | **留出法：** 74 | 75 | 直接将数据划分为互斥的集合，如通常选择70%数据作为训练集，30%数据作为测试集 76 | 77 | 需要注意的是保持划分后集合数据分布的一致性，避免划分过程中引入额外的偏差而对最终结果产生影响，通常来说，单次使用留出法得到的结果往往不够稳定可靠，一般采用若干次随机换分，重复进行实验评估后取平均值作为留出法的评估结果 78 | 79 | 80 | 81 | **K-折交叉验证法：** 82 | 83 | **使用单独的测试集或者验证集具有一定的局限性：** 84 | 85 | 1. 测试集是对模型的单次评估，无法完全展现评估结果的不确定性。 86 | 2. 将大的测试集划分成测试集和验证集会增加模型性能评估的偏差。 87 | 3. 分割的测试集样本规模太小。 88 | 4. 模型可能需要每一个可能存在的数据点来确定模型值。 89 | 5. 不同测试集生成的结果不同，这造成测试集具备极大的不确定性。 90 | 6. 重采样方法可对模型在未来样本上的性能进行更合理的预测。 91 | 92 | 93 | 94 | 所以在实际应用中，可以选择K-折交叉验证的方式来评估模型（CV），其偏差低，性能评估变化小。 95 | 96 | 97 | 98 | 交叉验证是将一个整体数据平均划分为K份，（保证数据分布） 99 | 100 | 先取第一份子集数据作为测试集，剩下的K-1份子集数据作为训练集 101 | 102 | 再取第二份子集数据作为测试集，剩下的K-1份子集数据作为训练集 103 | 104 | ...... 105 | 106 | 不断往复，重复K次 107 | 108 | 然后将得到的结果进行加权平均，作为最终的评估结果 109 | 110 | 在平常的使用当中，10折交叉验证比较常见，当然还有5折交叉验证以及3折交叉验证 111 | 112 | n-折交叉验证也可以进行重复试验然后再取平均值的方式。比如：5次10折交叉验证 113 | 114 | 115 | 116 | **特例：留一交叉验证（leave one out）** 117 | 118 | 我们令样本划分次数K等于数据集合D的样本数量n，即对样本集合D划分为n份子集。 119 | 120 | 优点：训练集与原始数据集非常接近，并且可以做到训练集和测试集是对立的 121 | 122 | 缺点：计算开销很大 123 | 124 | 125 | 126 | **自助法：** 127 | 128 | 以自主采样为基础：每次随机的从初始数据D中选择一个样本拷贝到结果数据集D`中，样本再放回到初始数据集D中，这样重复m次，就得到了含有m个样本的数据集D`，这样就可以将D`作为训练集，D - D`作为测试集，这样，样本在m次采样中始终不被采样的概率为0.368 129 | 130 | 这样一个样本在训练集中没出现的概率就是m次都未被选中的概率，即(1-1/m)^m。当m趋于无穷大时，这一概率就将趋近于e-1=0.368 131 | 132 | 自助法的性能评估变化小，在数据集小、难以有效划分数据集时很有用。另外，自助法也可以从初始数据中产生多个不同的训练集，对集成学习等方法有好处。 133 | 134 | 然而，自助法产生的数据集改变了初始数据的分布，会引入估计偏差。因而，数据量足够时，建议使用留出法和交叉验证法。 -------------------------------------------------------------------------------- /10.参数优化/10.参数优化.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/10.参数优化.pdf -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937121990.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937121990.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122133.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122133.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122244.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122244.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122353.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122353.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122454.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122454.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122556.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122556.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/1529937122668.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/1529937122668.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.assets/2019110915213854.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/10.参数优化/参数优化.assets/2019110915213854.png -------------------------------------------------------------------------------- /10.参数优化/参数优化.md: -------------------------------------------------------------------------------- 1 | # 10.参数优化 2 | 3 | ## 在线学习和离线学习 4 | 5 | ### 离线学习 6 | 7 | 离线学习也通常称为批学习，是指对独立数据进行训练，将训练所得的模型用于预测任务中。将全部数据放入模型中进行计算，一旦出现需要变更的部分，只能通过再训练(retraining)的方式，这将花费更长的时间，并且将数据全部存在服务器或者终端上非常占地方，对内存要求高。 8 | 9 | 正是由于这个问题，传统的离线学习不能直接用于在线学习场景： 10 | 11 | 1. 离线需要多次传递训练数据，由于数据量的二次时间复杂度，导致处理效率很低 12 | 2. 离线需要分别在训练集和验证集上训练和选择，但在线学习不将训练与选择分离，不分割训练数据 13 | 3. 在批量学习设置中，通常假设数据是根据独立同分布设置的，但是在在线学习设置中，对训练数据的假设是宽松或几乎没有的。 14 | 15 | 离线学习的缺点： 16 | 1、 模型训练过程低效 17 | 2、 训练过程不易拓展于大数据场景。 18 | 3、 模型无法适应动态变化的环境 19 | 20 | ### 在线学习 21 | 22 | 在线学习也称为增量学习或适应性学习，是指对一定顺序下接收数据，每接收一个数据，模型会对它进行预测并对当前模型进行更新，然后处理下一个数据。这对模型的选择是一个完全不同，更复杂的问题。需要混合假设更新和对每轮新到达示例的假设评估。在网络异常检测中，网络异常通常包括各种网络故障、流量的异常表现和拥塞等，各种网络攻击层出不穷，数据是原数据中从未出现过的，因此要求新的在线学习方法能够自动地侦测当前要鉴别的流数据是原来数据中存在的还是新生成的 。在线学习算法具有实现简单、可拓展性强和算法性能优越等特点，适合用于海量数据处理。 23 | 24 | ### 在线学习算法的分类 25 | 26 | 根据模型是线性还是非线性模型，将在线学习算法分为两大类，在线线性学习算法和基于核的在线学习算法。 27 | 28 | | 在线线性学习算法 | 在线核学习算法 | 29 | | :--------------- | :------------------------- | 30 | | 感知器算法 | 基于核的感知器算法 | 31 | | 稀疏在线学习算法 | 基于核的在线梯度下降算法 | 32 | | 无 | 固定缓冲区的核在线学习算法 | 33 | 34 | 以上是针对单任务的在线学习问题，比如自然语言处理、生物基因序列以及图片视频搜索等适合使用多任务学习。多任务可利用多个任务之间的相关性避免模型欠拟合，从而提高算法的泛化能力。主要包括有： 35 | 36 | - 基于多任务的在线学习算法 37 | - 基于Group Lasso的在线学习算法 38 | 39 | ### 在线学习算法的优化 40 | 41 | - 通过"损失函数+正则化向"的优化框架 42 | - 还可以通过在线学习与深度学习相结合 43 | 44 | ### 对比 45 | 46 | 离线学习与在线学习对比的流程图如下： 47 | ![离线模式选择(左)与在线模式选择(右)](参数优化.assets/2019110915213854.png) 48 | 49 | ### 总结 50 | 51 | 在线学习与当前研究热点深度学习有待更加深入有效的融合，在线学习的分布式实现有待进一步探索和研究，在线学习是否能与强化学习结合，有待进一步探索。 52 | 53 | 54 | 55 | ### 其他的理解方式 56 | 57 | 理解方式一： 58 | 59 | 在这一次训练中： 60 | 61 | 在线学习：一个数据点训练完了直接更新权重（而不是一个batch），看到了没？直接更新权重，这里有危害处！（我们无法得知这一次的更新权重是正确的还是错误的，如果恰恰是错误的一次更新，那么我们的模型会有可能渐渐地走向错误方向，残差出现） 62 | 63 | 离线学习：一个batch训练完才更新权重，这样的话要求所有的数据必须在每一个训练操作中（batch中）都是可用的，个人理解，这样不会因为偶然的错误把网络带向极端。 64 | 65 | 这种理解方式在国外论文中出现比较多，国外称为online and batch learning.离线就是对应batch learning.这两种方式各有优点，在线学习比较快，但是有比较高的残差，离线（batch）学习能降低残差。 66 | 67 | 理解方式二： 68 | 69 | 在离线学习中，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被拿来用。简而言之，先训练，再用模型，不训练完就不用模型。 70 | 71 | 在在线学习中，恰恰相反，在线算法按照顺序处理数据。它们产生一个模型，并在把这个模型放入实际操作中，而不需要在一开始就提供完整的的训练数据集。随着更多的实时数据到达，模型会在操作中不断地更新。 72 | 73 | ## SGD(随机梯度下降) 74 | 75 | 随机梯度下降（SGD）也称为增量梯度下降，是一种迭代方法，用于优化可微分目标函数。该方法通过在小批量数据上计算损失函数的梯度而迭代地更新权重与偏置项。SGD在高度非凸的损失表面上远远超越了朴素梯度下降法，这种简单的爬山法技术已经主导了现代的非凸优化。 76 | 77 | 在另一个词条“gradient descent”中我们已经介绍过梯度下降的原理，即参数依据下式更新： 78 | 79 | ![img](参数优化.assets/1529937121990.png) 80 | 81 | 当模型在每见到一组训练数据都对参数进行更新时，我们称这种梯度下降法为SGD，即如下过程： 82 | 83 | 1.初始化参数（θ，学习率$\alpha$） 84 | 85 | 2.计算每个θ处的梯度 86 | 87 | 3.更新参数 88 | 89 | 4.重复步骤2 和3，直到代价值稳定 90 | 91 | 在实际运用中，使用小批量进行参数更新的mini-batch gradient descent也常常被叫做SGD，一般我们对使用单个训练数据更新还是小批量更新不做过多区分，而主要关注算法本身。 92 | 93 | 下图给出了一个简单的一维例子，可以看到模型成功的找到了最小值： 94 | 95 | ![img](参数优化.assets/1529937122133.png) 96 | 97 | 但实际上即使对于这样简单的一维问题，学习率的选取也是很重要的。如果步长过大，则算法可能永远不会找到如下的动画所示的最佳值。监控代价函数并确保它单调递减，这一点很重要。如果没有单调递减，可能需要降低学习率。 98 | 99 | ![img](参数优化.assets/1529937122244.png) 100 | 101 | SGD的另外一个问题其训练速度。可以想象若学习率过大，我们无法获得理想的结果，而若学习率过小，训练可能会非常耗时。对于复杂的问题，用户往往想要使用非常大的学习速率来快速学习感兴趣的参数，来获得一个初步的结果进行判断。不幸的是，当代价函数波动较大时，这可能导致不稳定。从下图可以看到，由于缺乏水平方向上的最小值，y参数方向的抖动形式。动量算法试图使用过去的梯度预测学习率来解决这个问题。 102 | 103 | ![img](参数优化.assets/1529937122353.png) 104 | 105 | 因此，目前使用的SGD往往使用动量（momentum）来缓解这个问题。通常，使用动量的SGD 通过以下公式更新参数： 106 | 107 | ![img](参数优化.assets/1529937122454.png) 108 | 109 | γ 和ν 值允许用户对dJ(θ) 的前一个值和当前值进行加权来确定新的θ值。人们通常选择γ和ν的值来创建指数加权移动平均值，如下所示： 110 | 111 | ![img](参数优化.assets/1529937122556.png) 112 | 113 | 这种简单的改变可以使优化过程产生显著的结果，我们现在可以使用更大的学习率，并在尽可能短的时间内收敛。如下图所示，在同一个问题上，我们可以更快到达一个局部（有时是全局）最优点。 114 | 115 | ![img](参数优化.assets/1529937122668.png) 116 | 117 | 当然，SGD还有许多变体，在此我们只对最基础的进行了介绍。 118 | 119 | **优势** 120 | 121 | 1. 由于每次迭代所选取的样本少，在每轮迭代中，只随机优化某一条训练数据上的损失函数，使得每轮参数更新速度大大加快。 122 | 123 | **劣势** 124 | 125 | 1. 同样由于每次迭代选取的样本少，梯度更新方向无法顾及到其余样本，因而准确性较低。 126 | 2. 同样的原因，容易收敛到局部最优解而非全局最优解(即使损失函数为凸)。 127 | 3. 难以并行。 -------------------------------------------------------------------------------- /11.word2vec/11.word2vec.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/11.word2vec.pdf -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_720w.jpg -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_hd.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_hd.jpg -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/one-hot.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/one-hot.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/space1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/space1.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/space2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/space2.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/space3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/space3.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/举例1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/举例1.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/举例2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/举例2.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.assets/顺序.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/11.word2vec/word2vec.assets/顺序.png -------------------------------------------------------------------------------- /11.word2vec/word2vec.md: -------------------------------------------------------------------------------- 1 | # 11.word2vec 2 | 3 | ## one-hot encoding 4 | 5 | ![one-hot](word2vec.assets/one-hot.png) 6 | 7 | **problem** 8 | 9 | 用户搜索Minhang motel时，想进行匹配，但是 10 | 11 | motel = [0 0 0 0 0 0 0 0 0 0 1 0 0 0 0] 12 | 13 | hotel = [0 0 0 0 0 0 0 1 0 0 0 0 0 0 0] 14 | 15 | 两个向量是正交的，并没有任何关系 16 | 17 | ## word emmbeding 18 | 19 | 20 | 21 | **词嵌入最粗浅的理解** 22 | 23 | o 词映射到低维连续向量(如图) 24 | 25 | cat: (-0.065, -0.035, 0.019, -0.026, 0.085,…) 26 | 27 | dog: (-0.019, -0.076, 0.044, 0.021,0.095,…) 28 | 29 | table: (0.027, 0.013, 0.006, -0.023, 0.014, …) 30 | 31 | o 相似词映射到相似方向 -- 语义相似性被编码了 32 | 33 | o Cosine相似度衡量方向 34 | 35 | ![img](word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_hd.jpg)![img](word2vec.assets/1cd37c9bac3b7503801d5a812d1a1b01_720w.jpg) 36 | 37 | 38 | 39 | **词嵌入可以做类比题** 40 | 41 | * v(“国王”) – v(“王后”) ≈ v(“男”) – v(“女”) o v(“英国”) + v(“首都”) ≈ v(“伦敦”) 42 | 43 | * 反映出语义空间中的线性关系 o词嵌入编码了语义空间中的线性关系, 向量的不同部分对应不同的语义 o 质疑：然而并没有什么x用？ o 44 | * 两个句子: A含“英国”,“首都”，不含“伦敦”；B含“伦敦” o 所有词的词向量的和表示句子 45 | * 两个句子仍会比较相似 46 | 47 | 48 | 49 | ![举例1](word2vec.assets/举例1.png) 50 | 51 | 52 | 53 | ![举例2](word2vec.assets/举例2.png) 54 | 55 | 56 | 57 | **相似词映射到相似方向：为什么** 58 | 59 | * 基本假设：“相似”词的邻居词分布类似 o 倒推：两个词邻居词分布类似 → 两个词语义相近 60 | * **猫** 宠物 主人 喂食 蹭 喵 61 | * **狗** 宠物 主人 喂食 咬 汪 62 | * v(“猫”)≈v(“狗”) 63 | * Apple: tree red growth design music company engineering executive 64 | * **v**(“apple”)≈**v**(“orange”), **v**(“apple”)≈**v**(“microsoft”) 65 | 66 | **词嵌入的优点** 传统one-hot编码： “天气”: (1,0,0…,0)，“气候”: (0,1,0,…0) 权力/的/游戏: (1,0,0,1,1,0,0, …) 冰/与/火/之/歌: (0,1,1,0,0,1,1,…) o 维度高（几千–几万维稀疏向量）， 67 | 68 | * 数据稀疏 69 | 70 | * 没有编码不同词之间的语义相似性 71 | 72 | * 难以做模糊匹配 73 | 74 | **词嵌入： ** 75 | 76 | * 维度低（100 – 500维）, 连续向量，方便机器学习模型处理 77 | 78 | * 无监督学习，容易获得大语料 79 | 80 | * 天然有聚类后的效果 81 | 82 | * 一个向量可以编码一词多义 (歧义的问题需另外处理) 83 | 84 | * 罕见词也可以学到不错的表示：“风姿绰约” ≈ “漂亮” 85 | 86 | 87 | 88 | **局限** 89 | 90 | 不能表示语句中词语顺序的关系 91 | 92 | 93 | 94 | ![顺序](word2vec.assets/顺序.png) 95 | 96 | 97 | 98 | ### the vector space model 99 | 100 | 101 | 102 | ![space1](word2vec.assets/space1.png) 103 | 104 | ![space2](word2vec.assets/space2.png) 105 | 106 | ![space3](word2vec.assets/space3.png) 107 | 108 | **缺点** 109 | 110 | * long (length |V|= 20,000 to 50,000) 111 | * sparse (most elements are zero) 112 | 113 | * 难以用作机器学习中的特征（需要调整的权重更多） 114 | 115 | * n存储显式计数可能很难推广 -------------------------------------------------------------------------------- /12.深度循环神经网络/12.深度循环神经网络.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/12.深度循环神经网络.pdf -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/LSTM1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/LSTM1.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/LSTM2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/LSTM2.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/LSTM3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/LSTM3.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/LSTM4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/LSTM4.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/LSTM5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/LSTM5.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/RNN1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/RNN1.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/equation: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-15c5eb554f843ec492579c6d87e1497b_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-15c5eb554f843ec492579c6d87e1497b_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-206db7ba9d32a80ff56b6cc988a62440_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-206db7ba9d32a80ff56b6cc988a62440_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-29298ec3d2b9094b20abdc6d9d7b1272_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-29298ec3d2b9094b20abdc6d9d7b1272_720w.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-3884f344d71e92d70ec3c44d2795141f_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-3884f344d71e92d70ec3c44d2795141f_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-3dcdfe3a2857af79dce603d5233fe20c_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-3dcdfe3a2857af79dce603d5233fe20c_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-556c74f0e025a47fea05dc0f76ea775d_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-556c74f0e025a47fea05dc0f76ea775d_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-614cb67f4bfae76e8452b3dd06223cdf_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-614cb67f4bfae76e8452b3dd06223cdf_720w.png -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-9524a28210c98ed130644eb3c3002087_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-9524a28210c98ed130644eb3c3002087_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-b0175ebd3419f9a11a3d0d8b00e28675_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-b0175ebd3419f9a11a3d0d8b00e28675_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-c55f84034dff09174aba1b343672de32_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-c55f84034dff09174aba1b343672de32_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-c55f84034dff09174aba1b343672de32_hd.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-c55f84034dff09174aba1b343672de32_hd.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-d044fd0087e1df5d2a1089b441db9970_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-d044fd0087e1df5d2a1089b441db9970_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/v2-e4f9851cad426dfe4ab1c76209546827_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/v2-e4f9851cad426dfe4ab1c76209546827_720w.jpg -------------------------------------------------------------------------------- /12.深度循环神经网络/深度循环神经网络.assets/举例.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/12.深度循环神经网络/深度循环神经网络.assets/举例.png -------------------------------------------------------------------------------- /13.seq2seq/13.seq2seq.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/13.seq2seq.pdf -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/attention.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/attention.png -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/self1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/self1.png -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/self2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/self2.png -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/self3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/self3.png -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-03d0a60b60a0a28f52ed903c76bb9a22_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-03d0a60b60a0a28f52ed903c76bb9a22_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-06af03965d27025cc8116c224badbb13_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-06af03965d27025cc8116c224badbb13_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-087b831f622f83e4529c1bbf646530f0_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-087b831f622f83e4529c1bbf646530f0_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-0c259fb2d439b98de27d877dcd3d1fcb_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-0c259fb2d439b98de27d877dcd3d1fcb_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-32eb6aa9e23b79784ed1ca22d3f9abf9_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-32eb6aa9e23b79784ed1ca22d3f9abf9_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-3cd76d3e0d8a20d87dfa586b56cc1ad3_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-3cd76d3e0d8a20d87dfa586b56cc1ad3_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-40cf3d31c1c0dca24872bd9fc1fc429f_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-40cf3d31c1c0dca24872bd9fc1fc429f_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-60645bb5a5777b7bcee90c78de34eb00_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-60645bb5a5777b7bcee90c78de34eb00_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-752c1c91e1b4dbca1b64f59a7e026b9b_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-752c1c91e1b4dbca1b64f59a7e026b9b_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-a5f8a19c6d89422fe7d8a74087088b37_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-a5f8a19c6d89422fe7d8a74087088b37_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-b1b7cd5637f7c844510fd460e0e2c807_b.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-b1b7cd5637f7c844510fd460e0e2c807_b.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-eea2dcbfa49df9fb799ef8e6997260bf_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-eea2dcbfa49df9fb799ef8e6997260bf_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-f64cbdcf1d883ede36b26067e34f4e3e_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-f64cbdcf1d883ede36b26067e34f4e3e_720w.jpg -------------------------------------------------------------------------------- /13.seq2seq/seq2seq.assets/v2-fa09c6446f304a8c7ad7c52e30201007_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/13.seq2seq/seq2seq.assets/v2-fa09c6446f304a8c7ad7c52e30201007_720w.jpg -------------------------------------------------------------------------------- /14.深度卷积神经网络/14.深度卷积神经网络.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/14.深度卷积神经网络/14.深度卷积神经网络.pdf -------------------------------------------------------------------------------- /15.无监督学习/15.无监督学习.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/15.无监督学习.pdf -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-04-09-un-position.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-04-09-un-position.png -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-04-11-tuijian.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-04-11-tuijian.png -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-04-11-vs.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-04-11-vs.png -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-04-11-xifen.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-04-11-xifen.png -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-04-11-yichang.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-04-11-yichang.png -------------------------------------------------------------------------------- /15.无监督学习/无监督学习.assets/2019-11-26-top.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/15.无监督学习/无监督学习.assets/2019-11-26-top.png -------------------------------------------------------------------------------- /16.生成式模型/16.生成式模型.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/16.生成式模型.pdf -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201005020-1934248466.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201005020-1934248466.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201005331-374405961.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201005331-374405961.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201005747-1756528589.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201005747-1756528589.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201006202-1550811897.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201006202-1550811897.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201006575-286481737.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201006575-286481737.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201007033-586145775.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201007033-586145775.jpg -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201007412-242732947.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201007412-242732947.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201007684-1429835969.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201007684-1429835969.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201007944-2025278899.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201007944-2025278899.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201008198-933757323.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201008198-933757323.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201008441-1903491337.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201008441-1903491337.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201008720-1299091656.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201008720-1299091656.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201009092-891327748.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201009092-891327748.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201009396-1519305668.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201009396-1519305668.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201009771-1336300371.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201009771-1336300371.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/1704791-20200830201010198-1415674233.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/1704791-20200830201010198-1415674233.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/2019-07-16-2bf-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/2019-07-16-2bf-1.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/2019-07-16-d-tg-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/2019-07-16-d-tg-1.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/2019-07-16-g-tg.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/2019-07-16-g-tg.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/2019-07-16-xh.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/2019-07-16-xh.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-0e6fdaf7666cfab881c59d2bee203671_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-0e6fdaf7666cfab881c59d2bee203671_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-47e26e6096ef6967f064986c23e373e5_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-47e26e6096ef6967f064986c23e373e5_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-5e68140c9f3b2fec91649929f90e6138_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-5e68140c9f3b2fec91649929f90e6138_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-6bbb3dd20f5b01f864fc72481159a95d_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-6bbb3dd20f5b01f864fc72481159a95d_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-9b9cf73c1064a87a26ef3c0f9eac7b76_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-9b9cf73c1064a87a26ef3c0f9eac7b76_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-9cb3d142f47715df12378f105c11d1f4_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-9cb3d142f47715df12378f105c11d1f4_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-ab84e45babe1a71bc19963b0455bfdcf_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-ab84e45babe1a71bc19963b0455bfdcf_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-bc64f778f95312aa0c37d2ddb62358ec_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-bc64f778f95312aa0c37d2ddb62358ec_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-bc7aef1f4608f037f0ec08a88d8c71bc_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-bc7aef1f4608f037f0ec08a88d8c71bc_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-e0ab404f7b693a4127ef887a3ffa2ba3_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-e0ab404f7b693a4127ef887a3ffa2ba3_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/v2-f0cd8b79a1dc8fb08c9a0bd2b7424065_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/v2-f0cd8b79a1dc8fb08c9a0bd2b7424065_720w.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原8.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原8.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理1.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理2.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理3.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理4.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理5.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理6.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理6.png -------------------------------------------------------------------------------- /16.生成式模型/生成式模型.assets/原理7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/16.生成式模型/生成式模型.assets/原理7.png -------------------------------------------------------------------------------- /17.强化学习/17.强化学习.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/17.强化学习.pdf -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630222610380-832021054.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630222610380-832021054.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630223222264-854955253.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630223222264-854955253.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630223415826-1216914632.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630223415826-1216914632.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630224850128-1980092693.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630224850128-1980092693.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630225023544-1960378379.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630225023544-1960378379.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630225152100-1592652568.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630225152100-1592652568.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630225405233-1582993249.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630225405233-1582993249.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630230011557-1010123764.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630230011557-1010123764.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/1250469-20180630230626859-173849869.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/1250469-20180630230626859-173849869.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/3bf33a87e950352a842e0d055343fbf2b2118b6b: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/3bf33a87e950352a842e0d055343fbf2b2118b6b -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/Q1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/Q1.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/Q2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/Q2.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/Q3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/Q3.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/Q4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/Q4.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/Q5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/Q5.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/equation: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/markdown20191202193752.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/markdown20191202193752.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-1c739366cec766c3ac6393dc1a78d54d_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-1c739366cec766c3ac6393dc1a78d54d_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-2f7addac8f6c6f400042a0c3c589a4dc_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-2f7addac8f6c6f400042a0c3c589a4dc_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-4c956fa87311eaaa5d8204fbe608379f_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-4c956fa87311eaaa5d8204fbe608379f_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-537d939fbdd7d09200a07b46c7cdb24f_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-537d939fbdd7d09200a07b46c7cdb24f_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-5a1358eb300f0066387ecbd4861ebd28_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-5a1358eb300f0066387ecbd4861ebd28_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-668a675bc401bfc38c9fbd42f38ac0d1_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-668a675bc401bfc38c9fbd42f38ac0d1_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-6ccc74c071fd10520ad4190080447bee_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-6ccc74c071fd10520ad4190080447bee_720w.jpg -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-6ccc74c071fd10520ad4190080447bee_hd.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-6ccc74c071fd10520ad4190080447bee_hd.jpg -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-72edba325663132dd0f6caa12c699157_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-72edba325663132dd0f6caa12c699157_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-7378f0165d6e13b78778dbed00de6ada_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-7378f0165d6e13b78778dbed00de6ada_720w.jpg -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-7378f0165d6e13b78778dbed00de6ada_hd.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-7378f0165d6e13b78778dbed00de6ada_hd.jpg -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-9263175852c99ecf418682b3be0d7f6e_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-9263175852c99ecf418682b3be0d7f6e_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-a9c1145c3c165aa0ae7fa9761606f314_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-a9c1145c3c165aa0ae7fa9761606f314_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-abfa915b25f3750429e0edc473f8beff_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-abfa915b25f3750429e0edc473f8beff_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-ec9db29b3b62a697575140fc26c2c8d5_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-ec9db29b3b62a697575140fc26c2c8d5_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-ee5f243a020fd9acf37048d06647d298_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-ee5f243a020fd9acf37048d06647d298_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/v2-f93bc407f375274b217bf3632759a706_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/v2-f93bc407f375274b217bf3632759a706_720w.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/数学方法.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/数学方法.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/策略1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/策略1.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/策略3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/策略3.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/策略5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/策略5.png -------------------------------------------------------------------------------- /17.强化学习/强化学习.assets/策略6.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/17.强化学习/强化学习.assets/策略6.png -------------------------------------------------------------------------------- /18.集成学习/18.集成学习.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/18.集成学习.pdf -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-1060deacce8c1f76.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-1060deacce8c1f76.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-10942c77860667b7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-10942c77860667b7.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-263d531846fa5679.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-263d531846fa5679.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-444fab2db8c0829d.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-444fab2db8c0829d.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-86ea673d9f44837f.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-86ea673d9f44837f.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-a25b4f99f8a1bd31.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-a25b4f99f8a1bd31.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-c1cf2733f2310592.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-c1cf2733f2310592.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-d8dd33324b699f46.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-d8dd33324b699f46.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-efb91e39b8b2bc01.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-efb91e39b8b2bc01.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-f29168098a3339d3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-f29168098a3339d3.png -------------------------------------------------------------------------------- /18.集成学习/集成学习.assets/7260028-fa7b6103b8eb3ee4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/18.集成学习/集成学习.assets/7260028-fa7b6103b8eb3ee4.png -------------------------------------------------------------------------------- /19.Easteregg.机器学习中常见的超参/19.常见的超参.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/19.Easteregg.机器学习中常见的超参/19.常见的超参.pdf -------------------------------------------------------------------------------- /19.Easteregg.机器学习中常见的超参/常见的超参.assets/batch影响1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/19.Easteregg.机器学习中常见的超参/常见的超参.assets/batch影响1.png -------------------------------------------------------------------------------- /19.Easteregg.机器学习中常见的超参/常见的超参.assets/batch影响2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/19.Easteregg.机器学习中常见的超参/常见的超参.assets/batch影响2.jpg -------------------------------------------------------------------------------- /19.Easteregg.机器学习中常见的超参/常见的超参.assets/难以收敛.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/19.Easteregg.机器学习中常见的超参/常见的超参.assets/难以收敛.jpg -------------------------------------------------------------------------------- /19.Easteregg.机器学习中常见的超参/常见的超参.md: -------------------------------------------------------------------------------- 1 | # 常见的超参 2 | 3 | - 优化器（Optimizer）：机器学习算法的参数都需要优化器来优化，比较传统的是随机梯度下降（SGD），但是它收敛较慢而且在某些情况下比较容易得到局部最优解。Adam是目前收敛速度快且常被使用的优化器，它加入了动量Momentum，可以加速收敛并且有更好的最优解。 4 | - 迭代次数：迭代次数是指训练网络时候同时完成前向/反向传播的次数。每次迭代都会更新网络模型的参数并且减小损失函数的值。比较合适的迭代次数为测试/训练错误错误率相差较小并且两者错误率都在能接受范围内的时候。如果此时继续训练网络，很有可能会出过拟合的情况。 5 | - 激活函数：在神经网络中，激活函数的作用是增加非线性因素，以至于网络可以拟合复杂的非线性函数来更高效地解决复杂的问题。因为在实际情况中，更多问题都是非线性的，所以运用非线性激活函数可以拟合实际场景问题，增加网络的泛化能力。常用的激活函数有sigmoid, relu, tanh, leaky relu等等。 6 | - 学习率（Learning rate）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是自适应的。不同的优化算法决定不同的学习率。当学习率过大则可能导致模型不收敛，损失loss不断上下震荡；学习率过小则导致模型收敛速度偏慢，需要更长的时间训练。通常学习率取值为[0.01, 0.001, 0.0001]。 7 | 8 | * Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。 9 | 10 | Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图1所示。 11 | 12 | 当前Dropout被大量利用于全连接网络，而且一般认为设置为0.5或者0.3，而在卷积网络隐藏层中由于卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等原因，Dropout策略在卷积网络隐藏层中使用较少。总体而言，Dropout是一个超参，需要根据具体的网络、具体的应用领域进行尝试。 13 | 14 | * batch size 15 | 16 | **谈谈深度学习中的 Batch_Size** 17 | Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。 18 | 19 | **首先，为什么需要有 Batch_Size 这个参数？** 20 | Batch 的选择，**首先决定的是下降的方向。**如果数据集比较小，完全可以采用**全数据集** （ **Full Batch Learning** ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而[更准确地朝向极值所在的方向](http://www.zhihu.com/question/37129350/answer/70964527#)。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用**Rprop** 只基于梯度符号并且针对性单独更新各权值。 21 | 22 | 对于更大的数据集，以上 2 个好处又变成了 2 个坏处：其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 **RMSProp** 的妥协方案。 23 | 24 | **既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？** 25 | 所谓另一个极端，就是每次只训练一个样本，即 Batch_Size = 1。这就是**在线学习****（Online Learning）**。线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元、非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，**难以达到收敛**。 26 | 27 | 28 | 29 | ![](常见的超参.assets/难以收敛.jpg) 30 | 31 | 32 | 33 | **可不可以选择一个适中的 Batch_Size 值呢？** 34 | 当然可以，这就是**批梯度下降法（Mini-batches Learning）**。因为如果数据集足够充分，那么用一半（甚至少得多）的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。 35 | 36 | **在合理范围内，增大 Batch_Size 有何好处？** 37 | 38 | - 内存利用率提高了，大矩阵乘法的并行化效率提高。 39 | - 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 40 | - 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 41 | 42 | 43 | **盲目增大 Batch_Size 有何坏处？** 44 | 45 | - 内存利用率提高了，但是内存容量可能撑不住了。 46 | - 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。 47 | - Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。 48 | 49 | 50 | 51 | **调节 Batch_Size 对训练效果影响到底如何？** 52 | 这里跑一个 LeNet 在 MNIST 数据集上的效果。MNIST 是一个手写体标准库，我使用的是 **Theano** 框架。这是一个 Python 的深度学习库。[安装方便](https://link.zhihu.com/?target=http%3A//deeplearning.net/software/theano/install.html%23install)（几行命令而已），调试简单（自带 Profile），GPU / CPU 通吃，[官方教程相当完备](https://link.zhihu.com/?target=http%3A//deeplearning.net/tutorial/contents.html)，支持模块十分丰富（除了 CNNs，更是支持 RBM / DBN / LSTM / RBM-RNN / SdA / MLPs）。在其上层有 [Keras](https://link.zhihu.com/?target=http%3A//keras.io/) 封装，支持 GRU / JZS1, JZS2, JZS3 等较新结构，支持 Adagrad / Adadelta / RMSprop / Adam 等优化算法。 53 | 54 | ![batch影响1](常见的超参.assets/batch影响1.png) 55 | 56 | 57 | 58 | ![batch影响2](常见的超参.assets/batch影响2.jpg) 59 | 运行结果如上图所示，其中绝对时间做了标幺化处理。运行结果与上文分析相印证： 60 | 61 | - Batch_Size 太小，算法在 200 epoches 内不收敛。 62 | - 随着 Batch_Size 增大，处理相同数据量的速度越快。 63 | - 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。 64 | - 由于上述两种因素的矛盾， Batch_Size 增大到某个时候，达到**时间上**的最优。 65 | - 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛**精度上**的最优。 -------------------------------------------------------------------------------- /2.数学基础/2.数学基础.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/2.数学基础/2.数学基础.pdf -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/3b5568f4510de6601c831270ef37af8e.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/47b44530235acff6998900774c85683d.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/578141d96f7c4be1bd0c5d7da8843c1b.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/81fe531a8b73f638fe38cd1407fbb876.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/89b034baad2985f1f0a6fe377fc9f470.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/9bd1f51c50a12e37aa8e2c7723329c12.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/b31aa378530e552127512be06a522b70.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/c367c4463553d772c9d9d0794e19e394.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/ea5a3b50c821dedb26f8d49b21094be7.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/v2-5840febf51e2b21cd0c983ac758498e3_720w.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/2.数学基础/数学基础.assets/v2-5840febf51e2b21cd0c983ac758498e3_720w.jpeg -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/v2-a9b61515528e9a9a1f780313b7eb6a59_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/2.数学基础/数学基础.assets/v2-a9b61515528e9a9a1f780313b7eb6a59_720w.jpg -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/v2-d44e56ff6a0358df69c91541dcf74014_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/2.数学基础/数学基础.assets/v2-d44e56ff6a0358df69c91541dcf74014_720w.jpg -------------------------------------------------------------------------------- /2.数学基础/数学基础.assets/范数.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/2.数学基础/数学基础.assets/范数.png -------------------------------------------------------------------------------- /2.数学基础/数学基础.md: -------------------------------------------------------------------------------- 1 | # 2.数学基础 2 | 3 | ## 贝叶斯主义与频率主义 4 | 5 | 概率论始终围绕着模型(参数)和案例展开，概率通常指某个事件发生的可能性。 6 | 7 | 频率主义认为：**概率及其模型(参数)是真实确定存在的，而事件本身是随机的；**因此，可以通过**最大似然估计**参数的值。比如，在随机试验过程中，我们把某事件发生的比例或频率作为该事件发生的概率。 8 | 9 | 贝叶斯主义则持完全不同的观点，他们认为：**真实出现的事件是一种确定性的存在，而模型及其参数反而是不确定的随机变量**。在分析过程中，总是先假设一个**先验的概率分布**，随着样本的增加，不断的修正先验的概率分布。 10 | 11 | 频率主义描述为事件在概率参数下出现的可能，通过最大似然估计参数，可通过**经验风险最小化**(ERM)描述 12 | 13 | ![img](数学基础.assets/v2-d44e56ff6a0358df69c91541dcf74014_720w.jpg) 14 | 15 | 贝叶斯主义描述为概率参数在已有事件下的可信度，通过先验分布结合实际出现的事件修正概率参数，可通过**结构风险最小化**(SRM)描述。 16 | 17 | ![img](数学基础.assets/v2-a9b61515528e9a9a1f780313b7eb6a59_720w.jpg) 18 | 19 | 实际上就是将经验风险最小化**正则化**，防止了过拟合。常用的方法是**最大后验概率估计**(MAP)。 20 | 21 | ![img](数学基础.assets/v2-5840febf51e2b21cd0c983ac758498e3_720w.jpeg) 22 | 23 | 第一项对应对数似然估计，第二项对应先验分布。 24 | 25 | **经验风险最小化是无偏估计，结构风险最小化是有偏估计**。 26 | 27 | 在样本非常多时，两种方法的效果差不多，但当样本非常有限时，实践表明：贝叶斯方法总能取得较好的效果，通过添加先验分布实际上降低了系统的复杂度。 28 | 29 | ### 范数 30 | 31 | ![范数](数学基础.assets/范数.png) 32 | 33 | ### 贝叶斯公式 34 | 35 | 通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。 36 | 37 | 作为一个规范的原理，[贝叶斯法则](https://baike.baidu.com/item/贝叶斯法则)对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被[赋值](https://baike.baidu.com/item/赋值)有着不同的看法：频率主义者根据[随机事件](https://baike.baidu.com/item/随机事件)发生的频率，或者总体[样本](https://baike.baidu.com/item/样本)里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。 38 | 39 | 贝叶斯法则是关于随机事件A和B的[条件概率](https://baike.baidu.com/item/条件概率)和[边缘概率](https://baike.baidu.com/item/边缘概率)的。 40 | 41 | ![img](数学基础.assets/b31aa378530e552127512be06a522b70.svg) 42 | 43 | 其中P(A|B)是在B发生的情况下A发生的可能性。 44 | 45 | ![img](数学基础.assets/3b5568f4510de6601c831270ef37af8e.svg) 46 | 47 | 为完备事件组，即 48 | 49 | ![img](数学基础.assets/47b44530235acff6998900774c85683d.svg) 50 | 51 | 在[贝叶斯法则](https://baike.baidu.com/item/贝叶斯法则)中，每个名词都有约定俗成的名称： 52 | 53 | Pr(A)是A的[先验概率](https://baike.baidu.com/item/先验概率)或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。 54 | 55 | Pr(A|B)是已知B发生后A的[条件概率](https://baike.baidu.com/item/条件概率)，也由于得自B的取值而被称作A的[后验概率](https://baike.baidu.com/item/后验概率)。 56 | 57 | Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 58 | 59 | Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。 60 | 61 | **按这些术语，Bayes法则可表述为：** 62 | 63 | 后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。 64 | 65 | 另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为： 66 | 67 | 后验概率 = 标准似然度 * 先验概率。 68 | 69 | ### 梯度 70 | 71 | 设二元函数 72 | 73 | ![img](数学基础.assets/9bd1f51c50a12e37aa8e2c7723329c12.svg) 74 | 75 | 在平面区域D上具有一阶连续偏导数，则对于每一个点P（x，y）都可定出一个向量 76 | 77 | ![img](数学基础.assets/2bbe458bd2dec7b2cdacb5954d49a568.svg) 78 | 79 | ,该函数就称为函数 80 | 81 | ![img](数学基础.assets/9bd1f51c50a12e37aa8e2c7723329c12.svg) 82 | 83 | 在点P（x，y）的梯度，记作gradf（x，y）或 84 | 85 | ![img](数学基础.assets/81fe531a8b73f638fe38cd1407fbb876.svg) 86 | 87 | ,即有： 88 | 89 | gradf（x，y）= 90 | 91 | ![img](数学基础.assets/81fe531a8b73f638fe38cd1407fbb876.svg) 92 | 93 | = 94 | 95 | ![img](数学基础.assets/2bbe458bd2dec7b2cdacb5954d49a568.svg) 96 | 97 | 其中 98 | 99 | ![img](数学基础.assets/c367c4463553d772c9d9d0794e19e394.svg) 100 | 101 | 称为（二维的）向量[微分算子](https://baike.baidu.com/item/微分算子)或Nabla算子， 102 | 103 | ![img](数学基础.assets/ea5a3b50c821dedb26f8d49b21094be7.svg) 104 | 105 | 。 106 | 107 | 设 108 | 109 | ![img](数学基础.assets/89b034baad2985f1f0a6fe377fc9f470.svg) 110 | 111 | 是方向l上的单位向量，则 112 | 113 | ![img](数学基础.assets/e0a32d6249245bacdff1dd9eb1f7ff67.svg) 114 | 115 | ![img](数学基础.assets/a174e91a95f1f61703953745b9111c39.svg) 116 | 117 | 由于当方向l与梯度方向一致时，有 118 | 119 | ![img](数学基础.assets/23fc3d010b55a84e4a7f66b8b02bd02f.svg) 120 | 121 | 所以当l与梯度方向一致时,方向导数 122 | 123 | ![img](数学基础.assets/578141d96f7c4be1bd0c5d7da8843c1b.svg) 124 | 125 | 有最大值，且最大值为梯度的模，即 126 | 127 | ![img](数学基础.assets/8c8cc47c15e3f7a1682d23728c8306f4.svg) 128 | 129 | 因此说，函数在一点沿梯度方向的变化率最大，最大值为该梯度的[模](https://baike.baidu.com/item/模/13332717)。 -------------------------------------------------------------------------------- /3.线性回归/3.线性回归.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/3.线性回归.pdf -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/equation.svg: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-0681758772410633ab904fff1fa8c9a0_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-0681758772410633ab904fff1fa8c9a0_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-3870e0b7c306899acfc61045c61f03ab_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-3870e0b7c306899acfc61045c61f03ab_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-3df13c7f294493e9a985b37b424edb50_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-3df13c7f294493e9a985b37b424edb50_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-71afaf9c18630b844f47ae9aa2926513_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-71afaf9c18630b844f47ae9aa2926513_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-7c6f5d5a8e92d570718da6dfc4a9da78_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-7c6f5d5a8e92d570718da6dfc4a9da78_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/v2-a7ae72e6b04f93126996ff5ff85f6576_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/v2-a7ae72e6b04f93126996ff5ff85f6576_720w.jpg -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/代价函数1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/代价函数1.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/梯度下降1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/梯度下降1.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/梯度下降2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/梯度下降2.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/矩阵表示1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/矩阵表示1.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/矩阵表示2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/矩阵表示2.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/矩阵表示3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/矩阵表示3.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/矩阵表示4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/矩阵表示4.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/矩阵表示5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/矩阵表示5.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/表示法1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/表示法1.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.assets/表示法2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/3.线性回归/线性回归.assets/表示法2.png -------------------------------------------------------------------------------- /3.线性回归/线性回归.md: -------------------------------------------------------------------------------- 1 | # 3.线性回归 2 | 3 | ## **表示法** 4 | 5 | 我们在接下来的几节先讨论简单线性回归，也就是只考虑一个输入变量，一个输出变量的线性回归。 6 | 7 | 为了后面解释和使用方便，首先正式定义简单线性回归中的基本元素。 8 | 9 | ![表示法1](线性回归.assets/表示法1.png) 10 | 11 | 上面表示法中的i代表第i个样本。 12 | 13 | 大写的X代表所有输入值组成的空间。 14 | 15 | 大写的Y代表所有输出值组成的空间。 16 | 17 | 监督学习的定义是, 给定一个训练集, 我们的目标是“学习”得到一个函数 h : x→y, 使h(x)是真实值y的一个“好的”预测值。这里h叫做模型，也叫做**假设（hypothesis）**. 18 | 19 | ![img](线性回归.assets/v2-0681758772410633ab904fff1fa8c9a0_720w.jpg) 20 | 21 | 如果我们要预测的输出值是**连续的**，那么该问题就称作**回归问题**。 22 | 23 | 对于简单线性回归来说，我们的模型h可以表示如下： 24 | 25 | 26 | 27 | ![表示法2](线性回归.assets/表示法2.png) 28 | 29 | ## **代价函数（Cost Function）** 30 | 31 | 如何衡量模型效果的好坏？ 32 | 33 | 代价函数的作用是用来测量我们的模型$h$的准确程度。 34 | 35 | 以最简单的一个代价函数为例，也就是**均方误差（Mean squared error）**。 36 | 37 | ![代价函数1](线性回归.assets/代价函数1.png) 38 | 39 | 这里的一个细节是，公式中的分母由m变成了2m，这里并不影响公式的作用，但是对于后面的工作有帮助，我们后面将会提到这点。 40 | 41 | 这里需要考虑一个问题，有了代价函数，如何使模型效果最好？ 42 | 43 | 由于代价函数越大，代表预测值与真实值之间的误差就越大，因此，问题的答案是使代价函数最小的参数 theta就是最好的参数。 44 | 45 | ## **梯度下降（Gradient Descent）** 46 | 47 | 下面介绍另一种求解参数的方法，梯度下降法。 48 | 49 | 既然代价函数是关于![[公式]](线性回归.assets/equation.svg)的函数，我们就可以可视化该函数，见下图： 50 | 51 | ![img](线性回归.assets/v2-71afaf9c18630b844f47ae9aa2926513_720w.jpg) 52 | 53 | 图中的蓝色区域是代价函数最小的点，因此，找到该点对应的![[公式]](线性回归.assets/equation.svg)，即完成了任务。 54 | 55 | 如何找到最低点对应的![[公式]](线性回归.assets/equation.svg)？ 56 | 57 | 答案是对代价函数求偏导数： 58 | 59 | ![梯度下降1](线性回归.assets/梯度下降1.png) 60 | 61 | ![梯度下降2](线性回归.assets/梯度下降2.png) 62 | 63 | 64 | 65 | ## **学习率** 66 | 67 | 现在我们讨论一下学习率，当学习率比较小时，我们得到最优解的速度将很慢。 68 | 69 | 70 | 71 | ![img](线性回归.assets/v2-3df13c7f294493e9a985b37b424edb50_720w.jpg) 72 | 73 | 74 | 75 | 当学习率比较大时，我们很容易无法得到全局最优解。 76 | 77 | 78 | 79 | ![img](线性回归.assets/v2-7c6f5d5a8e92d570718da6dfc4a9da78_720w.jpg) 80 | 81 | 82 | 83 | 另外一种情况是，我们的学习率设置的比较小时，得到了局部最优解，而不是全局最优解的情况。 84 | 85 | 86 | 87 | ![img](线性回归.assets/v2-3870e0b7c306899acfc61045c61f03ab_720w.jpg) 88 | 89 | 90 | 91 | 最后一种情况，对于我们使用的代价函数来说并不成立，因为我们使用的均方误差MSE是一个凸函数，也就是说说，该函数任意两点的连线都不会与该函数交叉，所以，该函数不存在局部最优解。 92 | 93 | ## **数据归一化** 94 | 95 | 为了提高求解效率，我们还需要进行数据归一化处理。为什么要这么做？我们先看下面的图。 96 | 97 | 98 | 99 | ![img](线性回归.assets/v2-a7ae72e6b04f93126996ff5ff85f6576_720w.jpg) 100 | 101 |  102 | 103 | 左边是没有经过归一化处理，右边是经过归一化处理，两张同都使用梯度下降，很明显右边的方法通过更少的步骤得到了解。 104 | 105 | ## **梯度下降法的三种方式** 106 | 107 | 第一种方式就是全量梯度下降，也就是说每一次梯度下降都利用全部的数据。这种方法简称为BGD（Batch Gradient Descent）。该算法的缺点是当数据量m较大时，速度很慢。 108 | 109 | 第二种方式是随机梯度下降，即随机梯度下降（Stochastic Gradient Descent），简称SGD。这种方法的意思是 ，每次梯度下降的过程使用一个随机的样本，但是该方法有一个问题，就是每次选取的学习率如果太小则速度很慢，太大怎么无法得到全局最优解，解决该问题的方法就是灵活设置学习率，让学习率一开始比较大，随后逐渐减小，这种方法也称作模拟退火（simulated annealing）。 110 | 111 | 第三种方法介于上面两种方法之间，即mini-batch Gradient Descent，简称mini-batch GD，该方法是每次梯度下降过程使用一个比较小的随机数据集。该方法的好处是能够利用计算机对于矩阵求解的性能优化，进而加快计算效率。 112 | 113 | ## 矩阵表示 114 | 115 | ![矩阵表示1](线性回归.assets/矩阵表示1.png) 116 | 117 | ![矩阵表示2](线性回归.assets/矩阵表示2.png) 118 | 119 | ![矩阵表示3](线性回归.assets/矩阵表示3.png) 120 | 121 | ![矩阵表示4](线性回归.assets/矩阵表示4.png) 122 | 123 | ![矩阵表示5](线性回归.assets/矩阵表示5.png) -------------------------------------------------------------------------------- /4.概率参数估计/4.概率参数估计.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/4.概率参数估计.pdf -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/108e33b6fdcd8c2bfbb5a6dc622bbe63.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/1cfefc1a2141ce8c3eabbf3c1afc495d.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/33e2bb5bc78a1ae6ad92e52c94ebf869.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/3c4f0549aa7c13980155f6cbd360d716.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/6254f22f0742a1e934d61e15c2e368a4.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/75dc42c0e6272f2a619fe20aa2e34813.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/adfb8da70a3baa5edda23c8320738df6.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/b009ed8c12317841c8767b828248a848.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/d567988c57032b3ca595eab7b2c0350a.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-38d81b31721da4d53c62ef7babb177ea_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-38d81b31721da4d53c62ef7babb177ea_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-4b810db6d395f6aeacd4c53092c47771_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-4b810db6d395f6aeacd4c53092c47771_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-4bde3952e6a2811c35446dbb479e26a9_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-4bde3952e6a2811c35446dbb479e26a9_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-71b7b1264ce33f8369a32b88eed900bc_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-71b7b1264ce33f8369a32b88eed900bc_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-7caa2cca71867344273c32a949b291f3_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-7caa2cca71867344273c32a949b291f3_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-82d69514c761c791c6eaf90dc0771b44_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-82d69514c761c791c6eaf90dc0771b44_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-83f2f4b00981806c74e330b2d6f91db5_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-83f2f4b00981806c74e330b2d6f91db5_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-88728bc679158c4178a52ce7e2ad88dd_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-88728bc679158c4178a52ce7e2ad88dd_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-8b7031854b7c8eb4dabbfd7254579721_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-8b7031854b7c8eb4dabbfd7254579721_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-9aef823f8f275db63c870ce80e97a4ea_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-9aef823f8f275db63c870ce80e97a4ea_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-b6b7d9dea01c56061444ad3aaf194501_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-b6b7d9dea01c56061444ad3aaf194501_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-c065045ef461f043409ae02019044631_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-c065045ef461f043409ae02019044631_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-cb4061944502b983bd5faa404d73ec2a_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-cb4061944502b983bd5faa404d73ec2a_720w.jpg -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-d97d8406a534753442730a26fde76631_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-d97d8406a534753442730a26fde76631_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/v2-eb40196a04b9add56b72fe463c441237_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/v2-eb40196a04b9add56b72fe463c441237_720w.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/举例1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/举例1.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/举例2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/举例2.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/举例3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/举例3.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/举例4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/举例4.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/共轭分布1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/共轭分布1.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/共轭分布2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/共轭分布2.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/共轭分布3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/共轭分布3.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/共轭分布4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/共轭分布4.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.assets/共轭分布5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/4.概率参数估计/概率参数估计.assets/共轭分布5.png -------------------------------------------------------------------------------- /4.概率参数估计/概率参数估计.md: -------------------------------------------------------------------------------- 1 | # 4.概率参数估计 2 | 3 | ## 极大似然估计 4 | 5 | 1.求极大似然函数估计值的一般步骤： 6 | 7 | （1） 写出[似然函数](https://baike.baidu.com/item/似然函数)； 8 | 9 | （2） 对似然函数取对数，并整理； 10 | 11 | （3） 求[导数](https://baike.baidu.com/item/导数) ； 12 | 13 | （4） 解似然方程 。 14 | 15 | 2.利用高等数学中求[多元函数](https://baike.baidu.com/item/多元函数)的极值的方法，有以下极大似然估计法的具体做法： 16 | 17 | (1)根据总体的分布，建立[似然函数](https://baike.baidu.com/item/似然函数) 18 | 19 | ![img](概率参数估计.assets/75dc42c0e6272f2a619fe20aa2e34813.svg) 20 | 21 | ; 22 | 23 | (2) 当 L 关于 24 | 25 | ![img](概率参数估计.assets/b009ed8c12317841c8767b828248a848.svg) 26 | 27 | 可微时，(由微积分求极值的原理）可由方程组 28 | 29 | ![img](概率参数估计.assets/108e33b6fdcd8c2bfbb5a6dc622bbe63.svg) 30 | 31 | : 32 | 33 | 定出 34 | 35 | ![img](概率参数估计.assets/1cfefc1a2141ce8c3eabbf3c1afc495d.svg) 36 | 37 | ，称以上方程组为似然方程. 38 | 39 | 因为 L 与 40 | 41 | ![img](概率参数估计.assets/3c4f0549aa7c13980155f6cbd360d716.svg) 42 | 43 | 有相同的极大值点，所以 44 | 45 | ![img](概率参数估计.assets/1cfefc1a2141ce8c3eabbf3c1afc495d.svg) 46 | 47 | 也可由方程组 48 | 49 | ![img](概率参数估计.assets/adfb8da70a3baa5edda23c8320738df6.svg) 50 | 51 | 定出 52 | 53 | ![img](概率参数估计.assets/1cfefc1a2141ce8c3eabbf3c1afc495d.svg) 54 | 55 | ，称以上方程组为对数似然方程； 56 | 57 | ![img](概率参数估计.assets/1cfefc1a2141ce8c3eabbf3c1afc495d.svg) 58 | 59 | 就是所求参数 60 | 61 | ![img](概率参数估计.assets/d567988c57032b3ca595eab7b2c0350a.svg) 62 | 63 | 的极大似然估计量。 64 | 65 | 当总体是离散型的，将上面的[概率密度函数](https://baike.baidu.com/item/概率密度函数) 66 | 67 | ![img](概率参数估计.assets/33e2bb5bc78a1ae6ad92e52c94ebf869.svg) 68 | 69 | ，换成它的分布律 70 | 71 | ![img](概率参数估计.assets/6254f22f0742a1e934d61e15c2e368a4.svg) 72 | 73 | 74 | 75 | ## 共轭分布 76 | 77 | ![共轭分布1](概率参数估计.assets/共轭分布1.png) 78 | 79 | 80 | 81 | ![共轭分布2](概率参数估计.assets/共轭分布2.png) 82 | 83 | 84 | 85 | ![共轭分布3](概率参数估计.assets/共轭分布3.png) 86 | 87 | 88 | 89 | ![共轭分布4](概率参数估计.assets/共轭分布4.png) 90 | 91 | 92 | 93 | ![共轭分布5](概率参数估计.assets/共轭分布5.png) 94 | 95 | ### 举例 96 | 97 | ![举例1](概率参数估计.assets/举例1.png) 98 | 99 | 100 | 101 | ![举例2](概率参数估计.assets/举例2.png) 102 | 103 | 104 | 105 | ![举例3](概率参数估计.assets/举例3.png) 106 | 107 | 108 | 109 | ![举例3](概率参数估计.assets/举例3.png) -------------------------------------------------------------------------------- /5.贝叶斯分类/5.贝叶斯分类.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/5.贝叶斯分类.pdf -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-0a235903c3b7a4f2e64e97279d330164_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-0a235903c3b7a4f2e64e97279d330164_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-0c7bc85db3d05657305cc2ac85f2774d_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-15b16ce6d37b616a5443c0f7e42e03ec_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-16f9fef8c526321ee52c569c51861d39_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-16f9fef8c526321ee52c569c51861d39_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-2258b1a74b8817af6211a072e41ea43c_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-2258b1a74b8817af6211a072e41ea43c_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-248de73d9355c6f4cd487668758ff50d_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-248de73d9355c6f4cd487668758ff50d_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-2a2cae0e56b314011282ba3d50b2336a_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-2a2cae0e56b314011282ba3d50b2336a_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-38d81b31721da4d53c62ef7babb177ea_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-38d81b31721da4d53c62ef7babb177ea_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-3c7cb869db4d7b4ad0d2f2e88d65066c_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-3c7cb869db4d7b4ad0d2f2e88d65066c_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-41c91ea980464a9d6c0f0d384bf60a82_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-41c91ea980464a9d6c0f0d384bf60a82_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-4b810db6d395f6aeacd4c53092c47771_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-4b810db6d395f6aeacd4c53092c47771_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-4bde3952e6a2811c35446dbb479e26a9_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-4bde3952e6a2811c35446dbb479e26a9_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-4de239bc3c553e7c50b0aa0bea495b5e_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-4de239bc3c553e7c50b0aa0bea495b5e_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-62698386270df703bf6237d71d748f28_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-62698386270df703bf6237d71d748f28_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-6709d24a8b5f88698ceb261806c0e76a_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-6709d24a8b5f88698ceb261806c0e76a_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-6ac53161a26b8ddf1f4e70f10615b8fd_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-6ac53161a26b8ddf1f4e70f10615b8fd_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-71b7b1264ce33f8369a32b88eed900bc_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-71b7b1264ce33f8369a32b88eed900bc_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-7acdb7a3e805a9080c1afe670f066517_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-7acdb7a3e805a9080c1afe670f066517_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-7caa2cca71867344273c32a949b291f3_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-7caa2cca71867344273c32a949b291f3_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-82545e01296e57a8aab1f62e261084f7_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-82545e01296e57a8aab1f62e261084f7_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-82d69514c761c791c6eaf90dc0771b44_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-82d69514c761c791c6eaf90dc0771b44_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-83f2f4b00981806c74e330b2d6f91db5_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-83f2f4b00981806c74e330b2d6f91db5_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-8576a2a9dd1730773a5b9b353bb9042f_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-88728bc679158c4178a52ce7e2ad88dd_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-88728bc679158c4178a52ce7e2ad88dd_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-8b7031854b7c8eb4dabbfd7254579721_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-8b7031854b7c8eb4dabbfd7254579721_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-99813895195467a1c68242d1a880559f_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-99813895195467a1c68242d1a880559f_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-9aef823f8f275db63c870ce80e97a4ea_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-9aef823f8f275db63c870ce80e97a4ea_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-a02e553c8385da3023a88be0890948f3_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-a02e553c8385da3023a88be0890948f3_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-a2a73f43adcbb0bf4b9bae19b9495f81_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-b0ef8d6b2a2c8a3f2353ef16e3c6385b_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-b0ef8d6b2a2c8a3f2353ef16e3c6385b_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-b6b7d9dea01c56061444ad3aaf194501_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-b6b7d9dea01c56061444ad3aaf194501_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-c065045ef461f043409ae02019044631_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-c065045ef461f043409ae02019044631_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-c5497335a6680cbcd8b80a1bc87628ef_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-d97d8406a534753442730a26fde76631_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-d97d8406a534753442730a26fde76631_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-e0abd30b1376c18c3dfd0d0bf4375c26_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-eb21d376ce0cd7e026793351bb5a3e4b_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-eb21d376ce0cd7e026793351bb5a3e4b_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-eb40196a04b9add56b72fe463c441237_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-eb40196a04b9add56b72fe463c441237_720w.png -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-ebcfc3f297a2c6a229bfe2b2c52b80ec_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-ebcfc3f297a2c6a229bfe2b2c52b80ec_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-ef787ebee65afcad5405653c52694912_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-ef787ebee65afcad5405653c52694912_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-f6d54eb7b106add92a4c4862bf7282b1_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-f6d54eb7b106add92a4c4862bf7282b1_720w.jpg -------------------------------------------------------------------------------- /5.贝叶斯分类/贝叶斯分类.assets/v2-f8780a00ef0443cf61e4b252a8de65ba_720w.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/5.贝叶斯分类/贝叶斯分类.assets/v2-f8780a00ef0443cf61e4b252a8de65ba_720w.jpg -------------------------------------------------------------------------------- /6.线性判别分析/6.线性判别分析.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/6.线性判别分析/6.线性判别分析.pdf -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/1f07df408e5f067506479138916e0c8a.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/556ae428162479b22dfdf75f89e50e71.svg: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/equation: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/优缺点.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/6.线性判别分析/线性判别分析.assets/优缺点.png -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/生成模型.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/6.线性判别分析/线性判别分析.assets/生成模型.png -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.assets/生成模型和判别模型.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/6.线性判别分析/线性判别分析.assets/生成模型和判别模型.png -------------------------------------------------------------------------------- /6.线性判别分析/线性判别分析.md: -------------------------------------------------------------------------------- 1 | # 6.线性判别分析 2 | 3 | ## 生成模型和判别模型 4 | 5 | ![生成模型和判别模型](线性判别分析.assets/生成模型和判别模型.png) 6 | 7 | **做一个总结，判别模型求解的思路是：条件分布------>模型参数后验概率最大------->（似然函数![[公式]](线性判别分析.assets/equation)参数先验）最大------->最大似然** 8 | 9 | 10 | 11 | ![生成模型](线性判别分析.assets/生成模型.png) 12 | 这样将求联合分布的问题转化成了求类别先验概率和类别条件概率的问题，朴素贝叶斯方法做了一个较强的假设--------feature的不同维度是独立分布的，简化了类别条件概率的计算，如果去除假设就是贝叶斯网络，这里不再赘述。 13 | 以朴素贝叶斯为例，**生成模型的求解思路是：联合分布------->求解类别先验概率和类别条件概率** 14 | 15 | 16 | 17 | ### 优缺点比较 18 | 19 | ![优缺点](线性判别分析.assets/优缺点.png) 20 | 21 | 22 | 23 | ### 常用的模型举例 24 | 25 | 有两种类型用来决定 26 | 27 | ![img](线性判别分析.assets/556ae428162479b22dfdf75f89e50e71.svg) 28 | 29 | 的线性分类器。第一种模型条件机率 30 | 31 | ![img](线性判别分析.assets/1f07df408e5f067506479138916e0c8a.svg) 32 | 33 | 。这类的算法包括： 34 | 35 | - [线性判别分析](https://baike.baidu.com/item/线性判别分析)（LDA） --- 假设为[高斯](https://baike.baidu.com/item/高斯)条件密度模型。 36 | - [朴素贝叶斯分类器](https://baike.baidu.com/item/朴素贝叶斯分类器)--- 假设为条件独立性假设模型。 37 | 38 | 第二种方式则称为[判别模型](https://baike.baidu.com/item/判别模型)（discriminative models），这种方法是试图去最大化一个[训练集](https://baike.baidu.com/item/训练集)（training set）的输出值。在训练的成本函数中有一个额外的项加入，可以容易地表示[正则化](https://baike.baidu.com/item/正则化)。例子包含： 39 | 40 | - [Logit模型](https://baike.baidu.com/item/Logit模型)---的[最大似然估计](https://baike.baidu.com/item/最大似然估计)，其假设观察到的训练集是由一个依赖于分类器的输出的二元模型所产生。 41 | - [感知元](https://baike.baidu.com/item/感知元)（Perceptron） --- 一个试图去修正在训练集中遇到错误的算法。 42 | - [支持向量机](https://baike.baidu.com/item/支持向量机)--- 一个试图去最大化决策超平面和训练集中的样本间的[边界](https://baike.baidu.com/item/边界)（margin）的算法。 -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/7.支持向量机与Kernel技术.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/7.支持向量机与Kernel技术.pdf -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/1.1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/1.1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.2.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/2.3.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.2.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/3.3.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/4.1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/4.1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/fomula_1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/fomula_1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数1.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数2.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数3.png -------------------------------------------------------------------------------- /7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/7.支持向量机与Kernel技术/支持向量机与Kernel技术.assets/核函数4.png -------------------------------------------------------------------------------- /8.逻辑回归/8.逻辑回归.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/8.逻辑回归.pdf -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归1.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归2.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归3.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归4.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归5.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归6.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归6.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归7.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归8.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归8.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归9.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归9.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归91.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归91.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归92.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归92.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归93.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归93.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归94.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归94.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.assets/逻辑回归95.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/8.逻辑回归/逻辑回归.assets/逻辑回归95.png -------------------------------------------------------------------------------- /8.逻辑回归/逻辑回归.md: -------------------------------------------------------------------------------- 1 | # 8.逻辑回归 2 | 3 | ![逻辑回归1](逻辑回归.assets/逻辑回归1.png) 4 | 5 | 6 | 7 | ![逻辑回归2](逻辑回归.assets/逻辑回归2.png) 8 | 9 | 10 | 11 | ![逻辑回归3](逻辑回归.assets/逻辑回归3.png) 12 | 13 | 14 | 15 | ![逻辑回归4](逻辑回归.assets/逻辑回归4.png) 16 | 17 | 18 | 19 | ![逻辑回归5](逻辑回归.assets/逻辑回归5.png) 20 | 21 | 22 | 23 | ![逻辑回归6](逻辑回归.assets/逻辑回归6.png) 24 | 25 | 26 | 27 | ![逻辑回归7](逻辑回归.assets/逻辑回归7.png) 28 | 29 | 30 | 31 | ![逻辑回归8](逻辑回归.assets/逻辑回归8.png) 32 | 33 | 34 | 35 | ![逻辑回归9](逻辑回归.assets/逻辑回归9.png) 36 | 37 | 38 | 39 | ![逻辑回归91](逻辑回归.assets/逻辑回归91.png) 40 | 41 | 42 | 43 | ![逻辑回归92](逻辑回归.assets/逻辑回归92.png) 44 | 45 | 46 | 47 | ![逻辑回归93](逻辑回归.assets/逻辑回归93.png) 48 | 49 | 50 | 51 | ![逻辑回归94](逻辑回归.assets/逻辑回归94.png) 52 | 53 | ![逻辑回归95](逻辑回归.assets/逻辑回归95.png) -------------------------------------------------------------------------------- /9.多层感知机/9.多层感知机.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/9.多层感知机.pdf -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/1__1_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/1__1_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/2__1_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/2__1_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/3.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/4.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/5.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/image__10_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/image__10_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/image__11_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/image__11_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/image__13_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/image__13_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/image__8_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/image__8_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/image__9_.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/image__9_.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-26ddf929f49099ada0ca65ccb30522f6_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-26ddf929f49099ada0ca65ccb30522f6_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-32dea7e789c589ddba0d259904532cab_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-32dea7e789c589ddba0d259904532cab_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-4702cea908ffffc23a0bdcb26135ebeb_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-4702cea908ffffc23a0bdcb26135ebeb_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-591881425bd9c56f319a76ef0d4bc475_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-591881425bd9c56f319a76ef0d4bc475_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-8453ee1fafb845b19441c0d74b8169d2_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-8453ee1fafb845b19441c0d74b8169d2_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-d87b0cd1f308baf1c554114ab5b56f24_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-d87b0cd1f308baf1c554114ab5b56f24_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-e3c4ad7f022b8991895f6aff997bff3e_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-e3c4ad7f022b8991895f6aff997bff3e_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-e44a4c975e8021e2c2a96adba6b11bc2_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-e44a4c975e8021e2c2a96adba6b11bc2_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.assets/v2-fcd322da0dc8fee8474147623ba3cb04_720w.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/shenhliu/Fuck-SJTU-ML-Exam/129a20844a3064e4137cd300fc1643522b924f0d/9.多层感知机/多层感知机.assets/v2-fcd322da0dc8fee8474147623ba3cb04_720w.png -------------------------------------------------------------------------------- /9.多层感知机/多层感知机.md: -------------------------------------------------------------------------------- 1 | # 9.多层感知机 2 | 3 | ## **单个神经元** 4 | 5 | 神经网络中计算的基本单元是神经元，一般称作「节点」（node）或者「单元」（unit）。节点从其他节点接收输入，或者从外部源接收输入，然后计算输出。每个输入都辅有「权重」（weight，即 w），权重取决于其他输入的相对重要性。节点将函数 f（定义如下）应用到加权后的输入总和，如图 1 所示： 6 | 7 | ![img](多层感知机.assets/v2-4702cea908ffffc23a0bdcb26135ebeb_720w.png) 8 | 9 | *图 1：单个神经元* 10 | 11 | 此网络接受 X1 和 X2 的数值输入，其权重分别为 w1 和 w2。另外，还有配有权重 b（称为「偏置（bias）」）的输入 1。我们之后会详细介绍「偏置」的作用。 12 | 13 | 神经元的输出 Y 如图 1 所示进行计算。函数 f 是非线性的，叫做激活函数。激活函数的作用是将非线性引入神经元的输出。因为大多数现实世界的数据都是非线性的，我们希望神经元能够学习非线性的函数表示，所以这种应用至关重要。 14 | 15 | 每个（非线性）激活函数都接收一个数字，并进行特定、固定的数学计算 [2]。在实践中，可能会碰到几种激活函数： 16 | 17 | - Sigmoid（S 型激活函数）：输入一个实值，输出一个 0 至 1 间的值 σ(x) = 1 / (1 + exp(−x)) 18 | - tanh（双曲正切函数）：输入一个实值，输出一个 [-1,1] 间的值 tanh(x) = 2σ(2x) − 1 19 | - ReLU：ReLU 代表修正线性单元。输出一个实值，并设定 0 的阈值（函数会将负值变为零）f(x) = max(0, x) 20 | 21 | 下图 [2] 表示了上述的激活函数 22 | 23 | ![img](多层感知机.assets/v2-fcd322da0dc8fee8474147623ba3cb04_720w.png) 24 | 25 | *图 2：不同的激活函数。* 26 | 27 | 偏置的重要性：偏置的主要功能是为每一个节点提供可训练的常量值（在节点接收的正常输入以外）。神经元中偏置的作用，详见这个链接：[http://stackoverflow.com/q/2480650/3297280](https://link.zhihu.com/?target=http%3A//stackoverflow.com/q/2480650/3297280) 28 | 29 | ## **前馈神经网络** 30 | 31 | 前馈神经网络是最先发明也是最简单的人工神经网络 [3]。它包含了安排在多个层中的多个神经元（节点）。相邻层的节点有连接或者边（edge）。所有的连接都配有权重。 32 | 33 | 图 3 是一个前馈神经网络的例子。 34 | 35 | 36 | 37 | ![img](多层感知机.assets/v2-d87b0cd1f308baf1c554114ab5b56f24_720w.png) 38 | 39 | *图3： 一个前馈神经网络的例子* 40 | 41 | 42 | 43 | 一个前馈神经网络可以包含三种节点： 44 | 45 | \1. 输入节点（Input Nodes）：输入节点从外部世界提供信息，总称为「输入层」。在输入节点中，不进行任何的计算——仅向隐藏节点传递信息。 46 | 47 | \2. 隐藏节点（Hidden Nodes）：隐藏节点和外部世界没有直接联系（由此得名）。这些节点进行计算，并将信息从输入节点传递到输出节点。隐藏节点总称为「隐藏层」。尽管一个前馈神经网络只有一个输入层和一个输出层，但网络里可以没有也可以有多个隐藏层。 48 | 49 | \3. 输出节点（Output Nodes）：输出节点总称为「输出层」，负责计算，并从网络向外部世界传递信息。 50 | 51 | 在前馈网络中，信息只单向移动——从输入层开始前向移动，然后通过隐藏层（如果有的话），再到输出层。在网络中没有循环或回路 [3]（前馈神经网络的这个属性和递归神经网络不同，后者的节点连接构成循环）。 52 | 53 | 下面是两个前馈神经网络的例子： 54 | 55 | \1. 单层感知器——这是最简单的前馈神经网络，不包含任何隐藏层。你可以在 [4] [5] [6] [7] 中了解更多关于单层感知器的知识。 56 | 57 | \2. 多层感知器——多层感知器有至少一个隐藏层。我们在下面会只讨论多层感知器，因为在现在的实际应用中，它们比单层感知器要更有用。 58 | 59 | ## **多层感知器** 60 | 61 | 多层感知器（Multi Layer Perceptron，即 MLP）包括至少一个隐藏层（除了一个输入层和一个输出层以外）。单层感知器只能学习线性函数，而多层感知器也可以学习非线性函数。 62 | 63 | ![img](多层感知机.assets/v2-591881425bd9c56f319a76ef0d4bc475_720w.png) 64 | 65 | *图 4：有一个隐藏层的多层感知器* 66 | 67 | 图 4 表示了含有一个隐藏层的多层感知器。注意，所有的连接都有权重，但在图中只标记了三个权重（w0,，w1，w2）。 68 | 69 | 输入层：输入层有三个节点。偏置节点值为 1。其他两个节点从 X1 和 X2 取外部输入（皆为根据输入数据集取的数字值）。和上文讨论的一样，在输入层不进行任何计算，所以输入层节点的输出是 1、X1 和 X2 三个值被传入隐藏层。 70 | 71 | 隐藏层：隐藏层也有三个节点，偏置节点输出为 1。隐藏层其他两个节点的输出取决于输入层的输出（1，X1，X2）以及连接（边界）所附的权重。图 4 显示了隐藏层（高亮）中一个输出的计算。其他隐藏节点的输出计算同理。需留意 *f *指代激活函数。这些输出被传入输出层的节点。 72 | 73 | 输出层：输出层有两个节点，从隐藏层接收输入，并执行类似高亮出的隐藏层的计算。这些作为计算结果的计算值（Y1 和 Y2）就是多层感知器的输出。 74 | 75 | 给出一系列特征 X = (x1, x2, ...) 和目标 Y，一个多层感知器可以以分类或者回归为目的，学习到特征和目标之间的关系。 76 | 77 | 为了更好的理解多层感知器，我们举一个例子。假设我们有这样一个学生分数数据集： 78 | 79 | 80 | 81 | ![img](多层感知机.assets/v2-8453ee1fafb845b19441c0d74b8169d2_720w.png) 82 | 83 | 两个输入栏表示了学生学习的时间和期中考试的分数。最终结果栏可以有两种值，1 或者 0，来表示学生是否通过的期末考试。例如，我们可以看到，如果学生学习了 35 个小时并在期中获得了 67 分，他 / 她就会通过期末考试。 84 | 85 | 86 | 87 | 现在我们假设我们想预测一个学习了 25 个小时并在期中考试中获得 70 分的学生是否能够通过期末考试。 88 | 89 | ![img](多层感知机.assets/v2-26ddf929f49099ada0ca65ccb30522f6_720w.png) 90 | 91 | 这是一个二元分类问题，多层感知器可以从给定的样本（训练数据）进行学习，并且根据给出的新的数据点，进行准确的预测。在下面我们可以看到一个多层感知器如何学习这种关系。 92 | 93 | ## **训练我们的多层感知器：反向传播算法** 94 | 95 | > ***反向传播误差，\****通常缩写为「BackProp」，是几种训练人工神经网络的方法之一。这是一种监督学习方法，即通过标记的训练数据来学习（有监督者来引导学习）。* 96 | > 97 | > *简单说来，BackProp 就像「从错误中学习」。监督者在人工神经网络犯错误时进行纠正。* 98 | > 99 | > *一个人工神经网络包含多层的节点；输入层，中间隐藏层和输出层。相邻层节点的连接都有配有「权重」。学习的目的是为这些边缘分配正确的权重。通过输入向量，这些权重可以决定输出向量。* 100 | > 101 | > *在监督学习中，训练集是已标注的。这意味着对于一些给定的输入，我们知道期望 / 期待的输出（标注）。* 102 | > 103 | > ***反向传播算法\****：**最初，所有的边权重（edge weight）都是随机分配的。对于所有训练数据集中的输入，人工神经网络都被激活，并且观察其输出。这些输出会和我们已知的、期望的输出进行比较，误差会「传播」回上一层。该误差会被标注，权重也会被相应的「调整」。该流程重复，直到输出误差低于制定的标准。* 104 | > 105 | > *上述算法结束后，我们就得到了一个学习过的人工神经网络，该网络被认为是可以接受「新」输入的。该人工神经网络可以说从几个样本（标注数据）和其错误（误差传播）中得到了学习。* 106 | 107 | 108 | 109 | ### 激励传播 110 | 111 | 每次迭代中的传播环节包含两步： 112 | 113 | 1. (前向传播阶段)将训练输入送入网络以获得激励响应； 114 | 2. (反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。 115 | 116 | ### 权重更新 117 | 118 | 对于每个突触上的权重，按照以下步骤进行更新： 119 | 120 | 1. 将输入激励和响应误差相乘，从而获得权重的梯度； 121 | 2. 将这个梯度乘上一个比例并取反后加到权重上。 122 | 3. 这个比例将会影响到训练过程的速度和效果，因此称为“学习率”或“步长”。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。 123 | 124 | 项目描述多层神经网络采用反向传播算法。为了说明这一过程,这里有三层神经网络，有两个输入和一个输出,如下图中所示, 125 | 126 | ![img](多层感知机.assets/image__10_.png) 127 | 128 | ![img](多层感知机.assets/image__11_.png) 129 | 130 | 每个神经元是由两个单元组成的。第一个方块包含权重系数和输入信号。第二个方块实现非线性函数,称为神经元激活函数。 131 | 132 | e是上一层summing junction的输出信号，y = f(e)是非线性元件的输出信号。信号y也是神经元的输出信号。 133 | 134 | 我们需要的神经网络训练数据集。训练数据集由输入信号(x_1和x_2)分配相应的目标(预期的输出)为z。网络训练是一个迭代的过程。在每个迭代中权重系数的节点会用新的训练数据集的数据进行修改。修改计算使用下面描述的算法:每个步骤都是从训练集中的两个输入信号开始,在这个阶段我们可以确定每个网络层中的每个神经元的输出信号值。图片下面的说明信号是通过网络传播,符号w(x_m)_n代表网络输入x_m和神经元n层之间的连接权重，符号y_n代表神经元n的输出信号。![img](https://image.jiqizhixin.com/uploads/editor/10e800ca-36e6-47fe-9f6c-2bbd5363fe47/image__12_.png) 135 | 136 | ![img](多层感知机.assets/image__13_.png) 137 | 138 | 传播的信号需要通过隐藏层。符号w_mn代表m和输入和输出神经元n之间的连接权重。![img](多层感知机.assets/image__8_.png) 139 | 140 | 传播信号通过输出层。 141 | 142 | ![img](多层感知机.assets/image__9_.png) 143 | 144 | 以上都是正向传播。算法的下一步，计算得出的输出y和训练集和的真实结果z有一定的误差，这个误差就叫做误差信号。用误差信号反向传递给前面的各层，来调整网络参数。 145 | 146 | ![img](多层感知机.assets/1__1_.png) 147 | 148 | 之前的算法是不可能直接为内部神经元计算误差信号,因为这些神经元的输出值是未知的。因此反向传播算法对此问题进行了解决。这个算法的创新点就是传播误差信号δ=z-y，返回到所有神经元,输出信号会根据输入神经元进行更改。 149 | 150 | ![img](多层感知机.assets/2__1_.png) 151 | 152 | 权重系数的W_mn用来传播误差信号δ，它是等于通过计算得出输出值，便会得到新的误差δ_m。只有数据流的方向是改变(信号传播从输出到输入一个接一个的进行权值更新)。这一技术是用于所有网络层。如果当传播错误来自一些神经元。将误差δ根据之前的权重会获得每个神经元的各自误差δ_5，δ_4，...δ_1. 153 | 154 | ![img](多层感知机.assets/3.png) 155 | 156 | 当每个神经元的误差都计算完后，每个神经元的权重系数也会更新。下面的公式就是神经元的激活函数（更新权重），利用误差δ_1和之前的权重以及之前e函数的倒数来获得新的权重w'.这里η是系数，它影响着权重改变大小的范围。它的选择也是有很多方法的。 157 | 158 | ![img](多层感知机.assets/4.png) 159 | 160 | ![img](多层感知机.assets/5.png) 161 | 162 | 以上就是正向传入输入值，获得误差，根据误差反向传播误差，获得每一个神经元的误差值，在根据误差值和e的倒数来更新权重，达到了对整个网络的修正。 -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Fuck-SJTU-ML-Exam 2 | 3 | ### 说明 4 | 5 | 该仓库面向SJTU SE-125 机器学习 的期末考试 6 | 7 | 这个仓库主要记录了个人根据老师提供的考纲文档 整理的笔记。 其中大部分都是根据文档上网查阅资料并copy的，夹带有一定私货。 仓库中整理的文档与老师上课的slides关系不大（因为我真的看不懂那么多公式推导）。希望这些文档可以给自己和大家都带来一些帮助。 8 | 9 | ### 更新说明 10 | 11 | 12.23 创建仓库 ，更新至 14.深度卷积神经网络（未开始） 12 | 13 | 12.24 基本全部完成，但是强化学习和集成学习感觉很迷。可能整理的也不太好，还需要完善。 14 | 同时更新了PDF版本，便于查看和打印 15 | 16 | ### 考纲 17 | 18 | 提供者：顾小东老师 19 | 20 | | 教学内容 | 要点 | 21 | | ------------------------------ | ------------------------------------------------------------ | 22 | | 机器学习导论 | 机器学习概念、核心要素、分类及一些重要概念如泛化、过拟合、数据划分等 | 23 | | 数学基础知识回顾 | 频率主义和贝叶斯主义，贝叶斯公式，梯度 | 24 | | 线性回归 | 原理和基本公式，基本的矩阵形式和结果 | 25 | | 概率参数估计 | 极大似然估计要理解原理，了解常用的共轭分布 | 26 | | 贝叶斯分类 | 贝叶斯网络原理，朴素贝叶斯原理 | 27 | | 线性判别分析 | 生成式模型和判别式模型、判别式分类器原理 | 28 | | 支持向量机与Kernel技术 | 理解最基本的SVM的优化目标，kernel基本原理了解 | 29 | | 逻辑回归 | 理解原理 | 30 | | 多层感知机 | MLP概念、优点，激活函数，理解误差反向传播 | 31 | | 参数优化理论 | 理解几个概念：在线学习和离线学习，SGD | 32 | | 应用：基于神经网络的词向量建模 | 知道词向量原理，会在实际场景下想到用word2vec解决问题 | 33 | | 深度循环神经网络 | 深度学习的概念、表征学习、端到端学习，理解为什么深度学习比浅层学习要好。 RNN和LSTM的概念，梯度爆炸和消失，Sequence-to-Sequence Learning的模型结构和原理, Attention的原理, Transformer的模型结构, BERT原理 | 34 | | 深度卷积神经网络 | 卷积神经网络的工作原理，几个重要概念如pooling, dropout | 35 | | 无监督 | K-means原理、算法过程、初始点选取 | 36 | | 生成式模型 | 了解GAN，VAE的原理，知道应用场景 | 37 | | 强化学习 | 强化学习原理 | 38 | | 集成学习 | 了解集成学习的原理 | 39 | 40 | ### 参考文档 41 | 42 | 1. https://mmdeeplearning.readthedocs.io/zh/latest/overview/concept.html 43 | 44 | https://zhuanlan.zhihu.com/p/71952151 45 | 46 | https://zhuanlan.zhihu.com/p/59673364 47 | 48 | https://zhuanlan.zhihu.com/p/33426884 49 | 50 | 2. https://zhuanlan.zhihu.com/p/84137223 51 | 52 | https://baike.baidu.com/item/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%85%AC%E5%BC%8F 53 | 54 | https://baike.baidu.com/item/%E6%A2%AF%E5%BA%A6/13014729 55 | 56 | 3. https://zhuanlan.zhihu.com/p/45023349 57 | 58 | 4. https://baike.baidu.com/item/%E6%9E%81%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1 59 | 60 | https://zhuanlan.zhihu.com/p/26638720 61 | 62 | https://zhuanlan.zhihu.com/p/103854460 63 | 64 | 5. https://zhuanlan.zhihu.com/p/157162433 65 | 66 | https://zhuanlan.zhihu.com/p/30139208 67 | 68 | 6. https://www.zhihu.com/question/20446337 69 | 70 | https://baike.baidu.com/item/%E7%BA%BF%E6%80%A7%E5%88%A4%E5%88%AB%E5%88%86%E6%9E%90/22657333 71 | 72 | 7. https://zhuanlan.zhihu.com/p/49331510 73 | 74 | 《机器学习》 周志华 75 | 76 | 8. https://zhuanlan.zhihu.com/p/74874291 77 | 78 | 9. https://zhuanlan.zhihu.com/p/23937778 79 | 80 | https://www.jiqizhixin.com/graph/technologies/7332347c-8073-4783-bfc1-1698a6257db3 81 | 82 | 10. https://blog.csdn.net/weixin_42267615/article/details/102973252 83 | 84 | https://www.jianshu.com/p/37223e45c838 85 | 86 | https://www.jiqizhixin.com/graph/technologies/8e284b12-a865-4915-adda-508a320eefde 87 | 88 | https://zhuanlan.zhihu.com/p/74571263 89 | 90 | 11. https://www.zhihu.com/question/32275069/answer/109446135 91 | 92 | 12. https://medium.com/@pkqiang49/%E4%B8%80%E6%96%87%E7%9C%8B%E6%87%82%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0-%E7%99%BD%E8%AF%9D%E8%A7%A3%E9%87%8A-8%E4%B8%AA%E4%BC%98%E7%BC%BA%E7%82%B9-4%E4%B8%AA%E5%85%B8%E5%9E%8B%E7%AE%97%E6%B3%95-2d34c5cb7175 93 | 94 | https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729 95 | 96 | https://baike.baidu.com/item/%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0/2140515 97 | 98 | https://www.zhihu.com/question/50454339/answer/257372299 99 | 100 | https://zhuanlan.zhihu.com/p/217618573 101 | 102 | https://zhuanlan.zhihu.com/p/32085405 103 | 104 | 13. https://www.cnblogs.com/XDU-Lakers/p/10553239.html 105 | 106 | https://www.jianshu.com/p/80436483b13b 107 | 108 | https://zhuanlan.zhihu.com/p/47063917 109 | 110 | https://www.jianshu.com/p/810ca25c4502 111 | 112 | 14. https://www.jianshu.com/p/1ea2949c0056 113 | 114 | https://zhuanlan.zhihu.com/p/38200980 115 | 116 | 15. https://www.jianshu.com/p/4f032dccdcef 117 | 118 | https://easyai.tech/ai-definition/unsupervised-learning/ 119 | 120 | https://blog.csdn.net/karine_/article/details/49272189 121 | 122 | 16. https://www.cnblogs.com/yifanrensheng/p/13586468.html 123 | 124 | 17. https://bdqfork.cn/articles/46 125 | 126 | https://baike.baidu.com/item/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/2971075 127 | 128 | https://www.zhihu.com/question/26408259/answer/123230350 129 | 130 | https://www.jianshu.com/p/9f113adc0c50 131 | 132 | 18.https://www.cnblogs.com/WayneZeng/p/9290696.html 133 | 134 | 135 | 136 | 137 | 138 | 139 | 140 | 141 | 142 | 143 | 144 | 145 | 146 | 147 | 148 | 149 | 150 | 151 | 152 | 153 | 154 | 155 | 156 | 157 | 158 | 159 | 160 | 161 | 162 | 163 | 164 | 165 | 166 | 167 | 168 | Easteregg：https://www.jiqizhixin.com/graph/technologies/24d01e28-ce75-41a6-9cc2-13d921d8816f 169 | 170 | https://www.zhihu.com/question/65403482 171 | 172 | https://zhuanlan.zhihu.com/p/38200980 173 | 174 | 175 | 176 | --------------------------------------------------------------------------------