├── 2017.10.md ├── README.md ├── rnn.md ├── 九月份.md ├── 十月份.md └── 欧式和马氏距离.md /2017.10.md: -------------------------------------------------------------------------------- 1 | # FastText: 2 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # 我的九月份论文 2 | 3 | ## CNN 4 | 【1】颜水成老师在AAAI2014上发表了第一篇将深度学习和哈希学习结合在一起的工作，不是一个端到端的工作。在第一阶段使用了坐标下降的方法。 5 | 6 | [Supervised Hashing for Image Retrieval via Image Representation Learning(AAAI14)] 7 | 8 | 【2】用了一个端到端的方法，loss是triplet-loss,考虑到了bit之间的冗余问题.只是找triplet对,然后进行loss计算。在结构上,选取了类似 NIN(考虑怎么好)的想法,最后hash bit 时，没有进行全连接的方法，而是分着连接，好处是减少了冗余. 9 | 10 | [Simultaneous Feature Learning and Hash Coding with Deep Neural Networks(CVPR15)] 11 | 12 | 【3】 13 | 14 | [Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval(CVPR15)] 15 | 16 | ## RNN-text 17 | 【1】不是一个端到端的方法，很多地方处理的比较粗糙。考虑词嵌入和位置嵌入，卷积后结合，得到隐式特征，再将显示特征加进来，最后还得使用tf-idf得到的进过进行监督。 18 | 19 | [Convolutional Neural Networks for Text Hashing(ijcai15)] 20 | 21 | 【2】RNN文本分类，用了线性的上下文，将时间的复杂度降为O(N),RCNN结构很好。使用了双向RNN作为CNN-max-pooling的输入 22 | 23 | [Recurrent convolutional neural networks for text classification (AAAI15)] 24 | 25 | 【3】这篇论文就是RCNN的推崇者，在RCNN的基础上，加了一层。参考文献倒是有很多可借鉴的。分析的也还好.RNN因为更看重后面的内容，效果不好。CNN要考虑卷积大小，所以提出了一个结合的方法。词序很重要，一个文本分类的脉络。要看。序列长度对模型的影响。RCNN在short text上效果并没有那么的好 26 | 27 | [Learning text representation using recurrent convolutional neural network with highway layers(arxiv16)] 28 | 29 | 【4】曹樾的将CNN 和 RNN 结合起来的cross-modal模型。将各个目标函数放在一起。 30 | 31 | [Deep Visual-Semantic Hashing for Cross-Modal Retrieval(KDD16)] 32 | 33 | ## 推荐系统 34 | 【1】google的文章，以后要多关注。只用线性的方法做，泛化性能不好。用深度提取特征，在稀疏高质的情况下效果不好，将其结合。 35 | 36 | [Wide Deep Learning for Recommender Systems] 37 | ## 杂 38 | 【1】将编码的学习和哈希函数的学习进行相互促进。 39 | 40 | [Optimizing Affinity-Based Binary Hashing Using Auxiliary Coordinates(Nips16)] 41 | 42 | 43 | 44 | 【2】这个帮助不大，做对话系统什么的 45 | 46 | Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks 47 | 48 | ## 要看 49 | 50 | 51 | 52 | 53 | 54 | 【4】Supervised and Semi-Supervised Text Categorizationusing LSTM for Region Embeddings 55 | 56 | 【5】Deep Fusion LSTMs for Text Semantic Matching 57 | 58 | 【6】Long-term Recurrent Convolutional Networks for Visual Recognition and Description 59 | 60 | 【7】sequence to sequence learning with neural networks 61 | 62 | 【8】he kai ming 63 | 64 | 【9】Long short-term memory. 65 | 66 | 【10】A convolutional neural network for modelling sentences（ACL14） 67 | 68 | 【11】Convolutional Neural Networks for Sentence Classification(引用高) 69 | 70 | 【12】Bidirectional recurrent neural networks(双向RNN) 71 | 72 | 【13】Dropout: A simple way to prevent neural networks from overfitting(dropout) 73 | 74 | 【14】Semantic compositionality through recursive matrixvector spaces(高引用) 75 | 76 | 【15】Network in Network 77 | 78 | 【16】Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval(CVPR15) 79 | 80 | 【17】Deep Learning of Binary Hash Codes for Fast Image Retrieval(CVPR15) 81 | 82 | 【18】Deep Hashing for Compact Binary Codes Learning(CVPR15) 83 | -------------------------------------------------------------------------------- /rnn.md: -------------------------------------------------------------------------------- 1 | RNN: 2 | 3 | Sentiment Analysis with TensorFlow 博客 和 代码 学习: 4 | http://domkaukinen.com/sentiment-analysis-with-tensorflow/ 5 | 6 | 外国博客: 7 | http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ 8 | 9 | pooling 的时候采用k-largest-pooling 10 | 11 | word-embedding的方式 12 | 13 | 词的处理，如果太多，那就只要频率高的，其他就当作没看见 14 | 15 | word2vec: 16 | http://www.52nlp.cn/%E4%B8%AD%E8%8B%B1%E6%96%87%E7%BB%B4%E5%9F%BA%E7%99%BE%E7%A7%91%E8%AF%AD%E6%96%99%E4%B8%8A%E7%9A%84word2vec%E5%AE%9E%E9%AA%8C 17 | 18 | 数据集: 19 | http://mulan.sourceforge.net/datasets-mlc.html 20 | 21 | nlp在文本上的使用： 22 | https://www.cl.cam.ac.uk/archive/ksj21/ksjdigipapers/nlirbook99.pdf 23 | 24 | tensorflow 的博客 25 | 26 | CONTEXT: Convolutional Neural Network and LSTM Code for Text Categorization： 27 | http://riejohnson.com/software/conText_ug.html 28 | 29 | 卷积操作的直观解释: 30 | http://docs.gimp.org/en/plug-in-convmatrix.html 31 | 32 | -------------------------------------------------------------------------------- /九月份.md: -------------------------------------------------------------------------------- 1 | # 我的九月份论文 2 | 3 | ## CNN 4 | 【1】颜水成老师在AAAI2014上发表了第一篇将深度学习和哈希学习结合在一起的工作，不是一个端到端的工作。在第一阶段使用了坐标下降的方法。 5 | 6 | [Supervised Hashing for Image Retrieval via Image Representation Learning(AAAI14)] 7 | 8 | 【2】用了一个端到端的方法，loss是triplet-loss,考虑到了bit之间的冗余问题,使用了部分连接.激活函数使用的sigmoid函数,和分段函数.只是找triplet对,然后进行loss计算。在结构上,选取了类似 `NIN`(考虑怎么好)的想法,最后hash bit 时，没有进行全连接的方法，而是分着连接，好处是减少了冗余. 9 | 10 | [Simultaneous Feature Learning and Hash Coding with Deep Neural Networks(CVPR15)] 11 | 12 | 【3】这篇论文使用了NDCG loss的方法，将所有在ground-truth上排在它后面,然而学习到的编码却排在前面的例子进行了惩罚.解决了multi-lebel的问题，而且将权重考虑其中.这是loss的不同.另一个就是网络结构的不同了. `这个地方的好处并没看懂,要看参考的文献`. 13 | 14 | [Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval(CVPR15)] 15 | 【4】个人品味不同。这篇论文就是把几个loss加在了一起，然后特征输入是神经网络学出来的。几个loss分别是:quantization,balanced(平衡与方差最大是冯等价的),independence,parameter scale. 16 | 17 | [Deep Hashing for Compact Binary Codes Learning(CVPR15)] 18 | 【5】workshop上的文章.在全连接层和哈希层中间加了一层。语义和特征的关系. 19 | 20 | [Deep Learning of Binary Hash Codes for Fast Image Retrieval(CVPRW15)] 21 | 22 | 【6】这篇论文使用了两个loss的结合，ranking loss,pairwise loss.这里的比较新颖的想法:一是在quantization的时候，没有使用直接取符号或者什么，而是使用了一个变化的趋势,参数小的时候是tangent function,大的时候是sign function.还有一点就是给了不同的比特不同的权重. 23 | 24 | [Bit-Scalable Deep Hashing With Regularized Similarity Learning for Image Retrieval and Person Re-Identification(TIP2015)] 25 | ## RNN-text 26 | 【1】不是一个端到端的方法，很多地方处理的比较粗糙。考虑词嵌入和位置嵌入，卷积后结合，得到隐式特征，再将显示特征加进来，最后还得使用tf-idf得到的进过进行监督。 27 | 28 | [Convolutional Neural Networks for Text Hashing(ijcai15)] 29 | 30 | 【2】RNN文本分类，用了线性的上下文，将时间的复杂度降为O(N),RCNN结构很好。使用了双向RNN作为CNN-max-pooling的输入 31 | 32 | [Recurrent convolutional neural networks for text classification (AAAI15)] 33 | 34 | 【3】这篇论文就是RCNN的推崇者，在RCNN的基础上，加了一层。参考文献倒是有很多可借鉴的。分析的也还好.RNN因为更看重后面的内容，效果不好。CNN要考虑卷积大小，所以提出了一个结合的方法。词序很重要，一个文本分类的脉络（`按照这个看`）。要看。序列长度对模型的影响。RCNN在short text上效果并没有那么的好 35 | 36 | [Learning text representation using recurrent convolutional neural network with highway layers(arxiv16)] 37 | 38 | 【4】曹樾的将CNN 和 RNN 结合起来的cross-modal模型。将各个目标函数放在一起。 39 | 40 | [Deep Visual-Semantic Hashing for Cross-Modal Retrieval(KDD16)] 41 | 42 | 【5】recursive 和 recurrent的区别,Attention机制，双向RNN. 43 | 44 | [Full-Time Supervision based Bidirectional RNN for Factoid Question Answering] 45 | 46 | ## 推荐系统 47 | 【1】google的文章，以后要多关注。只用线性的方法做，泛化性能不好。用深度提取特征，在稀疏高质的情况下效果不好，将其结合。 48 | 49 | [Wide Deep Learning for Recommender Systems] 50 | ## cross-modal 51 | 【1】将编码的学习和哈希函数的学习进行相互促进。 52 | 53 | [Optimizing Affinity-Based Binary Hashing Using Auxiliary Coordinates(Nips16)] 54 | 【2】庆远学长的,疑问是，更新的策略,还有文中说的手写特征怎么回事,还有实验具体怎么做的. 55 | 56 | [Deep Cross-Modal Hashing] 57 | 58 | ## 杂 59 | 【1】这个帮助不大，做对话系统什么的 60 | 61 | Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks 62 | 63 | 【2】改掉了传统CNN的网络，传统的CNN在概念是线性可分的情况下效果好，但一般情况下都是线性不可分的,特征都在一个mainfold上.此时，我们需要非线性接收域，这里使用了(`多层感知机`).在最后一层也放弃了全连接层，全连接层容易产生过拟合.这里使用了aerage-pooling 的方法，直接作为soft-max的置信度.好处是没有参数进行训练，不存在过拟合，可解释性. 64 | 65 | [Network in Network] 66 | 67 | ## 要看 68 | 69 | 分类和检索的区别是什么 70 | 71 | 斯坦福cs224d 72 | 73 | 10.1 74 | Convolutional Neural Networks for Sentence Classification 75 | A convolutional neural network for modelling sentences（ACL14） 76 | sequence to sequence learning with neural networks 77 | 78 | 79 | 【4】Supervised and Semi-Supervised Text Categorizationusing LSTM for Region Embeddings 80 | 81 | 【5】Deep Fusion LSTMs for Text Semantic Matching 82 | 83 | 【6】Long-term Recurrent Convolutional Networks for Visual Recognition and Description 84 | 85 | 【7】sequence to sequence learning with neural networks 86 | 87 | 【8】he kai ming 88 | 89 | 【9】Long short-term memory. 90 | 91 | 【10】Deep Fusion LSTMs for Text Semantic Matching 92 | 93 | 【11】Convolutional Neural Networks for Sentence Classification(引用高) 94 | 95 | 【12】Bidirectional recurrent neural networks(双向RNN) 96 | 97 | 【13】Dropout: A simple way to prevent neural networks from overfitting(dropout) 98 | 99 | 【14】Semantic compositionality through recursive matrixvector spaces(高引用) 100 | 101 | 【17】Visualizing and understanding convolutional networks 102 | 103 | 【18】Learning fine-grained image similarity with deep ranking 104 | 105 | 【19】Isotropic hashing 106 | -------------------------------------------------------------------------------- /十月份.md: -------------------------------------------------------------------------------- 1 | # 我的十月份论文 2 | 3 | ## CNN 4 | 【1】这篇论文使用了原始像素重构的方法，引入了辅助变量，好处是可以用两步法来求用了两步法来求，一步求网络参数，一步求二值编码，离散用SDH来求， 5 | 又加了无关独立的限制。但是实验效果不好。 6 | 7 | [Discrete Hashing with Deep Neural Network(ARXIV15)] 8 | 9 | ##经典 10 | 【2】fast哈希采取了两步法，第一步学编码，第二步用决策树来学分类。第一步使用序列学习的方法(后面的不管，只看前面的学习到的)。每次只学习一个block的一个bit。划分block的原则是同一个block内的 11 | 点都是相似的 12 | 13 | [Fast Supervised Hashing with Decision Trees for High-Dimensional Data(CVPR14)] 14 | 15 | ## 要看 16 | 17 | 分类和检索的区别是什么 18 | 19 | 斯坦福cs224d 20 | 21 | 10.1 22 | Convolutional Neural Networks for Sentence Classification 23 | A convolutional neural network for modelling sentences（ACL14） 24 | sequence to sequence learning with neural networks 25 | 26 | 27 | 【4】Supervised and Semi-Supervised Text Categorizationusing LSTM for Region Embeddings 28 | 29 | 【5】Deep Fusion LSTMs for Text Semantic Matching 30 | 31 | 【6】Long-term Recurrent Convolutional Networks for Visual Recognition and Description 32 | 33 | 【7】sequence to sequence learning with neural networks 34 | 35 | 【8】he kai ming 36 | 37 | 【9】Long short-term memory. 38 | 39 | 【10】Deep Fusion LSTMs for Text Semantic Matching 40 | 41 | 【11】Convolutional Neural Networks for Sentence Classification(引用高) 42 | 43 | 【12】Bidirectional recurrent neural networks(双向RNN) 44 | 45 | 【13】Dropout: A simple way to prevent neural networks from overfitting(dropout) 46 | 47 | 【14】Semantic compositionality through recursive matrixvector spaces(高引用) 48 | 49 | 【17】Visualizing and understanding convolutional networks 50 | 51 | 【18】Learning fine-grained image similarity with deep ranking 52 | 53 | 【19】Isotropic hashing 54 | 55 | 【20】Hashing with binary autoencoders. In CVPR, 2015 56 | 57 | 【21】Character-level Convolutional Networks for Text Classification 58 | 59 | 【22】Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings 60 | 61 | -------------------------------------------------------------------------------- /欧式和马氏距离.md: -------------------------------------------------------------------------------- 1 | 2 | * 为什么能够降维 3 | * 数据特征间相关 4 | 5 | * 向量 a 在向量 b上的投影, 就是两个向量的内积. 6 | 7 | *  均值为0, 方差为 1 的理解 8 | 9 | - [x] 马氏距离就是将数据做了旋转，做了方差归一化之后再计算的欧氏距离 10 | 11 | - [ ] markdown 学习 : https://www.zybuluo.com/mdeditor 12 | --------------------------------------------------------------------------------