├── 胶囊网络.md
├── 强化学习.md
├── 模板.md
├── 主动学习.md
├── 实体扩展.md
├── 文生图.md
├── 通用信息抽取.md
├── 评论生成.md
├── 图文问答.md
├── 推理加速.md
├── 跨模态检索.md
├── 3D视觉.md
├── 中文分词.md
├── 语义分割.md
├── 知识蒸馏.md
├── 广告.md
├── 图像增强_去噪_生成.md
├── 图生文.md
├── DNN.md
├── OCR.md
├── 视频分类.md
├── 图片分类.md
├── RNN.md
├── 特征融合.md
├── MOE.md
├── 无监督&自监督.md
├── 领域适应.md
├── 文本检错&纠错.md
├── 属性抽取.md
├── 问答对话.md
├── meta_learning.md
├── 贝叶斯神经网络.md
├── 实体链接（消歧&归一化）.md
├── 量化加速.md
├── 阅读理解.md
├── 视觉应用.md
├── 图谱问答.md
├── 对话策略.md
├── 图像预训练模型.md
├── 世界模型.md
├── 序列特征处理.md
├── 训练加速.md
├── Transformer.md
├── 情感分析.md
├── 算法框架.md
├── 人脸识别.md
├── 因果推断.md
├── 关键词提取.md
├── 文本改写&生成.md
├── 标签生成.md
├── 多标签残缺.md
├── 智能语音.md
├── 神经逻辑推理.md
├── 数据增强.md
├── Mis.md
├── 样本不均衡.md
├── 知识图谱综述.md
├── 目标检测.md
├── 自然语言处理综述.md
├── 模型可解释性.md
├── AutoML.md
├── 半监督学习.md
├── Attention机制&网络.md
├── 小说&剧本.md
├── 图片视频向量化（特征提取）.md
├── 文本质量.md
├── 关系抽取.md
├── 迁移学习&领域适应.md
├── 文本相似度计算.md
├── 搜索.md
├── LICENSE
├── auto_statistics.py
├── 常识AI.md
├── 机器学习&深度学习综述.md
├── 对抗攻击.md
├── 闲聊对话.md
├── 文本长度扩展.md
├── 主题模型.md
├── 标签体系&标签扩展&兴趣标签&概念标签.md
├── 文本向量化.md
├── 摘要生成.md
├── 推荐&广告&搜索.md
├── 噪声标签.md
├── CNN.md
├── 多模态.md
├── 文本分类.md
├── 图网络.md
├── 任务型对话.md
├── 大模型评测.md
├── 具身智能.md
├── 命名实体识别.md
├── 文本预训练模型.md
├── 通用基础大语言模型.md
├── README.md
├── ALM-PromptEngineering-PrompLearning.md
└── 论文汇总.md
/胶囊网络.md:
--------------------------------------------------------------------------------
1 |
2 |
--------------------------------------------------------------------------------
/强化学习.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 |
--------------------------------------------------------------------------------
/模板.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 |
--------------------------------------------------------------------------------
/主动学习.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Deep Active Learning for Short-Text Classification》 | 2017 |样本标注的不确定性；
是否靠近类别中心点； |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/实体扩展.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Learning to Bootstrap for Entity Set Expansion》 | ACL2019 |像远程监督的优化；
基于蒙特卡洛树搜索； |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/文生图.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 |
--------------------------------------------------------------------------------
/通用信息抽取.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Unified Structure Generation for Universal Information Extraction》 | ACL 2022 |1.百度UIE
2.基本架构：SSI+Text->SEL
3.核心技术：prompt+预训练 |NULL |NULL |
4 |
--------------------------------------------------------------------------------
/评论生成.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model》 | ACL2019 |基于标题和篇章的资讯评论生成；
基于图网络建模 |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/图文问答.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/推理加速.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/跨模态检索.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/3D视觉.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》| CVPR 2017|基于3D点云是分类和分割：没怎么看懂|NULL |中文翻译：https://zhuanlan.zhihu.com/p/369059467|
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/中文分词.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Multi-Criteria Chinese Word Segmentation with Transformer》 | 单元格 |多标准分词 |NULL |NULL |
4 | | 《Multi-Grained Chinese Word Segmentation》 | ACL2017 |多粒度分词 |NULL |NULL |
5 | | 单元格 | 单元格 |单元格 |单元格 |单元格 |
6 |
--------------------------------------------------------------------------------
/语义分割.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Fully Convolutional Networks for Semantic Segmentation》| CVPR2015|FCN：经典的语义分割深度网络|NULL |参考：
https://zhuanlan.zhihu.com/p/32037333
https://zhuanlan.zhihu.com/p/31428783|
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/知识蒸馏.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing》 | NULL |NULL |NULL |哈工大工具TextBrewer：
git地址：https://github.com/airaria/TextBrewer |
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/广告.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 |
--------------------------------------------------------------------------------
/图像增强_去噪_生成.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Moire Photo Restoration Using Multiresolution Convolutional Neural Networks》| IEEE Transactions on Image Processing 2018|基于深度学习的去摩尔纹：
1 作者认为不同的尺度是负责处理不同的摩尔纹;|NULL |参考：https://blog.csdn.net/u013063099/article/details/88716689|
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/图生文.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 |
--------------------------------------------------------------------------------
/DNN.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《learning internal representation by error propagation》 | MIT 1987 |Hinton反向传播论文：
1 Parker(1985)和LeCun(1985)已经独立的进行相关的研究。但本篇论文是第一个介绍通用的方法文章； |NULL |论文地址：https://web.stanford.edu/class/psych209a/ReadingsByDate/02_06/PDPVolIChapter8.pdf |
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/OCR.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《End-to-End Text Recognition with Convolutional Neural Networks》| ICPR2012|OCR：
1 虽然说的是End-to-End，感觉还是分成检测和识别两个步骤；
2 检测部分用了一个CNN网络（两层，第一层训练是无监督的），识别部分用了一个CNN网络；
3 检测通过滑窗和放缩的方式实现，感觉计算复杂度过高，在实践中基本不可行；|NULL |参考：https://zhuanlan.zhihu.com/p/45376274|
4 | | NULL | NULL |NULL |NULL |NULL |
5 |
--------------------------------------------------------------------------------
/视频分类.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《3D Convolutional Neural Networks for Human Action Recognition》 | ICML2010 |3D卷积；
视频分类/动作识别 |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 |
--------------------------------------------------------------------------------
/图片分类.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/RNN.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Finding Structure in Time 》| COGNITIVE SCIENCE 1990|采用BP算法进行训练的早期RNN模型|NULL |参考：https://www.zhihu.com/question/312329452/answer/1209094090|
4 | | 《LONG SHORT-TERM MEMORY》 | Neural Computation 1997 |Jürgen Schmidhuber的LSTM论文 |NULL |AI领域最有影响力的论文之一：https://www.jiqizhixin.com/articles/2019-12-28-4 |
5 | | NULL | NULL |NULL |NULL |NULL |
6 |
--------------------------------------------------------------------------------
/特征融合.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《TabTransformer: Tabular Data Modeling Using Contextual Embeddings》| arxiv2020|TabTransformer：
基于Transformer的表格信息处理；
对标xgboost；
只能处理类别信息和连续信息，无法处理纯字符串信息（如姓名）|NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/MOE.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | 《GLaM: Efficient Scaling of Language Models with Mixture-of-Experts》 | arxiv2022| Google的MOE模型：Decoder-only
1 模型结果主要参考GShard MoE Transformer（Encoder-decoder，2021）；
2 卖点：MoE Decoder-only，参数1.2T/96.6B（之前的工作Switch-C，MoE Encoder-decoder，1.5T/1.5B）;
3 效果上超过GPT-3，同时，在训练和推理的能量消耗更小；
4 一共64个专家，每次选中2个；| NULL | NULL |
5 |
--------------------------------------------------------------------------------
/无监督&自监督.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/领域适应.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Domain-Adversarial Training of Neural Networks》 | JMLR2016 |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/文本检错&纠错.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm》 | EMNLP2019 |依然是两阶段（错误发现+纠错）：检测-召回-排序;
1 BERT作为语言模型，发现错误（有监督Fine-tuning）；
2 通过语言模型rank打分召回；
3 通过rank靠前的结果中，按相似性打分进行选取候选结果； |done |NULL |
4 | | 《文本纠错的探索与实践》
平安人寿：陈乐清 | NULL |两阶段方案;
系统型方案；
错误发现-纠错召回-GPDT纠错排序； |done |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 |
--------------------------------------------------------------------------------
/属性抽取.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Multimodal Attribute Extraction》 | NIPS2017 |有点像阅读理解：
属性名嵌入+query（多模）嵌入→属性值；
提供了任务数据集； |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/问答对话.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance》 | SIGIR2019 |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/meta_learning.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/贝叶斯神经网络.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Auto-Encoding Variational Bayes》| arXiv2014|VAE原理：
1神经网络可以拟合对特定分布的采样？；|NULL |https://zhuanlan.zhihu.com/p/161277762|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/实体链接（消歧&归一化）.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Pre-training of Deep Contextualized Embeddings of Words and Entities for Named Entity Disambiguation》 | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/量化加速.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Mixed Precision Training》 | ICLR2018 |混精训练 |done |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/阅读理解.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Neural Machine Reading Comprehension: Methods and Trends》 | Applied Sciences 2019 |NULL |NULL |NULL |
4 | | 《Neural Reading Comprehension And Beyond》 | 2018 |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/视觉应用.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《First Order Motion Model for Image Animation》| NIPS 2019|动画生成：
1 source图片，参考driving的图片，生成对应风格的图片；|NULL |https://mp.weixin.qq.com/s/eXgpL5s8dUvU9i4daqTo-g|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/图谱问答.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs》 | Arxiv2019 |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/对话策略.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Know More about Each Other: Evolving Dialogue Strategy via Compound Assessment》| ACL 2019|基于信息量和相关性度量的强化学习对话系统：
1 将上下文和知识进行嵌入，指导对话生成；
2 使用信息量和相关性来评估对话生成质量；
3 最终，基于强化学习框架进行模型优化；|NULL |NULL|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/图像预训练模型.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《A Cookbook of Self-Supervised Learning》| arXiv2023| Meta针对自监督的综述：
1 主要集中CV领域的自监督；
2 自监督的方法分类和在不同方面的“Guide”（数据增强、Projector、数据平衡、评估、加速训练等）；| NULL | NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/世界模型.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | 《A Path Towards Autonomous Machine Intelligence》 | 2022| LeCun关于AGI的思考：
1 核心的系统组成：
-Configurator
-Short-term memory
-World Model
-Actor
-Perception
-Cost
2 世界模型的核心不是对三维空间和世界的理解，而是对未来的预测。通过世界模型来帮助决策模型进行优化；
3 没太理解的问题：
-Config模块是如何工作的？如何参与到参数调整？
-能量损失部分没看懂
-Model1和Model2在实际应用中何时觉得该由哪一个输出Action？
-Collapse部分没看懂
-Contrastive sample vs Regularation没太看懂| NULL | https://mp.weixin.qq.com/s/JUlhu95uFsY0c5WjJOJl3g |
5 |
--------------------------------------------------------------------------------
/序列特征处理.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《NetVLAD: CNN architecture for weakly supervised place recognition》| CVPR2016|向量序列->单个向量：
1 适用于音频序列和视频（图像序列）；|NULL |https://zhuanlan.zhihu.com/p/96718053|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/训练加速.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》| arXiv2020| 英伟达的Megatron LM：
核心是张量并行（数据并行、张量并行、Pipeline并行）；
在BERT和GPT-2上做了验证；
只需做部分代码插入，不需要专门的框架或者编译器；
李沐的paper分享也有介绍；| NULL |参考：https://zhuanlan.zhihu.com/p/366906920|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/Transformer.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Attention Is All You Need》 | NIPS2017 |Transformer原始论文：
Encoder；
Decoder；
位置编码；
Mask（padding/decoder）；|done |NULL |
4 | | 《Star-Transformer》 | NAACL2019 |NULL |NULL |NULL |
5 | | 《Transformer-XL: Language Modeling with Longer-Term Dependency》 | ICLR2019 |单元格 |单元格 |单元格 |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/情感分析.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis》 | ACL2019 |多任务/序列标准/Aspect情感分析 |NULL |NULL |
4 | | 《Deep Learning for Aspect-Level Sentiment Classification: Survey, Vision, and Challenges》 | 2019 |ALSA综述 |NULL |NULL |
5 | | 《Deep learning for sentiment analysis: A survey》 | 2018 |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/算法框架.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit》 | NULL |腾讯层次化分类工具 |done |NULL |
4 | | 《Familia: A Configurable Topic Modeling Framework for Industrial Text Engineering》 | Arxiv2018 |NULL |NULL |NULL |
5 | | 《LightLDA: Big Topic Models on Modest Computer Clusters》 | WWW2015 |NULL |NULL |NULL |
6 | | 《DeepPavlov: Open-Source Library for Dialogue Systems》 | ACL2018 |NULL |NULL |NULL |
7 | | 《AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models》 | EMNLP2019 |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 |
--------------------------------------------------------------------------------
/人脸识别.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》| CVPR2014|FaceBook的DeepFace：
1 人脸识别过程：识别-对齐-表征-判别；|NULL |参考：
https://zhuanlan.zhihu.com/p/29823465
https://zhuanlan.zhihu.com/p/56414557|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/因果推断.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《A Survey on Causal Inference》| arXiv 2020|因果推断综述：
1 INTRODUCTION;
2 BASIC OF CAUSAL INFERENCE;
3 CAUSAL INFERENCE METHODS RELYING ON THREE ASSUMPTIONS;
4 METHODS RELAXING THREE ASSUMPTIONS;
5 GUIDELINE ABOUT EXPERIMENT;
6 APPLICATIONS;
7 CONCLUSIONS;|NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/关键词提取.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《基于文档主题结构的关键词抽取方法研究》 | 博士论文2011年 |刘知远/孙茂松;
关键词提取；
关键词与文章主题保持一致； |done |重点关注第三章，基于主题的关键词抽取；
http://nlp.csai.tsinghua.edu.cn/~lzy/publications/phd_thesis.pdf|
4 | | 《Topic-Aware Neural Keyphrase Generation for Social Media Language》| ACL2019|腾讯AI Lab,神经主题模型+生成模型的关键词生成：
1 神经主题模型是现成的（已有人做了）；
2 主题信息作为特征，传给后面的关键词生成模块；
3 采用生成+抽取的方式产生关键词；|NULL |NULL |
5 | | 《Context-Aware Document Term Weighting for Ad-Hoc Search》 | NULL |NULL |NULL |NULL |
6 | | 《Title-Guided Encoding for Keyphrase Generation》 | AAAI2019 |把标题单独提出来作为特征和正文进行attention增强模型抽取能力; |done |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/文本改写&生成.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Get To The Point: Summarization with Pointer-Generator Networks》 | NULL |Manning经典论文;
注意coverage问题（只看懂了方法-两个机制，但没看懂原理）； |done |NULL |
4 | | 《Rigid Formats Controlled Text Generation》 | ACL2020 |带约束的文本生成；
把约束添加到了transformer的位置编码上；
类似GPT的生成； |done |NULL |
5 | | 《CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling》 | AAAI19 |基于MH采样；
无监督句子改写，纠错；
好像没用神经网络；
原理没特别看懂； |done |NULL |
6 | | 《UNSUPERVISED PARAPHRASE GENERATION USING PRE-TRAINED LANGUAGE MODELS》| arXiv2020|基于GPT2的段落生成：
1 训练过程：将原始句子去除停用词，然后，预测完整句子；
2 预测过程：输入关键词，生成完整段落；|done|NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/标签生成.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Scaling Up Open Tagging from Tens to Thousands: Comprehension Empowered Attribute Value Extraction from Product Title》 | ACL2019 |阿里作品：
属性名嵌入+query（多模）嵌入→属性值；
主要从标题中抽取属性值； |done |NULL |
4 | | 《Microblog Hashtag Generation via Encoding Conversation Contexts》| NAACL2019|微博标签生成：
1 基于序列生成模型的标签生成；|done|NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/多标签残缺.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Extreme Multi-label Loss Functions for Recommendation,Tagging, Ranking & Other Missing Label Applications》 | KDD2016 |多标签分类；
大规模、标签确实、数据稀疏；
主要是对损失函数做了处理； |done |NULL |
4 | | 《基于不完整标签信息的多标签分类问题研究》 | 硕士论文2019 |多标签分类；
标签不完整的分类+半监督分类；
先通过算法打纠正后的预标签，然后，再继续训练模型； |done |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 |
--------------------------------------------------------------------------------
/智能语音.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《CNN ARCHITECTURES FOR LARGE-SCALE AUDIO CLASSIFICATION》 | ICASSP 2017 |使用CNN进行音频分类：
0 3.1 Training;
1 每个样本为960ms，标签和整个视频的一致；
2 每个样本再按每隔10ms被截成若干段，其中，会与前面的样本有交叠，窗口为25ms；
3 每个段进行时频处理，变成64位的0-1表示向量；
4 最终获得96x64的0-1二值矩阵，作为后续CNN的输入；|NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 |
--------------------------------------------------------------------------------
/神经逻辑推理.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Cold-Start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural Networks》| EMNLP2020|FA-RNN：
1 正则表达式->有限状态机->RNN|NULL |NULL |
4 | | 《Neural Logic Reasoning》| CIKM2020|基于神经网络的逻辑推理：
1 使用向量表示变量，使用神经网络拟合逻辑操作（如AND，OR，NOT）；|NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 |
--------------------------------------------------------------------------------
/数据增强.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification》| arxiv 2019|WS-DAN：
1 更高效的数据增强方法（有目的性的crop和drop）；
2 有效的关注局部特征；|NULL |NULL |
4 | | 《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》 | EMNLP2019 |四种操作：同义替换，随机插入，随机删除，随机交换；
更试用于小样本场景； |done |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/Mis.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering》 | COLING 2018 |NULL |NULL |NULL|
4 | | 《Analysis Methods in Neural Language Processing: A Survey》 | 2019 |NULL |NULL |NULL |
5 | | 《Deep Double Descent: Where Bigger Models and More Data Hurt》 | NULL |NULL |NULL |NULL |
6 | | 《中文信息处理发展报告》 | 2016 |NULL |NULL |NULL |
7 | | 《Modern Deep Learning Techniques Applied to Natural Language Processing》 | 博文 |NLP综述 |NULL |https://nlpoverview.com/index.html |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/样本不均衡.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Dice loss for data-imbalance NLP tasks》 | ACL2020 |NULL |NULL |NULL |
4 | | 《Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting》| NIPS 2019|Meta Learning应用与噪声标签和数据不均衡场景：
1 常用的处理噪声标签和数据不均衡手段，主要是在最后的损失函数部分设置权重，权重的大小由损失计算获得；
2 数据不均衡，一般权重随损失增大而增大，比如Focal Loss；
3 噪声标签，一般权重随损失增大而减小，比如SPL；
4 本文的创新点在于，权重的设置不是手动完成，而是通过一个meta网络自动计算；
5 需要注意，训练集存在两份，一份用来训练meta网络（均衡、无噪声），一份用来训练主线模型；
6 没看懂meta网络是理论基础是什么？和meta learning的联系是什么？|NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/知识图谱综述.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications 》| 2018|知识图谱综述（水文，蹭一带一路的热点）：
1. OBOR Background；
2. Knowledge Grap；
3. Techniques of Constructing Chinese Knowledge Graphs；
4. Applications of Chinese Knowledge Graphs；
5. Impacts of Knowledge Graph on OBOR；
6. Conclusions；|done|https://www.mdpi.com/2071-1050/10/9/3245|
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/目标检测.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Rich feature hierarchies for accurate object detection and semantic segmentation》| CVPR 2014|RCNN：
1 基于selective search做ion proposals；
2 基于CNN做特征提取（采用了预训练和迁移学习）；
3 通过SVM做分类；
4 没太懂语义分割是怎么实现的|NULL |NULL |
4 | | 《Fast R-CNN》| ICCV 2015|Fast RCNN：
1 相比RCNN，只做一次CNN特征提取（SPPnet已经实现了）；|NULL |参考：https://zhuanlan.zhihu.com/p/141957184|
5 | | 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》| NIPS 2015|Faster-RCNN：
1 何凯明、孙剑大佬作品；
2 引入RPN做目标区域检测；|NULL |参考：https://zhuanlan.zhihu.com/p/31426458|
6 | | 《You Only Look Once: Unified, Real-Time Object Detection》| CVPR 2016|YOLO：
1 没有ROI步骤；
2 效果不是最好的，但速度是最快的；
3 引入了grid；
4 没看懂最后两个全连接层：怎么从4096x1变成7x7x30的？|NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 |
--------------------------------------------------------------------------------
/自然语言处理综述.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Recent Trends in Deep Learning Based Natural Language Processing》| arXiv2018 |自然语言处理综述：
I. INTRODUCTION；
II. DISTRIBUTED REPRESENTATION；
III. CONVOLUTIONAL NEURAL NETWORK；
IV. RECURRENT NEURAL NETWORKS；
V. RECURSIVE NEURAL NETWORKS；
VI. DEEP REINFORCED MODELS AND DEEP UNSUPERVISED LEARNING；
VII. MEMORY-AUGMENTED NETWORKS；
VIII. PERFORMANCE OF DIFFERENT MODELS ON DIFFERENT NLP TASKS；
IX. CONCLUSION； |done|NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
--------------------------------------------------------------------------------
/模型可解释性.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》| IJCV 2019|Grad-CAM：在feature map大小的基础上，引入基于梯度的权重|NULL |NULL |
4 | | 《Why Should I Trust You? : Explaning the Predictions of Any Classifier》 | KDD2016 |NULL |done |NULL |
5 | | 《Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop》 | 2019 |NLP可解释性 |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 |
--------------------------------------------------------------------------------
/AutoML.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms》| arXiv 2012|较早的AutoML工具：
1 模型选择和超参调节同时进行；
2 把模型选择和超参调节，统一看出层次化的超参调节；
3 集成在工具包WEAK中，基于Java实现；|NULL |https://github.com/automl/autoweka|
4 | | 《AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data》| arXiv 2020|亚马逊AI开源的AutoML工具：
1 主要基于MexNet？支持Pytorch；不支持TensorFlow？
2 从Table 1来看这是目前市面上唯一一款同时具备，开源、免费、适合深度学习三个特点的AutoML框架；|NULL |https://github.com/awslabs/autogluon|
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/半监督学习.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING》 | NULL |NULL |NULL |NULL |
4 | | 《Data Programming:Creating Large Training Sets, Quickly》 | NIPS2016 |Snorkel |NULL |NULL |
5 | | 《Rethinking the Value of Labels for Improving Class-Imbalanced Learning》| NIPS2020|基于半监督+自监督的训练样本增强和优化：
1 理论部分比较复杂，但操作相对简单；
2 半监督部分主要看2.2节，Semi-Supervised Imbalanced Learnin|NULL |https://zhuanlan.zhihu.com/p/259710601|
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 |
--------------------------------------------------------------------------------
/Attention机制&网络.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《An Introductory Survey on Attention Mechanisms in NLP Problems》| arXiv2018|文本Attention综述：
1 Introduction；
2 Formulation；
3 Variation；
4 Application；
5 Evaluation；
6 Conclusion and Prospects；|done|NULL |
4 | | 《Pointer Networks》 | NIPS2015 |指针网络 |NULL |NULL |
5 | | 《Attention-Based LSTM for Psychological Stress Detection from Spoken Language Using Distant Supervision》 | NULL |基于Attention的内容展示 |NULL |NULL |
6 | | 《End-To-End Memory Networks》 | NIPS2015 |Memory Net |NULL |NULL |
7 | | 《Neural Turing Machines》| arXiv2014|神经图灵机：
1 LSTM+Attention+记忆矩阵； |done|https://zhuanlan.zhihu.com/p/30383994
https://medium.com/snips-ai/ntm-lasagne-a-library-for-neural-turing-machines-in-lasagne-2cdce6837315|
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/小说&剧本.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Re3: Generating Longer Stories With Recursive Reprompting and Revision》| EMNLP2022| Meta的Re3：
基于OpenAI的InstructGPT写小说；
卖点：小说长度+流畅度和相关性高；
启发：大公司提供大模型+小公司设计prompt| NULL | NULL |
4 | | 《DOC: Improving Long Story Coherence With Detailed Outline Control》| arXiv2022| 田渊栋的写小说prompt方案第二篇：
DOC：Detailed Outline Control；
语言模型除了之前的GPT-3（没有专门采用InstructGPT），也对比使用了自家的OPT| NULL | NULL |
5 | | 《Co-Writing Screenplays and Theatre Scripts with Language Models An Evaluation by Industry Professionals》 | arxiv 2022 | Deepmind 的Dramatron：
可以交互式的写剧本；
经过“专家”评审，效果很不错；
没有开源，但prompt具体实现基本放到附录E中了；
使用了自己的语言模型Chinchilla，但也提到可以使用GPT-3模型；
基于fewshot的prompt实现； | NULL | NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/图片视频向量化（特征提取）.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Aggregating local descriptors into a compact image representation》| CVPR2010|VLAD：
1 将若干局部特征压缩为特定大小全局特征的方法
2 图像局部特征可以用SIFT，SURF，ORB等一般方法，也可以通过当前流行的CNN方法提取;|done|参考：https://zhuanlan.zhihu.com/p/96718053|
4 | | 《NetVLAD: CNN architecture for weakly supervised place recognition》| CVPR2016|NetVLAD:
1 VLAD改进版，参数可以进行端到端训练获得；
2 loss从地点分类任务获得；|done|参考：
https://zhuanlan.zhihu.com/p/96718053
https://zhuanlan.zhihu.com/p/52936876 |
5 | | 《NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification》| ECCV2018|NeXtVLAD：
1 NetVLAD升级版；
2 参数减少，效果不减；
3 应用在视频分类场景（更好的体现参数减少的必要性？）|done|参考：https://zhuanlan.zhihu.com/p/96718053|
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/文本质量.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Cognitive Representation Learning of Self-Media Online Article Quality》 | NULL |NULL |done |https://mp.weixin.qq.com/s/cNgIuxMxB2Zu3RoaNpOVTQ |
4 | | 《Spam Review Detection with Graph Convolutional Networks》 | NULL |阿里闲鱼基于图网络的文本反垃圾 |done |NULL |
5 | | 《Abusive Language Detection with Graph Convolutional Networks》 | NULL |facebook基于图网络的文本反垃圾 |done |NULL |
6 | | 《Weak Supervision for Fake News Detection via Reinforcement Learning》| AAAI 2020|基于弱监督的假新闻识别（微信AI方案）：
1 annotator打伪标签；
2 selector(基于强化)从伪标签中选择合适的样本；
3 detector最终判定是否为假新闻；
4 强化学习基于policy gradient；|NULL |https://mp.weixin.qq.com/s/LrihLO_TGR3fqqxITFhzvA|
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 |
--------------------------------------------------------------------------------
/关系抽取.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Classifying Relations by Ranking with Convolutional Neural Networks》 | ACL2015 |NULL |NULL |NULL |
4 | | 《End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures》 | ACL2016 |NULL |NULL |NULL |
5 | | 《Joint entity and relation extraction based on a hybrid neural network》 | Neurocomputing2017 |NULL |NULL |NULL |
6 | | 《Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme》 | Arxiv2017 |NULL |NULL |NULL |
7 | | 《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》 | EMNLP2018 |NULL |NULL |NULL |
8 | | 《Joint Extraction of Entities and Relations with a Hierarchical Multi-task Tagging Model》 | Arxiv2019 |NULL |NULL |NULL |
9 | | 《A Hierarchical Framework for Relation Extraction with Reinforcement Learning》 | AAAI2019 |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
14 |
--------------------------------------------------------------------------------
/迁移学习&领域适应.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Evolution of Transfer Learning in Natural Language Processing》| arXiv2019|NLP基础模型汇总（论文质量有些粗糙，但作为资源索引和模型梳理还不错）：
1 Vanilla RNNs;
2 Long Short Term Memory;
3 Gated Recurrent Units;
4 Average SGD Weight Dropped(AWD)-LSTM;
5 Seq2Seq Architecture;
6 Attention Mechanism;
7 Transformer;
8 ULMFIT;
9 Embeddings from Language Models(ELMo)
10 OpenAI Transformer
11 Bidirectional Encoder Represenation from Transformers(BERT)
12 Universal sentence encoder
13 Transformer-XL
14 XLNet|NULL |LSTM参考：http://pages.cs.wisc.edu/~shavlik/cs638/lectureNotes/Long%20Short-Term%20Memory%20Networks.pdf|
4 | | 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 | Arxiv2019 |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 |
--------------------------------------------------------------------------------
/文本相似度计算.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《深度文本匹配综述》 | 2017 |NULL |NULL |NULL |
4 | | 《A Deep Look into Neural Ranking Models for Information Retrieval》| arXiv2019|文本相似度/检索综述：
1. Introduction；
2. Major Applications of Neural Ranking Models；
3. A Unified Model Formulation；
4. Model Architecture；
5. Model Learning；
6. Model Comparison；
7. Trending Topics；
8. Conclusion;|done|NULL |
5 | | 《Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring》| ICLR2020| Meta出品，在多句检索场景的文本向量化：
1 效果比bi-encoder好，速度cross-encoder快，效果和速度不能兼得；
2 实验中预训练模型都做了领域适应；
3 核心创新点是做了input和candidate的attention（感觉input在transformer后的向量attention意义不大）；
4 感觉试用于精排；| NULL | NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 |
--------------------------------------------------------------------------------
/搜索.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Semantic search on text and knowledge bases》 | 2016 |语义搜索，200多页，综述类型 |NULL |http://ad-publications.informatik.uni-freiburg.de/FNTIR_semanticsearch_BBH_2016.pdf |
4 | | 《A Deep Generative Approach to Search Extrapolation and Recommendation》| KDD 2019|搜索query扩改写：
1 可以有效补全信息（Lexical Chase problem），效果示例：“5s买什么电池”->“苹果5s换电池多少钱”；
2 两阶段方案：I 关键词抽取+扩充，II 完成新query生成；
3 I阶段模型相对简单，就是query信息嵌入后，计算目标词表的概率分布；
4 II 阶段模型，融合I阶段生成的关键词+query原始信息；
5 II 阶段模型，输出从原query和生成词中抽取信息，同时，从固定的高频词表中选词；
6 II 阶段模型，有基于Transferable多头机制的改进版；
7 训练数据主要从query-文档点击数据中挖掘：query->关键词，query->改写后query；|NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 |
--------------------------------------------------------------------------------
/LICENSE:
--------------------------------------------------------------------------------
1 | MIT License
2 |
3 | Copyright (c) 2020 Eddy Liu
4 |
5 | Permission is hereby granted, free of charge, to any person obtaining a copy
6 | of this software and associated documentation files (the "Software"), to deal
7 | in the Software without restriction, including without limitation the rights
8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
9 | copies of the Software, and to permit persons to whom the Software is
10 | furnished to do so, subject to the following conditions:
11 |
12 | The above copyright notice and this permission notice shall be included in all
13 | copies or substantial portions of the Software.
14 |
15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
21 | SOFTWARE.
22 |
--------------------------------------------------------------------------------
/auto_statistics.py:
--------------------------------------------------------------------------------
1 | # coding=utf-8
2 | """
3 | paper 统计
4 | """
5 |
6 | import os
7 |
8 | files_list = os.listdir('./')
9 |
10 | markdown_files_list = list()
11 |
12 | for file in files_list:
13 | if os.path.splitext(file)[1] == '.md':
14 | markdown_files_list.append(file)
15 |
16 | markdown_files_list.remove('README.md')
17 | markdown_files_list.remove('模板.md')
18 |
19 | statistic_info = list()
20 | all_papers_count = 0
21 | for file in markdown_files_list:
22 | file_name = os.path.splitext(file)[0]
23 |
24 | f = open(file, 'r', encoding='UTF-8')
25 | lines = f.readlines()
26 | papaper_count = 0
27 | for line in lines:
28 | table_elements = line.split('|')
29 | for element in table_elements:
30 | element = element.strip()
31 | if element.startswith('《') and element.endswith('》'):
32 | papaper_count += 1
33 | all_papers_count += 1
34 | break
35 | f.close()
36 |
37 | file_info = {file_name: papaper_count}
38 | statistic_info.append(file_info)
39 |
40 | for item in statistic_info:
41 | print(item)
42 |
43 | print('all papers count: {}'.format(all_papers_count))
44 |
--------------------------------------------------------------------------------
/常识AI.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《迈向第三代人工智能》| 中国科学2020 |AI发展，梳理-总结-展望：
1 第一代人工智能（符号系统）；
2 第二代人工智能（神经网络）；
3 第三代人工智能（知识、数据、算法、算力）-双空间模型/单空间模型；
4 总结（未来是三空间融合，但实现手段比较模糊）|done|NULL |
4 | | 《DEEP LEARNING FOR SYSTEM 2 PROCESSING，YOSHUA BENGIO》| AAAI 2019|下一代AI（system1+system2）：
1 分布式动态的（OOD）；
2 稀疏因子图；
3 Attention；
4 因果推理；
5 Meta-Learning；|NULL |http://www.iro.umontreal.ca/~bengioy/AAAI-9feb2020.pdf|
5 | | 《FROM SYSTEM 1 DEEP LEARNING TO SYSTEM 2 DEEP LEARNING,YOSHUA BENGIO》| NIPS 2019|同 《DEEP LEARNING FOR SYSTEM 2 PROCESSING，YOSHUA BENGIO》|NULL |https://static.aminer.cn/misc/pdf/NIPS%202019/NeurIPS-11dec2019.pdf#pdfjs.action=download|
6 | | 《Cognitive Graph for Multi-Hop Reading Comprehension at Scale》| ACL 2019|基于双系统理论的阅读理解：
1 system 1：基于BERT，抽取下一个相关实体+可能的答案，并基于输出的实体建图；
2 system2 ：基于图网络，更新图节点，并判定节点是否为答案；|NULL |https://zhuanlan.zhihu.com/p/87639358|
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 |
--------------------------------------------------------------------------------
/机器学习&深度学习综述.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《A State-of-the-Art Survey on Deep Learning Theory and Architectures》 | Electronics 2019 |深度学习综述：
1. Introduction
2. Deep Neural Network
3. Convolutional Neural Network (CNN)
4. Advanced Training Techniques
5. Recurrent Neural Network (RNN)
6. Auto-Encoder (AE) and Restricted Boltzmann Machine (RBM)
7. Generative Adversarial Networks (GAN)
8. Deep Reinforcement Learning (DRL)
9. Bayesian Deep Learning (BDL)
10. Transfer Learning
11. Energy Efficient Approaches and Hardware for DL
12. Hardware for DL
13. Other topics
14. Summary |done |NULL |
4 | | 《Deep Learning》 | Nature 2015 |三巨头在Nature的综述：
1 Supervised learning
2 Backpropagation to train multilayer architectures
3 Convolutional neural networks
4 Image understanding with deep convolutional networks
5 Distributed representations and language processing
6 Recurrent neural networks
7 The future of deep learning |done |https://www.researchgate.net/publication/277411157_Deep_Learning |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 |
--------------------------------------------------------------------------------
/对抗攻击.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey》| arXiv 2019|NLP对抗攻击综述：
1 INTRODUCTION
2 OVERVIEW OF ADVERSARIAL ATTACKS AND DEEP LEARNING TECHNIQUES IN NATURAL LANGUAGE PROCESSING
3 FROM IMAGE TO TEXT
4 ATTACKING NEURAL MODELS IN NLP: STATE-OF-THE-ART
5 DEFENSE
6 DISCUSSIONS AND OPEN ISSUES
7 CONCLUSION|NULL |NULL |
4 | | 《TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP》| arXiv 2020|文本对抗攻击、数据增强和对抗训练|NULL |官网： https://textattack.readthedocs.io/en/latest/index.html
介绍视频：https://textattack.readthedocs.io/en/latest/1start/talks-visualization.html#dr-qi-s-summary-tutorial-talk-on-textattack|
5 | | 《TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP》| ArXiv2020|文本对抗攻击框架|NULL|项目地址：https://textattack.readthedocs.io/en/latest/#
清华OpenAttack：https://github.com/thunlp/OpenAttack|
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | NULL | NULL |NULL |NULL |NULL |
8 | | NULL | NULL |NULL |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 |
--------------------------------------------------------------------------------
/闲聊对话.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable》 | ACL2020 |百度PLATO：
核心是解决one-to-group问题；
三个损失；
Fine-tuning阶段可以使用强化学习（只是设想？）； |done |NULL|
4 | | 《PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning》 | NULL |百度PLATO-2：
核心是引入课程学习； |done |NULL |
5 | | 《Improving Multi-turn Dialogue Modelling with Utterance ReWriter》 | ACL2019 |对话系统中，多伦对话合并改写 |done |NULL |
6 | | 《Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models》 | AAAI2016 |NULL |NULL |NULL |
7 | | 《A Neural Conversational Model》 | ICML2015 |NULL |NULL |NULL |
8 | | 《The Design and Implementation of XiaoIce, an Empathetic Social Chatbot》 | Arxiv2019 |NULL |NULL |NULL |
9 | | 《Challenges in Building Intelligent Open-domain Dialog Systems》 | 2019 |NULL |NULL |NULL |
10 | | 《Recipes for building an open-domain chatbot》| arxiv2020| Meta的BlenderBot1：
1 检索+生成；
2 模型大小9.4B；
3 数据相对更干净；
4 整体上paper和名字对应的比较好，是一个对话系统设计的Recipes；
5 对比google的开放域聊天机器人meena（ParlAI是Meta在对话上的工具框架，BlenderBot是机器人实体）| NULL | BlenderBot系列介绍：https://zhuanlan.zhihu.com/p/555538140|
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 |
--------------------------------------------------------------------------------
/文本长度扩展.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | 《Advancing Transformer Architecture in Long-Context Large Language Models:A Comprehensive Survey》 | arxiv 2024 | 南京大学和百度的Transformer架构模型长文本综述：
核心内容：
-Efficient Attention
-Long-Term Memory
-Extrapolative PEs
-Context Processing
-Miscellaneous
-Evaluation Necessity & Optimization | NULL | https://mp.weixin.qq.com/s/BYENxdip0J3MJ27gCLiaVg
https://zhuanlan.zhihu.com/p/662790439?utm_medium=social&utm_psn=1755721082173456384&utm_source=wechat_session&utm_id=0|
7 | | 《EXTENDING CONTEXT WINDOW OF LARGE LANGUAGE MODELS VIA POSITION INTERPOLATION》 | arxiv2023| Meta对RoPE的优化，扩展大模型的输入窗口：
1 应用在LLaMA上，输入窗口从2k扩展到32k；
2 核心是优化了之前RoPE的f（x,m）| NULL | https://zhuanlan.zhihu.com/p/640696998
https://zhuanlan.zhihu.com/p/640722266 |
8 | | 《ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING》| arxiv2021| 苏剑林提出的RoPE：RoFormer
1 核心是引入了旋转矩阵f(xi)=R*W*xi，其中，R是旋转矩阵，W是QKV变换权重，xi是之前的token嵌入；
2 之前的方案（绝对位置编码，相对位置编码），f(xi)=W(xi+pi)，其中，W、xi同上，pi是位置编码； | NULL | NULL |
9 | | 《Unlimiformer: Long-Range Transformers with Unlimited Length Input》 | arxiv2023| 解决长文本输入的Unlimiformer：
1 主要应用于Encoder-Decoder场景；
2 先从长文本中检索相关信息，然后，再进行生成生成，过程是动态的；
3 在测试集效果提升上不明显，主要原因是传统的评估手段不能很好的体现出优势（用Entity mentions等方法就比较明显了）； | NULL | NULL |
10 |
--------------------------------------------------------------------------------
/主题模型.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Hierarchical Topic Models and the Nested Chinese Restaurant Process》 | NULL |NULL |NULL |https://blog.csdn.net/hohaizx/article/details/94619576 |
4 | | 《Topic Modeling for Personalized Recommendation of Volatile Items》 | PKDD2010 |比较老的一篇;
具体内容没特别看懂;
应用在特殊场景的LDA优化（比如数据比较短）;
重点是LDA，而不是推荐，推荐只是验证场景; |done |NULL |
5 | | 《Topic Memory Networks for Short Text Classification》 | EMNLP 2018 |腾讯AI Lab;
神经主题模型+memory net+分类; |done |NULL |
6 | | 《Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec》| arXiv2016|神经网络版本LDA：
1 将词向量和主题向量映射到统一空间；
2 输出词向量、LDA向量（副产品）、主题分布、主题词（通过词与主题的相似度计算）；
3 主题相关部分没看懂，没看出和LDA有什么关系？
4 LDA的损失没看懂，LDA的似然？|NULL |NULL |
7 | | 《Discovering Discrete Latent Topics with Neural Variational Inference》| ICML2017|基于深度学习的主题模型：
1 使用重参数化技巧；
2 总体上没怎么看懂；|NULL |NULL || 《Autoencoding Variational Inference For Topic Models》| arXiv2017|基于神经网络的LDA：
1 有github代码|NULL |NULL |
8 | | 《Federated Topic Modeling》 | International Conference on Information and Knowledge Management 2019 |Familia的扩展阅读；
基于联邦学习做主题模型？ |NULL |NULL |
9 | | 《ATM:Adversarial-neural Topic Model》 | journal Information Processing & Management 2019 |NULL |NULL |NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 |
--------------------------------------------------------------------------------
/标签体系&标签扩展&兴趣标签&概念标签.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 腾讯概念图谱 | NULL |NULL |NULL |NULL |
4 | | 《A User-Centered Concept Mining System for Query and Document Understanding at Tencent》 | KDD2019 |腾讯概念标签/图谱：
概念挖掘；
概念标记；
层次结构构建； |done |https://zhuanlan.zhihu.com/p/85494010 |
5 | | 《GIANT: Scalable Creation of a Web-scale Ontology》| SIGMOD 2020|腾讯概念图谱续集：
1 在之前Category，Concept，Entity的基础上，扩展了Event和Topic；
2 在模型方面引入了图网络；|NULL |郭伟东,2013年- 2017年在百度自然语言处理部工作|
6 | | 《Meta-Learning for Qery Conceptualization at Web Scale》| KDD 2020|基于meta learning完成query和概念的匹配：
1 两阶段方案：I 概念粗召回，II 基于meta learning的zero-shot进行匹配；
2 I阶段的概念粗召回和基于点击图的训练数据挖掘都依赖于《A Deep Generative Approach to Search Extrapolation and Recommendation》这篇文章的前置信息；
3 没看懂meta learning的zero-shot在本方案中是如何发挥作用的？|NULL |NULL |
7 | | 阿里概念图谱 | NULL |NULL |NULL |NULL |
8 | | 《AliCoCo: Alibaba E-commerce Cognitive Concept Net》 | SIGMOD 2020 |阿里概念图谱： |NULL |参考：
https://zhuanlan.zhihu.com/p/148502336
https://www.sohu.com/a/385468264_500659 |
9 | | 《Octet: Online Catalog Taxonomy Enrichment with Self-Supervision》| KDD2020|分类体系自动扩展：
1 主要分为子类发现和上位类关联两步；
2 只使用之前的类别信息+用户输入和结果的点击信息；
3 子类发现：使用序列标注；
4 上位类关联：使用各种方式构建多维特征，然后，进行是否为上位类的二分类判断；|NULL |NULL |
10 | | 《Kuaipedia: a Large-scale Multi-modal Short-video Encyclopedia》| arxiv2022|Kuaipedia：
快手基于短视频的维基百科；
Item+Aspects（+what，why，how）+Video；
相比比维基百科的文本、图片、表格，增加了视频；相比秒懂百科，增加了维度（Aspects）|NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 |
--------------------------------------------------------------------------------
/文本向量化.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Efficient Estimation of Word Representations in Vector Space》| NULL|Tomas Mikolov的word2vec论文：
1 介绍了CBOW和skip-gram方法；
2 论文比较难懂；|NULL |https://zhuanlan.zhihu.com/p/39751353|
4 | | 《Distributed Representations of Words and Phrases and their Compositionality》| NULL |Tomas Mikolov的word2vec论文：
1 介绍了Hierarchical Softmax和Negative Sampling方法；
2 论文比较难懂；|NULL |NULL |
5 | | 《word2vec Parameter Learning Explained》| arXiv2016|Tomas Mikolov的word2vec论文解读：
1 理论完备由浅入深非常好懂，且直击要害，既有 high-level 的 intuition 的解释，也有细节的推导过程。一定要看这篇paper！一定要看这篇paper！一定要看这篇paper！|NULL |https://zhuanlan.zhihu.com/p/53425736|
6 | | 《word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method》| arXiv2014|Tomas Mikolov的word2vec论文解读：
1 对negative-sampling做了详细的解释|NULL |NULL |
7 | | 《Enriching Word Vectors with Subword Information》| ACL2017|FastText:
1 将词拆成词根，重复利用词的形态学信息；
2 能够应对OOV问题；
3 最终词的向量由词根向量相加获得|done|NULL |
8 | | 《Bag of Tricks for Efficient Text Classification》| ArXiv2016|FastText：
1 FastText名字的正式由来；2 分类+词向量一起获得；|done|NULL |
9 | | 《A Neural Probabilistic Language Model》 | JMLR2003 |Benjo的神经语言模型 |NULL |NULL |
10 | | 《Universal Sentence Encoder for English》 | NULL |NULL |NULL |NULL |
11 | | 《Distributed Representations of Sentences and Documents》| ICML2014|段向量：
1 同word2vec一样存在CBOW和Skip-gram两种方案；
2 段落向量要离线训练好，不可能实时训练获得；|done|NULL |
12 | | 《A Convolutional Neural Network for Modelling Sentences》| ACL2014|基于多层CNN的句子表示：
1 不像经典的CNN，对字/词向量的整个维度进行卷积，而是，对每一维进行卷积。这样保证，卷积操作后，还是保持矩阵形式，进而，能进行多层卷积操作；
2 处理卷积操作特殊外，也还引入了多种特殊的处理手段（单维度卷积、动态池化、折叠操作等）；|done|https://zhuanlan.zhihu.com/p/29925124|
13 | | NULL | NULL |NULL |NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 | | NULL | NULL |NULL |NULL |NULL |
18 |
--------------------------------------------------------------------------------
/摘要生成.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Get To The Point: Summarization with Pointer-Generator Network》 | NULL |使用指针网络做摘要生成(小宝对话改写参考代码);
指针copy+生成;
限制生成内容重复; |done |NULL |
4 | | 《Encode, Tag, Realize: High-Precision Text Editing》 | NULL |序列标注式的文本改写 |done |NULL |
5 | | 《Multi-Source Pointer Network for Product Title Summarization》 | NULL |阿里指针网络实践：
使用原标题内容+商品/品牌词表; |done |NULL |
6 | | 《Abstractive Summarization: A Survey of the State of the Art》 | AAAI2019 |NULL |NULL |NULL |
7 | | 《Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products》 | AAAI 2020 |京东多模态摘要生成（集大成者）：
1 整体P(gen)+P(copy)的框架参考《Get To The Point: Summarization with Pointer-Generator Networks》
2 指针网络同时融合了标题、图片、正文信息
3 针对任务进行训练优化，参考《Reward Augmented Maximum Likelihood for Neural Structured Prediction》
4 消除生成冗余参考《Get To The Point: Summarization with Pointer-Generator Networks》，同时，也用了自己的策略；
5 保证生成的内容不会出对应错误，参考《Faithful to the Original: Fact Aware Neural Abstractive Summarization》《Ensure the Correctness of the Summary: Incorporate Entailment Knowledge into Abstractive Sentence Summarization》
6 领域关键特性词挖掘，参考《Latent Aspect Rating Analysis on Review Text Data: A Rating Regression Approach》 |done |NULL |
8 | | 《Recursively Summarizing Books with Human Feedback》 | arxiv2021 | 基于GPT3进行小说级别的摘要生成：
1 将小说按树状结构分层进行摘要；
2 对比了BC（behavior cloning）模式，和RL（reinforcement learning）的训练模式；
3 对比模型大小对结果的影响； | NULL | https://mp.weixin.qq.com/s/vLR9CwP8xq5ZOw1BfiM_3A |
9 | | 《Learning to summarize from human feedback》| arxiv2020 | OpenAI基于人类反馈（RLHF）进行摘要生成：
1 参考了OpenAI2019年的类似工作《Fine-Tuning Language Models from Human Preferences》；
2 Pangu-RLHF参考这这篇文章，因为这篇文章开源了RLHF的代码（https://openi.pcl.ac.cn/PCL-Platform.Intelligence/Pangu-RLHF）；| NULL | NULL |
10 | | NULL | NULL |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | NULL | NULL |NULL |NULL |NULL |
13 |
--------------------------------------------------------------------------------
/推荐&广告&搜索.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 综述 | NULL |NULL |NULL |NULL |
4 | | 《Deep Learning based Recommender System: A Survey and New Perspectives》 | ACM Computing Surveys 2018 |1 INTRODUCTION
2 OVERVIEW OF RECOMMENDER SYSTEMS AND DEEP LEARNING
3 DEEP LEARNING BASED RECOMMENDATION: STATE-OF-THE-ART
4 FUTURE RESEARCH DIRECTIONS AND OPEN ISSUES
5 CONCLUSION|done |NULL |
5 | | 《推荐系统调研报告及综述》 | NULL |对经典方法的总结 |done |http://yongfeng.me/attach/rs-survey-zhang.pdf |
6 | | NULL | NULL |NULL |NULL |NULL |
7 | | 《Deep Neural Networks for YouTube Recommendations》 | RecSys2016 |Youtubee深度推荐系统经典 |NULL |NULL |
8 | | 《Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features》 | KDD2016 |特征嵌入后，直接stacking（concat） |done |NULL |
9 | | 《Deep & Cross Network for Ad Click Predictions》 | ADKDD2017 |-排序使用方案;
在deep&wide的框架下，替换wide：特征嵌入后做cross（区别FM）; |done |NULL |
10 | | 《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》 | KDD2019 |百度召回/排序二合一模型：
解决召回和排序两阶段导致的目标不一致问题；
基于teacher-student的active-learning机制；
训练的模型主要为了产生user和ad的嵌入向量，召回基于向量检索； |done |NULL |
11 | | 《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations 》 | NULL |-召回方案：
双塔部分没创新，主要解决训练时的采样偏置问题； |done |NULL |
12 | | 《bipartite graph neural networks for efficient node representation learning》 | NULL |商品推荐应用 |NULL |NULL |
13 | | 《Wide & Deep Learning for Recommender Systems》 | arXiv2016 |NULL |NULL |NULL |
14 | | 《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》| ICLR2016|基于RNN（LSTM）进行Session推荐：
1 Session内的Item是固定的，只使用索引作为特征；
2 MINI-BATCHES特殊处理（太短的Session，后面用其他Session补全）；
3 特别的负样本采样；
4 不同的损失函数；
5 评测指标（Recall@20，MRR@20）？|done|NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 | | NULL | NULL |NULL |NULL |NULL |
18 | | NULL | NULL |NULL |NULL |NULL |
19 | | NULL | NULL |NULL |NULL |NULL |
20 |
--------------------------------------------------------------------------------
/噪声标签.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《ehensive Introduction to Label Noise》| ESANN 2014|梳理了三种噪声标签的处理手段（主要是面对分类问题，整体比较水）：
3.1 Label Noise-Robust Models；
3.2 Data Cleansing Methods；
3.3 Label Noise-Tolerant Learning Algorithms（没太看懂）；|NULL |https://www.cs.bham.ac.uk/~axk/ESANNtut.pdf|
4 | | 《Classification in the Presence of Label Noise: a Survey》| IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 2014|《ehensive Introduction to Label Noise》综述的同作者详细版本：
I. INTRODUCTION；
II. DEFINITION, SOURCES, AND TAXONOMY OF LABEL NOISE；
III. CONSEQUENCES OF LABEL NOISE ON LEARNING；
IV. METHODS TO DEAL WITH LABEL NOISE；
V. LABEL NOISE-ROBUST MODELS；
VI. DATA CLEANSING METHODS FOR LABEL NOISE-POLLUTED DATASETS；
VII. LABEL NOISE-TOLERANT LEARNING ALGORITHMS；
VIII. EXPERIMENTS IN THE PRESENCE OF LABEL NOISE
IX. CONCLUSION；|NULL |https://romisatriawahono.net/lecture/rm/survey/machine%20learning/Frenay%20-%20Classification%20in%20the%20Presence%20of%20Label%20Noise%20-%202014.pdf|
5 | | 《Image Classification with Deep Learning in the Presence of Noisy Labels: A Survey》| arXiv 2020|侧重深度学习的噪声标签综述（和图像的关系好像并不大）：
I. INTRODUCTION；
II. PRELIMINARIES；
III. NOISE MODEL BASED METHODS；
IV. NOISE MODEL FREE METHODS；
V. CONCLUSION；|NULL |NULL |
6 | | 《Confident Learning: Estimating Uncertainty in Dataset Labels》| arXiv2019|cleanlab:
1 Count：估计噪声标签和真实标签的联合分布;
2 Clean：找出并过滤掉错误样本;
3 Re-Training：过滤错误样本后，重新训练（采用Co-Teaching，是因为剩余的训练数据中仍然存在噪声？）;|NULL |https://zhuanlan.zhihu.com/p/146557232|
7 | | 《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》| NIPS 2018|基于两个网络交互的噪声数据训练方法（cleanlab使用了）：
1 创建两个网络；
2 每个网络输入所有数据并选择一些可能干净的标签数据;
3 两个网络相互通信这个批量中应该用于训练的数据;
4 每个网络反向传播另一个网络挑选的数据并更新自己;|NULL|https://zhuanlan.zhihu.com/p/65632321|
8 | | 《Learning with Noisy Label-深度学习廉价落地》 | 知乎 |噪声标签综述&资料汇总;
涉及多篇文章，没仔细细看； |NULL |NULL |
9 | | NULL | NULL |NULL |NULL |NULL |
10 |
--------------------------------------------------------------------------------
/CNN.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Gradient-Based Learning Applied to Document Recognition》| Proceedings of the IEEE 1998|Lenet5：
1 最终预测使用BRF而不是Softmax；
2 端到端的数字序列识别GTN部分没看懂，好像网上的中文介绍也没怎么见到；|NULL |NULL |
4 | | 《ImageNet Classification with Deep Convolutional Neural Networks》 | NIPS 2012 |Alexnet：
0 SOTA-ILSVRC-2012；
1 采用Relu作为激活函数；
2 使用两个GPU；
3 采用LRN；
4 Overlapping
Pooling；
5 采用Dropout； |NULL |NULL |
5 | | 《Network In Network》| ICLR 2014|NIN网络：
1 引入Mlpconv layer，即1x1卷积；
2 最后一层使用了Global Average Pooling；|NULL |Global average pooling参考：mountain blue：Global average pooling--
6 | | 《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》| ICLR2015|牛津大学VGGNet：
0 SOTA-ImageNet2014；
1 只使用3x3的小核(两个堆叠的3x3小核等效7x7的大核)；
2 深度达16~19层；
3 证明LRN无效（AlexNet中使用过）；
使用Caffe进行训练（支持多卡GPU）；|NULL |NULL |
7 | | 《Going deeper with convolutions》 | CVPR2015 |InceptionNet/GoogleLeNet：
1 SOTA-ILSVRC14；
2 引入Inception模块（不同尺寸的卷积）DepthConcat；
3 卷积核主要是7x7,3x3,5x5，参数降低通过1x1卷积实现；
4 22个参数层；
5 在网络中间添加预测任务，增强底层网络的判别能力，相当于正则操作；
6 通过DistBelife（TensorFlow的前身）进行训练； |NULL |DepthConcat：https://qastack.cn/stats/184823/how-does-the-depthconcat-operation-in-going-deeper-with-convolutions-work |
8 | | 《Deep Residual Learning for Image Recognition》 | CVPR2016 |何凯明、孙剑的残差网络：
1 SOTA-ILSVRC-2015；
2 152层，8倍VGG；
3 没特别理解Residual和Shortcuts的论文分析理解不是很充分； |NULL |Hightway network：Uno Whoiam：https://zhuanlan.zhihu.com/p/66912453 |
9 | | 《Aggregated Residual Transformations for Deep Neural Networks》| CVPR2017|何凯明ResNeXt：
0 思想：InceptionNet+ResNet；
1 InceptionNet不同分支的的滤波器大小不同，但ResNeXt是一致的；
2 分组卷积实现了模型并行化（AlexNet已经实现）；|NULL |NULL |
10 | | 《FRACTALNET:ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》| ICLR 2017|FRACTALNET：
1 从ResNet的单个路径变成多个路径；
2 引入“路径丢失”(局部/全局)；|NULL |NULL | | 《Densely Connected Convolutional Networks》 | CVPR2017 |DenseNet：
1 每层的输出直接拼接到下一层，相比于ResNet，不会因为相加操作导致信息丢失； |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 |
13 |
--------------------------------------------------------------------------------
/多模态.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 综述 | NULL |NULL |NULL |NULL |
4 | | 《Multimodal Machine Learning: A Survey and Taxonomy》 | arXiv2017 |多模态综述：
1 Introduction
2 APPLICATIONS: A HISTORICAL PERSPECTIVE
3 MULTIMODAL REPRESENTATIONS
4 TRANSLATION
5 ALIGNMENT
6 FUSION
7 CO-LEARNING
8 CONCLUSION |done |NULL |
5 | | NULL | NULL |NULL |NULL |NULL |
6 | | 《ERNIE-VIL: KNOWLEDGE ENHANCED VISION-LANGUAGE REPRESENTATIONS THROUGH SCENE GRAPH》| arXiv2020|基于ERNIE的图文多模态预训练模型：
1 ERNIE+图像+场景图谱（实体、属性、关系）；
2 场景图通过NLP工具，分析描述构建；
3 图像中的实体通过目标检测工具获得|done|NULL |
7 | | 《VideoBERT: A Joint Model for Video and Language Representation Learning》| ICCV2019|基于BERT结果的，字幕+视频多模态预训练模型：
1 字幕通过ASR识别获得|done|NULL |
8 | | 《VistaNet: Visual Aspect Attention Network for Multimodal Sentiment Analysis》 | AAAI2019 |形式非常简单;
长文+文字attention+图文attention; |done |NULL |
9 | | 《Supervised Multimodal Bitransformers for Classifying Images and Text》 | NULL |Facebook多模态模型 |NULL |NULL |
10 | | 《Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks》 | NIPS2019 |文本/图片多模态BERT |NULL |NULL |
11 | | 《Tensor fusion network for multimodal sentiment analysis》| EMNLP 2017|多模态融合TFN:
1 多个模态的向量进行融合操作形成多维Tensor；
2 注意每个维度增加的“1”，这样可以保留单维和双维特征；
3 缺点是参数量巨大，注意体现在多模态融合的多维Tensor和后续接的Dense层；|NULL |《让机器读懂视频：亿级淘宝视频背后的多模态AI算法揭秘》|| 《Efficient Low-rank Multimodal Fusion with Modality-Specific Factors》| ACL 2018|多模态融合LMF:
1 对TFN的优化；
2 注意是对多模态融合Tensor和Dense参数进行分解，进而减少参数量和计算量；|NULL |《让机器读懂视频：亿级淘宝视频背后的多模态AI算法揭秘》|
12 | | 跨模态 | NULL |NULL |NULL |NULL |
13 | | 《UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning》| ACL2021|百度UNIMO：
1 文本/图像、文本-图像统一模态预训练模型；
2 通过文本改写和图像/文本相似检索扩充pair语料；
3 通过文本-图片多模、文本/图片单模多个任务进行预训练；
4 只有文本-图像多模、文本单模的实验，没有图像的单模实验；
5 图像单模预训练中，回归被mask的图像特征；|NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 | | NULL | NULL |NULL |NULL |NULL |
18 |
--------------------------------------------------------------------------------
/文本分类.md:
--------------------------------------------------------------------------------
1 | **类别梳理**
2 | * 综述
3 | * 层次分类
4 |
5 | |名称 | 来源 | 说明 |状态 | 备注 |
6 | | ---- | ---- |---- | ---- |---- |
7 | | 综述 | NULL |NULL |NULL |NULL |
8 | | 《Deep Learning Based Text Classification: A Comprehensive Review》| arXiv2020|文本分类综述：
1 INTRODUCTION
2 DEEP LEARNING MODELS FOR TEXT CLASSIFICATION
3 TEXT CLASSIFICATION DATASETS
4 EXPERIMENTAL PERFORMANCE ANALYSIS
5 CHALLENGES AND OPPORTUNITIES
6 CONCLUSION|done|NULL |
9 | | 层次分类 | NULL |NULL |NULL |NULL |
10 | | 《Hierarchical Multi-Label Classification Networks》 | ICML2019 |层次分类；
全局层次信息+局部层次信息；
PRC评价；
AVERAGE RANKING评价没看懂； |done |NULL |
11 | | 《Large-Scale Hierarchical Text Classification with Recursively Regularized Deep Graph-CNN》 | WWW2018 |层次分类；
基于图网络的，层次化，文本分类；
层次化信息，通过要求子分类与父分类的权重相近，正则化处理显现出来； |done |NULL |
12 | | 《Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification》 | NULL |上一篇文章的更新版本 |NULL |NULL |
13 | | 《Learning Deep Latent Spaces for Multi-Label Classification》 | AAAI2017 |多标签分类；
没特别看懂；
数学+网络；
类别嵌入；
针对标签残缺，设计特别的损失函数；
知乎参考：https://zhuanlan.zhihu.com/p/107962319 |done |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | 《Joint Embedding of Words and Labels for Text Classification》 | ACL2018 |类别嵌入；
引入分类类别信息，通过query和类别嵌入attention增强模型能力;
通过这种方式可以获得类别嵌入; |done |NULL |
16 | | 《Enhancing Local Feature Extraction with Global Representation for Neural Text Classification》 | EMNLP2019 |NULL |NULL |NULL |
17 | | 《Description Based Text Classification with Reinforcement Learning》 | ICML2020 |基于强化学习和类别增强的文本分类；
只看了知乎文章，没具体看paper； |done |https://zhuanlan.zhihu.com/p/112704633 |
18 | | 《Document Modeling with Gated Recurrent Neural Network for Sentiment Classification》 | EMNLP2015 |NULL |NULL |NULL |
19 | | 《Neural Attentive Bag-of-Entities Model for Text Classification》 | CoNLL 2019 |1 融合实体信息的文本分类；
2 github有开源代码；
3 整体模型过于简单，只是基于词和实体的嵌入； |done |NULL |
20 | | NULL | NULL |NULL |NULL |NULL |
21 | | NULL | NULL |NULL |NULL |NULL |
22 | | NULL | NULL |NULL |NULL |NULL |
23 | | NULL | NULL |NULL |NULL |NULL |
24 | | NULL | NULL |NULL |NULL |NULL |
25 |
--------------------------------------------------------------------------------
/图网络.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 《Tackling Graphical NLP problems with Graph Recurrent Networks》 | Arxiv2019 |图网络在NLP中的应用；
Linfeng Song 博士论文 |NULL |NULL |
4 | | 《阿尔伯塔大学博士毕业论文：基于图结构的自然语言处理》 | NULL |Bang Liu 博士论文 |NULL |https://mp.weixin.qq.com/s/BXovM5bHshLxdmBg93EQrA
https://sites.ualberta.ca/~bang3/files/PhD-Thesis.pdf
https://sites.ualberta.ca/~bang3/publication.html |
5 | | 《Convolutional Networks on Graphs for Learning Molecular Fingerprints》 | NIPS2015 |经典空域GCN（Neural FPs |NULL |NULL |
6 | | 《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》 | ICLR2017 |经典频域GCN |NULL |NULL |
7 | | 《The graph neural network model》 | IEEE Transactions on Neural Networks 2009 |经典GNN |NULL |NULL |
8 | | 《Deepwalk: Online learning of social representations》 | SIGKDD 2014 |DeepWalk is regarded as the first graph embedding method based on representation learning, applies
9 | SkipGram model on the generated random walks. |NULL |NULL |
10 | | 《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》 | ICLR2019 |GIN（哔哩哔哩上有视频讲解） |NULL |NULL |
11 | | 《Learning Convolutional Neural Networks for Graphs》 | ICML2016 |经典空域GCN（PATCHY-SAN，有官方PPT讲解） |NULL |NULL |
12 | | 《Graph Neural Networks:A Review of Methods and Applications》 | Arxiv2019 |GNN综述（清华孙茂松） |NULL |NULL |
13 | | 《A Comprehensive Survey on Graph Neural Networks》 | Arxiv2019 |GNN综述（IEEE fellow Zonghan Wu） |NULL |NULL |
14 | | 《Deep Learning on Graphs: A Survey》 | Arxiv2019 |GNN综述（清华朱文武） |NULL |NULL |
15 | | 《LINE: Large-scale Information Network Embedding》 | WWW2015 |图嵌入（公司推荐特征推荐使用） |NULL |NULL |
16 | | 《Graph Attention Networks》 | ICLR2018 |GAT |NULL |NULL |
17 | | 《struc2vec: Learning Node Representations from Structural Identity》 | NULL |NULL |NULL |NULL |
18 | | 《GraphSAINT: Graph Sampling Based Inductive Learning Method》 | ICLR2020 |NULL |NULL |NULL |
19 | | 《GraphSage: Graph Sampling Based Inductive Learning Method》 | NIPS2017 |NULL |NULL |NULL |
20 | | DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION》 | NULL |NULL |NULL |NULL |
21 | | NULL | NULL |NULL |NULL |NULL |
22 | | NULL | NULL |NULL |NULL |NULL |
23 | | NULL | NULL |NULL |NULL |NULL |
24 | | NULL | NULL |NULL |NULL |NULL |
25 |
--------------------------------------------------------------------------------
/任务型对话.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 综述 | NULL |NULL |NULL |NULL |
4 | | 《Neural Approaches to Conversational AI Question Answering, Task-Oriented Dialogues and Social Chatbots》 | Arxiv2018 |NULL |NULL |NULL |
5 | | DST相关 | NULL |NULL |NULL |NULL |
6 | | 《The Dialog State Tracking Challenge Series: A Review》| Microsoft 2016|DSTC比赛综述：
1. Introduction；
2. Dialog state tracking: problem definition；
3. Methods for dialog state tracking；
4. Challenge tasks；
5. Challenge entries and results；
6. Practical issues and lessons learned；
7. Perspectives and Conclusion；|done|https://zhuanlan.zhihu.com/p/40988001|
7 | | 《MACHINE LEARNING FOR DIALOG STATE TRACKING:A REVIEW》| Google 2015|DST综述：
1. INTRODUCTION；
2. PROBLEM DEFINITION；
3. RULE-BASED AND GENERATIVE DIALOG STATE TRACKING；
4. MACHINE-LEARNED DISCRIMINATIVE DIALOG STATE TRACKING；
5. EVALUATION；
6. CONCLUSIONS；|done|STD面对的核心问题是，三个维度的信息如何融合/嵌入：
1 时间信息；
2 用户反馈信息（用户对话）；
3 系统反馈信息（系统对话）；
4 系统全局状态（status）；
https://zhuanlan.zhihu.com|
8 | | 《Deep Neural Network Approach for the Dialog State Tracking Challenge》| ACL2013|基于DNN的DST方案：
1 基于DNN实现；
2 针对每个slot创建一个模型；
3 针对slot是否为v，进行二分类判断；
4 系统、用户、全局status信息通过手工特征函数进行嵌入；
5 时间信息直接输入DNN的输入层；|done|https://zhuanlan.zhihu.com/p/40988001|
9 | | 意图槽位提取相关 | NULL |NULL |NULL |NULL |
10 | | 《BERT for Joint Intent Classifification and Slot Filling》 | Arxiv2019 |NULL |NULL |NULL |
11 | | NULL | NULL |NULL |NULL |NULL |
12 | | 《Task-Oriented Dialogue as Dataflow Synthesis》| TACL 2020|用数据流合成实现任务型对话：
1 引入了辅助函数和规范语句，让机器语言成为自然语言的同义改写;
2 又引入「引用」和「修改」机制消除了程序对上下文的依赖性;
3 使用数据流（有向图）来完成DST的功能；
4 自然语言->规范语句（定制语言）是如何标注的？模型又是如何通过原始的自然语言，生成嵌套形式的规范语句的？|NULL |https://zhuanlan.zhihu.com/p/245081650|
13 | | 《Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems》| ACL 2019|多领域的<领域，词槽>提取：
1 多轮输入通过encoder嵌入（Bi-GRU）；
2 <领域，词槽>对，通过另一个GRU生成，<领域名，词槽名>作为第一步的输入，然后，输入多轮的上下文，GRU的输出，通过指针+生成的方式产出<词槽名>（感觉这样的框架，会导致速度会很慢，要遍历所有的<领域名，词槽名>）；
3 Slot Gate判定上一步生成的槽位是否可信；
4 在 Zero-shot和Few-shot进行尝试，其中，Few-shot应用了continual learning技术；|NULL |NULL |
14 | | NULL | NULL |NULL |NULL |NULL |
15 | | NULL | NULL |NULL |NULL |NULL |
16 | | NULL | NULL |NULL |NULL |NULL |
17 | | NULL | NULL |NULL |NULL |NULL |
18 | | NULL | NULL |NULL |NULL |NULL |
19 |
--------------------------------------------------------------------------------
/大模型评测.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | 《StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models》 | arxiv2024 | 稳定的大模型工具能力评测：
1 用缓存+GPT-4模拟API响应
2 用GPT-4对最终任务完成情况做评判
3 主要在ToolBench基础上开展优化 | NULL | NULL |
6 | | 《AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback》| arxiv2023| 斯坦福的AlpacaFarm：快速构建并评测RHLF类模型
1 基于LLMs对pairwise的数据进行标注，用于后续RLHF模型训练；
2 基于LLMs对训练好的模型进行评测；
3 预置了一些Reference Methods；| NULL | 机器学习社区：RLHF 的平替登场！斯坦福开源「羊驼农场」模拟器！ |
7 | | 《TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION》| arxiv2023| 任务拆解数据构建和评测：
1 数据构建（DATASET CONSTRUCTION）：
-基于resource and temporal dependencies手工来构建图：工具来源Hugging Face，Multimedia，Daily Life APIs
-基于Node、Chain、DAG维度进行采样，然后生成Instruct（BACK-INSTRUCT）；
-评估质量；
2 能力评估（TASKEVAL）：
-进行TASK DECOMPOSITION、TOOL INVOCATION、PARAMETER PREDICTION三个维度的评估（一个Prompt，一次推理完成）；
-对比人类评估和数据集评估的一致性；
-分析和模型任务拆解能力相关的因素；
3 启示
-基于候选工具确认任务拆解的粒度| NULL | NULL |
8 | | 《T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step》| arxiv2024| 智能体评测榜单：https://open-compass.github.io/T-Eval/leaderboard_zh.html
1 核心维度：
-PLAN：规划（拆解多个步骤）
-REASON：当前步骤
-RETRIEVE：API选择
-UNDERSTAND：参数填充
-INSTRUCT:最需要执行的动作做总结
-REVIEW：判断是否可以工具使用能够完成用户的需求
2 工具来源和数量
-来自ToolBench（论文 TooLLLM）
-23,305 testcases in total
3 商用大模型和开源大模型对比评测和分析
-首先要follow格式（很多模型做不到）
-follow格式和能够执行任务没有特别的相关性 | NULL | NULL |
9 | | 《GPT-FATHOM: BENCHMARKING LARGE LANGUAGE MODELS TO DECIPHER THE EVOLUTIONARY PATH TOWARDS GPT-4 AND BEYOND》| arxiv2023| 1 针对开源和闭源模型的全面统一评估：
-Knowledge
-Reasoning
-Comprehension
-Math
-Coding
-Multilingual
-Safety
2 对模型特性的讨论：
-OpenAI vs. non-OpenAI LLMs
-Closed-source vs. open-source LLMs
-OpenAI API-based vs. Web-version LLMs
-Seesaw phenomenon of LLM capabilities
-Impacts of pretraining with code data
-Impacts of SFT and RLHF
-Impacts of the number of “shots”
-Impacts of CoT prompting
-Prompt sensitivity
-Sampling variance
3 其中，提到的FeedME（(as explained by OpenAI3, FeedME means SFTon human-written demonstrations and on model samples rated 7/7 by human labelers on an overall quality score）没能理解；| NULL | 字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了 |
10 |
--------------------------------------------------------------------------------
/具身智能.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | 《ChatGPT for Robotics:Design Principles and Model Abilities》| 微软研究院2023| 通过ChatGPT进行机器人控制：
1 借助ChatGPT，通过人机对话的方式生成控制机器人的代码；
2 目前还缺少实时的反馈机制（论文的结论和未来规划中也提到了，后续的工作可以进行尝试）；| NULL | https://mp.weixin.qq.com/s/ahWFcsq9lurPbKi0-8705g |
5 | | 《Do As I Can, Not As I Say:Grounding Language in Robotic Affordances》| arxiv2022| Google的SayCan：使用语言模型控制机器人
1 预设一些操作指令（7个families，101个instructions）；
2 基于PaLM-540B作为LLM；
3 接收用户的指令后，LLM通过Decoder预测所有操作指令（101个）的概率值P-llm；
4 价值函数计算出所有操作指令（101个）的价值Q-pi(s,a)，其中价值函数基于RL和BC两种方式实现（附录中有实现细节），通过最终episode完成得分1，否则得分0，来进行模型训练；
5 最终取P-llmxQ-pi(s,a)的最大值指令，进行执行；
6 LLM和价值函数部分因为要遍历所有的操作指令进行打分，整体的执行效率比较低； | NULL | NULL |
6 | | 《VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models》 | arxiv2023 | 李飞飞的具身智能VoxPoser：
1 基于GPT-4实现机器手臂控制；
2 先讲用户的指令拆解成子任务，然后，在基于子任务进行执行（整个框架是预设好的，调用的API也是确定的几个）；
3 整个过程中没有实时反馈；
4 子任务执行过程中设计到机器臂控制的细节（比如，先目标检测，再语义分割，以及先识别出感兴趣的目标和需要规避的目标），这些细节导致整个paper理解起来有些困难（需要机器人的背景？）； | NULL | NULL |
7 | | 《PaLM-E: An Embodied Multimodal Language Model》| arxiv2023| Goolge的具身语言模型PaLM-E：
1 模型实现：PaLM（540B，Decoder）+ViT（22B）
2 支持文本、图像等多种模态信息（输入信息感觉有些复杂）
-State estimation vectors
-Vision Transformer (ViT)
-Object-centric representations
-Object Scene Representation Transformer (OSRT)
-Entity referrals
3 主要聚焦在多模的输入、融合训练上和多场景评测上，并没有特别介绍模型是如何对机器人进行控制的（主要参考SayCan的工作）；| NULL | NULL |
8 | | 《RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation》| arxiv2023| DeepMind的具身智能大模型RoboCat：
1 和Google的PaLM-E一样，主要聚焦在大模型本身，并没有具体介绍任务编排相关的架构设计（具体的细节是怎样的？有哪些API？具体的实现是对齐之前的某项工作？）；
2 核心思想是：
-先有一个通用的基础模型；
-基于通用基础模型finetune训练一个特殊场景的模型；
-使用特殊场景的模型自动生成数据；
-将特殊场景模型生成的数据，和之前的所有数据放在一起，重新训练通用基础模型，形成迭代；
3 主干模型基于Gato，视觉编码器基于VQ-CAN（参数是冻住的，但针对现在的控制场景做了预训练）；| NULL | NULL |
9 | | 《RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE》| arxiv2022| Google的具身智能机器人RT-1：SayCan和Gato之后的工作
1 机器人平台：Everyday Robots
2 模型实现：
-通过EfficientNet-B3完成图片的嵌入（连续6张图片）；
-通过Sentence Encoder完成用户输入文本指令的嵌入；
-通过FiLM完成图片+指令文本的嵌入；
-通过TokenLearner将图片+文本融合后的嵌入压缩到只有8个token；
-通过Transfer输出最终的结果；
-最终结果由mode、arm、base三部分组成（不是API，而是基本的运动参数）；
3 整个机器的最终控制，并不是由API编排实现，而是直接操控最基本的机器人控制元素（比如，movement (x, y, z, roll, pitch, yaw, opening of the gripper)）；
4 没太能力理解，机器人是如何感知空间信息的，是因为“记忆”了空间信息？这样换个房间应该就不行了（训练的房间和测试的房间不一致）？| NULL | NULL |
10 | | 《TOWARDS A UNIFIED AGENT WITH FOUNDATION MODELS》| ICLR2023| DeepMind提出的用于训练多模态智能体的范式：
1 核心并不是介绍智能体是如何构建的，主要聚焦在训练数据的构建；
-在模拟环境中进行实验：MuJoCo physics simulator
-通过语言模型（FLAN-T5）把任务拆解成多个步骤；
-通过CLIP做步骤文本和场景图片的匹配，生成过程中的奖励，从而解决稀疏奖励的问题；
2 创新点总结：
-有效地探索稀疏奖励环境；
-重新使用收集到的数据启动新任务的顺序学习；
-安排学习技能来解决新任务；| NULL | https://mp.weixin.qq.com/s/WbGSo0Xys4Zy17yrkhZEvg |
11 |
--------------------------------------------------------------------------------
/命名实体识别.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 综述 | NULL |NULL |NULL |NULL |
4 | | 《A Survey on Deep Learning for Named Entity Recognition》| arXiv2020|NER综述：
1 INTRODUCTION；
2 BACKGROUND；
3 DEEP LEARNING TECHNIQUES FOR NER；
4 APPLIED DEEP LEARNING FOR NER；
5 CHALLENGES AND FUTURE DIRECTIONS；
6 CONCLUSION；|done|NULL |
5 | | CRF相关 | NULL |NULL |NULL |NULL |
6 | | 《Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data》 | NULL |余凯论文引用的CRF（将势函数，用转移矩阵代替） |done |NULL |
7 | | 《Bidirectional LSTM-CRF Models for Sequence Tagging》 | Arxiv2015 |余凯经典的BiLSTM+CRF，其中CRF没做特别的介绍，使用之前论文中提到的方法（将势函数，用转移矩阵替代） |done |NULL |
8 | | 《Neural Architectures for Named Entity Recognition》 | NAACL2016 |引用了余凯的论文，创新点：
1输入从word变成char；
2 双向lstm特征抽取后，融合了词典特征； |done |NULL |
9 | | 晶格网络/词表信息融合 | NULL |NULL |NULL |NULL |
10 | | 《Chinese NER Using Lattice LSTM》 | ACL2018 |晶格网络NER |done |NULL |
11 | | 《Simplify the Usage of Lexicon in Chinese NER》 | ACL2020 |融合词表信息：
垂直方向将词表信息融合给原始query； |done |复旦-黄萱菁作品 |
12 | | 《FLAT: Chinese NER Using Flat-Lattice Transformer》| ACL2020 |融合词表信息：
1.词表直接拼接到query上
2.增加位置编码信息 |NULL |复旦-黄萱菁作品 |
13 | | 《Learning Named Entity Tagger using Domain-Specific Dictionary》 | Arxiv2018 |AutoNER：
利用了带类别信息的词表和没类别信息的词表（分词信息） |done |NULL |
14 | | 实体Typing | NULL |NULL |NULL |NULL |
15 | | 《Neural Architectures for Fine-grained Entity Type Classification》 | ACL2017 |实体Typing：
融合手动特征；
融合层次信息； |done |NULL |
16 | | 《An attentive fine-grained entity typing model with latent type representation》 | ACL2019 |实体Typing：
context和mention都经过attention处理；
引入类别隐藏表示，并融入到预测中； |done |NULL |
17 | | 《Hierarchical Entity Typing via Multi-level Learning to Rank》 | ACL2020 |实体Typing：
核心是引入了层次信息；
也使用了类别信息的隐式表示； |done |NULL |
18 | | 嵌套命名实体 | NULL |NULL |NULL |NULL |
19 | | 《Deep Exhaustive Model for Nested Named Entity Recognition》 | ACL2018 |嵌套命名实体识别：
窗口内完全遍历，然后分类；
感觉训练应该比较慢，遍历分类的设计会导致batch训练降低速度；
没有使用CRF层，但没特别说明原因； |done |NULL |
20 | | 《A Boundary-aware Neural Model for Nested Named Entity Recognition》 | ACL2019 |嵌套命名实体识别：
先边界识别，再类别判断（多任务联合训练）；
感觉训练应该比较慢，分类的设计会导致batch训练降低速度；
CRF层引入效果反而降低，但论文中只有实验结果，没有原因； |done |NULL |
21 | | NULL | NULL |NULL |NULL |NULL |
22 | | 《TENER: Adapting Transformer Encoder for Named Entity Recognition》 | NULL |Transformer位置编码实现调整 |NULL |NULL |
23 | | 《Joint Learning of Named Entity Recognition and Entity Linking》 | ACL2019 |实体识别与实体链接 |NULL |NULL |
24 | | 《Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF》 | ACL2019 |基于BERT的NER(实体消歧) |done |NULL |
25 | | 《Hierarchically-Refined Label Attention Network for Sequence Labeling》 | NULL |用LAN替代CRF，提升解码速度 |NULL |NULL |
26 | | 《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions》| EMNLP2017|基于空洞卷积的NER识别|done|NULL|
27 | | NULL | NULL |NULL |NULL |NULL |
28 | | NULL | NULL |NULL |NULL |NULL |
29 |
--------------------------------------------------------------------------------
/文本预训练模型.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | 综述 | NULL |NULL |NULL |NULL |
4 | | 《Pre-trained Models for Natural Language Processing: A Survey》 | Arxiv2020 |邱锡鹏预训练模型综述：
1 Introduction
2 Background
3 Overview of PTMs
4 Extensions of PTMs
5 Adapting PTMs to Downstream Tasks
6 Resources of PTMs
7 Applications
8 Future Directions
9 Conclusion |done |NULL |
5 | | 预训练模型探索 | NULL |NULL |NULL |NULL |
6 | | 《Semi-supervised Sequence Learning》 | NIPS2015 |上下文信息预训练模型最早的论文：
1 单链LSTM的预训练模型； |done |NULL |
7 | | 《Learned in Translation: Contextualized Word Vectors》 | NIPS2017 |The first paper that proposes a contextualized text representation approach？ |NULL |NULL |
8 | | 《Semi-supervised sequence tagging with bidirectional language models》 | ACL2017 |AllenNLP，TagLM，ELMO的前身：
已经引入了ELMO的双向LSTM预训练向量机制，但重点在序列标注任务; |done |NULL |
9 | | 《Universal Language Model Fine-tuning for Text Classification》 | ACL2018 |FastAI的ULMFiT;
号称ELMO之前的，引入上下文的预训练模型：
三阶段; |done |NULL |
10 | | 《Deep contextualized word representation》 | NAACL2018 |AllenNLP ELMO：非常简单 |done |NULL |
11 | | 预训练模型兴起 | NULL |NULL |NULL |NULL |
12 | | 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 | ACL2019 |BERT |done |哈工大/讯飞联合实验室，中文全词（WWM）：
https://github.com/ymcui/Chinese-BERT-wwm |
13 | | 《Cross-lingual Language Model Pretraining》 | 2019 |Facebook 跨语言XLMs |NULL |NULL |
14 | | 《MASS: Masked Sequence to Sequence Pre-training for Language Generation》 | ICML2019 |微软MASS:
Encoder-Decoder架构的预训练模型 |NULL |NULL |
15 | | 《Unified Language Model Pre-training for Natural Language Understanding and Generation》 | NULL |微软UniLM1：
XLNet之前，同时结合自回归、自编码、Encoder-Decoder思想的预训练模型 |NULL |https://zhuanlan.zhihu.com/p/584193190 |
16 | | 《UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training》 | NULL |微软UniLM2：
相比与UniLM1，将自编码、自回归、Encode-DeCoder，变成了自自编码+部分自回归（可能受XLNet启发） |NULL |https://zhuanlan.zhihu.com/p/114028314 |
17 | | 《MPNet: Masked and Permuted Pre-training for Language Understanding》 | 2020 |MPNet |NULL |NULL |
18 | | 《RoBERTa: A Robustly Optimized BERT Pretraining Approach》 | NULL |RoBERTa |NULL |哈工大/讯飞联合 git地址：
https://github.com/ymcui/Chinese-BERT-wwm |
19 | | 《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》 | done |ALBERT:
嵌入层因子分解；
共享参数；
句子连贯性预测； |done |中文ALBERT：https://github.com/brightmart/albert_zh ；
如何看待瘦身成功版BERT——ALBERT？
https://mp.weixin.qq.com/s/LF8TiVccYcm4B6krCOGVTQ |
20 | | 《Pre-Training with Whole Word Masking for Chinese BERT》 | arXiv2019 |主要是引入了WWM（Google官网只有英文的WWM，没有中文的） |done |git地址：
https://github.com/ymcui/Chinese-BERT-wwm |
21 | | 《ERNIE: Enhanced Language Representation with Informative Entities》 | ACL2019 |清华ERNIE：
输入原始query和query中的实体，并同时预测query中的token和实体 |done |NULL |
22 | | 《ERNIE: Enhanced Representation through Knowledge Integration》 | ArXiv2019 |百度ERNIE 1.0：
和BERT的输入一致，但预测实体和短语（全词MASK） |done |NULL |
23 | | 《ERNIE 2.0: A CONTINUAL PRE-TRAINING FRAMEWORK FORLANGUAGE》 | AAAI2020 |百度ERNIE 2.0：
多任务，持续学习框架 |done |NULL |
24 | | 《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》 | ICLR2020 |ELECTRA |NULL |NULL |
25 | | 《K-BERT: Enabling Language Representation with Knowledge Graph》 | 2019 |K-BERT |NULL |NULL |
26 | | 《StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding》 | 2019 |阿里StructBERT |NULL |NULL |
27 | | 《Semantics-aware BERT for Language Understanding》 | AAAI2020 |NULL |NULL |NULL |
28 | | 长文本预训练模型 | NULL |NULL |NULL |NULL |
29 | | 《XLNet: Generalized Autoregressive Pretraining for Language Understanding》 | NIPS2019 |XLNet：
没怎么看懂，看了很多博客，但还是不太清楚 |done |哈工大/讯飞联合实验室，开源中文XLNet预训练模型：
https://github.com/ymcui/Chinese-XLNet |
30 | | 《Longformer: The Long-Document Transformer》| arXiv2020|长文本处理Transformer预训练模型：
1 滑动膨胀Attention；
2 全局Attention;
3 CUDA实现；
4 在RoBert的参数基础上，进行进一步预训练（基于Autoregressive语言模型）；|done|https://zhuanlan.zhihu.com/p/223430086|
31 | | 《Big Bird: Transformers for Longer Sequences》 | 2020 |Big Bird |NULL |NULL |
32 | | 预训练模型压缩 | NULL |NULL |NULL |NULL |
33 | | 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》 | arXiv2019 |NULL |NULL |Google官方蒸馏方法：
github：https://github.com/google-research/bert |
34 | | 《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》 | 2019 |ALBERT |NULL |NULL |
35 | | 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》 | NIPS2019 |DistilBERT |NULL |NULL |
36 | | 《TinyBERT: Distilling BERT for Natural Language Understanding》 | EMNLP2020 |TinyBERT |NULL |NULL |
37 | | 《FastBERT: a Self-distilling BERT with Adaptive Inference Time》 | ACL2020 |FastBERT |NULL |NULL |
38 | | 超大规模预训练模型 | NULL |NULL |NULL |NULL |
39 | | 《THE COST OF TRAINING NLP MODELS A CONCISE OVERVIEW》 | NULL |预训练模型成本对比： |done |NULL |
40 | | 特定任务领域预训练模型 | NULL |NULL |NULL |NULL |
41 | | 《SpanBERT: Improving Pre-training by Representing and Predicting Spans》 | TACL2020 |SpanBERT |NULL |NULL |
42 | | 《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》 | EMNLP2019 |Sentence-BERT |NULL |NULL |
43 | | 中文预训练模型 | NULL |NULL |NULL |NULL |
44 | | 《Pre-Training with Whole Word Masking for Chinese BERT》 | 2019 |中文WWM预训练BERT |NULL |NULL |
45 | | 《NEZHA: Neural Contextualized Representation for Chinese Language Understanding》 | 2019 |NEZHA |NULL |NULL |
46 | | 《ZEN: Pre-training Chinese (Z) Text Encoder Enhanced by N-gram Representations 》 | 2019 |ZEN |NULL |NULL |
47 | | 《Revisiting Pre-Trained Models for Chinese Natural Language Processing》 | 2020 |MacBERT |NULL |NULL |
48 | | 类似GPT3的大规模预训练模型 | NULL |NULL |NULL |NULL |
49 | | 《BloombergGPT: A Large Language Model for Finance》| arXiv2023| 彭博社的GPT预训练大模型：
1 数据上是领域的金融数据+通用数据；
2 参数量50B；
3 在模型实现上主要参考了BLOOM项目；
4 在AWS的A100集群行训练；
5 核心还是训练一个领域的预训练模型，和GPT-NeoX、OPT-66B、BLOOM-176B对比起来，效果优化不少，但直接的结果也并不惊艳（预训练模型都这样）；| NULL | NULL |
50 | | 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》 | arxiv2022 | BigScience开源组织的BLOOM（数据、模型、参数、硬件算力、训练框架、评测）：
1 560M、1.1B、3B、7.1B、176B的预训练模型；
2 在A100-80GB GPU集群上，基于Megatron-DeepSpeed框架（数据并行、张量并行、Pipeline并行）进行训练；
3 在结果对比中有GPT-3，但并不是主要的对比对象。反而OPT模型的对比较多 | NULL | NULL |
51 | | 《OPT: Open Pre-trained Transformer Language Models》 | arXiv2022 | Meta的OPT模型（数据、模型、参数、硬件算力、训练框架、评测）：
1 模型参数量：125M to 175B；
2 基于Megatron-LM代码；
3 基于A100-80G的GPU计算集群，通过数据并行和基于Megatron-LM的模型并行进行训练加速； | NULL | NULL |
52 | | 《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》| ACL2022| 智谱的预训练模型GLM：兼顾自编码和自回归
1 相比于XLNet、UniLM设计上更容易理解；
2 特点：
-自编码：随机Mask输入中的跨度token；
-自回归：从左向右重建跨度中的token；
-2D的编码技术，来表示跨间和跨内信息；| NULL | NULL |
53 | | NULL | NULL |NULL |NULL |NULL |
54 | | NULL | NULL |NULL |NULL |NULL |
55 |
--------------------------------------------------------------------------------
/通用基础大语言模型.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | OpenAI | OpenAI |OpenAI |OpenAI |OpenAI |
4 | | 《Let’s Verify Step by Step》| arxiv2023| OpenAI的过程监督方法：
1 过程监督可以训练出比结果监督更可靠的奖励模型；
2 对于较小的reward model，大reward model可以可靠地近似于人类监督，并且可以用于有效地进行大规模数据收集消融；
3 主动学习可以使过程监督的数据效率提高2.6倍；
4 发布了全过程监督数据集PRM800K，以促进相关研究| NULL | 蒟蒻：Let's Verify Step by Step |
5 | | 《Improving Language Understanding by Generative Pre-Training》 | 2018，没发表？ |OpenAI GPT：
先于BERT提出Pre-train+Fine-tuning范式; |done |NULL |
6 | | 《Language Models are Unsupervised Multitask Learners》 | 2019，没发表？ |GPT-2：
数据集WebText；
Train一个参数超大的语言模型，实现Zero-shot效果；
没有Fine-tuning过程； |done |NULL |
7 | | 《Language Models are Few-Shot Learners》 | NULL |GPT-3：
实现few-shot和one-shot，不需要梯度更新；
可以Fine-tuning，但paper中，没用Fine-tuning；
one-shot和few-shot体现在输入中，而不会用来微调，可以参考paper中的Figure 2.1； |done |NULL |
8 | | 《Training language models to follow instructions with human feedback》 | arxiv 2022 | OpenAI的InstructGPT：
训练了三个模型（1.3B、6B、175B），其中1.3B的效果就比175B的GPT-3效果好；
主要的核心SFT+MR+PPO；
训练的数据集也比较小：SFT-13k，RM-33k，PPO-31k | NULL | NULL |
9 | | 《GPT-4 Technical Report》| arxiv2023| 《GPT-4 Technical Report》
1 Introduction
2 Scope and Limitations of this Technical Report
3 Predictable Scaling
4 Capabilities
5 Limitations
6 Risks & mitigations
7 Conclusion
Authorship, Credit Attribution, and Acknowledgements
《GPT-4 System Card》
1 Introduction
2 GPT-4 Observed Safety Challenges
3 Deployment Preparation
4 System Safety
5 Conclusion and Next Steps
6 Acknowledgements| NULL | NULL |
10 | | Google | Google |Google |Google |Google |
11 | | 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 | NULL |Google T5：
模型结构：Encoder-Decoder、Language model和Prefix LM;
注意力掩码机制：Casual、Casual prefix和Fully-visible;
预训练方法：语言模型式、Bert Mask式和Deshuffling;
Mask策略：Mask模式、Replace span模式和drop模式;
Mask比例：10%、15%、25%和50%四种;
Span长度：2、3、5和10四种;
训练策略：fine-tune、多任务学习、多任务fine-tune和Scaling; |done |博客参考：
johnchenyhl：Google预训练语言模型T5
机器之心：谷歌T5预训练模型单次运行成本超130万美元？算力和金钱才是模型训练的王道
12 | | 《Scaling Instruction-Finetuned Language Models》| arXiv2022| Google的FLAN：
Instruct tuning；
基于PaLM和T5进行的实验；| NULL | NULL |
13 | | 《LaMDA: Language Models for Dialog Applications》| arxiv2022| 谷歌大脑的LaMDA语言模型：
1 训练范式相对简单，pretrain+finetune（对比InstructGPT的SFT+RM+RLHF）；
2 引入了检索结果；
3 对回复的评价测量，Quality，Safty，Groundedness（对应InstructGPT的helpful，harmfulless，honest）；| NULL | NULL |
14 | | 《PaLM 2 Technical Report》| arxiv2023| Google大模型PaLM2技术报告：
1 Introduction
2 Scaling law experiments
3 Training dataset
4 Evaluation
5 Responsible usage| NULL | NULL |
15 | | 《Deep Reinforcement Learning from Human Preferences》| arXiv2017| 基于人类反馈的强化学习：
1 ChatGPT中使用的RLHF的起源方法；
2 OpenAI和DeepMind的联合工作；
3 在PPO方法出现之前（文中使用A2C和TRPO）；| NULL | NULL |
16 | | DeepMind | DeepMind |DeepMind |DeepMind |DeepMind |
17 | | 《Solving math word problems with processand outcome-based feedback》| arxiv2022| DeepMind优化大模型解决数学问题的能力：
1 Outcome-based and process-based approaches lead to similar final-answer error rates（这个结论和OpenAI的结论是不一致的）；
2 Both process- and outcome-supervised reward models learn to emulate process-based feedback；
3 Low trace error requires either process-based feedback, or a reward model that emulates it；| NULL | NULL |
18 | | 《Improving alignment of dialogue agents via targeted human judgements》| arxiv2022| DeepMind的Sparrow语言模型：
1 融合了Lambda模型的外部知识，和InstructGPT的RLHF；
2 基础模型基于Chinchilla；| NULL | NULL |
19 | | 《Gemini: A Family of Highly Capable Multimodal Models》 | arxiv2023 | Google/DeepMind端到端多模态大模型（行业收个）：
模型大小：Ultra，Pro，Nano（1.8B，3.25B）
输入模态：image, audio, video, and text
输出模态：image，text
支持长度：32k
图片输入：natural images, charts, screenshots, PDFs
视频输入：Video frames or images can be interleaved naturally with text or audio as part of the model input
数据管理方面：过滤有害内容
图文输出：Gemini models can output multiple images interleaved with text given a prompt composed of image and text
训练过程：PreTrain-SFT-RLHF | NULL | NULL |
20 | | Meta | Meta |Meta |Meta |Meta |
21 | | 《LLaMA: Open and Efficient Foundation Language Models》| facebook research 2023| Meta的LLaMA模型：
1 Meta的高效率大模型（参数更小）；
2 LLaMA-13B对标GPT-3(175B)；
3 LLaMA-65B对标Chinchilla70B and PaLM-540B；
4 核心是数据量的和计算量的提升（原理和Deepmind的Chinchilla基本一致）；| NULL | Meta发布全新大语言模型，号称比ChatGPT更强，单GPU上就能跑，后续或将开源 |
22 | | 《PEER: A Collaborative Language Model》| arxiv2022| Meta的PEEK：
1 交互式文本编辑语言模型；
2 训练数据来源维基百科的更新历史和自己的数据增强；
3 整体上和InstructGPT（text-davinc-001）相比，在个别场景优势不明显；| NULL | NULL |
23 | | Anthropic | Anthropic |Anthropic |Anthropic |Anthropic |
24 | | 《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》 | arxiv2022 | Anthropic对话大模型实现：
1 主要侧重了Helpful和Harmfulless，Honest较少（比如单纯的Helpful vs Helpful+Harmfulless的对比）；
2 有red-team专门针对Harmful开展工作；
3 Align tax随着模型规模变大，变的不明显；
4 整体看起来比较累，太多的实验细节（对实际工作也更有帮助）； | NULL | 苏打：ChatGPT技术精要，RLHF相关论文笔记（三）—— a Helpful and Harmless Assistant with Reinforcement Learning from Human |
25 | | 《Constitutional AI: Harmlessness from AI Feedback》| arxiv2022| Anthropic公司的模型（创始团队来自OpenAI，新产品Claude）：
1 整体设计思路和InstructGPT差不多（SFT、RM、RLHF）；
2 SFT阶段引入了Constitutional AI机制，核心是对harmless的内容的处理（harmless、honest、helpful），基于Critique/Revision；
3 使用PM替换了RM（PM使用的数据部分是Constitutional AI自动生成的）； | NULL | 参考：网页链接
26 | | Apple | Apple |Apple |Apple |Apple |
27 | | 《Apple Intelligence Foundation Language Models》 | arxiv2024 | Apple Intelligence模型介绍：
1 AFM-on-device 大约3B；
2 AFM-server 参数未知，基础长度4k，8k持续预训练，长文本32k；
3 涉及的参考技术点：
-架构设计（transformer优化、小型化优化、长文本优化）；
-预训练（数据配比）
-SFT
-RLHF（Iterative teaching committee）
-基于LoRA的适配层 | NULL | NULL |
28 | | 其他 | NULL |NULL |NULL |NULL |
29 | | 《OpenAssistant Conversations - Democratizing Large Language Model Alignment》 | arxiv2023 | 非盈利组织LAION公司的开源大模型：
1 LAION公司为Stable Diffusion公司提供了数据；
2 文章的重点在对数据的介绍，模型相关的细节不多；
3 SFT模型：Pythia-12B、LLaMA-13B、LLaMA-30B；
4 PM模型：Pythia-1.4B、Pythia-12B；LLaMA-30B（计划）；
5 PPO训练框架基于TRLX； | NULL | NULL|
30 | | 《RRHF: Rank Responses to Align Language Models with Human Feedback without tears》| arXiv2023| 阿里达摩院的RRHF：
1 不使用强化学习实现RLHF；
2 传统的方法使用4个模型：LanguageModel、ValueModel、RewardModel、ReferenceModel，RRHF只使用2个：LanguageModel、RewardModel；
3 核心思想是使用LanguageModel对其他模型（或者策略）生成的结果打分，和ReferenceModel的打分尽量一致；
4 从实现效果看RRHF效果略好过PPO的方式；| NULL | NULL |
31 | | 《A Survey of Large Language Models》 | arXiv2023 | 大模型综述：作者主要来自人民大学高瓴人工智能学院（v9,20230428）
1 INTRODUCTION
2 OVERVIEW
2.1 Background for LLMs
2.2 Technical Evolution of GPT-series Models
3 RESOURCES OF LLMS
3.1 Publicly Available Model Checkpoints or APIs
3.2 Commonly Used Corpora
3.3 Library Resource
4 PRE-TRAINING
4.1 Data Collection
4.2 Architecture
4.3 Model Training
5 ADAPTATION TUNING OF LLMS
5.1 Instruction Tuning
5.2 Alignment Tuning
5.3 Efficient Tuning
6 UTILIZATION
6.1 In-Context Learning
6.2 Chain-of-Thought Prompting
7 CAPACITY EVALUATION
7.1 Basic Evaluation Tasks
7.2 Advanced Ability Evaluation
7.3 Public Benchmarks and Empirical Analysis
8 CONCLUSION AND FUTURE DIRECTIONS | NULL | LLM+人工校对中文版：https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_Chinese_0418.pdf |
32 | | 《Direct Preference Optimization:Your Language Model is Secretly a Reward Model》 | arxiv2023 | NULL | DPO:
1 DPO只使用了2个模型（Policy Model+Reference Model），RLHF使用了4个（Policy Model+Reference Model+Reward Model+Critic Model）；
2 训练语料为三元组：用户prompt，良好回答win，一般回答lose；
3 损失函数能够明显的体现出良好回复和一般回复对最终目标的影响；
4 相比与SFT，除了良好的回复反馈外，还有一般的回复反馈；
5 是否有像RLHF一样（强化学习），对过程无监督，保障生成结果多样性的机制？
6 设计较多原理推导，不怎么看得懂； | mengrennwpu：LLM面面观之RLHF平替算法DPO |
33 | | NULL | NULL |NULL |NULL |NULL |
34 | | NULL | NULL |NULL |NULL |NULL |
35 | | NULL | NULL |NULL |NULL |NULL |
36 | | NULL | NULL |NULL |NULL |NULL |
37 | | NULL | NULL |NULL |NULL |NULL |
38 | | NULL | NULL |NULL |NULL |NULL |
39 | | NULL | NULL |NULL |NULL |NULL |
40 | | NULL | NULL |NULL |NULL |NULL |
41 |
--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
1 | [论文总目录](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%AE%BA%E6%96%87%E6%B1%87%E6%80%BB.md)
2 |
3 | # （零） 大模型/AIGC/AGI
4 | ## 1.1 文本大模型
5 | * [文本预训练模型（PTLM）](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B.md)
6 | * [文本长度扩展](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E9%95%BF%E5%BA%A6%E6%89%A9%E5%B1%95.md)
7 | * [MOE](https://github.com/CaiquanLiu/AI_Pappers/blob/master/MOE.md)
8 | * [通用基础大语言模型（LLM）](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%80%9A%E7%94%A8%E5%9F%BA%E7%A1%80%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B.md)
9 | * [文本大模型增强与应用（ALM）](https://github.com/CaiquanLiu/AI_Pappers/blob/master/ALM-PromptEngineering-PrompLearning.md)
10 | * [文本大模型评测](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AF%84%E6%B5%8B.md)
11 | ## 1.2 图像大模型
12 | ## 1.3 语音大模型
13 | ## 1.4 多模态大模型
14 | * [具身智能](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%85%B7%E8%BA%AB%E6%99%BA%E8%83%BD.md)
15 | ## 1.5 其他
16 | * [世界模型](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%B8%96%E7%95%8C%E6%A8%A1%E5%9E%8B.md)
17 |
18 | # （一） 机器学习/深度学习
19 | ## 1.1 基础模型
20 | * [综述](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%26%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%BB%BC%E8%BF%B0.md)
21 | * [DNN](https://github.com/CaiquanLiu/AI_Pappers/blob/master/DNN.md)
22 | * [RNN](https://github.com/CaiquanLiu/AI_Pappers/blob/master/RNN.md)
23 | * [CNN](https://github.com/CaiquanLiu/AI_Pappers/blob/master/CNN.md)
24 | * [Transformer](https://github.com/CaiquanLiu/AI_Pappers/blob/master/Transformer.md)
25 | * [Attention机制&指针网络&记忆网络&深度图灵机](https://github.com/CaiquanLiu/AI_Pappers/blob/master/Attention%E6%9C%BA%E5%88%B6%26%E7%BD%91%E7%BB%9C.md)
26 |
27 | ## 1.2 强化学习
28 | * [强化学习](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0.md)
29 |
30 | ## 1.3 对抗攻击
31 | * [对抗攻击](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB.md)
32 | ## 1.4 GAN
33 |
34 | ## 1.5 图神经网络
35 | * [图神经网络](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E7%BD%91%E7%BB%9C.md)
36 |
37 | ## 1.6 Meta Learning
38 | * [Meta Learning](https://github.com/CaiquanLiu/AI_Pappers/blob/master/meta_learning.md)
39 |
40 | ## 1.7 迁移学习
41 | * [迁移学习](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0%26%E9%A2%86%E5%9F%9F%E9%80%82%E5%BA%94.md)
42 |
43 | ## 1.8 领域适应
44 | * [领域适应](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%A2%86%E5%9F%9F%E9%80%82%E5%BA%94.md)
45 |
46 | ## 1.9 AutoML
47 | * [AutoML](https://github.com/CaiquanLiu/AI_Pappers/blob/master/AutoML.md)
48 |
49 | ## 1.10 因果推断
50 | * [因果推断](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%A0%E6%9E%9C%E6%8E%A8%E6%96%AD.md)
51 |
52 | ## 1.11 常识AI（System1+System2）
53 | * [常识AI](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%B8%B8%E8%AF%86AI.md)
54 |
55 | ## 1.12 其他
56 | * [胶囊网络](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%83%B6%E5%9B%8A%E7%BD%91%E7%BB%9C.md)
57 | * [贝叶斯神经网络](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.md)
58 | * [神经逻辑推理](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%A5%9E%E7%BB%8F%E9%80%BB%E8%BE%91%E6%8E%A8%E7%90%86.md)
59 |
60 | # （二） 自然语言处理/计算机视觉/智能语音
61 | ## 2.1 自然语言处理
62 | * [自然语言处理综述](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E7%BB%BC%E8%BF%B0.md)
63 | * [文本向量化](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E5%90%91%E9%87%8F%E5%8C%96.md)
64 | * [中文分词](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D.md)
65 | * [关键词提取](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%85%B3%E9%94%AE%E8%AF%8D%E6%8F%90%E5%8F%96.md)
66 | * [文本相似度计算](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E7%9B%B8%E4%BC%BC%E5%BA%A6%E8%AE%A1%E7%AE%97.md)
67 | * [文本分类](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB.md)
68 | * [情感分析](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90.md)
69 | * [主题模型](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%B8%BB%E9%A2%98%E6%A8%A1%E5%9E%8B.md)
70 | * [阅读理解](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%98%85%E8%AF%BB%E7%90%86%E8%A7%A3.md)
71 | * [文本改写&生成](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E6%94%B9%E5%86%99%26%E7%94%9F%E6%88%90.md)
72 | * [文本检错&纠错](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E6%A3%80%E9%94%99%26%E7%BA%A0%E9%94%99.md)
73 | * [摘要生成](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%91%98%E8%A6%81%E7%94%9F%E6%88%90.md)
74 | * [通用/统一信息抽取](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%80%9A%E7%94%A8%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96.md)
75 |
76 | ## 2.2 计算机视觉
77 | * [图像预训练模型](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E5%83%8F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B.md)
78 | * [图片分类](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E7%89%87%E5%88%86%E7%B1%BB.md)
79 | * [目标检测](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B.md)
80 | * [语义分割](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%AF%AD%E4%B9%89%E5%88%86%E5%89%B2.md)
81 | * [图像增强/去噪/生成](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E5%83%8F%E5%A2%9E%E5%BC%BA_%E5%8E%BB%E5%99%AA_%E7%94%9F%E6%88%90.md)
82 | * [OCR](https://github.com/CaiquanLiu/AI_Pappers/blob/master/OCR.md)
83 | * [人脸识别](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB.md)
84 | * [视频分类](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%A7%86%E9%A2%91%E5%88%86%E7%B1%BB.md)
85 | * [3D视觉](https://github.com/CaiquanLiu/AI_Pappers/blob/master/3D%E8%A7%86%E8%A7%89.md)
86 | * [图片视频向量化（特征提取）](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E7%89%87%E8%A7%86%E9%A2%91%E5%90%91%E9%87%8F%E5%8C%96%EF%BC%88%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96%EF%BC%89.md)
87 | * [其他](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%A7%86%E8%A7%89%E5%BA%94%E7%94%A8.md)
88 |
89 | ## 2.3 智能语音
90 | * [智能语音](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%99%BA%E8%83%BD%E8%AF%AD%E9%9F%B3.md)
91 |
92 | ## 2.4 多模态
93 | * [多模态表征](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%A4%9A%E6%A8%A1%E6%80%81.md)
94 | * [文生图](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E7%94%9F%E5%9B%BE.md)
95 | * [图生文](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E7%94%9F%E6%96%87.md)
96 | * [图文问答](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E6%96%87%E9%97%AE%E7%AD%94.md)
97 | * [跨模态检索](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%B7%A8%E6%A8%A1%E6%80%81%E6%A3%80%E7%B4%A2.md)
98 |
99 | ## 2.5 其他
100 | * [序列特征处理](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%BA%8F%E5%88%97%E7%89%B9%E5%BE%81%E5%A4%84%E7%90%86.md)
101 |
102 | # （三） 应用
103 | ## 3.1 对话系统
104 | * [任务型对话](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%BB%BB%E5%8A%A1%E5%9E%8B%E5%AF%B9%E8%AF%9D.md)
105 | * [QA对话](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%97%AE%E7%AD%94%E5%AF%B9%E8%AF%9D.md)
106 | * [闲聊对话&开放域问答](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%97%B2%E8%81%8A%E5%AF%B9%E8%AF%9D.md)
107 | * [图谱问答](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%9B%BE%E8%B0%B1%E9%97%AE%E7%AD%94.md)
108 | * [检索型问答]()
109 | * [对话评估&强化学习](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%AF%B9%E8%AF%9D%E7%AD%96%E7%95%A5.md)
110 |
111 | ## 3.2 知识图谱
112 | * [知识图谱综述](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1%E7%BB%BC%E8%BF%B0.md)
113 | * [命名实体识别](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB.md)
114 | * [实体扩展](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%AE%9E%E4%BD%93%E6%89%A9%E5%B1%95.md)
115 | * [关系抽取](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96.md)
116 | * [实体链接（消歧&归一化）](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%AE%9E%E4%BD%93%E9%93%BE%E6%8E%A5%EF%BC%88%E6%B6%88%E6%AD%A7%26%E5%BD%92%E4%B8%80%E5%8C%96%EF%BC%89.md)
117 | * [属性抽取](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%B1%9E%E6%80%A7%E6%8A%BD%E5%8F%96.md)
118 |
119 | ## 3.3 推荐/广告/搜索
120 | * [推荐](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%8E%A8%E8%8D%90%26%E5%B9%BF%E5%91%8A%26%E6%90%9C%E7%B4%A2.md)
121 | * [搜索](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%90%9C%E7%B4%A2.md)
122 | * [广告](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%B9%BF%E5%91%8A.md)
123 | * [标签体系&标签扩展&兴趣标签&概念标签](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%A0%87%E7%AD%BE%E4%BD%93%E7%B3%BB%26%E6%A0%87%E7%AD%BE%E6%89%A9%E5%B1%95%26%E5%85%B4%E8%B6%A3%E6%A0%87%E7%AD%BE%26%E6%A6%82%E5%BF%B5%E6%A0%87%E7%AD%BE.md)
124 | * [标签生成](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%A0%87%E7%AD%BE%E7%94%9F%E6%88%90.md)
125 |
126 | ## 3.4 内容审核/内容质量
127 | * [文本审核&质量](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%96%87%E6%9C%AC%E8%B4%A8%E9%87%8F.md)
128 |
129 | ## 3.5 生成改写
130 | * [评论生成&改写](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%AF%84%E8%AE%BA%E7%94%9F%E6%88%90.md)
131 | * [小说&剧本](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%B0%8F%E8%AF%B4%26%E5%89%A7%E6%9C%AC.md)
132 |
133 | # （四） 其他
134 |
135 | ## 4.1 数据优化
136 | * [主动学习](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E4%B8%BB%E5%8A%A8%E5%AD%A6%E4%B9%A0.md)
137 | * [数据增强](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA.md)
138 | * [无监督&自监督](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%97%A0%E7%9B%91%E7%9D%A3%26%E8%87%AA%E7%9B%91%E7%9D%A3.md)
139 | * [半监督学习](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%8D%8A%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0.md)
140 | * [多标签残缺](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%A4%9A%E6%A0%87%E7%AD%BE%E6%AE%8B%E7%BC%BA.md)
141 | * [样本不均衡](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%A0%B7%E6%9C%AC%E4%B8%8D%E5%9D%87%E8%A1%A1.md)
142 | * [噪声标签](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E5%99%AA%E5%A3%B0%E6%A0%87%E7%AD%BE.md)
143 |
144 | ## 4.2 特征融合（表格特征）
145 | * [表格特征融合](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%89%B9%E5%BE%81%E8%9E%8D%E5%90%88.md)
146 |
147 | ## 4.3 模型可解释性
148 | * [模型可解释性](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%A8%A1%E5%9E%8B%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7.md)
149 |
150 | ## 4.4 算法框架/工具
151 | * [算法框架&工具](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%AE%97%E6%B3%95%E6%A1%86%E6%9E%B6.md)
152 |
153 | ## 4.5 模型加速
154 | * [知识蒸馏](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F.md)
155 | * [量化加速](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E9%87%8F%E5%8C%96%E5%8A%A0%E9%80%9F.md)
156 |
157 |
158 | ## 4.6 训练/推理加速
159 | * [训练加速](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E8%AE%AD%E7%BB%83%E5%8A%A0%E9%80%9F.md)
160 | * [推理加速](https://github.com/CaiquanLiu/AI_Pappers/blob/master/%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F.md)
161 |
162 | ## 4.7 其他
163 | * [其他](https://github.com/CaiquanLiu/AI_Pappers/blob/master/Mis.md)
164 |
165 |
166 |
167 |
168 |
169 |
170 |
--------------------------------------------------------------------------------
/ALM-PromptEngineering-PrompLearning.md:
--------------------------------------------------------------------------------
1 | |名称 | 来源 | 说明 |状态 | 备注 |
2 | | ---- | ---- |---- | ---- |---- |
3 | | NULL | NULL |NULL |NULL |NULL |
4 | | NULL | NULL |NULL |NULL |NULL |
5 | | 《Small LLMs Are Weak Tool Learners: A Multi-LLM Agent》 | arxiv2024 | 阿里的多个小模型协作的智能体框架：
1 由三个小智能体组成：Planner、Caller、Summarizer；
2 基于LLaMA-2（7B、13B训练实验）；
3 核心创新点：
-α-UMi多智能体框架；
-GLPFT微调策略：两阶段；
4 实验安排比较详细：
-单阶段vs多阶段微调；
-是否复用前一个阶段的训练数据；
-单模型vs多模型； | NULL | 三个Agent顶个GPT-4，基于开源小模型的那种｜中大阿里联合出品 |
6 | | 《MemoryBank: Enhancing Large Language Models with Long-Term Memory》 | arxiv2023 | 增强大模型记忆的MemoryBank框架：记忆检索+LLM回复
0 借鉴了Ebbinghaus Forgetting Curve进行记忆的遗忘管理；
1 Memory构成：
-Past Conversation；
-Event Summary；
-User Protait；
2 基于LangChain进行记忆检索（内置文本embedded，和FAISS检索），基于MiniLM做向量化记忆；
3 基于ChatGLM和BELLE进行了微调，进行开源和闭源模型的对比；
4 细节点：
-没有实验证明Event Summary的作用； | NULL | NULL |
7 | | 《Octopus v2: On-device language model for super agent》 | arxiv2024 | 斯坦福的Octopus v2：好像没见过v1
1 基于Google Gemma-2B微调（全量微调，LoRa微调），用于移动设备的本地模型；
2 主要在20个Android相关的API上做验证实验；
3 考虑到了单API、无依赖多API和有依赖多API等场景；
4 设计了特殊的Token，用来代表API（不用专门生成全部的API名称）； | NULL | 超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k |
8 | | 《NexusRaven: a Commercially-Permissive Language Model for Function Calling》 | NeurIPS 2023 | 创业公司Nexusflow的Function Call模型：
1 基于基于CodeLama-13B 微调；
2 检索增强效果显著（每个API有16个示例，推理时使用four-shot），成功率从72%提升到94%；
3 为了能够商用，文中专门规避了使用GPT-4生成训练语料（OpenAI要求GPT的使用者不能用于和OpenAI竞争的场景）； | NULL | NULL |
9 | | 《KwaiAgents: Generalized Information-seeking Agent System with Large Language Models》 | arxiv2024 | 快手RAG Agent设计：
1 核心工作
-设计了KAgentSys框架
-提出Meta-Agent微调框架
-构建KAgentBench评测方案
2 相比其他框架的创新点
-更丰富的RAG工具箱
-META-AGENT TUNING机制：用GPT4构造prompt，然后，再对比开源的prompt用GPT4挑选好的prompt
3 整体上是一套prompt模版，端到端的完成任务
4 几个注意事项(4.4 消融实验):
-实验证明了Meta-Agent步骤的有效性（去除开源的模版效果会下降）
-为了使agent更具有通用性（不限于志做RAG场景），Meta-Agent步骤产生了多样的prompt模版
-如果再加一个只在RAG场景没有多样性的微调，和现在具备多样性的微调对比，会更全面 | NULL | 快手Agents系统、模型、数据全部开源！ |
10 | | 《ReALM: Reference Resolution As Language Modeling》 | arxiv2024 | 苹果基于语言模型的指代消解系统：
1 核心是将用户上下文和候选指代（屏幕信息需要通过OCR等手段获取？再进行进一步处理），然后，使用语言模型完成指代消解；
2 文中提到了对比基准MARRS，是苹果2023年的工作，作者有重叠，整体思路和本篇比较像（虽然号称Multimodal，但核心还是做了预处理，把多模信息变成文本信息），但最终是经典的深度学习方式实现，而不是基于语言模型的范式；
3 整体感觉涉及应用价值有限，真实场景，完全转化成文本描述，信息的准确性和全面性，应该会损失很大 | NULL | 苹果AI放大招？新设备端模型超过GPT-4，有望拯救Siri |
11 | | 《AIOS: LLM Agent Operating System》 | Arxi 2024 | 以大模型为核心的操作系统架构设计：
1 核心是新增了一个LLM Kernel和OS Kernel并行（应用层有个前置判断，判断最终需要哪个Kernel进行处理）
2 AIOS核心组件
-Agent Scheduler（重要）
-Context Manager（重要）
-Memory Manager
-Storage Manager
-Tool Manager
-Access Manager
-LLM System Call
-AIOS SDK
3 整体上就是仿照传统的OS，打造了一个针对LLM场景的OS：经典的OS是为了解决多个App同时运行的情况（共享同一个CPU），这里是让多个Agent同时运行（共享同一个LLM）； | NULL | 【LLM-agent】LLM agent操作系统 |
12 | | 《Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum》 | arxiv2023 | Agent能力提升的孔子训练方法：
1 核心方法：
-根据难度进行课程学习（Warm-Up Stage、In-Category Stage、Cross-Category Stage）；
-通过Self-Instruc的方式进行数据扩充
2 注意点：
-Alation Study中warm-up、in、cross、ISIF的消融实验，是直接把整个环节和对应的数据都去掉，还是只去掉环境，然后数据合并到下一个环节中？ | NULL | https://mp.weixin.qq.com/s/0B3GEXmloEEZgi-0J0Lrvw |
13 | | 《AGENTTUNING: ENABLING GENERALIZED AGENT ABILITIES FOR LLMS》 | arxiv2023 | 智谱提升大模型通用Agent能力方法：
1 核心就是添加Agent相关的数据：
-直接使用现有训练集
-Task Derivation：大模型辅助
-Self-Instruct：大模型模拟执行
2 主要工作：构造数据+数据过滤+评测对比；
3 重要结论：
-数据过滤后效果更好；
-通用数据和agent时间混合效果更好（注意loss函数）；
-数据主要针对特定场景更有效；
-提出了专门的loss函数（general+agent），但好像没做消融实验； | NULL | NULL |
14 | | 《ToolRerank: Adaptive and Hierarchy-Aware Reranking for Tool Retrieval》 | arxiv2024 | 小米的工具检索框架：
1 行业工具检索三种方案：
-BM25-based；
-LLM-based；
-dual-encoder-based；
2 核心创新点主要是对没有看过API（unseen）的召回：
-Adaptive Truncation：召回阶段，针对Seen和Unseen设置不同的阈值；
-Hierarchy-Aware Reranking：排序阶段，通过同一个工具类别和工具间的相似度，更多的召回unseen的工具；
3 整体pipeline比较长，特别是还需要对singal-tool和Multi-tool做区分； | NULL | https://mp.weixin.qq.com/s/DEeXGvjPo6rpt0wo8NbLXg |
15 | | 《InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory》 | arxiv2024 | 基于检索增强的方式，作为大模型的记忆解决方案：
1 大模型记忆方案：
-Context Length Extrapolation
-Efficient Context Computation
-Memory-based Models（本文属于此种方案）
2 相比于RAG感觉没有特别的创新点
3 需要的注意点
-Attn是如何实现的（在模型结构上）
-rm计算的意义
-Cache Management是如何实现的 | NULL | https://mp.weixin.qq.com/s/6H9hvYrxCYVuW_g1F8EXCg |
16 | | 《ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models》| arxiv 2023| 阿里的智能体框架ModelScope-Agent：
1 核心组件：
-Tool Retrieval
-Memory Control
-Task Planning
-Tool Use
-API Execution
-Response Generation
2 评测指标
-ROUGE-L：最终回复结果是否满足预期
-Action EM：API选择是否满足预期
-Argument F1：参数选择是否满足预期
3 参考点：
-大模型处理前，统一进行了API和知识的检索
-没有做专门的任务规划，直接融合在工具使用的过程中了
-训练策略Weighted LM：更专注在API选择和参数填充上| NULL | NULL |
17 | | 《RestGPT: Connecting Large Language Models with Real-World RESTful APIs》| arxiv2023| 北大和华为的大模型使用工具尝试：
1 核心组件：
-Planner：任务拆解。在多步场景下，每次拆解一步。最后完成时，会输出“end”标识（否则，会一直接收Caller的结果）；
-API Selector：API选择。prompt只包括API的定义，这样能够装载更多的API定义；
-Caller：API的参数填充，同时，将Parser的结果再加工一下（可能是能在出错的时候，把信息描述的更全面？）。把API Selector和Caller拆开，能够让prompt中装载更多的API；
-Parser：解析API调用后的结果。生成进行信息抽取的python代码，然后，通过执行代码获得最终的结果（没看懂，为啥不直接用大模型直接抽取结果？）；
2 亮点：能够进行复杂任务的拆解和规划| NULL | https://mp.weixin.qq.com/s/cdkezgE31ozGPiLZBU9Cxw |
18 | | 《OpenAgents: AN OPEN PLATFORM FOR LANGUAGE AGENTS IN THE WILD》 | arxiv2023 | 大模型的应用框架：
1 核心能力：Data Agent、Plugins Agent、Web Agent
2 主要基于三方大模型实现 | NULL | https://mp.weixin.qq.com/s/iDzOA4YwHfTL0pRY_AiWOA |
19 | | 《SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION》| arxiv2023| 检索增强方案：
1 核心步骤：
-判断是否需要进行检索增强[Retrieve/No Retrieve]；
-如果需要检索增强，进行检索，并对每个候选检索结果用LM做结果生成，并评价（IsRel/IsSup/IsUse+打分）；
-从候选中选择最好的结果，继续回到第一步循环往复；
2 专门定制了Retrieve/IsRel/IsSup/IsUse等专用Tokens；
3 借助GPT-4构建数据；
4 使用Lama2进行实验验证；
5 整体方案比较重（每个query要多次调用LLM）；
6 是否需要检索靠数据驱动学习（没有特别的场景梳理，感觉整体比较粗糙，可靠性难以保证）；| NULL | https://mp.weixin.qq.com/s/B-q8K_M2AS4dNaVkpDVokg |
20 | | 《A Survey on Large Language Model based Autonomous Agents》| arxiv2023| 人大高领人工智能学院发布的AI Agent综述：
1 提出统一Agent框架：Profile、Memory、Planning、Action
2 整体上和OpenAI研究院的那篇综述有些像，涵盖面比较全，但各个部分感觉比较割裂；
3 Planning和Action的核心边界是什么？在实际应用场景中是如何协同的？| NULL | https://mp.weixin.qq.com/s/ZlX-U9OByMBou1JPrhG3Xw |
21 | | 《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》| arxiv2023| 工具使用描述的探索：
1 中心思想就是直接对API定义，比给API的使用示例效果更好；
2 在有API定义的情况下，再做Demo的示例效果不明显；| NULL | NULL |
22 | | 《ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings》| arxiv2023| 解决工具较多场景下的工具使用问题：
1 将工具指定成特殊的Token，然后，在生成阶段预测这些工具（特殊的Token）；
2 主干的大模型是Frozen的，只会微调这些特殊工具Token的嵌入；
3 在数学、问答和任务编排场景进行了验证；
4 看题目以为是用于工具的选择，实际上是直接的工具使用；
5 总体上，感觉可用性并不高。主要是单纯的工具Token嵌入部分的微调，很难真正的理解并记忆工具信息。同时，因为模型不是整体训练的，语义上应该也不是一个整体；| NULL | NULL |
23 | | 《Making Language Models Better Tool Learners with Execution Feedback》| arxiv2023| 基于结果反馈训练语言模型的工具使用能力：
1 基于Alpaca-7B实现；
2 使用了结果反馈信息，但没有用强化学习，但使用了RM模型；
3 基于单工具实现，验证场景是解数学问题（这个场景的反馈奖励好收集）；
4 核心原理是一个请求，同时跑多个模型（ChatGPT、Alpaca、LLaMA等），然后，将不同模型的结果和GoldAnser计算一个归一的Score，最后把不同模型的结果Score的两两对比作为Loss信息；
5 总体上，效果有提升，但也不是很大（对比SFT，3个点以内），而且，工作主要集中在解决数据题上，Score相对好收集，真实的业务场景结果比较多样，Score不一定好收集，复用到其他场景不是很容易；| NULL | NULL |
24 | | 《Android in the Wild: A Large-Scale Dataset for Android Device Control》| arxiv2023| Google+DeepMind联合构造的手机控制数据集AITW：
1 数据集构成：
-用户的prompt（目标）；
-手机的操作：操作动作、坐标、输入内容；
-手机当前的信息：屏幕画面、图标位置和文本信息（OCR）；
2 两个baseline实现：
-基于行为克隆（BC）的实现：多模输入+BERT
-基于大模型：PALM2的ZeroShot和5-shot Chain-of-Though
3 这个工作为后续端到端的多模态操控Android设备做了很好的准备，期待后续工作；| NULL | NULL |
25 | | 《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS》| arxiv2023| 基于LLM的工具使用方案TOOLLLM：
1 核心工作：
-真实API收集：16464个真实的API（RapidAPI）；
-基于ChatGPT构建用户prompt和solution；
-引入了API检索方案；
-在solution构建和推理步骤引入了DFSDT机制；
2 整体设计和实践非常接近实际可用状态了；| NULL | https://mp.weixin.qq.com/s/-31Em7J-4dDN6a5tc_sGKg |
26 | | 《ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases》| arxiv2023| 中科院软件所的ToolAlpaca：
1 对API做了统一的格式描述；
2 通过ChatGPT扮演三个角色（userAgent、assistantAgent、toolExecutor）来构建训练数据集；
3 基于Alpaca-7B和Alpaca-13B实现；
4 能力覆盖50个大类，400个API；| NULL | NULL |
27 | | 《TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs》| arxiv2023| 微软的大模型扩展能力框架TaskMatrix：
1 核心组件：Multimodal Conversational Foundation Model (MCFM)、API Platform、API Selector、Action Executor；
2 API选择部分没特别介绍，但对API分组是值得借鉴的；
3 整体设计和ToolAlpaca类似，最核心的就一个模块（原始的上下文、候选API作为输入，直接输出接口编排[参数填充+调用顺序]）；| NULL | NULL |
28 | | 《Gorilla: Large Language Model Connected with Massive APIs》| arxiv2023| 能够调用外部工具API的模型Gorilla：
1 基于LLaMA微调实现；
2 基于self-instruct生成训练指令；
3 基于检索使用候选API（候选API噪声过大，会影响结果）；
4 基于AST做测试集验证；
5 对API限制场景做了研究（很少有这方面的研究）；| NULL | NULL |
29 | | 《OpenAGI: When LLM Meets Domain Experts》| arxiv2023| 罗格斯大学的OpenAGI平台：
1 开源了一个致力于大模型使用工具研究的平台；
2 使用CLIP、BERT、ViT自动打分来评估结果；
3 微调了Vicuna-7B和Flan-T5-Large（770M），小参数的T5效果反而更好（怀疑是训练数据少，同时，RLTF在小模型上更容易训练）；
4 引入了RLTF（a Reinforcement Learning from Task Feedback），过程对结果有影响（刚好利用了平台的自动打分能力）；
5 在生成过程中做了限制（缓解错误生成）；
6 主要偏研究，工具是直接提供的，而且，只生成工具的编排，并没有参数的填充；| NULL | NULL |
30 | | 《Reflexion: Language Agents with Verbal Reinforcement Learning》| arxiv2023| Reflexion：通过反思，提升语言模型执行任务的能力：
1 核心模型：
-Actor（LM）：产生行动
-Evaluator（LM）：对行动进行评价
-SelfReflection（LM）：基于Evaluator的评价，给出对Actor的指导建议
2 整个设计中并不包括经典的强化学习，只是类别了Actor和Evaluator；
3 用了三个LM，主要能够更好的应对失败处理。但SelfReflection并不是对每一步的执行实时反馈，需要完成一个完整的Trial后发现失败，然后，再进行SelfReflection，Actor重新规划并执行新的Trial；| NULL | NULL |
31 | | 《LLM Powered Autonomous Agents》| Blog2023| OpenAI研究员Lilian Weng针对LLM Agents的综述：
1 主要针对三个核心方面展开：
-Planning；
-Memory；
-Tool Use； | NULL | https://lilianweng.github.io/posts/2023-06-23-agent/ |
32 | | 《MRKL Systems：A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning》| arxiv2022| AI21使用LLM提升扩展能力的设计：MRKL
1 有效信息不多，主要是将问题分发到其他的处理单元，在分发时会对传参做格式化处理；
2 基于Jurassic-X实现，主要聚焦在简单数学计算的分析上；| NULL | NULL |
33 | | 《TALM: Tool Augmented Language Models》| arxiv2022| 调用外部工具，辅助回答的方案TALM（机构不明，Google？）：
1 基本过程：
-生成使用工具和参数（工具是text-text的）；
-通过BM25检索工具，并使用工具；
-结合工具执行结果，给出最终答案；
2 基于T5（base、large、XL，参数从220M~3B）finetune实现；
3 Self-Play的原理没看懂（如何计算Loss？和强化学习是如何产生联系的？）| NULL | NULL |
34 | |《ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models》| arxiv2023| ReWOO：一种大模型使用工具的优化框架
1 对标ReAct框架，先整体规划执行步骤，然后，再分别调用外部接口，通过调用LLM两次就能获得最终结果；
2 基于LLaMa-7B进行微调，在部分场景效果超过GPT-3.5
3 随着工具变多，效果下降明显；
4 整体的最终结果一般，最好的ACC也只有70%； | NULL | https://mp.weixin.qq.com/s/8cEBOwUyG0zGlC74IuFNeg |
35 | | 《Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models》| arxiv2022| 清华的Open Delta：
1 关于Delta tuning的综述（大多数预训练参数不变，进行少量参数优化）；
2 解决大模型低成本适配下游任务问题；
3 讲方法总结为三类，Addition-based Methods、Specification-based Methods、Reparameterization-based Methods ；| NULL | GitHub - thunlp/OpenDelta: A plug-and-play library for parameter-efficient-tuning (Delta Tuning) |
36 | | 《OpenPrompt: An Open-source Framework for Prompt-learning》 | arxiv2021 | 清华的OpenPrompt：
1 Prompt Learning的工具包；
2 和OpenDelta是一个团队（OpenPrompt更早）。OpenPrompt主要聚焦在prompt上，而OpenDelta主要聚焦在Delta-Tuning（大模型适配层或者中间层优化）； | NULL | https://zhuanlan.zhihu.com/p/607206925 |
37 | | 《Augmented Language Models: a Survey》 | arxiv2023 | ALM：
1 Yann LeCun参与的关于“增强语言模型”的综述;
2 主要聚焦在Reason、Tools、Act；; | NULL | https://mp.weixin.qq.com/s/oCs4R-xYGS42iXIvgnDCCg |
38 | | 《Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback》| arxiv2023| 微软的大模型增强框架：
1 核心组成部分：
-working memory：对话状态记录；
-policy：执行动作生成，通过规则或则模型实现（文中用了基于强化学习的T5）；
-utility：打分或者反馈，通过规则或者模型实现（文中没有特别声明这部分具体的实现）；
-action executor：执行器，调用外部接口；
2 整体设计感觉比较理想，特别是如果是模型实现policy和utility，不管是性能还是效果，感觉都难以保障；| NULL | NULL |
39 | | 《LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS》| arxiv2022|APE方法：使用大模型来生成prompt
1 在实践中可能速度比较慢，成本比较高（要多次调用大模型才能实现）|NULL |NULL |
40 | | 《Learning by Distilling Context》| arxiv2022 | 上下文蒸馏：
1 给大模型更多的输入提示，同时，要求大模型的输出理由和结果；
2 给小模型输入较少的提示，直接输出最终结果；
3 感觉核心就是通过提示让大模型输出的结果更置信，效果肯定没有纯人工构造的数据好（但机器的效率高）；| NULL | NULL |
41 | | 《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face》| arXiv2023| 基于ChatGPT和HuggingFace模型接口实现多模型中控（基于gpt-3.5-turbo 和 text-davinci-003模型）：
1 核心目标，将用户原始query通过LLM转变成执行的任务，并最终汇总任务结果，产生回复；
2 核心步骤，Task Planning、Model Selection、Task Execution、Response Generation；
3 整体感觉和之前微软用语言模型控制机器人的设计思路是基本一致的；
4 感觉过于理想，应用在工业场景不一定可靠（Limitations部分提到了不稳定，但感觉表述的还是有些轻描淡写了）； | NULL | NULL |
42 | | 《REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS》| ICLR2023| 谷歌的ReAct：使用大模型作为控制中心（主要是基于3~6个few-shot的示例prompt引导后续的模型行为）：
1 主要基于PaLM-540B进行的实验（也部分对比了GPT-3，text-davinci-002）；
2 虽然摘要里提到相比模拟和强化学习的方案有34%和10%的提升，但最的结果也挺一般的；
3 做了基于PaLM-8/62B的Finetuning，这个效果整体感觉还不错；| NULL | NULL |
43 | | 《WebGPT: Browser-assisted question-answering with human feedback》| arxiv2022| OpenAI的WebGPT：
1 基于GPT-3，借助搜索工具，提升模型的问答能力；
2 核心方法：Behavior cloning（BC）、Reward modeling（RM）、Reinforcement learning（RL）、Reject sampling（best-of-n）；
3 生成结果的引用是直接生成的，没有特别的处理(比如xxxx[1]，其中xxx来自文章1)| NULL | NULL |
44 | | 《Tool Learning with Foundation Models》| arxiv2023| 大模型使用工具的综述文章：
1 提出Tool Learning；
2 主要聚焦在Tool-augmented Learning和Tool-oriented Learning两个方面；
3 对比了text-davinci-003和ChatGPT工具使用的情况；| NULL | NULL |
45 | | 《Toolformer: Language Models Can Teach Themselves to Use Tools》| arxiv2023| Meta的ToolFormer：
1 模型自动选择API和填充API的输入，结合API结果获得最终的答案；
2 主要完成类似完形填空的任务，对真实场景的任务感觉借鉴意义不大；
3 结合语言模型的能力自动构建训练集，并实现模型的FineTuning（设计比较巧妙）；
4 主要基于GPT-J进行试验（124M、355M、775M、1.6B），同时，对比了OPT-66B和GPT-3-175B的结果；| NULL | NULL |
46 | | 《LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities》| arxiv2023| 大模型在图谱领域的探索：
1 对比评测大模型对图谱中基础任务的表现（理解类能力不如经典方法，推理能力更强。但文中也说了理解能力的评测不严谨）；
2 评估大模型能力的来源，来自记忆，还是来自真正的理解能力？专门构造了一个大模型之前没见过的虚拟数据集，结论是大模型有真正的理解能力；
3 提出了AutoKG框架，能够自动构建KG和进行推理（整体很模糊）；
4 总体上感觉这篇文章太水了，没什么真正有价值的结论；| NULL | https://mp.weixin.qq.com/s/7DQfUUjCrMRMiPv13CYCpA |
47 |
48 |
--------------------------------------------------------------------------------
/论文汇总.md:
--------------------------------------------------------------------------------
1 | | 名称 | 目录 |
2 | | ---- |---- |
3 | |NULL |NULL |
4 | |NULL |NULL |
5 | |NULL |NULL |
6 | |NULL |NULL |
7 | |NULL |NULL |
8 | |《Apple Intelligence Foundation Language Models》 |通用基础大语言模型 |
9 | |《Gemini: A Family of Highly Capable Multimodal Models》 |通用基础大语言模型 |
10 | |《MemoryBank: Enhancing Large Language Models with Long-Term Memory》 |文本大模型增强与应用 |
11 | |《Small LLMs Are Weak Tool Learners: A Multi-LLM Agent》 |文本大模型增强与应用 |
12 | |《NexusRaven: a Commercially-Permissive Language Model for Function Calling》 |文本大模型增强与应用 |
13 | |《Octopus v2: On-device language model for super agent》 |文本大模型增强与应用 |
14 | |《Direct Preference Optimization:Your Language Model is Secretly a Reward Model》 |通用基础大语言模型 |
15 | |《ReALM: Reference Resolution As Language Modeling》 |文本大模型增强与应用 |
16 | |《KwaiAgents: Generalized Information-seeking Agent System with Large Language Models》 |文本大模型增强与应用 |
17 | |《StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models》 |文本大模型评测 |
18 | |《AIOS: LLM Agent Operating System》 |文本大模型增强与应用 |
19 | |《Advancing Transformer Architecture in Long-Context Large Language Models:A Comprehensive Survey》 |文本长度扩展 |
20 | |《Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum》 |文本大模型增强与应用 |
21 | |《AGENTTUNING: ENABLING GENERALIZED AGENT ABILITIES FOR LLMS》 |文本大模型增强与应用 |
22 | |《ToolRerank: Adaptive and Hierarchy-Aware Reranking for Tool Retrieval》 |文本大模型增强与应用 |
23 | |《InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory》 |文本大模型增强与应用 |
24 | |2024-《ModelScope-Agent: Building Your Customizable Agent System with Open-source Large Language Models》 |文本大模型增强与应用 |
25 | | 《T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step》 |文本大模型评测 |
26 | | 《TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION》 |文本大模型评测 |
27 | |《GPT-FATHOM: BENCHMARKING LARGE LANGUAGE MODELS TO DECIPHER THE EVOLUTIONARY PATH TOWARDS GPT-4 AND BEYOND》|文本大模型评测|
28 | | 《SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION》 |文本大模型增强与应用 |
29 | | 《OpenAgents: AN OPEN PLATFORM FOR LANGUAGE AGENTS IN THE WILD》 |文本大模型增强与应用 |
30 | | 《RestGPT: Connecting Large Language Models with Real-World RESTful APIs》 |文本大模型增强与应用 |
31 | | 《A Survey on Large Language Model based Autonomous Agents》 |文本大模型增强与应用 |
32 | | 《EXTENDING CONTEXT WINDOW OF LARGE LANGUAGE MODELS VIA POSITION INTERPOLATION》 |文本长度扩展 |
33 | | 《ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING》 |文本长度扩展 |
34 | | 《GLaM: Efficient Scaling of Language Models with Mixture-of-Experts》 |MOE |
35 | | 《Making Language Models Better Tool Learners with Execution Feedback》 |文本大模型增强与应用 |
36 | | 《ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings》 |文本大模型增强与应用 |
37 | | 《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》 |文本大模型增强与应用 |
38 | | 《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS》 |文本大模型增强与应用 |
39 | | 《Android in the Wild: A Large-Scale Dataset for Android Device Control》 |文本大模型增强与应用 |
40 | | 《TOWARDS A UNIFIED AGENT WITH FOUNDATION MODELS》 |具身智能 |
41 | | 《RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE》 |具身智能 |
42 | | 《RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation》 |具身智能 |
43 | | 《PaLM-E: An Embodied Multimodal Language Model》 |具身智能 |
44 | | 《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》 |文本预训练模型 |
45 | | 《VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models》 |具身智能 |
46 | | 《TALM: Tool Augmented Language Models》 |文本大模型增强与应用 |
47 | | 《MRKL Systems：A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning》 |文本大模型增强与应用 |
48 | | 《LLM Powered Autonomous Agents》 |文本大模型增强与应用 |
49 | | 《Reflexion: Language Agents with Verbal Reinforcement Learning》 |文本大模型增强与应用 |
50 | | 《Do As I Can, Not As I Say:Grounding Language in Robotic Affordances》 |具身智能 |
51 | | 《OpenAGI: When LLM Meets Domain Experts》 |文本大模型增强与应用 |
52 | | 《Gorilla: Large Language Model Connected with Massive APIs》 |文本大模型增强与应用 |
53 | | 《TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs》 |文本大模型增强与应用 |
54 | | 《ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases》 |文本大模型增强与应用 |
55 | | 《ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models》 |文本大模型增强与应用 |
56 | | 《Let’s Verify Step by Step》 |通用基础大语言模型 |
57 | | 《Solving math word problems with processand outcome-based feedback》 |通用基础大语言模型 |
58 | | 《LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities》 |文本大模型增强与应用 |
59 | | 《Unlimiformer: Long-Range Transformers with Unlimited Length Input》 |文本长度扩展 |
60 | | 《AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback》 |文本大模型评测 |
61 | | 《PaLM 2 Technical Report》 |通用基础大语言模型 |
62 | | 《GPT-4 Technical Report》 |通用基础大语言模型 |
63 | | 《Deep Reinforcement Learning from Human Preferences》 |通用基础大语言模型 |
64 | | 《A Survey of Large Language Models》 |通用基础大语言模型 |
65 | | 《Toolformer: Language Models Can Teach Themselves to Use Tools》 |文本大模型增强与应用 |
66 | | 《A Cookbook of Self-Supervised Learning》 |图像预训练模型 |
67 | | 《RRHF: Rank Responses to Align Language Models with Human Feedback without tears》 |通用基础大语言模型 |
68 | | 《OpenAssistant Conversations - Democratizing Large Language Model Alignment》 |通用基础大语言模型 |
69 | | 《Tool Learning with Foundation Models》 |文本大模型增强与应用 |
70 | | 《WebGPT: Browser-assisted question-answering with human feedback》 |文本大模型增强与应用 |
71 | | 《REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS》 |文本大模型增强与应用 |
72 | | 《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face》 |文本大模型增强与应用 |
73 | | 《OPT: Open Pre-trained Transformer Language Models》 |文本预训练模型 |
74 | | 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》 |文本预训练模型 |
75 | | 《BloombergGPT: A Large Language Model for Finance》 |文本预训练模型 |
76 | | 《Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback》 |文本大模型增强与应用 |
77 | | 《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》 |通用基础大语言模型 |
78 | | 《Augmented Language Models: a Survey》 |文本大模型增强与应用 |
79 | | 《OpenPrompt: An Open-source Framework for Prompt-learning》 |文本大模型增强与应用 |
80 | | 《Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models》 |文本大模型增强与应用 |
81 | | 《Learning to summarize from human feedback》 |摘要生成 |
82 | | 《Recursively Summarizing Books with Human Feedback》 |摘要生成 |
83 | | 《ChatGPT for Robotics:Design Principles and Model Abilities》 |具身智能 |
84 | | 《Learning by Distilling Context》 |大模型增强 |
85 | | 《LLaMA: Open and Efficient Foundation Language Models》 |通用基础大语言模型 |
86 | | 《LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS》 |文本大模型增强与应用 |
87 | | 《Recipes for building an open-domain chatbot》 |闲聊对话&开放域问答 |
88 | | 《Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring》 |文本相似度计算 |
89 | | 《PEER: A Collaborative Language Model》 |通用基础大语言模型 |
90 | | 《Improving alignment of dialogue agents via targeted human judgements》 |通用基础大语言模型 |
91 | | 《LaMDA: Language Models for Dialog Applications》 |通用基础大语言模型 |
92 | | 《Constitutional AI: Harmlessness from AI Feedback》 |通用基础大语言模型 |
93 | | 《DOC: Improving Long Story Coherence With Detailed Outline Control》 |小说&剧本 |
94 | | 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》 |训练加速 |
95 | | 《Scaling Instruction-Finetuned Language Models》 |通用基础大语言模型 |
96 | | 2023-《Training language models to follow instructions with human feedback》 |2023-通用基础大语言模型 |
97 | | 《Co-Writing Screenplays and Theatre Scripts with Language Models An Evaluation by Industry Professionals》 |小说&剧本 |
98 | | 《Re3: Generating Longer Stories With Recursive Reprompting and Revision》 |小说&剧本 |
99 | | 《Kuaipedia: a Large-scale Multi-modal Short-video Encyclopedia》 |标签体系&标签扩展&兴趣标签&概念标签 |
100 | | 《FLAT: Chinese NER Using Flat-Lattice Transformer》 |命名实体识别 |
101 | | 《Unified Structure Generation for Universal Information Extraction》 |通用/统一信息抽取 |
102 | | 2022-《TabTransformer: Tabular Data Modeling Using Contextual Embeddings》 |2022-表格特征融合 |
103 | | 《See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification》 |数据增强 |
104 | |《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》|模型可解释性|
105 | | 《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》 |3D视觉 |
106 | | 《Moire Photo Restoration Using Multiresolution Convolutional Neural Networks》 |图像增强/去噪/生成 |
107 | | 《TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP》 |对抗攻击 |
108 | | 《UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning》 |多模态 |
109 | | 《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》 |人脸识别 |
110 | | 《End-to-End Text Recognition with Convolutional Neural Networks》 |OCR |
111 | | 《Fully Convolutional Networks for Semantic Segmentation》 |语义分割 |
112 | | 《You Only Look Once: Unified, Real-Time Object Detection》 |目标检测 |
113 | | 《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》 |目标检测 |
114 | | 《Fast R-CNN》 |目标检测 |
115 | | 《Rich feature hierarchies for accurate object detection and semantic segmentation》 |目标检测 |
116 | | 《ImageNet Classification with Deep Convolutional Neural Networks》 |CNN |
117 | | 《Network In Network》 |CNN |
118 | | 《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》 |CNN |
119 | | 《Going deeper with convolutions》 |CNN |
120 | | 《Deep Residual Learning for Image Recognition》 |CNN |
121 | | 《Deep Residual Learning for Image Recognition》 |CNN |
122 | | 《Aggregated Residual Transformations for Deep Neural Networks》 |CNN |
123 | | 《FRACTALNET:ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》 |CNN |
124 | | 《Finding Structure in Time 》 |RNN |
125 | | 《A State-of-the-Art Survey on Deep Learning Theory and Architectures》 |机器学习&深度学习综述 |
126 | | 《Deep Learning》 |机器学习&深度学习综述 |
127 | | 《learning internal representation by error propagation》 |DNN |
128 | | 《LONG SHORT-TERM MEMORY》 |RNN |
129 | | 《Gradient-Based Learning Applied to Document Recognition》 |CNN |
130 | | 《Attention Is All You Need》 |Transformer |
131 | | 《Star-Transformer》 |Transformer |
132 | | 《Transformer-XL: Language Modeling with Longer-Term Dependency》 |Transformer |
133 | | 《An Introductory Survey on Attention Mechanisms in NLP Problems》 |Attention机制&指针网络&记忆网络&深度图灵机 |
134 | | 《Pointer Networks》 |Attention机制&指针网络&记忆网络&深度图灵机 |
135 | | 《Attention-Based LSTM for Psychological Stress Detection from Spoken Language Using Distant Supervision》 |Attention机制&指针网络&记忆网络&深度图灵机 |
136 | | 《End-To-End Memory Networks》 |Attention机制&指针网络&记忆网络&深度图灵机 |
137 | | 《Neural Turing Machines》 |Attention机制&指针网络&记忆网络&深度图灵机 |
138 | | 《Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey》 |对抗攻击 |
139 | | 《TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP》 |对抗攻击 |
140 | | 《Tackling Graphical NLP problems with Graph Recurrent Networks》 |图网络 |
141 | | 《阿尔伯塔大学博士毕业论文：基于图结构的自然语言处理》 |图网络 |
142 | | 《Convolutional Networks on Graphs for Learning Molecular Fingerprints》 |图网络 |
143 | | 《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》 |图网络 |
144 | | 《The graph neural network model》 |图网络 |
145 | | 《Deepwalk: Online learning of social representations》 |图网络 |
146 | | 《SkipGram model on the generated random walks》 |图网络 |
147 | | 《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》 |图网络 |
148 | | 《Learning Convolutional Neural Networks for Graphs》 |图网络 |
149 | | 《Graph Neural Networks:A Review of Methods and Applications》 |图网络 |
150 | | 《A Comprehensive Survey on Graph Neural Networks》 |图网络 |
151 | | 《Deep Learning on Graphs: A Survey》 |图网络 |
152 | | 《LINE: Large-scale Information Network Embedding》 |图网络 |
153 | | 《Graph Attention Networks》 |图网络 |
154 | | 《struc2vec: Learning Node Representations from Structural Identity》 |图网络 |
155 | | 《GraphSAINT: Graph Sampling Based Inductive Learning Method》 |图网络 |
156 | | 《GraphSage: Graph Sampling Based Inductive Learning Method》 |图网络 |
157 | | 《DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION》 |图网络 |
158 | | 《Evolution of Transfer Learning in Natural Language Processing》 |迁移学习 |
159 | | 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 |迁移学习 |
160 | | 《Domain-Adversarial Training of Neural Networks》 |领域适应 |
161 | | 《Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms》 |AutoML |
162 | | 《AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data》 |AutoML |
163 | | 《A Survey on Causal Inference》 |因果推断 |
164 | | 《迈向第三代人工智能》 |常识AI |
165 | | 《DEEP LEARNING FOR SYSTEM 2 PROCESSING，YOSHUA BENGIO》 |常识AI |
166 | | 《FROM SYSTEM 1 DEEP LEARNING TO SYSTEM 2 DEEP LEARNING,YOSHUA BENGIO》 |常识AI |
167 | | 《Cognitive Graph for Multi-Hop Reading Comprehension at Scale》 |常识AI |
168 | | 《Auto-Encoding Variational Bayes》 |贝叶斯神经网络 |
169 | | 《Cold-Start and Interpretability: Turning Regular Expressions into Trainable Recurrent Neural Networks》 |神经逻辑推理 |
170 | | 《Neural Logic Reasoning》 |神经逻辑推理 |
171 | | 《Recent Trends in Deep Learning Based Natural Language Processing》 |自然语言处理综述 |
172 | | 《Pre-trained Models for Natural Language Processing: A Survey》 |文本预训练模型 |
173 | | 《Semi-supervised Sequence Learning》 |文本预训练模型 |
174 | | 《Learned in Translation: Contextualized Word Vectors》 |文本预训练模型 |
175 | | 《Semi-supervised sequence tagging with bidirectional language models》 |文本预训练模型 |
176 | | 《Universal Language Model Fine-tuning for Text Classification》 |文本预训练模型 |
177 | | 《Deep contextualized word representation》 |文本预训练模型 |
178 | | 《Improving Language Understanding by Generative Pre-Training》 |文本预训练模型 |
179 | | 《Language Models are Unsupervised Multitask Learners》 |文本预训练模型 |
180 | | 《Language Models are Few-Shot Learners》 |文本预训练模型 |
181 | | 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 |文本预训练模型 |
182 | | 《Cross-lingual Language Model Pretraining》 |文本预训练模型 |
183 | | 《MASS: Masked Sequence to Sequence Pre-training for Language Generation》 |文本预训练模型 |
184 | | 《Unified Language Model Pre-training for Natural Language Understanding and Generation》 |文本预训练模型 |
185 | | 《UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training》 |文本预训练模型 |
186 | | 《MPNet: Masked and Permuted Pre-training for Language Understanding》 |文本预训练模型 |
187 | | 《RoBERTa: A Robustly Optimized BERT Pretraining Approach》 |文本预训练模型 |
188 | | 《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》 |文本预训练模型 |
189 | | 《Pre-Training with Whole Word Masking for Chinese BERT》 |文本预训练模型 |
190 | | 《ERNIE: Enhanced Language Representation with Informative Entities》 |文本预训练模型 |
191 | | 《ERNIE: Enhanced Representation through Knowledge Integration》 |文本预训练模型 |
192 | | 《ERNIE 2.0: A CONTINUAL PRE-TRAINING FRAMEWORK FORLANGUAGE》 |文本预训练模型 |
193 | | 《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》 |文本预训练模型 |
194 | | 《K-BERT: Enabling Language Representation with Knowledge Graph》 |文本预训练模型 |
195 | | 《StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding》 |文本预训练模型 |
196 | | 《Semantics-aware BERT for Language Understanding》 |文本预训练模型 |
197 | | 《XLNet: Generalized Autoregressive Pretraining for Language Understanding》 |文本预训练模型 |
198 | | 《Longformer: The Long-Document Transformer》 |文本预训练模型 |
199 | | 《Big Bird: Transformers for Longer Sequences》 |文本预训练模型 |
200 | | 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》 |文本预训练模型 |
201 | | 《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》 |文本预训练模型 |
202 | | 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》 |文本预训练模型 |
203 | | 《TinyBERT: Distilling BERT for Natural Language Understanding》 |文本预训练模型 |
204 | | 《FastBERT: a Self-distilling BERT with Adaptive Inference Time》 |文本预训练模型 |
205 | | 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 |文本预训练模型 |
206 | | 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》 |文本预训练模型 |
207 | | 《THE COST OF TRAINING NLP MODELS A CONCISE OVERVIEW》 |文本预训练模型 |
208 | | 《SpanBERT: Improving Pre-training by Representing and Predicting Spans》 |文本预训练模型 |
209 | | 《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》 |文本预训练模型 |
210 | | 《Pre-Training with Whole Word Masking for Chinese BERT》 |文本预训练模型 |
211 | | 《NEZHA: Neural Contextualized Representation for Chinese Language Understanding》 |文本预训练模型 |
212 | | 《ZEN: Pre-training Chinese (Z) Text Encoder Enhanced by N-gram Representations 》 |文本预训练模型 |
213 | | 《Revisiting Pre-Trained Models for Chinese Natural Language Processing》 |文本预训练模型 |
214 | | 《Efficient Estimation of Word Representations in Vector Space》 |文本向量化 |
215 | | 《Distributed Representations of Words and Phrases and their Compositionality》 |文本向量化 |
216 | | 《word2vec Parameter Learning Explained》 |文本向量化 |
217 | | 《word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method》 |文本向量化 |
218 | | 《Enriching Word Vectors with Subword Information》 |文本向量化 |
219 | | 《Bag of Tricks for Efficient Text Classification》 |文本向量化 |
220 | | 《A Neural Probabilistic Language Model》 |文本向量化 |
221 | | 《Universal Sentence Encoder for English》 |文本向量化 |
222 | | 《Distributed Representations of Sentences and Documents》 |文本向量化 |
223 | | 《A Convolutional Neural Network for Modelling Sentences》 |文本向量化 |
224 | | 《Multi-Criteria Chinese Word Segmentation with Transformer》 |中文分词 |
225 | | 《Multi-Grained Chinese Word Segmentation》 |中文分词 |
226 | | 《基于文档主题结构的关键词抽取方法研究》 |关键词提取 |
227 | | 《Topic-Aware Neural Keyphrase Generation for Social Media Language》 |关键词提取 |
228 | | 《Context-Aware Document Term Weighting for Ad-Hoc Search》 |关键词提取 |
229 | | 《Title-Guided Encoding for Keyphrase Generation》 |关键词提取 |
230 | | 《深度文本匹配综述》 |文本相似度计算 |
231 | | 《A Deep Look into Neural Ranking Models for Information Retrieval》 |文本相似度计算 |
232 | | 《Deep Learning Based Text Classification: A Comprehensive Review》 |文本分类 |
233 | | 《Hierarchical Multi-Label Classification Networks》 |文本分类 |
234 | | 《Large-Scale Hierarchical Text Classification with Recursively Regularized Deep Graph-CNN》 |文本分类 |
235 | | 《Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification》 |文本分类 |
236 | | 《Learning Deep Latent Spaces for Multi-Label Classification》 |文本分类 |
237 | | 《Joint Embedding of Words and Labels for Text Classification》 |文本分类 |
238 | | 《Enhancing Local Feature Extraction with Global Representation for Neural Text Classification》 |文本分类 |
239 | | 《Description Based Text Classification with Reinforcement Learning》 |文本分类 |
240 | | 《Document Modeling with Gated Recurrent Neural Network for Sentiment Classification》 |文本分类 |
241 | | 《Neural Attentive Bag-of-Entities Model for Text Classification》 |文本分类 |
242 | | 《An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis》 |情感分析 |
243 | | 《Deep Learning for Aspect-Level Sentiment Classification: Survey, Vision, and Challenges》 |情感分析 |
244 | | 《Deep learning for sentiment analysis: A survey》 |情感分析 |
245 | | 《Hierarchical Topic Models and the Nested Chinese Restaurant Process》 |主题模型 |
246 | | 《Topic Modeling for Personalized Recommendation of Volatile Items》 |主题模型 |
247 | | 《Topic Memory Networks for Short Text Classification》 |主题模型 |
248 | | 《Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec》 |主题模型 |
249 | | 《Discovering Discrete Latent Topics with Neural Variational Inference》 |主题模型 |
250 | | 《Federated Topic Modeling》 |主题模型 |
251 | | 《ATM:Adversarial-neural Topic Model》 |主题模型 |
252 | | 《Neural Machine Reading Comprehension: Methods and Trends》 |阅读理解 |
253 | | 《Neural Reading Comprehension And Beyond》 |阅读理解 |
254 | | 《Get To The Point: Summarization with Pointer-Generator Networks》 |文本改写&生成 |
255 | | 《Rigid Formats Controlled Text Generation》 |文本改写&生成 |
256 | | 《CGMH: Constrained Sentence Generation by Metropolis-Hastings Sampling》 |文本改写&生成 |
257 | | 《UNSUPERVISED PARAPHRASE GENERATION USING PRE-TRAINED LANGUAGE MODELS》 |文本改写&生成 |
258 | | 《FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based On DAE-Decoder Paradigm》 |文本检错&纠错 |
259 | | 《文本纠错的探索与实践》平安人寿：陈乐清 |文本检错&纠错 |
260 | | 《Get To The Point: Summarization with Pointer-Generator Network》 |摘要生成 |
261 | | 《Encode, Tag, Realize: High-Precision Text Editing》 |摘要生成 |
262 | | 《Multi-Source Pointer Network for Product Title Summarization》 |摘要生成 |
263 | | 《Abstractive Summarization: A Survey of the State of the Art》 |摘要生成 |
264 | | 《Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products》 |摘要生成 |
265 | | 《3D Convolutional Neural Networks for Human Action Recognition》 |视频分类 |
266 | | 《Aggregating local descriptors into a compact image representation》 |图片视频向量化（特征提取） |
267 | | 《NetVLAD: CNN architecture for weakly supervised place recognition》 |图片视频向量化（特征提取） |
268 | | 《NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification》 |图片视频向量化（特征提取） |
269 | | 《First Order Motion Model for Image Animation》 |视觉应用 |
270 | | 《CNN ARCHITECTURES FOR LARGE-SCALE AUDIO CLASSIFICATION》 |智能语音 |
271 | | 《Multimodal Machine Learning: A Survey and Taxonomy》 |多模态 |
272 | | 《ERNIE-VIL: KNOWLEDGE ENHANCED VISION-LANGUAGE REPRESENTATIONS THROUGH SCENE GRAPH》 |多模态 |
273 | | 《VideoBERT: A Joint Model for Video and Language Representation Learning》 |多模态 |
274 | | 《VistaNet: Visual Aspect Attention Network for Multimodal Sentiment Analysis》 |多模态 |
275 | | 《Supervised Multimodal Bitransformers for Classifying Images and Text》 |多模态 |
276 | | 《Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks》 |多模态 |
277 | | 《Tensor fusion network for multimodal sentiment analysis》 |多模态 |
278 | | 《NetVLAD: CNN architecture for weakly supervised place recognition》 |序列特征处理 |
279 | | 《Neural Approaches to Conversational AI Question Answering, Task-Oriented Dialogues and Social Chatbots》 |务型对话 |
280 | | 《The Dialog State Tracking Challenge Series: A Review》 |务型对话 |
281 | | 《MACHINE LEARNING FOR DIALOG STATE TRACKING:A REVIEW》 |务型对话 |
282 | | 《Deep Neural Network Approach for the Dialog State Tracking Challenge》 |务型对话 |
283 | | 《BERT for Joint Intent Classifification and Slot Filling》 |务型对话 |
284 | | 《Task-Oriented Dialogue as Dataflow Synthesis》 |务型对话 |
285 | | 《Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems》 |务型对话 |
286 | | 《FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance》 |QA对话 |
287 | | 《PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable》 |闲聊对话&开放域问答 |
288 | | 《PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning》 |闲聊对话&开放域问答 |
289 | | 《Improving Multi-turn Dialogue Modelling with Utterance ReWriter》 |闲聊对话&开放域问答 |
290 | | 《Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models》 |闲聊对话&开放域问答 |
291 | | 《A Neural Conversational Model》 |闲聊对话&开放域问答 |
292 | | 《The Design and Implementation of XiaoIce, an Empathetic Social Chatbot》 |闲聊对话&开放域问答 |
293 | | 《Challenges in Building Intelligent Open-domain Dialog Systems》 |闲聊对话&开放域问答 |
294 | | 《Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs》 |图谱问答 |
295 | | 《Know More about Each Other: Evolving Dialogue Strategy via Compound Assessment》 |对话评估&强化学习 |
296 | | 《A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications 》 |知识图谱综述 |
297 | | 《A Survey on Deep Learning for Named Entity Recognition》 |命名实体识别 |
298 | | 《Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data》 |命名实体识别 |
299 | | 《Bidirectional LSTM-CRF Models for Sequence Tagging》 |命名实体识别 |
300 | | 《Neural Architectures for Named Entity Recognition》 |命名实体识别 |
301 | | 《Chinese NER Using Lattice LSTM》 |命名实体识别 |
302 | | 《Simplify the Usage of Lexicon in Chinese NER》 |命名实体识别 |
303 | | 《Learning Named Entity Tagger using Domain-Specific Dictionary》 |命名实体识别 |
304 | | 《Neural Architectures for Fine-grained Entity Type Classification》 |命名实体识别 |
305 | | 《An attentive fine-grained entity typing model with latent type representation》 |命名实体识别 |
306 | | 《Hierarchical Entity Typing via Multi-level Learning to Rank》 |命名实体识别 |
307 | | 《Deep Exhaustive Model for Nested Named Entity Recognition》 |命名实体识别 |
308 | | 《A Boundary-aware Neural Model for Nested Named Entity Recognition》 |命名实体识别 |
309 | | 《TENER: Adapting Transformer Encoder for Named Entity Recognition》 |命名实体识别 |
310 | | 《Joint Learning of Named Entity Recognition and Entity Linking》 |命名实体识别 |
311 | | 《Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF》 |命名实体识别 |
312 | | 《Hierarchically-Refined Label Attention Network for Sequence Labeling》 |命名实体识别 |
313 | | 《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions》 |命名实体识别 |
314 | | 《Learning to Bootstrap for Entity Set Expansion》 |实体扩展 |
315 | | 《Classifying Relations by Ranking with Convolutional Neural Networks》 |关系抽取 |
316 | | 《End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures》 |关系抽取 |
317 | | 《Joint entity and relation extraction based on a hybrid neural network》 |关系抽取 |
318 | | 《Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme》 |关系抽取 |
319 | | 《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》 |关系抽取 |
320 | | 《Joint Extraction of Entities and Relations with a Hierarchical Multi-task Tagging Model》 |关系抽取 |
321 | | 《A Hierarchical Framework for Relation Extraction with Reinforcement Learning》 |关系抽取 |
322 | | 《Pre-training of Deep Contextualized Embeddings of Words and Entities for Named Entity Disambiguation》 |实体链接（消歧&归一化） |
323 | | 《Multimodal Attribute Extraction》 |属性抽取 |
324 | | 《Deep Learning based Recommender System: A Survey and New Perspectives》 |推荐 |
325 | | 《推荐系统调研报告及综述》 |推荐 |
326 | | 《Deep Neural Networks for YouTube Recommendations》 |推荐 |
327 | | 《Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features》 |推荐 |
328 | | 《Deep & Cross Network for Ad Click Predictions》 |推荐 |
329 | | 《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》 |推荐 |
330 | | 《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations 》 |推荐 |
331 | | 《bipartite graph neural networks for efficient node representation learning》 |推荐 |
332 | | 《Wide & Deep Learning for Recommender Systems》 |推荐 |
333 | | 《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》 |推荐 |
334 | | 《Semantic search on text and knowledge bases》 |搜索 |
335 | | 《A Deep Generative Approach to Search Extrapolation and Recommendation》 |搜索 |
336 | | 《A User-Centered Concept Mining System for Query and Document Understanding at Tencent》 |标签体系&标签扩展&兴趣标签&概念标签 |
337 | | 《GIANT: Scalable Creation of a Web-scale Ontology》 |标签体系&标签扩展&兴趣标签&概念标签 |
338 | | 《Meta-Learning for Qery Conceptualization at Web Scale》 |标签体系&标签扩展&兴趣标签&概念标签 |
339 | | 《AliCoCo: Alibaba E-commerce Cognitive Concept Net》 |标签体系&标签扩展&兴趣标签&概念标签 |
340 | | 《Octet: Online Catalog Taxonomy Enrichment with Self-Supervision》 |标签体系&标签扩展&兴趣标签&概念标签 |
341 | | 《Scaling Up Open Tagging from Tens to Thousands: Comprehension Empowered Attribute Value Extraction from Product Title》 |标签生成 |
342 | | 《Microblog Hashtag Generation via Encoding Conversation Contexts》 |标签生成 |
343 | | 《Cognitive Representation Learning of Self-Media Online Article Quality》 |文本审核&质量 |
344 | | 《Spam Review Detection with Graph Convolutional Networks》 |文本审核&质量 |
345 | | 《Abusive Language Detection with Graph Convolutional Networks》 |文本审核&质量 |
346 | | 《Weak Supervision for Fake News Detection via Reinforcement Learning》 |文本审核&质量 |
347 | | 《Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model》 |评论生成&改写 |
348 | | 《Deep Active Learning for Short-Text Classification》 |主动学习 |
349 | | 《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》 |数据增强 |
350 | | 《UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING》 |半监督学习 |
351 | | 《Data Programming:Creating Large Training Sets, Quickly》 |半监督学习 |
352 | | 《Rethinking the Value of Labels for Improving Class-Imbalanced Learning》 |半监督学习 |
353 | | 《Extreme Multi-label Loss Functions for Recommendation,Tagging, Ranking & Other Missing Label Applications》 |多标签残缺 |
354 | | 《基于不完整标签信息的多标签分类问题研究》 |多标签残缺 |
355 | | 《Dice loss for data-imbalance NLP tasks》 |样本不均衡 |
356 | | 《Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting》 |样本不均衡 |
357 | | 《ehensive Introduction to Label Noise》 |噪声标签 |
358 | | 《Classification in the Presence of Label Noise: a Survey》 |噪声标签 |
359 | | 《Image Classification with Deep Learning in the Presence of Noisy Labels: A Survey》 |噪声标签 |
360 | | 《Confident Learning: Estimating Uncertainty in Dataset Labels》 |噪声标签 |
361 | | 《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》 |噪声标签 |
362 | | 《Learning with Noisy Label-深度学习廉价落地》 |噪声标签 |
363 | | 《TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing》 |知识蒸馏 |
364 | | 《Mixed Precision Training》 |量化加速 |
365 | | 《Why Should I Trust You? : Explaning the Predictions of Any Classifier》 |模型可解释性 |
366 | | 《Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop》 |模型可解释性 |
367 | | 《NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit》 |算法框架&工具 |
368 | | 《Familia: A Configurable Topic Modeling Framework for Industrial Text Engineering》 |算法框架&工具 |
369 | | 《LightLDA: Big Topic Models on Modest Computer Clusters》 |算法框架&工具 |
370 | | 《DeepPavlov: Open-Source Library for Dialogue Systems》 |算法框架&工具 |
371 | | 《AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models》 |算法框架&工具 |
372 | | 《Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering》 |其他 |
373 | | 《Analysis Methods in Neural Language Processing: A Survey》 |其他 |
374 | | 《Deep Double Descent: Where Bigger Models and More Data Hurt》 |其他 |
375 | | 《中文信息处理发展报告》 |其他 |
376 | | 《Modern Deep Learning Techniques Applied to Natural Language Processing》 |其他 |
377 |
378 |
379 |
380 |
381 |
382 |
383 |
384 |
385 |
--------------------------------------------------------------------------------