├── .idea
    ├── chaotbot_corpus_Chinese_liu.iml
    ├── modules.xml
    ├── vcs.xml
    └── workspace.xml
└── readme.md


/.idea/chaotbot_corpus_Chinese_liu.iml:
--------------------------------------------------------------------------------
 1 | <?xml version="1.0" encoding="UTF-8"?>
 2 | <module type="PYTHON_MODULE" version="4">
 3 |   <component name="NewModuleRootManager">
 4 |     <content url="file://$MODULE_DIR$" />
 5 |     <orderEntry type="inheritedJdk" />
 6 |     <orderEntry type="sourceFolder" forTests="false" />
 7 |   </component>
 8 |   <component name="TestRunnerService">
 9 |     <option name="PROJECT_TEST_RUNNER" value="Unittests" />
10 |   </component>
11 | </module>


--------------------------------------------------------------------------------
/.idea/modules.xml:
--------------------------------------------------------------------------------
1 | <?xml version="1.0" encoding="UTF-8"?>
2 | <project version="4">
3 |   <component name="ProjectModuleManager">
4 |     <modules>
5 |       <module fileurl="file://$PROJECT_DIR$/.idea/chaotbot_corpus_Chinese_liu.iml" filepath="$PROJECT_DIR$/.idea/chaotbot_corpus_Chinese_liu.iml" />
6 |     </modules>
7 |   </component>
8 | </project>


--------------------------------------------------------------------------------
/.idea/vcs.xml:
--------------------------------------------------------------------------------
1 | <?xml version="1.0" encoding="UTF-8"?>
2 | <project version="4">
3 |   <component name="VcsDirectoryMappings">
4 |     <mapping directory="$PROJECT_DIR$" vcs="Git" />
5 |   </component>
6 | </project>


--------------------------------------------------------------------------------
/.idea/workspace.xml:
--------------------------------------------------------------------------------
  1 | <?xml version="1.0" encoding="UTF-8"?>
  2 | <project version="4">
  3 |   <component name="ChangeListManager">
  4 |     <list default="true" id="4c7dee41-d990-40c9-8b7a-2627ffdffbad" name="Default Changelist" comment="">
  5 |       <change beforePath="$PROJECT_DIR$/readme.md" beforeDir="false" afterPath="$PROJECT_DIR$/readme.md" afterDir="false" />
  6 |     </list>
  7 |     <option name="EXCLUDED_CONVERTED_TO_IGNORED" value="true" />
  8 |     <option name="SHOW_DIALOG" value="false" />
  9 |     <option name="HIGHLIGHT_CONFLICTS" value="true" />
 10 |     <option name="HIGHLIGHT_NON_ACTIVE_CHANGELIST" value="false" />
 11 |     <option name="LAST_RESOLUTION" value="IGNORE" />
 12 |   </component>
 13 |   <component name="FUSProjectUsageTrigger">
 14 |     <session id="501954505">
 15 |       <usages-collector id="statistics.lifecycle.project">
 16 |         <counts>
 17 |           <entry key="project.open.time.0" value="1" />
 18 |           <entry key="project.opened" value="1" />
 19 |         </counts>
 20 |       </usages-collector>
 21 |       <usages-collector id="statistics.file.extensions.open">
 22 |         <counts>
 23 |           <entry key="md" value="1" />
 24 |         </counts>
 25 |       </usages-collector>
 26 |       <usages-collector id="statistics.file.types.open">
 27 |         <counts>
 28 |           <entry key="Markdown" value="1" />
 29 |         </counts>
 30 |       </usages-collector>
 31 |       <usages-collector id="statistics.file.extensions.edit">
 32 |         <counts>
 33 |           <entry key="md" value="164" />
 34 |         </counts>
 35 |       </usages-collector>
 36 |       <usages-collector id="statistics.file.types.edit">
 37 |         <counts>
 38 |           <entry key="Markdown" value="164" />
 39 |         </counts>
 40 |       </usages-collector>
 41 |     </session>
 42 |   </component>
 43 |   <component name="FileEditorManager">
 44 |     <leaf>
 45 |       <file pinned="false" current-in-tab="true">
 46 |         <entry file="file://$PROJECT_DIR$/readme.md">
 47 |           <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
 48 |             <state split_layout="SPLIT">
 49 |               <first_editor relative-caret-position="195">
 50 |                 <caret line="13" column="24" lean-forward="true" selection-start-line="13" selection-start-column="24" selection-end-line="13" selection-end-column="24" />
 51 |               </first_editor>
 52 |               <second_editor />
 53 |             </state>
 54 |           </provider>
 55 |         </entry>
 56 |       </file>
 57 |     </leaf>
 58 |   </component>
 59 |   <component name="Git.Settings">
 60 |     <option name="RECENT_GIT_ROOT_PATH" value="$PROJECT_DIR$" />
 61 |   </component>
 62 |   <component name="IdeDocumentHistory">
 63 |     <option name="CHANGED_PATHS">
 64 |       <list>
 65 |         <option value="$PROJECT_DIR$/readme.md" />
 66 |       </list>
 67 |     </option>
 68 |   </component>
 69 |   <component name="ProjectFrameBounds">
 70 |     <option name="x" value="15" />
 71 |     <option name="y" value="23" />
 72 |     <option name="width" value="1400" />
 73 |     <option name="height" value="757" />
 74 |   </component>
 75 |   <component name="ProjectView">
 76 |     <navigator proportions="" version="1">
 77 |       <foldersAlwaysOnTop value="true" />
 78 |     </navigator>
 79 |     <panes>
 80 |       <pane id="ProjectPane">
 81 |         <subPane>
 82 |           <expand>
 83 |             <path>
 84 |               <item name="chaotbot_corpus_Chinese_liu" type="b2602c69:ProjectViewProjectNode" />
 85 |               <item name="chaotbot_corpus_Chinese_liu" type="462c0819:PsiDirectoryNode" />
 86 |             </path>
 87 |           </expand>
 88 |           <select />
 89 |         </subPane>
 90 |       </pane>
 91 |       <pane id="Scope" />
 92 |     </panes>
 93 |   </component>
 94 |   <component name="PropertiesComponent">
 95 |     <property name="last_opened_file_path" value="$PROJECT_DIR$" />
 96 |     <property name="settings.editor.selected.configurable" value="com.jetbrains.python.configuration.PyActiveSdkModuleConfigurable" />
 97 |   </component>
 98 |   <component name="PyConsoleOptionsProvider">
 99 |     <option name="myPythonConsoleState">
100 |       <console-settings sdk-home="$PROJECT_DIR$/../Deep-Expression/venv/bin/python">
101 |         <option name="mySdkHome" value="$PROJECT_DIR$/../Deep-Expression/venv/bin/python" />
102 |       </console-settings>
103 |     </option>
104 |   </component>
105 |   <component name="RunDashboard">
106 |     <option name="ruleStates">
107 |       <list>
108 |         <RuleState>
109 |           <option name="name" value="ConfigurationTypeDashboardGroupingRule" />
110 |         </RuleState>
111 |         <RuleState>
112 |           <option name="name" value="StatusDashboardGroupingRule" />
113 |         </RuleState>
114 |       </list>
115 |     </option>
116 |   </component>
117 |   <component name="SvnConfiguration">
118 |     <configuration />
119 |   </component>
120 |   <component name="TaskManager">
121 |     <task active="true" id="Default" summary="Default task">
122 |       <changelist id="4c7dee41-d990-40c9-8b7a-2627ffdffbad" name="Default Changelist" comment="" />
123 |       <created>1543658621820</created>
124 |       <option name="number" value="Default" />
125 |       <option name="presentableId" value="Default" />
126 |       <updated>1543658621820</updated>
127 |     </task>
128 |     <servers />
129 |   </component>
130 |   <component name="ToolWindowManager">
131 |     <frame x="15" y="23" width="1400" height="757" extended-state="0" />
132 |     <editor active="true" />
133 |     <layout>
134 |       <window_info id="Favorites" side_tool="true" />
135 |       <window_info active="true" content_ui="combo" id="Project" order="0" visible="true" weight="0.24945612" />
136 |       <window_info id="Structure" order="1" side_tool="true" weight="0.25" />
137 |       <window_info anchor="bottom" id="Version Control" />
138 |       <window_info anchor="bottom" id="Python Console" />
139 |       <window_info anchor="bottom" id="Terminal" />
140 |       <window_info anchor="bottom" id="Event Log" side_tool="true" />
141 |       <window_info anchor="bottom" id="Message" order="0" />
142 |       <window_info anchor="bottom" id="Find" order="1" />
143 |       <window_info anchor="bottom" id="Run" order="2" />
144 |       <window_info anchor="bottom" id="Debug" order="3" weight="0.4" />
145 |       <window_info anchor="bottom" id="Cvs" order="4" weight="0.25" />
146 |       <window_info anchor="bottom" id="Inspection" order="5" weight="0.4" />
147 |       <window_info anchor="bottom" id="TODO" order="6" />
148 |       <window_info anchor="right" id="Commander" internal_type="SLIDING" order="0" type="SLIDING" weight="0.4" />
149 |       <window_info anchor="right" id="Ant Build" order="1" weight="0.25" />
150 |       <window_info anchor="right" content_ui="combo" id="Hierarchy" order="2" weight="0.25" />
151 |     </layout>
152 |   </component>
153 |   <component name="VcsContentAnnotationSettings">
154 |     <option name="myLimit" value="2678400000" />
155 |   </component>
156 |   <component name="editorHistoryManager">
157 |     <entry file="file://$PROJECT_DIR$/readme.md">
158 |       <provider selected="true" editor-type-id="split-provider[text-editor;markdown-preview-editor]">
159 |         <state split_layout="SPLIT">
160 |           <first_editor relative-caret-position="195">
161 |             <caret line="13" column="24" lean-forward="true" selection-start-line="13" selection-start-column="24" selection-end-line="13" selection-end-column="24" />
162 |           </first_editor>
163 |           <second_editor />
164 |         </state>
165 |       </provider>
166 |     </entry>
167 |   </component>
168 | </project>


--------------------------------------------------------------------------------
/readme.md:
--------------------------------------------------------------------------------
 1 | # 说明
 2 | 这个库是基于
 3 | 
 4 | https://github.com/codemayq/chaotbot_corpus_Chinese
 5 | 
 6 | 原来库把所有的文件都放在了一个压缩文件里面，并且使用的时候需要自己去生成。
 7 | 
 8 | 我把数据下载下来，并且做了预处理。大家可以分别下载。
 9 | 
10 | # 下载地址
11 | 链接:https://pan.baidu.com/s/1HlxwgryXZBfuVljzGxd-6A  密码:67iq
12 | 
13 | # 数据格式
14 | 每行是一个样本，先是query，再是answer
15 | ```
16 | query \t answer
17 | ```
18 | 
19 | # 数据来源及说明
20 | 语料名称 | 语料数量 | 语料来源说明 | 语料特点 | 语料样例 | 是否已分词|对应文件
21 | ---|---|---|---|---|---|---
22 | chatterbot | 560 | 开源项目 | 按类型分类，质量较高  | Q:你会开心的 A:幸福不是真正的可预测的情绪。 | 否 |chatterbot.tsv.zip
23 | douban（豆瓣多轮） | 352W | 来自北航和微软的paper, 开源项目 | 噪音相对较少，原本是多轮（平均7.6轮）  | Q:烟台 十一 哪 好玩 A:哪 都 好玩 · · · · | 是 |douban_single_turn.tsv.zip
24 | ptt（PTT八卦语料） | 40W | 开源项目，台湾PTT论坛八卦版 | 繁体，语料较生活化，有噪音  | Q:为什么乡民总是欺负国高中生呢QQ	A:如果以为选好科系就会变成比尔盖兹那不如退学吧  | 否 | ptt.tsv.zip
25 | qingyun（青云语料） | 10W | 某聊天机器人交流群 | 相对不错，生活化  | Q:看来你很爱钱 	 A:噢是吗？那么你也差不多了 | 否 | qingyun.tsv.zip
26 | subtitle（电视剧对白语料） | 274W | 开源项目，来自爬取的电影和美剧的字幕 | 有一些噪音，对白不一定是严谨的对话，原本是多轮（平均5.3轮）  | Q:京戏里头的人都是不自由的	A:他们让人拿笼子给套起来了了 | 否 |subtitle.tsv.zip
27 | tieba（贴吧论坛回帖语料） | 232W | 偶然找到的 | 多轮，有噪音  | Q:前排，鲁迷们都起床了吧	A:标题说助攻，但是看了那球，真是活生生的讽刺了 | 否 | tieba.tsv.zip
28 | weibo（微博语料） | 443W | 来自华为的paper | 仍有一些噪音  | Q:北京的小纯洁们，周日见。#硬汉摆拍清纯照# A:嗷嗷大湿的左手在干嘛，看着小纯洁撸么。 | 否 |weibo.tsv.zip
29 | xiaohuangji（小黄鸡语料） | 45W | 原人人网项目语料 | 有一些不雅对话，少量噪音 | Q:你谈过恋爱么	A:谈过，哎，别提了，伤心..。 | 否 |xiaohuangji.tsv.zip
30 | 
31 | 语料名称 | 语料原始URL（即出处，尊重原始版权） 
32 | ---|---
33 | chatterbot | https://github.com/gunthercox/chatterbot-corpus/tree/master/chatterbot_corpus/data/chinese
34 | douban（豆瓣多轮） | https://github.com/MarkWuNLP/MultiTurnResponseSelection 
35 | ptt（PTT八卦语料）| https://github.com/zake7749/Gossiping-Chinese-Corpus 
36 | qingyun（青云语料） | 无 
37 | subtitle（电视剧对白语料） | https://github.com/fateleak/dgk_lost_conv 
38 | tieba（贴吧论坛回帖语料）  | https://pan.baidu.com/s/1mUknfwy1nhSM7XzH8xi7gQ 密码:i4si 
39 | weibo（微博语料）  | 61.93.89.94/Noah_NRM_Data/ 
40 | xiaohuangji（小黄鸡语料） | https://github.com/candlewill/Dialog_Corpus 
41 | 
42 | 
43 | 以下是原来的说明
44 | ----
45 | 
46 | 
47 | 
48 | 该库搜集了包含
49 | - chatterbot
50 | - 豆瓣多轮
51 | - PTT八卦语料
52 | - 青云语料
53 | - 电视剧对白语料
54 | - 贴吧论坛回帖语料
55 | - 微博语料
56 | - 小黄鸡语料
57 | 
58 | 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。
59 | 
60 | 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。
61 | 
62 | 
63 | 
64 | 
65 | 
66 | 
67 | # 结果的使用
68 | 这个就根据每个人不同的情况自主使用即可
69 | 
70 | 个人对于聊天机器人方向实践也不是很多，以下一篇之前写的知乎专栏供参考
71 | **《从产品完整性的角度浅谈chatbot》**
72 | 
73 | https://zhuanlan.zhihu.com/p/34927757
74 | 
75 | 文章粗略讲解了如下一些方面，介绍了聊天机器人在实际产品化过程中可能遇到的问题和解决办法。
76 | 
77 | 1. chatbot自身人格的设置
78 | 1. 产品上线需要考虑的敏感词处理
79 | 1. 文本检索模型的使用
80 | 1. 文本生成模型的使用
81 | 1. 回答打分机制
82 | 1. 万能回答的使用策略
83 | 1. 多媒体消息的处理
84 | 1. 产品模型部署的问题
85 | 
86 | # 版权说明
87 | 本项目为非商业项目，为纯搜集和汇总资料，如有侵权，请在issue下留言。
88 | 


--------------------------------------------------------------------------------