| Key | 22 |Value | 23 |
|---|---|
| 30 | {{ $k }} 31 | | 32 |33 | {{ $v }} 34 | | 35 | {{end}} 36 |
802 |
803 | ### 代码版权
804 |
805 | 本项目代码采用 MIT 协议开源。
806 |
807 |
--------------------------------------------------------------------------------
/art.go:
--------------------------------------------------------------------------------
1 | package main
2 |
3 | import (
4 | "fmt"
5 |
6 | "github.com/johnlui/enterprise-search-engine/db"
7 | )
8 |
9 | type Art struct{}
10 |
11 | func (a Art) Init() {
12 |
13 | realDB := db.DbInstance0
14 |
15 | // 初始化 256 张 pages 和 status 表
16 | for i := 0; i < 256; i++ {
17 | var tableName string
18 | var statusTableName string
19 | if i < 16 {
20 | tableName = fmt.Sprintf("pages_0%x", i)
21 | statusTableName = fmt.Sprintf("status_0%x", i)
22 | } else {
23 | tableName = fmt.Sprintf("pages_%x", i)
24 | statusTableName = fmt.Sprintf("status_%x", i)
25 | }
26 |
27 | result := realDB.Exec("CREATE TABLE `" + tableName + "` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `url` varchar(768) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `host` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `dic_done` tinyint DEFAULT '0', `craw_done` tinyint NOT NULL DEFAULT '0', `craw_time` timestamp NOT NULL DEFAULT '2001-01-01 00:00:00', `origin_title` varchar(2000) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `referrer_id` int NOT NULL DEFAULT '0', `scheme` varchar(255) DEFAULT NULL, `domain1` varchar(255) DEFAULT NULL, `domain2` varchar(255) DEFAULT NULL, `path` varchar(2000) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `query` varchar(2000) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `title` varchar(1000) DEFAULT NULL, `text` longtext, `created_at` timestamp NOT NULL DEFAULT '2001-01-01 08:00:00', PRIMARY KEY (`id`), KEY `url` (`url`), KEY `host_crtime` (`host`), KEY `host_cdown` (`host`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;")
28 | fmt.Println("建表结果: ", tableName, result.RowsAffected)
29 |
30 | result1 := realDB.Exec("CREATE TABLE `" + statusTableName + "` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `url` varchar(767) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, `host` varchar(255) DEFAULT NULL, `craw_done` tinyint NOT NULL DEFAULT '0', `craw_time` timestamp NOT NULL DEFAULT '2001-01-01 00:00:00', PRIMARY KEY (`id`), KEY `idx_host_crtime` (`host`,`craw_time`), KEY `idx_url` (`url`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;")
31 | fmt.Println("建表结果: ", statusTableName, result1.RowsAffected)
32 |
33 | }
34 | // 初始化域名黑名单
35 | result2 := realDB.Exec("CREATE TABLE `domain_black_list` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `domain` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;")
36 | fmt.Println("建表结果: ", "domain_black_list", result2.RowsAffected)
37 | // 填充域名黑名单
38 | result3 := realDB.Exec("INSERT INTO `domain_black_list` (`id`, `domain`) VALUES (1, 'huangye88.com'), (2, 'gov.cn'), (3, 'nbhesen.com'), (4, 'tianyancha.com'), (5, 'qianlima.com'), (6, '99114.com'), (7, 'luosi.com'), (8, 'bidchance.com'), (9, '51zhantai.com'), (10, 'baiye5.com'), (11, 'snxx.com'), (12, '6789go.com'), (13, 'gongxiangchi.com'), (14, 'webacg.com'), (16, '912688.com'), (17, 'dihe.cn'), (18, 'maoyihang.com'), (19, 'realsee.com'), (20, 'tdzyw.com'), (21, 'anjuke.com'), (22, 'liuxue86.com'), (23, '5588.tv'), (24, '58.com');")
39 | fmt.Println("填充结果: ", "domain_black_list", result3.RowsAffected)
40 |
41 | // 初始化字典词黑名单
42 | result4 := realDB.Exec("CREATE TABLE `word_black_list` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `word` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;")
43 | fmt.Println("建表结果: ", "word_black_list", result4.RowsAffected)
44 | // 填充字典词黑名单
45 | result5 := realDB.Exec("INSERT INTO `word_black_list` (`id`, `word`) VALUES (1, 'px'), (2, '20'), (3, '('), (4, ')'), (5, ','), (6, '.'), (7, '-'), (8, '/'), (9, ':'), (10, 'var'), (11, '的'), (12, 'com'), (13, ';'), (14, '['), (15, ']'), (16, '{'), (17, '}'), (18, \"'\"), (19, '\"'), (20, '_'), (21, '?'), (22, 'function'), (23, 'document'), (24, '|'), (25, '='), (26, 'html'), (27, '内容'), (28, '0'), (29, '1'), (30, '3'), (31, 'https'), (32, 'http'), (33, '2'), (34, '!'), (35, 'window'), (36, 'if'), (37, '“'), (38, '”'), (39, '。'), (40, 'src'), (41, '中'), (42, '了'), (43, '6'), (44, '｡'), (45, '<'), (46, '>'), (47, '联系'), (48, '号'), (49, 'getElementsByTagName'), (50, '5'), (51, '､'), (52, 'script'), (53, 'js');")
46 | fmt.Println("填充结果: ", "word_black_list", result5.RowsAffected)
47 |
48 | // 初始化 kvstores
49 | result6 := realDB.Exec("CREATE TABLE `kvstores` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `k` varchar(255) DEFAULT NULL, `v` varchar(255) DEFAULT NULL, `time` timestamp NOT NULL DEFAULT '2001-01-01 00:00:01', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;")
50 | fmt.Println("建表结果: ", "kvstores", result6.RowsAffected)
51 | // 填充 kvstores
52 | result7 := realDB.Exec("INSERT INTO `kvstores` (`id`, `k`, `v`, `time`) VALUES (1, 'stop', '0', '2022-09-04 01:27:55'), (2, 'stopNew', '0', '2001-01-01 00:00:01'), (3, 'stopWashDicRedisToMySQL', '0', '2001-01-01 00:00:01');")
53 | fmt.Println("填充结果: ", "kvstores", result7.RowsAffected)
54 |
55 | // 初始化 字典表 word_dics
56 | result8 := db.DbInstanceDic.Exec("CREATE TABLE `word_dics` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `positions` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_bin, PRIMARY KEY (`id`), UNIQUE KEY `name` (`name`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci")
57 | fmt.Println("建表结果: ", "word_dics", result8.RowsAffected)
58 |
59 | fmt.Println("数据库初始化完成")
60 | }
61 |
--------------------------------------------------------------------------------
/controllers/search.go:
--------------------------------------------------------------------------------
1 | package controllers
2 |
3 | import (
4 | "fmt"
5 | "math"
6 | "os"
7 | "regexp"
8 | "sort"
9 | "strconv"
10 | "strings"
11 | "time"
12 | "unicode/utf8"
13 |
14 | "github.com/gin-gonic/gin"
15 | "github.com/johnlui/enterprise-search-engine/db"
16 | "github.com/johnlui/enterprise-search-engine/models"
17 | "github.com/johnlui/enterprise-search-engine/tools"
18 | "golang.org/x/exp/maps"
19 | )
20 |
21 | type SearchResult struct {
22 | Title string
23 | Score float64
24 | Brief string
25 | Url string
26 | }
27 |
28 | func Search(c *gin.Context) {
29 | t := time.Now()
30 |
31 | keyword := c.Query("keyword")
32 |
33 | N := 0
34 | values := make([]SearchResult, 0)
35 |
36 | if utf8.RuneCountInString(keyword) > 0 {
37 |
38 | r := tools.GetFenciResultArray(keyword)
39 |
40 | // var result []DocResult
41 |
42 | // 总文档数
43 | docsExistMap := make(map[string]struct{})
44 |
45 | // 总积分
46 | docsScores := make(map[string]float64)
47 |
48 | db.DbInstance0.Raw("select count(*) from pages_70 where dic_done = 1").Scan(&N)
49 | N *= 256
50 | if os.Getenv("APP_ENV") == "local" {
51 | N = 650000
52 | }
53 | if N == 0 {
54 | panic("文档总数N不能为零")
55 | }
56 |
57 | for _, v := range r {
58 | // 一个词
59 | var dic models.WordDic
60 | db.DbInstanceDic.Where("name = ?", v).Find(&dic)
61 |
62 | rawParts := strings.Split(dic.Positions, "-")
63 | rawParts = rawParts[:len(rawParts)-1]
64 |
65 | // 只保留同一个 docID count 较大的那个，同一个doc可能会重复出现在一个词中
66 | parts := make(map[string]string)
67 | for k, v := range rawParts {
68 | if k > 0 {
69 |
70 | intsV := strings.Split(v, ",")
71 |
72 | partsKey := intsV[0] + "~" + intsV[1]
73 | prsV, prs := parts[partsKey]
74 | if prs {
75 | prsIntsV := strings.Split(prsV, ",")
76 | prsVCount := prsIntsV[2]
77 | vCount := intsV[2]
78 | if vCount > prsVCount {
79 | parts[partsKey] = v
80 | }
81 | } else {
82 | parts[partsKey] = v
83 | }
84 | }
85 | }
86 | partsArr := maps.Values(parts)
87 |
88 | NQi := len(partsArr)
89 | IDF := math.Log10((float64(N-NQi) + 0.5) / (float64(NQi) + 0.5))
90 |
91 | wordExistCount := 0
92 | for _, p := range partsArr {
93 | // 一个词在一个文档里出现
94 | ints := strings.Split(p, ",")
95 |
96 | // 出现总次数
97 | Dj, _ := strconv.Atoi(ints[3])
98 | // 出现总次数
99 | Fi, err := strconv.Atoi(ints[2])
100 | // 出现总次数之和
101 | if err != nil {
102 | wordExistCount += Fi
103 | }
104 |
105 | // https://zhuanlan.zhihu.com/p/499906089
106 |
107 | k1 := 2.0
108 | b := 0.75
109 | // 平均文档长度，暂时没用，没有记录文档长度
110 | avgDocLength := 13214.0
111 |
112 | RQiDj := (float64(Fi) * (k1 + 1)) / (float64(Fi) + k1*(1-b+b*(float64(Dj)/avgDocLength)))
113 |
114 | docName := ints[0] + "-" + ints[1]
115 | _, prs := docsScores[docName]
116 | if !prs {
117 | docsScores[docName] = 0.0
118 | }
119 |
120 | docsScores[docName] += IDF * RQiDj
121 |
122 | // 总文档数
123 | _, prs1 := docsExistMap[docName]
124 | if !prs1 {
125 | docsExistMap[docName] = struct{}{}
126 | }
127 |
128 | // result := DocResult{
129 | // count: 1,
130 | // }
131 | }
132 |
133 | }
134 | // dd(len(docsExistMap))
135 | // dd(docsScores)
136 |
137 | // 按照分数排序
138 | keys := make([]string, 0, len(docsScores))
139 | for key := range docsScores {
140 | keys = append(keys, key)
141 | }
142 | sort.SliceStable(keys, func(i, j int) bool {
143 | return docsScores[keys[i]] > docsScores[keys[j]]
144 | })
145 |
146 | // 取前10个
147 | qu := 200
148 | if len(keys) < qu {
149 | qu = len(keys)
150 | }
151 | keys = keys[0:qu]
152 |
153 | for _, doc := range keys {
154 | ps := strings.Split(doc, "-")
155 |
156 | tableIndex, _ := strconv.Atoi(ps[0])
157 | var tableName string
158 | if tableIndex < 16 {
159 | tableName = fmt.Sprintf("pages_0%x", tableIndex)
160 | } else {
161 | tableName = fmt.Sprintf("pages_%x", tableIndex)
162 | }
163 |
164 | realDB := db.DbInstance0
165 |
166 | // 如果你有多个数据库，可以取消注释
167 | // if tableIndex > 127 {
168 | // realDB = db.DbInstance1
169 | // }
170 |
171 | var lake models.Page
172 | realDB.Table(tableName).Where("id = ?", ps[1]).Scan(&lake)
173 |
174 | // fmt.Println(lake.Title, docsScores[doc])
175 |
176 | re := regexp.MustCompile("[[:ascii:]]")
177 | brief := re.ReplaceAllLiteralString(lake.Text, "")
178 |
179 | length := 100
180 | briefLen := utf8.RuneCountInString(brief)
181 | if briefLen < 100 {
182 | length = briefLen
183 | }
184 | if length > 0 {
185 | brief = string([]rune(brief)[:length-1])
186 | }
187 |
188 | values = append(values, SearchResult{
189 | Title: lake.Title,
190 | Score: docsScores[doc],
191 | Brief: brief,
192 | Url: lake.Url,
193 | })
194 | }
195 | }
196 |
197 | latency := time.Since(t)
198 | c.HTML(200, "search.tpl", gin.H{
199 | "title": "翰哥搜索",
200 | "time": time.Now().Format("2006-01-02 15:04:05"),
201 | "values": values,
202 | "keyword": keyword,
203 | "N": N,
204 | "latency": latency,
205 | })
206 |
207 | }
208 |
--------------------------------------------------------------------------------
/controllers/status.go:
--------------------------------------------------------------------------------
1 | package controllers
2 |
3 | import (
4 | "sort"
5 | "strconv"
6 | "time"
7 |
8 | "github.com/gin-gonic/gin"
9 | "github.com/johnlui/enterprise-search-engine/db"
10 | "github.com/johnlui/enterprise-search-engine/tools"
11 | )
12 |
13 | func SpiderStatus(c *gin.Context) {
14 | // URL 总数
15 | keyAll := "host_counts_all_" + strconv.Itoa(int(time.Now().Unix())/86400)
16 | keyCrawd := "host_counts_crawd_" + strconv.Itoa(int(time.Now().Unix())/86400)
17 | keyCrawdInvalid := "host_counts_crawd_invalid_" + strconv.Itoa(int(time.Now().Unix())/86400)
18 |
19 | // 获得数量最多的10个域名
20 | type kv struct {
21 | Key string
22 | Value int
23 | }
24 | var ss1 []kv
25 | rr1, _ := db.Rdb.HGetAll(db.Ctx, keyAll).Result()
26 | for k, v := range rr1 {
27 | _v, _ := strconv.Atoi(v)
28 | ss1 = append(ss1, kv{k, _v})
29 | }
30 | sort.Slice(ss1, func(i, j int) bool {
31 | return ss1[i].Value > ss1[j].Value
32 | })
33 |
34 | var ss []kv
35 | rr, _ := db.Rdb.HGetAll(db.Ctx, keyCrawd).Result()
36 | for k, v := range rr {
37 | _v, _ := strconv.Atoi(v)
38 | ss = append(ss, kv{k, _v})
39 | }
40 | sort.Slice(ss, func(i, j int) bool {
41 | return ss[i].Value > ss[j].Value
42 | })
43 |
44 | r1, _ := db.Rdb.HVals(db.Ctx, keyCrawd).Result()
45 | crawdCount := 0
46 | for _, v := range r1 {
47 | _count, _ := strconv.Atoi(v)
48 | crawdCount += _count
49 | }
50 | r2, _ := db.Rdb.HVals(db.Ctx, keyCrawdInvalid).Result()
51 | crawdCountInvalid := 0
52 | for _, v := range r2 {
53 | _count, _ := strconv.Atoi(v)
54 | crawdCountInvalid += _count
55 | }
56 |
57 | // 过去1分钟爬取
58 | lastMinuteCount, err := db.Rdb.Get(db.Ctx, "ese_spider_result_in_minute_"+strconv.Itoa(int(time.Now().Unix()-60)/60)).Result()
59 | if err != nil {
60 | lastMinuteCount = "0"
61 | }
62 |
63 | // 过去10分钟爬取
64 | last10MCount := 0
65 | for i := 0; i < 10; i++ {
66 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_result_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
67 | last10MCount += c
68 | }
69 |
70 | // 过去1小时爬取
71 | lastHourCount := 0
72 | for i := 0; i < 60; i++ {
73 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_result_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
74 | lastHourCount += c
75 | }
76 |
77 | // 过去1分钟爬取网络错误
78 | lastMinute4Count, err := db.Rdb.Get(db.Ctx, "ese_spider_result_4_in_minute_"+strconv.Itoa(int(time.Now().Unix()-60)/60)).Result()
79 | if err != nil {
80 | lastMinute4Count = "0"
81 | }
82 |
83 | // 过去10分钟爬取网络错误
84 | last10M4Count := 0
85 | for i := 0; i < 10; i++ {
86 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_result_4_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
87 | last10M4Count += c
88 | }
89 |
90 | // 过去1小时爬取网络错误
91 | lastHour4Count := 0
92 | for i := 0; i < 60; i++ {
93 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_result_4_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
94 | lastHour4Count += c
95 | }
96 |
97 | // 过去1分钟新增status 全部
98 | lastMinute4All, err := db.Rdb.Get(db.Ctx, "ese_spider_all_status_in_minute_"+strconv.Itoa(int(time.Now().Unix()-60)/60)).Result()
99 | if err != nil {
100 | lastMinute4All = "0"
101 | }
102 |
103 | // 过去10分钟新增status 全部
104 | last10M4All := 0
105 | for i := 0; i < 10; i++ {
106 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_all_status_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
107 | last10M4All += c
108 | }
109 |
110 | // 过去1小时新增status 全部
111 | lastHour4All := 0
112 | for i := 0; i < 60; i++ {
113 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_all_status_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
114 | lastHour4All += c
115 | }
116 |
117 | // 过去1分钟新增status 纯新增
118 | lastMinute4New, err := db.Rdb.Get(db.Ctx, "ese_spider_new_status_in_minute_"+strconv.Itoa(int(time.Now().Unix()-60)/60)).Result()
119 | if err != nil {
120 | lastMinute4New = "0"
121 | }
122 |
123 | // 过去10分钟新增status 纯新增
124 | last10M4New := 0
125 | for i := 0; i < 10; i++ {
126 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_new_status_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
127 | last10M4New += c
128 | }
129 |
130 | // 过去1小时新增status 纯新增
131 | lastHour4New := 0
132 | for i := 0; i < 60; i++ {
133 | c, _ := db.Rdb.Get(db.Ctx, "ese_spider_new_status_in_minute_"+strconv.Itoa(int(time.Now().Unix())/60-i)).Int()
134 | lastHour4New += c
135 | }
136 |
137 | // 预估 URL 总数
138 | totalCount := 0
139 | db.DbInstance0.Raw("select count(*) from status_70").Scan(&totalCount)
140 | totalCount *= 256
141 |
142 | // 待爬队列长度
143 | need_craw_listLength := db.Rdb.LLen(db.Ctx, "need_craw_list").Val()
144 |
145 | values := []map[string]any{
146 | map[string]any{"待爬队列长度": need_craw_listLength},
147 | map[string]any{"预估 URL 总数": tools.AddDouhao(totalCount)},
148 | map[string]any{"已爬总数": tools.AddDouhao(crawdCount)},
149 | map[string]any{"已爬无效数": tools.AddDouhao(crawdCountInvalid)},
150 | map[string]any{"过去1分钟爬取 | 多次网络错误": lastMinuteCount + " | " + lastMinute4Count},
151 | map[string]any{"过去10分钟爬取 | 多次网络错误": strconv.Itoa(last10MCount) + " | " + strconv.Itoa(last10M4Count)},
152 | map[string]any{"过去1小时爬取 | 多次网络错误": strconv.Itoa(lastHourCount) + " | " + strconv.Itoa(lastHour4Count)},
153 | map[string]any{"过去1分钟新爬到status | 新页面": lastMinute4All + " | " + lastMinute4New},
154 | map[string]any{"过去10分钟新爬到status | 新页面": strconv.Itoa(last10M4All) + " | " + strconv.Itoa(last10M4New)},
155 | map[string]any{"过去1小时新爬到status | 新页面": strconv.Itoa(lastHour4All) + " | " + strconv.Itoa(lastHour4New)},
156 | }
157 |
158 | c.HTML(200, "index.tpl", gin.H{
159 | "title": "ESE状态监控面板",
160 | "time": time.Now().Format("2006-01-02 15:04:05"),
161 | "values": values,
162 | })
163 | }
164 |
--------------------------------------------------------------------------------
/cron.go:
--------------------------------------------------------------------------------
1 | package main
2 |
3 | import (
4 | "encoding/json"
5 | "fmt"
6 | "os"
7 | "strconv"
8 | "strings"
9 | "time"
10 | "unicode/utf8"
11 |
12 | "github.com/johnlui/enterprise-search-engine/db"
13 | "github.com/johnlui/enterprise-search-engine/models"
14 | "github.com/johnlui/enterprise-search-engine/tools"
15 | "golang.org/x/text/width"
16 | "gorm.io/gorm"
17 | )
18 |
19 | // 后台定时自动同步 pages 表到 status 表
20 | func autoParsePagesToStatus() {
21 | t := time.Now()
22 |
23 | var count int64 = 0
24 |
25 | realDB := db.DbInstance0
26 |
27 | for i := 0; i < 256; i++ {
28 | var pagesTableName string
29 | var statusTableName string
30 | if i < 16 {
31 | pagesTableName = fmt.Sprintf("pages_0%x", i)
32 | statusTableName = fmt.Sprintf("status_0%x", i)
33 | } else {
34 | pagesTableName = fmt.Sprintf("pages_%x", i)
35 | statusTableName = fmt.Sprintf("status_%x", i)
36 | }
37 |
38 | result := realDB.Exec("insert into `" + statusTableName + "` select `id`, `url`, `host`, `craw_done`, `craw_time` from `" + pagesTableName + "` where id > COALESCE((select max(id) from status_00), 0);")
39 |
40 | count += result.RowsAffected
41 | }
42 | if count > 0 {
43 | fmt.Println("从 pages 同步了一批数据到 status", time.Now().Unix()-t.Unix(), "秒，共", count, "条")
44 | }
45 | }
46 |
47 | // 定时将可以爬的 URL 从 status 表转移到 redis 中
48 | func prepareStatusesBackground() {
49 | t := time.Now()
50 |
51 | maxNumber := 1
52 | if os.Getenv("APP_DEBUG") == "false" {
53 | maxNumber = 一次准备
54 | }
55 |
56 | // host 黑名单，用于提升过滤效率
57 | hostBlackListInOneStepArray, _ := db.Rdb.SMembers(db.Ctx, "ese_spider_host_black_list").Result()
58 | if len(hostBlackListInOneStepArray) == 0 {
59 | db.Rdb.SAdd(db.Ctx, "ese_spider_host_black_list", "ooxx")
60 | db.Rdb.Expire(db.Ctx, "ese_spider_host_black_list", time.Minute*42).Err()
61 | for k := range domain1BlackList {
62 | hostBlackListInOneStepArray = append(hostBlackListInOneStepArray, k)
63 | }
64 | }
65 |
66 | count := 0
67 |
68 | for i := 0; i < 256; i++ {
69 | var tableName string
70 | if i < 16 {
71 | tableName = fmt.Sprintf("status_0%x", i)
72 | } else {
73 | tableName = fmt.Sprintf("status_%x", i)
74 | }
75 |
76 | realDB := db.DbInstance0
77 |
78 | var _statusArray []models.Status
79 | key := "table_" + tableName + "_max_into_queue_id"
80 | maxID, _ := db.Rdb.Get(db.Ctx, key).Int()
81 | realDB.Table(tableName).
82 | Where("craw_done", 0).
83 | Where("host not in (?)", hostBlackListInOneStepArray).
84 | Where("id > ?", maxID).
85 | Order("id").Limit(maxNumber).Find(&_statusArray)
86 |
87 | if len(_statusArray) > 0 {
88 | count += len(_statusArray)
89 |
90 | for _, v := range _statusArray {
91 | taskBytes, _ := json.Marshal(v)
92 | db.Rdb.LPush(db.Ctx, "need_craw_list", taskBytes)
93 | }
94 |
95 | keyTTL, _ := db.Rdb.TTL(db.Ctx, key).Result()
96 | if keyTTL == -1 {
97 | keyTTL = time.Hour
98 | }
99 |
100 | err := db.Rdb.Set(db.Ctx, key, _statusArray[len(_statusArray)-1].ID, keyTTL).Err()
101 | if err != nil {
102 | dd(err)
103 | }
104 | }
105 |
106 | }
107 |
108 | if count > 0 {
109 | fmt.Println("准备完一轮数据", time.Now().Unix()-t.Unix(), "秒，共", maxNumber*256, "条")
110 | }
111 | }
112 |
113 | // 每天刷新一次 已爬 host 数量
114 | func refreshHostCount() {
115 | t := time.Now()
116 | fmt.Println("开始刷新URL数")
117 |
118 | minutesInDay := t.Hour()*60 + t.Minute()
119 |
120 | start := minutesInDay / 5
121 | end := start + 1
122 |
123 | if start > 255 || end > 255 {
124 | return
125 | }
126 |
127 | // 总数
128 | for i := start; i < end; i++ {
129 | var tableName string
130 | if i < 16 {
131 | tableName = fmt.Sprintf("status_0%x", i)
132 | } else {
133 | tableName = fmt.Sprintf("status_%x", i)
134 | }
135 |
136 | realDB := db.DbInstance0
137 | _hostCountArr := []models.HostCount{}
138 | realDB.Raw("select host, count(*) count from " + tableName + " where host is not null group by host having count > 500").Scan(&_hostCountArr)
139 |
140 | key := "host_counts_all_" + strconv.Itoa(int(time.Now().Unix())/86400)
141 | for _, v := range _hostCountArr {
142 | db.Rdb.HIncrBy(db.Ctx, key, v.Host, int64(v.Count))
143 | }
144 | db.Rdb.Expire(db.Ctx, key, time.Hour*48).Err()
145 | }
146 |
147 | // 已爬数量
148 | for i := start; i < end; i++ {
149 | var tableName string
150 | if i < 16 {
151 | tableName = fmt.Sprintf("status_0%x", i)
152 | } else {
153 | tableName = fmt.Sprintf("status_%x", i)
154 | }
155 |
156 | realDB := db.DbInstance0
157 | _hostCountArr := []models.HostCount{}
158 | realDB.Raw("select host, count(*) crawd_count from " + tableName + " where craw_done = 1 and host is not null group by host").Scan(&_hostCountArr)
159 |
160 | key := "host_counts_crawd_" + strconv.Itoa(int(time.Now().Unix())/86400)
161 | for _, v := range _hostCountArr {
162 | db.Rdb.HIncrBy(db.Ctx, key, v.Host, int64(v.CrawdCount))
163 | }
164 | db.Rdb.Expire(db.Ctx, key, time.Hour*48).Err()
165 | }
166 |
167 | // 已爬但无效的数量
168 | for i := start; i < end; i++ {
169 | var tableName string
170 | if i < 16 {
171 | tableName = fmt.Sprintf("pages_0%x", i)
172 | } else {
173 | tableName = fmt.Sprintf("pages_%x", i)
174 | }
175 |
176 | realDB := db.DbInstance0
177 | _hostCountArr := []models.HostCount{}
178 | realDB.Raw("select host, count(*) crawd_count from " + tableName + " where craw_done = 1 and text = '' and host is not null group by host").Scan(&_hostCountArr)
179 |
180 | key := "host_counts_crawd_invalid_" + strconv.Itoa(int(time.Now().Unix())/86400)
181 | for _, v := range _hostCountArr {
182 | db.Rdb.HIncrBy(db.Ctx, key, v.Host, int64(v.CrawdCount))
183 | }
184 | db.Rdb.Expire(db.Ctx, key, time.Hour*48).Err()
185 | }
186 |
187 | fmt.Println("刷新URL数完成：start", start, "end", end, time.Now().Unix()-t.Unix(), "秒")
188 | }
189 |
190 | // 将分词结果洗到 redis DB10 里面
191 | func washHTMLToDB10() {
192 | t := time.Now()
193 | chs := make([]chan int, 256)
194 | for i := 0; i < 256; i++ {
195 | var tableName string
196 | // var statusTableName string
197 | if i < 16 {
198 | tableName = fmt.Sprintf("pages_0%x", i)
199 | // statusTableName = fmt.Sprintf("status_0%x", i)
200 | } else {
201 | tableName = fmt.Sprintf("pages_%x", i)
202 | // statusTableName = fmt.Sprintf("status_%x", i)
203 | }
204 |
205 | realDB := db.DbInstance0
206 |
207 | chs[i] = make(chan int)
208 | go asyncGenerateDics(i, realDB, tableName, chs[i])
209 | }
210 | total := 0
211 | for _, ch := range chs {
212 | total += <-ch
213 | }
214 |
215 | if total > 0 {
216 | fmt.Println("将分词结果洗到 redis 里完成", time.Now().Unix()-t.Unix(), "秒", total, "条，启动时间", t.Format("2006-01-02 15:04:05"))
217 | }
218 |
219 | // 刷新字符黑名单
220 |
221 | _wordBlackList := []string{}
222 | db.DbInstance0.Raw("select word from word_black_list").Scan(&_wordBlackList)
223 | wordBlackList = make(map[string]struct{})
224 | for _, v := range _wordBlackList {
225 | wordBlackList[v] = struct{}{}
226 | }
227 | }
228 |
229 | type WordAndSppendSrting struct {
230 | word string
231 | appendString string
232 | }
233 |
234 | // 将 redis 里的分词结果洗到数据库里
235 | func washDB10ToDicMySQL() {
236 | _stop := -1
237 | db.DbInstance0.Table("kvstores").Where("k", "stopWashDicRedisToMySQL").Select("v").Find(&_stop)
238 | if _stop == -1 {
239 | fmt.Println("kvstores数据库连接失败，请检查 gorm-log.txt 日志")
240 | os.Exit(0)
241 | } else if _stop == 1 {
242 | fmt.Println("全局开关关闭，60秒后再检测")
243 | time.Sleep(time.Second * 60)
244 | washDB10ToDicMySQL()
245 | }
246 |
247 | fmt.Println("新的一轮")
248 |
249 | // 从 redis DB10 获取字典插入数据库
250 | // 1. 随机获取一个 key
251 | // 2. 判断长度，大于1，则保留最后一条，循环取出前面所有条
252 | // 3. 每次处理 100 个？ key
253 | // 4. 在 DB0 里面存一个 Hash：存储所有已经入库的词
254 | // 5. 插入之前监测一下词是否已入库，若从未入库，则执行创建语句，若已入库，跳过
255 | // 6. 使用事务批量执行 update
256 | needUpdate := make(map[string]string)
257 | t := time.Now()
258 | oneStep := 一步转移的字典条数
259 |
260 | chs := make([]chan WordAndSppendSrting, oneStep)
261 |
262 | for j := 0; j < oneStep; j++ {
263 | chs[j] = make(chan WordAndSppendSrting)
264 | go asyncGetWordAndSppendSrting(chs[j])
265 | }
266 |
267 | for _, ch := range chs {
268 | _result := <-ch
269 | if _result.word != "" {
270 | _, prs := needUpdate[_result.word]
271 | if prs {
272 | needUpdate[_result.word] += _result.appendString
273 | } else {
274 | needUpdate[_result.word] = _result.appendString
275 | }
276 | }
277 | }
278 | fmt.Println("开始插入数据库")
279 | db.DbInstanceDic.Connection(func(tx *gorm.DB) error {
280 | tx.Exec(`START TRANSACTION`)
281 |
282 | for w, s := range needUpdate {
283 | tx.Exec(`UPDATE word_dics
284 | SET positions = concat(ifnull(positions,''), ?) where name = ?`, s, w)
285 | }
286 |
287 | tx.Exec(`COMMIT`)
288 |
289 | return nil
290 | })
291 |
292 | if len(needUpdate) > 0 {
293 | fmt.Println("转移完一批字典，共", len(needUpdate), "条，启动时间", t.Format("2006-01-02 15:04:05"))
294 | }
295 |
296 | if len(needUpdate) > 0 {
297 | washDB10ToDicMySQL()
298 | } else {
299 | fmt.Println("全转移完啦！")
300 | }
301 | }
302 |
303 | func asyncGetWordAndSppendSrting(ch chan WordAndSppendSrting) {
304 | wordAndSppendSrting := WordAndSppendSrting{}
305 |
306 | word := db.Rdb10.RandomKey(db.Ctx).Val()
307 | len := db.Rdb10.LLen(db.Ctx, word).Val()
308 | if len > 0 {
309 | // fmt.Println(word, "长度", len)
310 | if !db.Rdb.HExists(db.Ctx, "HasBeenTransported", word).Val() {
311 | db.DbInstanceDic.Exec(`INSERT IGNORE INTO word_dics
312 | SET name = ?,
313 | positions = ''`, word)
314 | }
315 | db.Rdb.HSet(db.Ctx, "HasBeenTransported", word, "")
316 |
317 | stringNeedAdd := ""
318 | var i int64 = 0
319 | for i < len {
320 | if i >= 每个词转移的深度 {
321 | break
322 | }
323 | stringNeedAdd += db.Rdb10.LPop(db.Ctx, word).Val()
324 | i += 1
325 | }
326 | wordAndSppendSrting.word = word
327 | wordAndSppendSrting.appendString = stringNeedAdd
328 | }
329 |
330 | ch <- wordAndSppendSrting
331 | }
332 | func asyncGenerateDics(i int, realDB *gorm.DB, tableName string, ch chan int) {
333 | var lakes []models.Page
334 | realDB.Table(tableName).
335 | Where("dic_done = 0").
336 | Where("craw_done = 1").
337 | Order("id asc").
338 | Limit(每分钟每个表执行分词).
339 | Scan(&lakes)
340 | // tools.DD(lakes[0].Text)
341 |
342 | /*
343 | 1. 分词，然后对分词结果进行重整：
344 | 2. 统计词频
345 | 3. 计算出 文档号,位置 ，可能存在多个
346 | 4. 创建词或者 update ：update tablename set col1name = concat(ifnull(col1name,""), 'a,b,c');
347 | 5. 处理成单字，另存一份倒排索引字典
348 | */
349 | for _, lake := range lakes {
350 | text := lake.Text
351 | textLength := utf8.RuneCountInString(text)
352 |
353 | r := tools.GetFenciResultArray(text)
354 | // tools.DD(r)
355 |
356 | // 计算位置+统计词频
357 | uniqueWordResult := make(map[string]WordResult)
358 | position := 0
359 | for _, w := range r {
360 | // 转半角
361 | word := width.Narrow.String(w)
362 | length := utf8.RuneCountInString(word)
363 |
364 | _, pr := wordBlackList[word]
365 | if pr {
366 | continue
367 | }
368 |
369 | _, prs := uniqueWordResult[word]
370 | if !prs {
371 | uniqueWordResult[word] = WordResult{
372 | count: 1,
373 | positions: []string{strconv.Itoa(position)},
374 | }
375 | } else {
376 | uniqueWordResult[word] = WordResult{
377 | count: uniqueWordResult[word].count + 1,
378 | positions: append(uniqueWordResult[word].positions, strconv.Itoa(position)),
379 | }
380 | }
381 |
382 | position += length
383 | }
384 |
385 | for w, v := range uniqueWordResult {
386 | appendSrting := strconv.Itoa(i) + "," +
387 | strconv.Itoa(int(lake.ID)) + "," +
388 | strconv.Itoa(v.count) + "," +
389 | strconv.Itoa(textLength) + "," +
390 | strings.Join(v.positions, ",") +
391 | "-"
392 |
393 | db.Rdb10.RPush(db.Ctx, w, appendSrting)
394 |
395 | }
396 |
397 | lake.DicDone = 1
398 | realDB.Table(tableName).Save(&lake)
399 | }
400 |
401 | ch <- len(lakes)
402 | }
403 |
404 | type WordResult struct {
405 | count int
406 | positions []string
407 | }
408 |
--------------------------------------------------------------------------------
/db/db.go:
--------------------------------------------------------------------------------
1 | package db
2 |
3 | import (
4 | "context"
5 | "log"
6 | "os"
7 | "time"
8 |
9 | "github.com/go-redis/redis/v8"
10 | "gorm.io/driver/mysql"
11 | "gorm.io/gorm"
12 | "gorm.io/gorm/logger"
13 | )
14 |
15 | // pages 仓库数据库
16 | var DbInstance0 *gorm.DB
17 |
18 | // 如果你有多个数据库，可以取消注释，注册新的 DSN 信息
19 | // var DbInstance1 *gorm.DB
20 |
21 | // 字典数据库
22 | var DbInstanceDic *gorm.DB
23 |
24 | var Ctx = context.Background()
25 | var Rdb *redis.Client
26 | var Rdb10 *redis.Client
27 |
28 | func InitDB() {
29 | // 初始化 GORM
30 |
31 | // 默认仓库数据库
32 | dsn0 := os.Getenv("DB_USERNAME0") + ":" +
33 | os.Getenv("DB_PASSWORD0") + "@(" +
34 | os.Getenv("DB_HOST0") + ":" +
35 | os.Getenv("DB_PORT0") + ")/" +
36 | os.Getenv("DB_DATABASE0") + "?charset=utf8mb4&parseTime=True&loc=Local"
37 |
38 | // 如果你有多个数据库，可以取消注释，注册新的 DSN 信息
39 | // dsn1 := os.Getenv("DB_USERNAME1") + ":" +
40 | // os.Getenv("DB_PASSWORD1") + "@(" +
41 | // os.Getenv("DB_HOST1") + ":" +
42 | // os.Getenv("DB_PORT1") + ")/" +
43 | // os.Getenv("DB_DATABASE1") + "?charset=utf8mb4&parseTime=True&loc=Local"
44 |
45 | // 字典数据库
46 | dsnDic := os.Getenv("DB_USERNAME_DIC") + ":" +
47 | os.Getenv("DB_PASSWORD_DIC") + "@(" +
48 | os.Getenv("DB_HOST_DIC") + ":" +
49 | os.Getenv("DB_PORT_DIC") + ")/" +
50 | os.Getenv("DB_DATABASE_DIC") + "?charset=utf8mb4&parseTime=True&loc=Local"
51 |
52 | // gorm SQL 日志
53 | file, err := os.Create("gorm-log.txt")
54 | if err != nil {
55 | panic(err)
56 | }
57 |
58 | logLevel := logger.Warn
59 | if os.Getenv("APP_DEBUG") == "true" {
60 | logLevel = logger.Info
61 | }
62 | fileLogger := logger.New(
63 | log.New(file, "", log.LstdFlags), // io writer（日志输出的目标，前缀和日志包含的内容——译者注）
64 | logger.Config{
65 | SlowThreshold: time.Second * 6, // 慢 SQL 阈值
66 | LogLevel: logLevel, // 日志级别
67 | IgnoreRecordNotFoundError: true, // 忽略ErrRecordNotFound（记录未找到）错误
68 | Colorful: false, // 禁用彩色打印
69 | },
70 | )
71 |
72 | gormConfig := gorm.Config{
73 | Logger: fileLogger,
74 | }
75 |
76 | _db0, _ := gorm.Open(mysql.Open(dsn0), &gormConfig)
77 | // _db1, _ := gorm.Open(mysql.Open(dsn1), &gormConfig)
78 | _dbDic, _ := gorm.Open(mysql.Open(dsnDic), &gormConfig)
79 |
80 | dbdb0, _ := _db0.DB()
81 | dbdb0.SetMaxIdleConns(1)
82 | dbdb0.SetMaxOpenConns(20)
83 | dbdb0.SetConnMaxLifetime(time.Hour)
84 |
85 | // dbdb1, _ := _db1.DB()
86 | // dbdb1.SetMaxIdleConns(1)
87 | // dbdb1.SetMaxOpenConns(100)
88 | // dbdb1.SetConnMaxLifetime(time.Hour)
89 |
90 | dbdbDic, _ := _dbDic.DB()
91 | dbdbDic.SetMaxIdleConns(1)
92 | dbdbDic.SetMaxOpenConns(20)
93 | dbdbDic.SetConnMaxLifetime(time.Hour)
94 |
95 | DbInstance0 = _db0
96 | // DbInstance1 = _db1
97 | DbInstanceDic = _dbDic
98 |
99 | // 初始化 Redis
100 | // 默认 Redis，用作缓存
101 | Rdb = redis.NewClient(&redis.Options{
102 | Addr: os.Getenv("REDIS_HOST") + os.Getenv("REDIS_PORT"),
103 | Password: os.Getenv("REDIS_PASSWORD"),
104 | DB: 0,
105 | DialTimeout: time.Second,
106 | ReadTimeout: time.Second,
107 | })
108 | // 倒排索引字典生成中转站
109 | Rdb10 = redis.NewClient(&redis.Options{
110 | Addr: os.Getenv("REDIS_HOST") + os.Getenv("REDIS_PORT"),
111 | Password: os.Getenv("REDIS_PASSWORD"),
112 | DB: 10,
113 | DialTimeout: time.Second,
114 | ReadTimeout: time.Second,
115 | })
116 |
117 | }
118 |
--------------------------------------------------------------------------------
/dict/init.go:
--------------------------------------------------------------------------------
1 | package dict
2 |
3 | func Init() {
4 |
5 | }
6 |
--------------------------------------------------------------------------------
/dict/stop_words.utf8:
--------------------------------------------------------------------------------
1 | "
2 | .
3 | 。
4 | ,
5 | 、
6 | ！
7 | ？
8 | ：
9 | ；
10 | `
11 | ﹑
12 | •
13 | ＂
14 | ^
15 | …
16 | ‘
17 | ’
18 | “
19 | ”
20 | 〝
21 | 〞
22 | ~
23 | \
24 | ∕
25 | |
26 | ¦
27 | ‖
28 | —
29 | (
30 | )
31 | 〈
32 | 〉
33 | ﹞
34 | ﹝
35 | 「
36 | 」
37 | ‹
38 | ›
39 | 〖
40 | 〗
41 | 】
42 | 【
43 | »
44 | «
45 | 』
46 | 『
47 | 〕
48 | 〔
49 | 》
50 | 《
51 | }
52 | {
53 | ]
54 | [
55 | ﹐
56 | ¸
57 | ﹕
58 | ︰
59 | ﹔
60 | ;
61 | ！
62 | ¡
63 | ？
64 | ¿
65 | ﹖
66 | ﹌
67 | ﹏
68 | ﹋
69 | ＇
70 | ´
71 | ˊ
72 | ˋ
73 | -
74 | ―
75 | ﹫
76 | @
77 | ︳
78 | ︴
79 | _
80 | ¯
81 | ＿
82 | ￣
83 | ﹢
84 | +
85 | ﹦
86 | =
87 | ﹤
88 | ‐
89 | <
90 |
91 | ˜
92 | ~
93 | ﹟
94 | #
95 | ﹩
96 | $
97 | ﹠
98 | &
99 | ﹪
100 | %
101 | ﹡
102 | *
103 | ﹨
104 | \
105 | ﹍
106 | ﹉
107 | ﹎
108 | ﹊
109 | ˇ
110 | ︵
111 | ︶
112 | ︷
113 | ︸
114 | ︹
115 | ︿
116 | ﹀
117 | ︺
118 | ︽
119 | ︾
120 | _
121 | ˉ
122 | ﹁
123 | ﹂
124 | ﹃
125 | ﹄
126 | ︻
127 | ︼
128 | 的
129 | 了
130 | the
131 | a
132 | an
133 | that
134 | those
135 | this
136 | that
137 | $
138 | 0
139 | 1
140 | 2
141 | 3
142 | 4
143 | 5
144 | 6
145 | 7
146 | 8
147 | 9
148 | ?
149 | _
150 | “
151 | ”
152 | 、
153 | 。
154 | 《
155 | 》
156 | 一
157 | 一些
158 | 一何
159 | 一切
160 | 一则
161 | 一方面
162 | 一旦
163 | 一来
164 | 一样
165 | 一般
166 | 一转眼
167 | 万一
168 | 上
169 | 上下
170 | 下
171 | 不
172 | 不仅
173 | 不但
174 | 不光
175 | 不单
176 | 不只
177 | 不外乎
178 | 不如
179 | 不妨
180 | 不尽
181 | 不尽然
182 | 不得
183 | 不怕
184 | 不惟
185 | 不成
186 | 不拘
187 | 不料
188 | 不是
189 | 不比
190 | 不然
191 | 不特
192 | 不独
193 | 不管
194 | 不至于
195 | 不若
196 | 不论
197 | 不过
198 | 不问
199 | 与
200 | 与其
201 | 与其说
202 | 与否
203 | 与此同时
204 | 且
205 | 且不说
206 | 且说
207 | 两者
208 | 个
209 | 个别
210 | 临
211 | 为
212 | 为了
213 | 为什么
214 | 为何
215 | 为止
216 | 为此
217 | 为着
218 | 乃
219 | 乃至
220 | 乃至于
221 | 么
222 | 之
223 | 之一
224 | 之所以
225 | 之类
226 | 乌乎
227 | 乎
228 | 乘
229 | 也
230 | 也好
231 | 也罢
232 | 了
233 | 二来
234 | 于
235 | 于是
236 | 于是乎
237 | 云云
238 | 云尔
239 | 些
240 | 亦
241 | 人
242 | 人们
243 | 人家
244 | 什么
245 | 什么样
246 | 今
247 | 介于
248 | 仍
249 | 仍旧
250 | 从
251 | 从此
252 | 从而
253 | 他
254 | 他人
255 | 他们
256 | 以
257 | 以上
258 | 以为
259 | 以便
260 | 以免
261 | 以及
262 | 以故
263 | 以期
264 | 以来
265 | 以至
266 | 以至于
267 | 以致
268 | 们
269 | 任
270 | 任何
271 | 任凭
272 | 似的
273 | 但
274 | 但凡
275 | 但是
276 | 何
277 | 何以
278 | 何况
279 | 何处
280 | 何时
281 | 余外
282 | 作为
283 | 你
284 | 你们
285 | 使
286 | 使得
287 | 例如
288 | 依
289 | 依据
290 | 依照
291 | 便于
292 | 俺
293 | 俺们
294 | 倘
295 | 倘使
296 | 倘或
297 | 倘然
298 | 倘若
299 | 借
300 | 假使
301 | 假如
302 | 假若
303 | 傥然
304 | 像
305 | 儿
306 | 先不先
307 | 光是
308 | 全体
309 | 全部
310 | 兮
311 | 关于
312 | 其
313 | 其一
314 | 其中
315 | 其二
316 | 其他
317 | 其余
318 | 其它
319 | 其次
320 | 具体地说
321 | 具体说来
322 | 兼之
323 | 内
324 | 再
325 | 再其次
326 | 再则
327 | 再有
328 | 再者
329 | 再者说
330 | 再说
331 | 冒
332 | 冲
333 | 况且
334 | 几
335 | 几时
336 | 凡
337 | 凡是
338 | 凭
339 | 凭借
340 | 出于
341 | 出来
342 | 分别
343 | 则
344 | 则甚
345 | 别
346 | 别人
347 | 别处
348 | 别是
349 | 别的
350 | 别管
351 | 别说
352 | 到
353 | 前后
354 | 前此
355 | 前者
356 | 加之
357 | 加以
358 | 即
359 | 即令
360 | 即使
361 | 即便
362 | 即如
363 | 即或
364 | 即若
365 | 却
366 | 去
367 | 又
368 | 又及
369 | 及
370 | 及其
371 | 及至
372 | 反之
373 | 反而
374 | 反过来
375 | 反过来说
376 | 受到
377 | 另
378 | 另一方面
379 | 另外
380 | 另悉
381 | 只
382 | 只当
383 | 只怕
384 | 只是
385 | 只有
386 | 只消
387 | 只要
388 | 只限
389 | 叫
390 | 叮咚
391 | 可
392 | 可以
393 | 可是
394 | 可见
395 | 各
396 | 各个
397 | 各位
398 | 各种
399 | 各自
400 | 同
401 | 同时
402 | 后
403 | 后者
404 | 向
405 | 向使
406 | 向着
407 | 吓
408 | 吗
409 | 否则
410 | 吧
411 | 吧哒
412 | 吱
413 | 呀
414 | 呃
415 | 呕
416 | 呗
417 | 呜
418 | 呜呼
419 | 呢
420 | 呵
421 | 呵呵
422 | 呸
423 | 呼哧
424 | 咋
425 | 和
426 | 咚
427 | 咦
428 | 咧
429 | 咱
430 | 咱们
431 | 咳
432 | 哇
433 | 哈
434 | 哈哈
435 | 哉
436 | 哎
437 | 哎呀
438 | 哎哟
439 | 哗
440 | 哟
441 | 哦
442 | 哩
443 | 哪
444 | 哪个
445 | 哪些
446 | 哪儿
447 | 哪天
448 | 哪年
449 | 哪怕
450 | 哪样
451 | 哪边
452 | 哪里
453 | 哼
454 | 哼唷
455 | 唉
456 | 唯有
457 | 啊
458 | 啐
459 | 啥
460 | 啦
461 | 啪达
462 | 啷当
463 | 喂
464 | 喏
465 | 喔唷
466 | 喽
467 | 嗡
468 | 嗡嗡
469 | 嗬
470 | 嗯
471 | 嗳
472 | 嘎
473 | 嘎登
474 | 嘘
475 | 嘛
476 | 嘻
477 | 嘿
478 | 嘿嘿
479 | 因
480 | 因为
481 | 因了
482 | 因此
483 | 因着
484 | 因而
485 | 固然
486 | 在
487 | 在下
488 | 在于
489 | 地
490 | 基于
491 | 处在
492 | 多
493 | 多么
494 | 多少
495 | 大
496 | 大家
497 | 她
498 | 她们
499 | 好
500 | 如
501 | 如上
502 | 如上所述
503 | 如下
504 | 如何
505 | 如其
506 | 如同
507 | 如是
508 | 如果
509 | 如此
510 | 如若
511 | 始而
512 | 孰料
513 | 孰知
514 | 宁
515 | 宁可
516 | 宁愿
517 | 宁肯
518 | 它
519 | 它们
520 | 对
521 | 对于
522 | 对待
523 | 对方
524 | 对比
525 | 将
526 | 小
527 | 尔
528 | 尔后
529 | 尔尔
530 | 尚且
531 | 就
532 | 就是
533 | 就是了
534 | 就是说
535 | 就算
536 | 就要
537 | 尽
538 | 尽管
539 | 尽管如此
540 | 岂但
541 | 己
542 | 已
543 | 已矣
544 | 巴
545 | 巴巴
546 | 并
547 | 并且
548 | 并非
549 | 庶乎
550 | 庶几
551 | 开外
552 | 开始
553 | 归
554 | 归齐
555 | 当
556 | 当地
557 | 当然
558 | 当着
559 | 彼
560 | 彼时
561 | 彼此
562 | 往
563 | 待
564 | 很
565 | 得
566 | 得了
567 | 怎
568 | 怎么
569 | 怎么办
570 | 怎么样
571 | 怎奈
572 | 怎样
573 | 总之
574 | 总的来看
575 | 总的来说
576 | 总的说来
577 | 总而言之
578 | 恰恰相反
579 | 您
580 | 惟其
581 | 慢说
582 | 我
583 | 我们
584 | 或
585 | 或则
586 | 或是
587 | 或曰
588 | 或者
589 | 截至
590 | 所
591 | 所以
592 | 所在
593 | 所幸
594 | 所有
595 | 才
596 | 才能
597 | 打
598 | 打从
599 | 把
600 | 抑或
601 | 拿
602 | 按
603 | 按照
604 | 换句话说
605 | 换言之
606 | 据
607 | 据此
608 | 接着
609 | 故
610 | 故此
611 | 故而
612 | 旁人
613 | 无
614 | 无宁
615 | 无论
616 | 既
617 | 既往
618 | 既是
619 | 既然
620 | 时候
621 | 是
622 | 是以
623 | 是的
624 | 曾
625 | 替
626 | 替代
627 | 最
628 | 有
629 | 有些
630 | 有关
631 | 有及
632 | 有时
633 | 有的
634 | 望
635 | 朝
636 | 朝着
637 | 本
638 | 本人
639 | 本地
640 | 本着
641 | 本身
642 | 来
643 | 来着
644 | 来自
645 | 来说
646 | 极了
647 | 果然
648 | 果真
649 | 某
650 | 某个
651 | 某些
652 | 某某
653 | 根据
654 | 欤
655 | 正值
656 | 正如
657 | 正巧
658 | 正是
659 | 此
660 | 此地
661 | 此处
662 | 此外
663 | 此时
664 | 此次
665 | 此间
666 | 毋宁
667 | 每
668 | 每当
669 | 比
670 | 比及
671 | 比如
672 | 比方
673 | 没奈何
674 | 沿
675 | 沿着
676 | 漫说
677 | 焉
678 | 然则
679 | 然后
680 | 然而
681 | 照
682 | 照着
683 | 犹且
684 | 犹自
685 | 甚且
686 | 甚么
687 | 甚或
688 | 甚而
689 | 甚至
690 | 甚至于
691 | 用
692 | 用来
693 | 由
694 | 由于
695 | 由是
696 | 由此
697 | 由此可见
698 | 的
699 | 的确
700 | 的话
701 | 直到
702 | 相对而言
703 | 省得
704 | 看
705 | 眨眼
706 | 着
707 | 着呢
708 | 矣
709 | 矣乎
710 | 矣哉
711 | 离
712 | 竟而
713 | 第
714 | 等
715 | 等到
716 | 等等
717 | 简言之
718 | 管
719 | 类如
720 | 紧接着
721 | 纵
722 | 纵令
723 | 纵使
724 | 纵然
725 | 经
726 | 经过
727 | 结果
728 | 给
729 | 继之
730 | 继后
731 | 继而
732 | 综上所述
733 | 罢了
734 | 者
735 | 而
736 | 而且
737 | 而况
738 | 而后
739 | 而外
740 | 而已
741 | 而是
742 | 而言
743 | 能
744 | 能否
745 | 腾
746 | 自
747 | 自个儿
748 | 自从
749 | 自各儿
750 | 自后
751 | 自家
752 | 自己
753 | 自打
754 | 自身
755 | 至
756 | 至于
757 | 至今
758 | 至若
759 | 致
760 | 般的
761 | 若
762 | 若夫
763 | 若是
764 | 若果
765 | 若非
766 | 莫不然
767 | 莫如
768 | 莫若
769 | 虽
770 | 虽则
771 | 虽然
772 | 虽说
773 | 被
774 | 要
775 | 要不
776 | 要不是
777 | 要不然
778 | 要么
779 | 要是
780 | 譬喻
781 | 譬如
782 | 让
783 | 许多
784 | 论
785 | 设使
786 | 设或
787 | 设若
788 | 诚如
789 | 诚然
790 | 该
791 | 说来
792 | 诸
793 | 诸位
794 | 诸如
795 | 谁
796 | 谁人
797 | 谁料
798 | 谁知
799 | 贼死
800 | 赖以
801 | 赶
802 | 起
803 | 起见
804 | 趁
805 | 趁着
806 | 越是
807 | 距
808 | 跟
809 | 较
810 | 较之
811 | 边
812 | 过
813 | 还
814 | 还是
815 | 还有
816 | 还要
817 | 这
818 | 这一来
819 | 这个
820 | 这么
821 | 这么些
822 | 这么样
823 | 这么点儿
824 | 这些
825 | 这会儿
826 | 这儿
827 | 这就是说
828 | 这时
829 | 这样
830 | 这次
831 | 这般
832 | 这边
833 | 这里
834 | 进而
835 | 连
836 | 连同
837 | 逐步
838 | 通过
839 | 遵循
840 | 遵照
841 | 那
842 | 那个
843 | 那么
844 | 那么些
845 | 那么样
846 | 那些
847 | 那会儿
848 | 那儿
849 | 那时
850 | 那样
851 | 那般
852 | 那边
853 | 那里
854 | 都
855 | 鄙人
856 | 鉴于
857 | 针对
858 | 阿
859 | 除
860 | 除了
861 | 除外
862 | 除开
863 | 除此之外
864 | 除非
865 | 随
866 | 随后
867 | 随时
868 | 随着
869 | 难道说
870 | 非但
871 | 非徒
872 | 非特
873 | 非独
874 | 靠
875 | 顺
876 | 顺着
877 | 首先
878 | ！
879 | ，
880 | ：
881 | ；
882 | ？
883 | to
884 | can
885 | could
886 | dare
887 | do
888 | did
889 | does
890 | may
891 | might
892 | would
893 | should
894 | must
895 | will
896 | ought
897 | shall
898 | need
899 | is
900 | a
901 | am
902 | are
903 | about
904 | according
905 | after
906 | against
907 | all
908 | almost
909 | also
910 | although
911 | among
912 | an
913 | and
914 | another
915 | any
916 | anything
917 | approximately
918 | as
919 | asked
920 | at
921 | back
922 | because
923 | before
924 | besides
925 | between
926 | both
927 | but
928 | by
929 | call
930 | called
931 | currently
932 | despite
933 | did
934 | do
935 | dr
936 | during
937 | each
938 | earlier
939 | eight
940 | even
941 | eventually
942 | every
943 | everything
944 | five
945 | for
946 | four
947 | from
948 | he
949 | her
950 | here
951 | his
952 | how
953 | however
954 | i
955 | if
956 | in
957 | indeed
958 | instead
959 | it
960 | its
961 | just
962 | last
963 | like
964 | major
965 | many
966 | may
967 | maybe
968 | meanwhile
969 | more
970 | moreover
971 | most
972 | mr
973 | mrs
974 | ms
975 | much
976 | my
977 | neither
978 | net
979 | never
980 | nevertheless
981 | nine
982 | no
983 | none
984 | not
985 | nothing
986 | now
987 | of
988 | on
989 | once
990 | one
991 | only
992 | or
993 | other
994 | our
995 | over
996 | partly
997 | perhaps
998 | prior
999 | regarding
1000 | separately
1001 | seven
1002 | several
1003 | she
1004 | should
1005 | similarly
1006 | since
1007 | six
1008 | so
1009 | some
1010 | somehow
1011 | still
1012 | such
1013 | ten
1014 | that
1015 | the
1016 | their
1017 | then
1018 | there
1019 | therefore
1020 | these
1021 | they
1022 | this
1023 | those
1024 | though
1025 | three
1026 | to
1027 | two
1028 | under
1029 | unless
1030 | unlike
1031 | until
1032 | volume
1033 | we
1034 | what
1035 | whatever
1036 | whats
1037 | when
1038 | where
1039 | which
1040 | while
1041 | why
1042 | with
1043 | without
1044 | yesterday
1045 | yet
1046 | you
1047 | your
1048 | aboard
1049 | about
1050 | above
1051 | according to
1052 | across
1053 | afore
1054 | after
1055 | against
1056 | agin
1057 | along
1058 | alongside
1059 | amid
1060 | amidst
1061 | among
1062 | amongst
1063 | anent
1064 | around
1065 | as
1066 | aslant
1067 | astride
1068 | at
1069 | athwart
1070 | bar
1071 | because of
1072 | before
1073 | behind
1074 | below
1075 | beneath
1076 | beside
1077 | besides
1078 | between
1079 | betwixt
1080 | beyond
1081 | but
1082 | by
1083 | circa
1084 | despite
1085 | down
1086 | during
1087 | due to
1088 | ere
1089 | except
1090 | for
1091 | from
1092 | in
1093 | inside
1094 | into
1095 | less
1096 | like
1097 | mid
1098 | midst
1099 | minus
1100 | near
1101 | next
1102 | nigh
1103 | nigher
1104 | nighest
1105 | notwithstanding
1106 | of
1107 | off
1108 | on
1109 | on to
1110 | onto
1111 | out
1112 | out of
1113 | outside
1114 | over
1115 | past
1116 | pending
1117 | per
1118 | plus
1119 | qua
1120 | re
1121 | round
1122 | sans
1123 | save
1124 | since
1125 | through
1126 | throughout
1127 | thru
1128 | till
1129 | to
1130 | toward
1131 | towards
1132 | under
1133 | underneath
1134 | unlike
1135 | until
1136 | unto
1137 | up
1138 | upon
1139 | versus
1140 | via
1141 | vice
1142 | with
1143 | within
1144 | without
1145 | he
1146 | her
1147 | herself
1148 | hers
1149 | him
1150 | himself
1151 | his
1152 | I
1153 | it
1154 | its
1155 | itself
1156 | me
1157 | mine
1158 | my
1159 | myself
1160 | ours
1161 | she
1162 | their
1163 | theirs
1164 | them
1165 | themselves
1166 | they
1167 | us
1168 | we
1169 | our
1170 | ourselves
1171 | you
1172 | your
1173 | yours
1174 | yourselves
1175 | yourself
1176 | this
1177 | that
1178 | these
1179 | those
1180 | "
1181 | '
1182 | ''
1183 | (
1184 | )
1185 | *LRB*
1186 | *RRB*
1187 | | Key | 22 |Value | 23 |
|---|---|
| 30 | {{ $k }} 31 | | 32 |33 | {{ $v }} 34 | | 35 | {{end}} 36 |
{{ .time }}
19 |{{ .Brief }}
37 |