├── README.md
├── bert_parts
    ├── layers.py
    ├── tokenizer.py
    └── vocab.txt
├── datasource.py
├── finetune.py
└── pretrain.py


/README.md:
--------------------------------------------------------------------------------
 1 | # simple_bert_for_tf2
 2 | A bert layer for TF2.0 model.
 3 | This model is just for understanding the structure of BERT or Transformer layer.
 4 | It can deal with some simple tasks.
 5 | But recommend using huggingface bert as a keras layer to your own model so that you can use the well pretrained weights.
 6 | 
 7 | ## Introduction
 8 | Bert is built as a TF.Keras Layer.  
 9 |   
10 | ## Merits  
11 | 1.Easy to apply bert as a layer in a practical TF2.0 model.  
12 | 2.Using only numpy and Tensorflow2.0 as third party packages.  
13 |   
14 | ## Notes  
15 | 1.Comments are writen in Chinese.  
16 | 2.Dropout are removed according to the study of ALBERT.  
17 | 3.Transformer Block weights are shared cross layers according to ALBERT.  
18 | 4.Pretrain model loss is made up of MLM loss and the loss estimated based on the remaining words. According to the study of ELECTRA.  
19 | 5.No pretrained model language model provided here.  
20 | 6.Vocab.txt is squeezed for a certain project.  
21 |   
22 | --------------------------------------------
23 | ## 简介
24 | 由于想在实际任务中应用bert，而找到的bert tensorflow实现又让我踩了不少坑。  
25 | 因此就动手实现了一个稍微简洁清爽一些的TF2.0 bert。  
26 | 这里的bert继承了keras.layers.Layer类，实际应用时，可以方便地加到keras模型中。
27 | 只是打算跑个bert模型的话，建议直接用huggingface的Transformers，自己动手搭建更多还是为了弄清bert内部的结构。
28 |   
29 | ## 优点：  
30 | 1.写成了一个layer，无论是预训练还是finetune，用起来都方便;  
31 | 2.第三方库只用了TF2.0和numpy，你一定能跑起来;  
32 | 3.中文注释拉满，你一定能看懂每一步.  
33 | 
34 | ## 注意：  
35 | 1.根据ALBER的研究，移除了dropout;  
36 | 2.根据ALBERT的研究，transformer层之间的参数共享（不共享效果好一点，共享后模型体积小，Inference time其实是一样的）;  
37 | 3.根据ELECTRA的研究，预训练时考虑没被mask的单词的损失可以加速模型效果提升（ELECTRA中是判断字符是否被替换），本项目中的loss也是由mlm loss和un-mask单词的loss两部分组成的。如觉不妥，可以直接在pretrain文件的loss定义里将后半部分的loss删去;  
38 | 4.没有提供用大语料加TPU烹饪的预训练模型，如果要读google bert预训练模型里的参数，应该也是可以的。
39 | 不过实际项目中，很可能要根据项目语料重新进行预训练的。  
40 | 5.vocab相较谷歌提供的原版，条目减少了很多。大多用不到，删了让token embedding的weights size减少了很多。可以根据实际项目情况，来替换vocab文件。  
41 | 
42 | 
43 | ## Files
44 | ```
45 | |--bert_parts
46 | |    |--layers.py       bert layer using keras TF2 | 基于keraslayer的bert layer, bert中的组件也被写成了layer放在此文件中
47 | |    |--tokenizer.py    tokenizer for Chinese      | 用于对中文做tokenize的文件
48 | |    |--vocab.txt       vocab file                 | 词典文件，用于将字符转换为token id
49 | |--datasource.py        genarate data              | 产生数据
50 | |--finetune.py          an example for finetune    | 微调的例子
51 | |--pretrain.py          an example for pretrain    | 预训练的例子
52 | ```
53 |   
54 |   
55 | ## Instructions
56 | ```
57 | Pretrain:
58 | python pretrain.py
59 | 
60 | finetune:
61 | python finetune.py
62 | 
63 | test bert_parts
64 | python bert_parts/layers.py
65 | 
66 | test tokenizer(for Chinese text)
67 | python bert_parts/tokenizer.py
68 | ```
69 | 


--------------------------------------------------------------------------------
/bert_parts/layers.py:
--------------------------------------------------------------------------------
  1 | # -*- coding: utf-8 -*-
  2 | import tensorflow as tf
  3 | 
  4 | 
  5 | class MultiHeadAttention(tf.keras.layers.Layer):
  6 |     """多头注意力"""
  7 |     def __init__(self,
  8 |                  heads,
  9 |                  head_size,
 10 |                  key_size=None,
 11 |                  initializer='glorot_uniform',
 12 |                  **kwargs):
 13 |         super(MultiHeadAttention, self).__init__(**kwargs)
 14 |         self.heads = heads
 15 |         self.head_size = head_size
 16 |         self.out_dim = heads * head_size
 17 |         self.key_size = key_size if key_size else head_size
 18 |         self.kernel_initializer = tf.keras.initializers.get(initializer)
 19 | 
 20 |     def build(self, input_shape):
 21 |         super(MultiHeadAttention, self).build(input_shape)
 22 |         self.q_dense = tf.keras.layers.Dense(units=self.heads*self.key_size, kernel_initializer=self.kernel_initializer)
 23 |         self.k_dense = tf.keras.layers.Dense(units=self.heads*self.key_size, kernel_initializer=self.kernel_initializer)
 24 |         self.v_dense = tf.keras.layers.Dense(units=self.heads*self.head_size, kernel_initializer=self.kernel_initializer)
 25 |         self.o_dense = tf.keras.layers.Dense(units=self.out_dim, kernel_initializer=self.kernel_initializer)
 26 | 
 27 |     def call(self, q, k, v, att_mask=None):
 28 |         """
 29 |         padding_mask: 一般来说att_mask等价于padding_mask。将qk的点积结果中padding位置的值变为负无穷，经过softmax之后就是0。主要是为了屏蔽padding信息。
 30 |                       在bert和transformer里都是有这一步的。
 31 |         att_mask: 总体来说是根据应用来定制的，比如transformer做s2s时会有look_ahead_mask，防止decoder看到当前字符的下文信息。
 32 |         """
 33 |         # 先按需计算mask，这里是可以个人定制的
 34 |         if att_mask is not None:
 35 |             mask = tf.cast(tf.expand_dims(att_mask, axis=1), 'float32')  # [B, 1, T]
 36 |             ones = tf.expand_dims(tf.ones(shape=tf.shape(att_mask), dtype=tf.float32), axis=-1)  # [B, F, 1] 默认F和T是相等的
 37 |             att_mask = ones * mask
 38 | 
 39 |         # 输入的x值通过三个不同的dense之后得到q, k, v
 40 |         q = self.q_dense(q)
 41 |         k = self.k_dense(k)
 42 |         v = self.v_dense(v)
 43 | 
 44 |         """
 45 |         b: batch_size, n: num of heads, l: seq_length,  
 46 |         k: key_size, h: head_size (不额外设定时，h = k)
 47 |         """
 48 |         # reshape, [b, l, n*h] → [b, l, n, h]
 49 |         q = tf.reshape(q, [-1, tf.shape(q)[1], self.heads, self.key_size])
 50 |         k = tf.reshape(k, [-1, tf.shape(k)[1], self.heads, self.key_size])
 51 |         v = tf.reshape(v, [- 1, tf.shape(v)[1], self.heads, self.head_size])
 52 | 
 53 |         # attention：qk点积、padding_mask与att_mask、softmax
 54 |         a = tf.einsum('binh,bjnh->bnij', q, k) / self.key_size**0.5
 55 |         if att_mask is not None:
 56 |             att_mask = tf.expand_dims(att_mask, axis=1)  # [B, 1, F, T]
 57 |             adder = (1.0 - att_mask) * -99999
 58 |             a = a + adder
 59 |         a = tf.keras.backend.softmax(a)
 60 | 
 61 |         # softmax值与v做加权平均，输出形状设置成和输入类似
 62 |         o = tf.einsum('bnij,bjnh->binh', a, v)
 63 |         o = tf.reshape(o, (-1, tf.shape(o)[1], self.out_dim))
 64 |         o = self.o_dense(o)
 65 |         return o
 66 | 
 67 | 
 68 | class TransformerBlock(tf.keras.layers.Layer):
 69 |     """
 70 |     transformer
 71 |     """
 72 |     def __init__(self,
 73 |                  heads,
 74 |                  head_size,
 75 |                  intermediate_size,
 76 |                  initializer='glorot_uniform',
 77 |                  **kwargs):
 78 |         super(TransformerBlock, self).__init__(**kwargs)
 79 |         self.heads = heads
 80 |         self.head_size = head_size
 81 |         assert type(head_size) == int, 'head_size type should be int'
 82 |         self.intermediate_size = intermediate_size  # feed-forward的隐层维度
 83 | 
 84 |         self.kernel_initializer = tf.keras.initializers.get(initializer)
 85 | 
 86 |     def build(self, input_shape):
 87 |         super(TransformerBlock, self).build(input_shape)
 88 |         self.multi_att_layer = MultiHeadAttention(heads=self.heads, head_size=self.head_size)
 89 |         self.add = tf.keras.layers.Add()
 90 |         self.ln = tf.keras.layers.LayerNormalization()
 91 |         self.ff_dense1 = tf.keras.layers.Dense(units=self.intermediate_size,
 92 |                                                activation='relu',
 93 |                                                kernel_initializer=self.kernel_initializer)
 94 |         self.ff_dense2 = tf.keras.layers.Dense(units=self.heads*self.head_size,
 95 |                                                activation='relu',
 96 |                                                kernel_initializer=self.kernel_initializer)
 97 | 
 98 |     def call(self, inputs, att_mask=None):
 99 |         # 多头注意力
100 |         x0 = self.multi_att_layer(inputs, inputs, inputs, att_mask=att_mask)
101 |         # 残差连接
102 |         x0 = self.add([x0, inputs])
103 |         # layer normalization
104 |         x0 = self.ln(x0)
105 |         # feed-forward 实际为两层dense，第二层dense输出维度可以设置，但一般和前面的输出一样，就取了n*h
106 |         x1 = self.ff_dense1(x0)
107 |         x1 = self.ff_dense2(x1)
108 |         # 残差连接
109 |         x1 = self.add([x1, x0])
110 |         # layer normalization
111 |         x1 = self.ln(x1)
112 |         return x1
113 | 
114 | 
115 | class SegmentEmbedding(tf.keras.layers.Layer):
116 |     """
117 |     表示断句信息的编码
118 |     就第一个句子全是0，第二个句子全是1,依此类推
119 |     输入只有一个句子的话，加不加segment embedding都是一样的
120 |     """
121 |     def __init__(self,
122 |                  **kwargs):
123 |         super(SegmentEmbedding, self).__init__(**kwargs)
124 | 
125 |     def call(self, inputs):
126 |         """有需要的话可以自定义编写一下"""
127 |         return inputs
128 | 
129 | 
130 | class PositionEmbedding(tf.keras.layers.Layer):
131 |     """
132 |     位置编码
133 |     bert的位置编码是直接加一个矩阵做embedding[max_seq_len * emb_len]，然后和输入相加。
134 |     transformer的位置编码是根据公式计算的，计算完后和其他embedding相加
135 |     除这两种外，还有相对位置编码，transformXL和XLNet里有用到
136 |     """
137 |     def __init__(self,
138 |                  embedding_size,
139 |                  **kwargs):
140 |         super(PositionEmbedding, self).__init__(**kwargs)
141 |         self.embedding_size = embedding_size
142 | 
143 |     def build(self, input_shape):
144 |         super(PositionEmbedding, self).build(input_shape)
145 |         self.posembed = self.add_weight(name='pos_embedding',
146 |                                         shape=(input_shape[1], self.embedding_size),
147 |                                         initializer=tf.keras.initializers.get('zeros'))
148 | 
149 |     def call(self, inputs):
150 |         input_shape = tf.shape(inputs)
151 |         batch_size, seq_len = input_shape[0], input_shape[1]
152 |         pos_embedding = self.posembed[:seq_len]
153 |         pos_embedding = tf.keras.backend.expand_dims(pos_embedding, 0)
154 |         pos_embedding = tf.keras.backend.tile(pos_embedding, [batch_size, 1, 1])
155 |         return pos_embedding + inputs
156 | 
157 | 
158 | class TokenEmbedding(tf.keras.layers.Layer):
159 |     """
160 |     token embedding
161 |     """
162 |     def __init__(self,
163 |                  vocab_size,
164 |                  embedding_size,
165 |                  **kwargs):
166 |         super(TokenEmbedding, self).__init__(**kwargs)
167 |         self.vocab_size = vocab_size
168 |         self.embedding_size = embedding_size
169 | 
170 |     def build(self, input_shape):
171 |         super(TokenEmbedding, self).build(input_shape)
172 |         self.tokenembed = tf.keras.layers.Embedding(input_dim=self.vocab_size,
173 |                                                     output_dim=self.embedding_size)
174 | 
175 |     def call(self, inputs):
176 |         output = self.tokenembed(inputs)
177 |         return output
178 | 
179 | 
180 | class TransTokenEmbedding(tf.keras.layers.Layer):
181 |     """
182 |     使用token embedding的转置矩阵使bert的输出变回到token id
183 |     """
184 |     def __init__(self,
185 |                  token_embedding_weights,
186 |                  **kwargs):
187 |         super(TransTokenEmbedding, self).__init__(**kwargs)
188 |         self.token_embedding_weights = token_embedding_weights
189 | 
190 |     def build(self, input_shape):
191 |         super(TransTokenEmbedding, self).build(input_shape)
192 |         self.transpose_token_emb = tf.keras.backend.transpose(self.token_embedding_weights)
193 |         self.units = tf.shape(self.transpose_token_emb)[1]   # vocab数
194 |         self.bias = self.add_weight(shape=(self.units,),
195 |                                     initializer='zeros')
196 | 
197 |     def call(self, inputs):
198 |         outputs = tf.keras.backend.dot(inputs, self.transpose_token_emb)
199 |         outputs = tf.keras.backend.bias_add(outputs, self.bias)
200 |         outputs = tf.keras.activations.softmax(outputs)
201 |         return outputs
202 | 
203 | 
204 | class BertLayer(tf.keras.layers.Layer):
205 |     """
206 |     bert_parts layer
207 |     可以用过修改transformer的层数，还有输入的最大长度，来调节模型的大小
208 |     可以设置segment embedding，对有断句的输入做embedding
209 |     可以设置attention mask，在特定任务中可能会对attention做特定的mask
210 |     """
211 |     def __init__(self,
212 |                  vocab_size,  # 词表大小
213 |                  embedding_size,  # embedding后的维度，后续操作基本也保持维度到这个大小
214 |                  num_transformer_layers,  # transformer的层数
215 |                  num_attention_heads,  # 多头注意力机制里注意力的头数
216 |                  intermediate_size,  # transformer中feedforward里dense的units数
217 |                  initializer_range=0.02,  # 权重初始化方差，默认0.02
218 |                  **kwargs):
219 |         super(BertLayer, self).__init__(**kwargs)
220 |         assert (embedding_size % num_attention_heads == 0), 'embed_size should be divided exactly by num_att_heads'
221 |         self.vocab_size = vocab_size
222 |         self.embedding_size = embedding_size
223 |         self.num_transformer_layers = num_transformer_layers
224 |         self.num_attention_heads = num_attention_heads
225 |         self.intermediate_size = intermediate_size
226 |         self.initializer_range = initializer_range
227 |         self.initializer = tf.keras.initializers.TruncatedNormal(stddev=self.initializer_range)
228 | 
229 |     def build(self, input_shape):
230 |         super(BertLayer, self).build(input_shape)
231 |         self.tokenembed = TokenEmbedding(vocab_size=self.vocab_size,
232 |                                          embedding_size=self.embedding_size)
233 |         self.posembed = PositionEmbedding(embedding_size=self.embedding_size)
234 |         self.ln = tf.keras.layers.LayerNormalization()
235 |         self.trans_block = TransformerBlock(heads=self.num_attention_heads,
236 |                                             head_size=int(self.embedding_size/self.num_attention_heads),
237 |                                             intermediate_size=self.intermediate_size)
238 | 
239 |     def call(self, inputs):
240 |         # 构建padding mask
241 |         padding_mask = tf.keras.backend.cast(tf.keras.backend.greater(inputs, 0), 'float32')
242 |         # print('complete padding mask')
243 |         # tf.print(padding_mask)
244 | 
245 |         # token embedding
246 |         token_embedding = self.tokenembed(inputs)
247 |         # print('complete token embedding')
248 |         # tf.print(token_embedding)
249 | 
250 |         # position embedding
251 |         position_embedding = self.posembed(token_embedding)
252 |         # print('position embedding')
253 |         # tf.print(position_embedding)
254 | 
255 |         # layer norm
256 |         x = self.ln(position_embedding)
257 |         # print('LN after pos_embedding')
258 |         # tf.print(x)
259 | 
260 |         # transformer blocks
261 |         # 这里是经过同一个transformer多次，参照albert
262 |         for i in range(self.num_transformer_layers):
263 |             x = self.trans_block(x, att_mask=padding_mask)
264 |         # print('after transformer blocks')
265 |         # tf.print(x)
266 |         return x
267 | 
268 | 
269 | if __name__ == '__main__':
270 |     import numpy as np
271 | 
272 |     tf.print('\n1.测试multi head attention(可以打印函数中的a，查看padding mask的效果):')
273 |     tf.print('\nfake inputs, [batch_size, seq_len, embedding_size] → [2, 3, 4]:')
274 |     fake_inputs = tf.random.uniform([2, 3, 4], -1, 1)
275 |     padding_mask = np.array([[1, 0, 0], [1, 1, 0]])
276 |     tf.print(fake_inputs)
277 |     y = MultiHeadAttention(heads=2, head_size=2)(fake_inputs, fake_inputs, fake_inputs, att_mask=padding_mask)
278 |     tf.print('\noutput, [batch_size, seq_len, embedding_size] → [2, 3, 4]:')
279 |     tf.print(y, '\n')
280 | 
281 |     tf.print('\n2.测试transformer block:')
282 |     tf.print('\nfake inputs, [batch_size, seq_len, embedding_size] → [1, 3, 4]:')
283 |     fake_inputs = tf.random.uniform([1, 3, 4], -1, 1)
284 |     tf.print(fake_inputs)
285 |     padding_mask = np.array([[1, 1, 1]])
286 |     y = TransformerBlock(heads=2,
287 |                          head_size=2,
288 |                          intermediate_size=4)(fake_inputs, att_mask=padding_mask)
289 |     tf.print('\noutput, [batch_size, seq_len, embedding_size] → [1, 3, 4]:')
290 |     tf.print(y, '\n')
291 | 
292 |     tf.print('\n3.测试position embedding(因为用zeros初始化position embedding，所以输出和输入应该一样):')
293 |     tf.print('\nfake inputs, [batch_size, seq_len, embedding_size] → [2, 3, 4]:')
294 |     fake_inputs = tf.random.uniform([2, 3, 4], -1, 1)
295 |     tf.print(fake_inputs)
296 |     y = PositionEmbedding(embedding_size=4)(fake_inputs)
297 |     tf.print('\noutput, [batch_size, seq_len, embedding_size] → [2, 3, 4]:')
298 |     tf.print(y, '\n')
299 | 
300 |     tf.print('\n4.测试token embedding:')
301 |     tf.print('\nfake inputs, [batch_size, seq_len] → [2, 5]:')
302 |     fake_inputs = np.array([[4, 5, 6, 7, 8], [20, 21, 22, 23, 45]])
303 |     tf.print(fake_inputs)
304 |     y = TokenEmbedding(vocab_size=64, embedding_size=6)(fake_inputs)
305 |     tf.print('\noutput, [batch_size, seq_len, embedding_size] → [2, 5, 6]:')
306 |     tf.print(y, '\n')
307 | 
308 |     tf.print('\n5.测试bert layer:')
309 |     tf.print('\nfake inputs, [batch_size, seq_len] → [3, 5]:')
310 |     fake_inputs = np.array([[4, 5, 6, 0, 0],
311 |                             [20, 21, 22, 23, 45],
312 |                             [20, 21, 22, 23, 45]])
313 |     tf.print(fake_inputs)
314 |     y = BertLayer(vocab_size=64,
315 |                   embedding_size=16,
316 |                   num_transformer_layers=3,
317 |                   num_attention_heads=4,
318 |                   intermediate_size=32)(fake_inputs)
319 |     tf.print('\noutput, [batch_size, seq_len, embedding_size] → [3, 5, 16]:')
320 |     tf.print(y, '\n')
321 | 
322 |     tf.print('\n6.测试TransTokenEmbedding:')
323 |     tf.print('\nfake inputs, [batch_size, seq_len] → [3, 5]:')
324 |     fake_inputs = np.array([[4, 5, 6, 0, 0],
325 |                             [20, 21, 22, 23, 45],
326 |                             [20, 21, 22, 23, 45]])
327 |     tinybert = BertLayer(vocab_size=64,
328 |                          embedding_size=16,
329 |                          num_transformer_layers=3,
330 |                          num_attention_heads=4,
331 |                          intermediate_size=32)
332 |     y = tinybert(fake_inputs)
333 |     tf.print('\n bert_parts layer outputs, [batch_size, seq_len, embedding_size] → [3, 5, 16]:')
334 |     tf.print(y)
335 |     tf.print('shape:', tf.shape(y))
336 |     new_token_ids = TransTokenEmbedding(tinybert.weights[0])(y)
337 |     tf.print('\n bert_parts layer output to vocab embedding, [batch_size, seq_len, vocab_size] → [3, 5, 64]:')
338 |     tf.print(new_token_ids)
339 |     tf.print('shape:', tf.shape(new_token_ids))


--------------------------------------------------------------------------------
/bert_parts/tokenizer.py:
--------------------------------------------------------------------------------
  1 | # -*- coding: utf-8 -*-
  2 | import numpy as np
  3 | 
  4 | with open('bert_parts/vocab.txt', 'r', encoding='utf-8') as handle:
  5 |     vocab = handle.readlines()
  6 | vocab = [x.strip() for x in vocab]
  7 | vocab2id_dic = dict(zip(vocab, list(range(len(vocab)))))
  8 | id2vocab_dic = dict(zip(list(range(len(vocab))), vocab))
  9 | 
 10 | 
 11 | def truncate(text, seq_max_len):
 12 |     """
 13 |     截断，因为开头留给cls，所以输入的最大长度是maxlen-1
 14 |     :param text: 输入的string
 15 |     :param seq_max_len: token ids的长度，也是模型允许输入的最大长度
 16 |     :return: 截断后的string
 17 |     """
 18 |     if len(text) > seq_max_len - 1:
 19 |         return text[:seq_max_len-1]
 20 |     else:
 21 |         return text
 22 | 
 23 | 
 24 | def decorate(char_list):
 25 |     """
 26 |     加上cls，根据场景不同加的标识也不同，比如两个句子的就要加sep。根据场景不同可以更改
 27 |     :param char_list: 由char组成的list
 28 |     :return: 加上[cls]等标识后的char list
 29 |     """
 30 |     char_list = ['[CLS]'] + char_list
 31 |     return char_list
 32 | 
 33 | 
 34 | def padding(char_list, seq_max_len):
 35 |     """
 36 |     没到seq max len的句子，用pad补全
 37 |     :param char_list: 由char组成的list
 38 |     :param seq_max_len: token ids的长度，也是模型允许输入的最大长度
 39 |     :return: padding后的char list
 40 |     """
 41 |     char_list = char_list + ['[PAD]'] * (seq_max_len - len(char_list))
 42 |     return char_list
 43 | 
 44 | 
 45 | def vocab2id(char_list):
 46 |     """
 47 |     字符的list，按照词表字典，转换成id的list
 48 |     :param char_list: 由char组成的list
 49 |     :return:由id组成的list
 50 |     """
 51 |     id_list = []
 52 |     for i in range(len(char_list)):
 53 |         if char_list[i] in vocab2id_dic.keys():
 54 |             id_list.append(vocab2id_dic.get(char_list[i]))
 55 |         else:
 56 |             id_list.append(vocab2id_dic.get('[UNK]'))
 57 |     return id_list
 58 | 
 59 | 
 60 | def id2vocab(id_list):
 61 |     """
 62 |     id的list，按照词表字典的反向，转换成字符的list
 63 |     :param id_list:
 64 |     :return:
 65 |     """
 66 |     char_list = []
 67 |     for i in range(len(id_list)):
 68 |         if id_list[i] in id2vocab_dic.keys():
 69 |             char_list.append(id2vocab_dic.get(id_list[i]))
 70 |         else:
 71 |             char_list.append('*')
 72 |     return char_list
 73 | 
 74 | 
 75 | def str2idlist(text, seq_max_len):
 76 |     """
 77 |     字符串转换成id的list
 78 |     :param text: string
 79 |     :param seq_max_len: token ids的长度，也是模型允许输入的最大长度
 80 |     :return: id组成的一个list
 81 |     """
 82 |     text = truncate(text, seq_max_len)
 83 |     char_list = list(text)
 84 |     char_list = decorate(char_list)
 85 |     char_list = padding(char_list, seq_max_len)
 86 |     id_list = vocab2id(char_list)
 87 |     return id_list
 88 | 
 89 | 
 90 | def idlist2str(id_list):
 91 |     """
 92 |     id的list，转换成字符后，拼接成字符串
 93 |     :param id_list: id组成的list
 94 |     :return: string
 95 |     """
 96 |     char_list = id2vocab(id_list)
 97 |     print(char_list)
 98 |     str = ''
 99 |     for x in char_list:
100 |         if x not in {'[PAD]', '[UNK]', '[CLS]', '[SEP]', '[MASK]'}:
101 |             str += x
102 |     return str
103 | 
104 | 
105 | def AddMask(inputs, seq_max_len, mask_rate=0.15, mask_value=4):
106 |     """
107 |     对token ids做随机15%的mask。[MASK]的id默认为4。
108 |     :param inputs: numpy array的输入，[batch_size, seq_man_len]
109 |     :param seq_max_len: token ids的长度，也是模型允许输入的最大长度
110 |     :param mask_rate: 随机mask的比例，默认为15%
111 |     :param mask_value: [MASK]在vocab中的id，默认是4
112 |     :return:mask后的inputs[batch_size, seq_man_len]，mask的位置[batch_size, seq_man_len]
113 |     """
114 |     padding_mask = (np.array(inputs) > 0).astype(int)  # 不是pad的部分都标为1，pad的都是0
115 |     padding_sum = np.sum(padding_mask, axis=1)   # 把不是pad的部分count一下（包含了cls）
116 |     mask_char_num = np.ceil(padding_sum * mask_rate).astype(int)
117 |     mask_list = []
118 |     for i in range(len(mask_char_num)):
119 |         if padding_sum[i] == 2:   # 除了cls以外，只有一个字符，就不pad了
120 |             posi = np.random.choice(a=np.arange(1, padding_sum[i]), size=0, replace=False)
121 |             mask_list.append(np.sum(np.eye(seq_max_len)[posi], axis=0))
122 |         else:
123 |             posi = np.random.choice(a=np.arange(1, padding_sum[i]), size=mask_char_num[i], replace=False)
124 |             mask_list.append(np.sum(np.eye(seq_max_len)[posi], axis=0))
125 |     mask_list = np.array(mask_list)
126 |     mask_value_matrix = mask_list * mask_value   # 把该mask的地方都变成mask的token id
127 |     masked_inputs = (mask_list == 0).astype(int)
128 |     outputs = (inputs * masked_inputs + mask_value_matrix).astype(int)
129 |     return outputs, mask_list
130 | 
131 | 
132 | if __name__ == '__main__':
133 |     text = '0001威猛先生厨房重油污净双包装500g洗洁精225g12'
134 |     print('input:')
135 |     print(text)
136 |     print()
137 | 
138 |     id_l = str2idlist(text, seq_max_len=10)
139 |     print('string to ids list, seq_max_len = 10:')
140 |     print(id_l)
141 |     print()
142 | 
143 |     id_l = str2idlist(text, seq_max_len=100)
144 |     print('string to ids list, seq_max_len = 100:')
145 |     print(id_l)
146 |     print()
147 | 
148 |     masked_id_l, mask = AddMask([id_l], seq_max_len=100)
149 |     print('masked id list, seq_max_len = 100:')
150 |     print(masked_id_l)
151 |     print('mask:')
152 |     print(mask)
153 |     print()
154 | 
155 |     masked_id_l_to_char = id2vocab(masked_id_l[0])
156 |     print('masked id list to char list:')
157 |     print(masked_id_l_to_char)
158 | 


--------------------------------------------------------------------------------
/bert_parts/vocab.txt:
--------------------------------------------------------------------------------
   1 | [PAD]
   2 | [UNK]
   3 | [CLS]
   4 | [SEP]
   5 | [MASK]
   6 | 0
   7 | 1
   8 | 2
   9 | 3
  10 | 4
  11 | 5
  12 | 6
  13 | 7
  14 | 8
  15 | 9
  16 | a
  17 | b
  18 | c
  19 | d
  20 | e
  21 | f
  22 | g
  23 | h
  24 | i
  25 | j
  26 | k
  27 | l
  28 | m
  29 | n
  30 | o
  31 | p
  32 | q
  33 | r
  34 | s
  35 | t
  36 | u
  37 | v
  38 | w
  39 | x
  40 | y
  41 | z
  42 | 《
  43 | 》
  44 | 一
  45 | 丁
  46 | 七
  47 | 万
  48 | 丈
  49 | 三
  50 | 上
  51 | 下
  52 | 不
  53 | 与
  54 | 丐
  55 | 丑
  56 | 专
  57 | 且
  58 | 丕
  59 | 世
  60 | 丘
  61 | 丙
  62 | 业
  63 | 丛
  64 | 东
  65 | 丝
  66 | 丞
  67 | 丟
  68 | 両
  69 | 丢
  70 | 两
  71 | 严
  72 | 並
  73 | 丧
  74 | 丨
  75 | 个
  76 | 丫
  77 | 中
  78 | 丰
  79 | 串
  80 | 临
  81 | 丶
  82 | 丸
  83 | 丹
  84 | 为
  85 | 主
  86 | 丼
  87 | 丽
  88 | 举
  89 | 丿
  90 | 乂
  91 | 乃
  92 | 久
  93 | 么
  94 | 义
  95 | 之
  96 | 乌
  97 | 乍
  98 | 乎
  99 | 乏
 100 | 乐
 101 | 乒
 102 | 乓
 103 | 乔
 104 | 乖
 105 | 乗
 106 | 乘
 107 | 乙
 108 | 乜
 109 | 九
 110 | 乞
 111 | 也
 112 | 习
 113 | 乡
 114 | 书
 115 | 乩
 116 | 买
 117 | 乱
 118 | 乳
 119 | 乾
 120 | 亀
 121 | 亂
 122 | 了
 123 | 予
 124 | 争
 125 | 事
 126 | 二
 127 | 于
 128 | 亏
 129 | 云
 130 | 互
 131 | 五
 132 | 井
 133 | 亘
 134 | 亙
 135 | 亚
 136 | 些
 137 | 亜
 138 | 亞
 139 | 亟
 140 | 亡
 141 | 亢
 142 | 交
 143 | 亥
 144 | 亦
 145 | 产
 146 | 亨
 147 | 亩
 148 | 享
 149 | 京
 150 | 亭
 151 | 亮
 152 | 亲
 153 | 亳
 154 | 亵
 155 | 人
 156 | 亿
 157 | 什
 158 | 仁
 159 | 仃
 160 | 仄
 161 | 仅
 162 | 仆
 163 | 仇
 164 | 今
 165 | 介
 166 | 仍
 167 | 从
 168 | 仏
 169 | 仑
 170 | 仓
 171 | 仔
 172 | 仕
 173 | 他
 174 | 仗
 175 | 付
 176 | 仙
 177 | 仝
 178 | 仞
 179 | 仟
 180 | 代
 181 | 令
 182 | 以
 183 | 仨
 184 | 仪
 185 | 们
 186 | 仮
 187 | 仰
 188 | 仲
 189 | 件
 190 | 价
 191 | 任
 192 | 份
 193 | 仿
 194 | 企
 195 | 伉
 196 | 伊
 197 | 伍
 198 | 伎
 199 | 伏
 200 | 伐
 201 | 休
 202 | 伕
 203 | 众
 204 | 优
 205 | 伙
 206 | 会
 207 | 伝
 208 | 伞
 209 | 伟
 210 | 传
 211 | 伢
 212 | 伤
 213 | 伦
 214 | 伪
 215 | 伫
 216 | 伯
 217 | 估
 218 | 伴
 219 | 伶
 220 | 伸
 221 | 伺
 222 | 似
 223 | 伽
 224 | 佃
 225 | 但
 226 | 佇
 227 | 佈
 228 | 位
 229 | 低
 230 | 住
 231 | 佐
 232 | 佑
 233 | 体
 234 | 佔
 235 | 何
 236 | 佗
 237 | 佘
 238 | 余
 239 | 佚
 240 | 佛
 241 | 作
 242 | 佝
 243 | 佞
 244 | 佟
 245 | 你
 246 | 佢
 247 | 佣
 248 | 佤
 249 | 佥
 250 | 佩
 251 | 佬
 252 | 佯
 253 | 佰
 254 | 佳
 255 | 併
 256 | 佶
 257 | 佻
 258 | 佼
 259 | 使
 260 | 侃
 261 | 侄
 262 | 來
 263 | 侈
 264 | 例
 265 | 侍
 266 | 侏
 267 | 侑
 268 | 侖
 269 | 侗
 270 | 供
 271 | 依
 272 | 侠
 273 | 価
 274 | 侣
 275 | 侥
 276 | 侦
 277 | 侧
 278 | 侨
 279 | 侬
 280 | 侮
 281 | 侯
 282 | 侵
 283 | 侶
 284 | 侷
 285 | 便
 286 | 係
 287 | 促
 288 | 俄
 289 | 俊
 290 | 俎
 291 | 俏
 292 | 俐
 293 | 俑
 294 | 俗
 295 | 俘
 296 | 俚
 297 | 保
 298 | 俞
 299 | 俟
 300 | 俠
 301 | 信
 302 | 俨
 303 | 俩
 304 | 俪
 305 | 俬
 306 | 俭
 307 | 修
 308 | 俯
 309 | 俱
 310 | 俳
 311 | 俸
 312 | 俺
 313 | 俾
 314 | 倆
 315 | 倉
 316 | 個
 317 | 倌
 318 | 倍
 319 | 倏
 320 | 們
 321 | 倒
 322 | 倔
 323 | 倖
 324 | 倘
 325 | 候
 326 | 倚
 327 | 倜
 328 | 借
 329 | 倡
 330 | 値
 331 | 倦
 332 | 倩
 333 | 倪
 334 | 倫
 335 | 倬
 336 | 倭
 337 | 倶
 338 | 债
 339 | 值
 340 | 倾
 341 | 偃
 342 | 假
 343 | 偈
 344 | 偉
 345 | 偌
 346 | 偎
 347 | 偏
 348 | 偕
 349 | 做
 350 | 停
 351 | 健
 352 | 側
 353 | 偵
 354 | 偶
 355 | 偷
 356 | 偻
 357 | 偽
 358 | 偿
 359 | 傀
 360 | 傅
 361 | 傍
 362 | 傑
 363 | 傘
 364 | 備
 365 | 傚
 366 | 傢
 367 | 傣
 368 | 傥
 369 | 储
 370 | 傩
 371 | 催
 372 | 傭
 373 | 傲
 374 | 傳
 375 | 債
 376 | 傷
 377 | 傻
 378 | 傾
 379 | 僅
 380 | 働
 381 | 像
 382 | 僑
 383 | 僕
 384 | 僖
 385 | 僚
 386 | 僥
 387 | 僧
 388 | 僭
 389 | 僮
 390 | 僱
 391 | 僵
 392 | 價
 393 | 僻
 394 | 儀
 395 | 儂
 396 | 億
 397 | 儆
 398 | 儉
 399 | 儋
 400 | 儒
 401 | 儕
 402 | 儘
 403 | 償
 404 | 儡
 405 | 優
 406 | 儲
 407 | 儷
 408 | 儼
 409 | 儿
 410 | 兀
 411 | 允
 412 | 元
 413 | 兄
 414 | 充
 415 | 兆
 416 | 兇
 417 | 先
 418 | 光
 419 | 克
 420 | 兌
 421 | 免
 422 | 児
 423 | 兑
 424 | 兒
 425 | 兔
 426 | 兖
 427 | 党
 428 | 兜
 429 | 兢
 430 | 入
 431 | 內
 432 | 全
 433 | 兩
 434 | 八
 435 | 公
 436 | 六
 437 | 兮
 438 | 兰
 439 | 共
 440 | 兲
 441 | 关
 442 | 兴
 443 | 兵
 444 | 其
 445 | 具
 446 | 典
 447 | 兹
 448 | 养
 449 | 兼
 450 | 兽
 451 | 冀
 452 | 内
 453 | 円
 454 | 冇
 455 | 冈
 456 | 冉
 457 | 冊
 458 | 册
 459 | 再
 460 | 冏
 461 | 冒
 462 | 冕
 463 | 冗
 464 | 写
 465 | 军
 466 | 农
 467 | 冠
 468 | 冢
 469 | 冤
 470 | 冥
 471 | 冨
 472 | 冪
 473 | 冬
 474 | 冯
 475 | 冰
 476 | 冲
 477 | 决
 478 | 况
 479 | 冶
 480 | 冷
 481 | 冻
 482 | 冼
 483 | 冽
 484 | 冾
 485 | 净
 486 | 凄
 487 | 准
 488 | 凇
 489 | 凈
 490 | 凉
 491 | 凋
 492 | 凌
 493 | 凍
 494 | 减
 495 | 凑
 496 | 凛
 497 | 凜
 498 | 凝
 499 | 几
 500 | 凡
 501 | 凤
 502 | 処
 503 | 凪
 504 | 凭
 505 | 凯
 506 | 凰
 507 | 凱
 508 | 凳
 509 | 凶
 510 | 凸
 511 | 凹
 512 | 出
 513 | 击
 514 | 函
 515 | 凿
 516 | 刀
 517 | 刁
 518 | 刃
 519 | 分
 520 | 切
 521 | 刈
 522 | 刊
 523 | 刍
 524 | 刎
 525 | 刑
 526 | 划
 527 | 列
 528 | 刘
 529 | 则
 530 | 刚
 531 | 创
 532 | 初
 533 | 删
 534 | 判
 535 | 別
 536 | 刨
 537 | 利
 538 | 刪
 539 | 别
 540 | 刮
 541 | 到
 542 | 制
 543 | 刷
 544 | 券
 545 | 刹
 546 | 刺
 547 | 刻
 548 | 刽
 549 | 剁
 550 | 剂
 551 | 剃
 552 | 則
 553 | 剉
 554 | 削
 555 | 剋
 556 | 剌
 557 | 前
 558 | 剎
 559 | 剐
 560 | 剑
 561 | 剔
 562 | 剖
 563 | 剛
 564 | 剜
 565 | 剝
 566 | 剣
 567 | 剤
 568 | 剥
 569 | 剧
 570 | 剩
 571 | 剪
 572 | 副
 573 | 割
 574 | 創
 575 | 剷
 576 | 剽
 577 | 剿
 578 | 劃
 579 | 劇
 580 | 劈
 581 | 劉
 582 | 劊
 583 | 劍
 584 | 劏
 585 | 劑
 586 | 力
 587 | 劝
 588 | 办
 589 | 功
 590 | 加
 591 | 务
 592 | 劣
 593 | 动
 594 | 助
 595 | 努
 596 | 劫
 597 | 劭
 598 | 励
 599 | 劲
 600 | 劳
 601 | 労
 602 | 劵
 603 | 効
 604 | 劾
 605 | 势
 606 | 勁
 607 | 勃
 608 | 勇
 609 | 勉
 610 | 勋
 611 | 勐
 612 | 勒
 613 | 動
 614 | 勖
 615 | 勘
 616 | 務
 617 | 勛
 618 | 勝
 619 | 勞
 620 | 募
 621 | 勢
 622 | 勤
 623 | 勧
 624 | 勳
 625 | 勵
 626 | 勸
 627 | 勺
 628 | 勻
 629 | 勾
 630 | 勿
 631 | 匀
 632 | 包
 633 | 匆
 634 | 匈
 635 | 匍
 636 | 匐
 637 | 匕
 638 | 化
 639 | 北
 640 | 匙
 641 | 匝
 642 | 匠
 643 | 匡
 644 | 匣
 645 | 匪
 646 | 匮
 647 | 匯
 648 | 匱
 649 | 匹
 650 | 区
 651 | 医
 652 | 匾
 653 | 匿
 654 | 區
 655 | 十
 656 | 千
 657 | 卅
 658 | 升
 659 | 午
 660 | 卉
 661 | 半
 662 | 卍
 663 | 华
 664 | 协
 665 | 卑
 666 | 卒
 667 | 卓
 668 | 協
 669 | 单
 670 | 卖
 671 | 南
 672 | 単
 673 | 博
 674 | 卜
 675 | 卞
 676 | 卟
 677 | 占
 678 | 卡
 679 | 卢
 680 | 卤
 681 | 卦
 682 | 卧
 683 | 卫
 684 | 卮
 685 | 卯
 686 | 印
 687 | 危
 688 | 即
 689 | 却
 690 | 卵
 691 | 卷
 692 | 卸
 693 | 卻
 694 | 卿
 695 | 厂
 696 | 厄
 697 | 厅
 698 | 历
 699 | 厉
 700 | 压
 701 | 厌
 702 | 厕
 703 | 厘
 704 | 厚
 705 | 厝
 706 | 原
 707 | 厢
 708 | 厥
 709 | 厦
 710 | 厨
 711 | 厩
 712 | 厭
 713 | 厮
 714 | 厲
 715 | 厳
 716 | 去
 717 | 县
 718 | 叁
 719 | 参
 720 | 參
 721 | 又
 722 | 叉
 723 | 及
 724 | 友
 725 | 双
 726 | 反
 727 | 収
 728 | 发
 729 | 叔
 730 | 取
 731 | 受
 732 | 变
 733 | 叙
 734 | 叛
 735 | 叟
 736 | 叠
 737 | 叡
 738 | 叢
 739 | 口
 740 | 古
 741 | 句
 742 | 另
 743 | 叨
 744 | 叩
 745 | 只
 746 | 叫
 747 | 召
 748 | 叭
 749 | 叮
 750 | 可
 751 | 台
 752 | 叱
 753 | 史
 754 | 右
 755 | 叵
 756 | 叶
 757 | 号
 758 | 司
 759 | 叹
 760 | 叻
 761 | 叼
 762 | 叽
 763 | 吁
 764 | 吃
 765 | 各
 766 | 吆
 767 | 合
 768 | 吉
 769 | 吊
 770 | 吋
 771 | 同
 772 | 名
 773 | 后
 774 | 吏
 775 | 吐
 776 | 向
 777 | 吒
 778 | 吓
 779 | 吕
 780 | 吖
 781 | 吗
 782 | 君
 783 | 吝
 784 | 吞
 785 | 吟
 786 | 吠
 787 | 吡
 788 | 否
 789 | 吧
 790 | 吨
 791 | 吩
 792 | 含
 793 | 听
 794 | 吭
 795 | 吮
 796 | 启
 797 | 吱
 798 | 吳
 799 | 吴
 800 | 吵
 801 | 吶
 802 | 吸
 803 | 吹
 804 | 吻
 805 | 吼
 806 | 吽
 807 | 吾
 808 | 呀
 809 | 呂
 810 | 呃
 811 | 呆
 812 | 呈
 813 | 告
 814 | 呋
 815 | 呎
 816 | 呐
 817 | 呓
 818 | 呕
 819 | 呗
 820 | 员
 821 | 呛
 822 | 呜
 823 | 呢
 824 | 呤
 825 | 呦
 826 | 周
 827 | 呱
 828 | 呲
 829 | 味
 830 | 呵
 831 | 呷
 832 | 呸
 833 | 呻
 834 | 呼
 835 | 命
 836 | 咀
 837 | 咁
 838 | 咂
 839 | 咄
 840 | 咆
 841 | 咋
 842 | 和
 843 | 咎
 844 | 咏
 845 | 咐
 846 | 咒
 847 | 咔
 848 | 咕
 849 | 咖
 850 | 咗
 851 | 咘
 852 | 咙
 853 | 咚
 854 | 咛
 855 | 咣
 856 | 咤
 857 | 咦
 858 | 咧
 859 | 咨
 860 | 咩
 861 | 咪
 862 | 咫
 863 | 咬
 864 | 咭
 865 | 咯
 866 | 咱
 867 | 咲
 868 | 咳
 869 | 咸
 870 | 咻
 871 | 咽
 872 | 咿
 873 | 哀
 874 | 品
 875 | 哂
 876 | 哄
 877 | 哆
 878 | 哇
 879 | 哈
 880 | 哉
 881 | 哋
 882 | 哌
 883 | 响
 884 | 哎
 885 | 哏
 886 | 哐
 887 | 哑
 888 | 哒
 889 | 哔
 890 | 哗
 891 | 哟
 892 | 員
 893 | 哥
 894 | 哦
 895 | 哧
 896 | 哨
 897 | 哩
 898 | 哪
 899 | 哭
 900 | 哮
 901 | 哲
 902 | 哺
 903 | 哼
 904 | 哽
 905 | 唁
 906 | 唄
 907 | 唆
 908 | 唇
 909 | 唉
 910 | 唏
 911 | 唐
 912 | 唑
 913 | 唔
 914 | 唠
 915 | 唤
 916 | 唧
 917 | 唬
 918 | 售
 919 | 唯
 920 | 唰
 921 | 唱
 922 | 唳
 923 | 唷
 924 | 唸
 925 | 唾
 926 | 啃
 927 | 啄
 928 | 商
 929 | 啉
 930 | 啊
 931 | 問
 932 | 啓
 933 | 啕
 934 | 啖
 935 | 啜
 936 | 啞
 937 | 啟
 938 | 啡
 939 | 啤
 940 | 啥
 941 | 啦
 942 | 啧
 943 | 啪
 944 | 啫
 945 | 啬
 946 | 啮
 947 | 啰
 948 | 啱
 949 | 啲
 950 | 啵
 951 | 啶
 952 | 啷
 953 | 啸
 954 | 啻
 955 | 啼
 956 | 啾
 957 | 喀
 958 | 喂
 959 | 喃
 960 | 善
 961 | 喆
 962 | 喇
 963 | 喉
 964 | 喊
 965 | 喋
 966 | 喎
 967 | 喏
 968 | 喔
 969 | 喘
 970 | 喙
 971 | 喚
 972 | 喜
 973 | 喝
 974 | 喟
 975 | 喧
 976 | 喪
 977 | 喫
 978 | 喬
 979 | 單
 980 | 喰
 981 | 喱
 982 | 喲
 983 | 喳
 984 | 喵
 985 | 営
 986 | 喷
 987 | 喹
 988 | 喺
 989 | 喻
 990 | 喽
 991 | 嗅
 992 | 嗆
 993 | 嗇
 994 | 嗎
 995 | 嗑
 996 | 嗒
 997 | 嗓
 998 | 嗔
 999 | 嗖
1000 | 嗚
1001 | 嗜
1002 | 嗝
1003 | 嗟
1004 | 嗡
1005 | 嗣
1006 | 嗤
1007 | 嗦
1008 | 嗨
1009 | 嗪
1010 | 嗬
1011 | 嗯
1012 | 嗰
1013 | 嗲
1014 | 嗳
1015 | 嗶
1016 | 嗷
1017 | 嗽
1018 | 嘀
1019 | 嘅
1020 | 嘆
1021 | 嘈
1022 | 嘉
1023 | 嘌
1024 | 嘍
1025 | 嘎
1026 | 嘔
1027 | 嘖
1028 | 嘗
1029 | 嘘
1030 | 嘚
1031 | 嘛
1032 | 嘜
1033 | 嘞
1034 | 嘟
1035 | 嘢
1036 | 嘣
1037 | 嘤
1038 | 嘧
1039 | 嘩
1040 | 嘭
1041 | 嘮
1042 | 嘯
1043 | 嘰
1044 | 嘱
1045 | 嘲
1046 | 嘴
1047 | 嘶
1048 | 嘸
1049 | 嘹
1050 | 嘻
1051 | 嘿
1052 | 噁
1053 | 噌
1054 | 噎
1055 | 噓
1056 | 噔
1057 | 噗
1058 | 噙
1059 | 噜
1060 | 噠
1061 | 噢
1062 | 噤
1063 | 器
1064 | 噩
1065 | 噪
1066 | 噬
1067 | 噱
1068 | 噴
1069 | 噶
1070 | 噸
1071 | 噹
1072 | 噻
1073 | 噼
1074 | 嚀
1075 | 嚇
1076 | 嚎
1077 | 嚏
1078 | 嚐
1079 | 嚓
1080 | 嚕
1081 | 嚟
1082 | 嚣
1083 | 嚥
1084 | 嚨
1085 | 嚮
1086 | 嚴
1087 | 嚷
1088 | 嚼
1089 | 囂
1090 | 囉
1091 | 囊
1092 | 囍
1093 | 囑
1094 | 囔
1095 | 囗
1096 | 囚
1097 | 四
1098 | 囝
1099 | 回
1100 | 囟
1101 | 因
1102 | 囡
1103 | 团
1104 | 団
1105 | 囤
1106 | 囧
1107 | 囪
1108 | 囫
1109 | 园
1110 | 困
1111 | 囱
1112 | 囲
1113 | 図
1114 | 围
1115 | 囹
1116 | 固
1117 | 国
1118 | 图
1119 | 囿
1120 | 圃
1121 | 圄
1122 | 圆
1123 | 圈
1124 | 國
1125 | 圍
1126 | 圏
1127 | 園
1128 | 圓
1129 | 圖
1130 | 團
1131 | 圜
1132 | 土
1133 | 圣
1134 | 圧
1135 | 在
1136 | 圩
1137 | 圭
1138 | 地
1139 | 圳
1140 | 场
1141 | 圻
1142 | 圾
1143 | 址
1144 | 坂
1145 | 均
1146 | 坊
1147 | 坍
1148 | 坎
1149 | 坏
1150 | 坐
1151 | 坑
1152 | 块
1153 | 坚
1154 | 坛
1155 | 坝
1156 | 坞
1157 | 坟
1158 | 坠
1159 | 坡
1160 | 坤
1161 | 坦
1162 | 坨
1163 | 坪
1164 | 坯
1165 | 坳
1166 | 坵
1167 | 坷
1168 | 垂
1169 | 垃
1170 | 垄
1171 | 型
1172 | 垒
1173 | 垚
1174 | 垛
1175 | 垠
1176 | 垢
1177 | 垣
1178 | 垦
1179 | 垩
1180 | 垫
1181 | 垭
1182 | 垮
1183 | 垵
1184 | 埂
1185 | 埃
1186 | 埋
1187 | 城
1188 | 埔
1189 | 埕
1190 | 埗
1191 | 域
1192 | 埠
1193 | 埤
1194 | 埵
1195 | 執
1196 | 埸
1197 | 培
1198 | 基
1199 | 埼
1200 | 堀
1201 | 堂
1202 | 堃
1203 | 堅
1204 | 堆
1205 | 堇
1206 | 堑
1207 | 堕
1208 | 堙
1209 | 堡
1210 | 堤
1211 | 堪
1212 | 堯
1213 | 堰
1214 | 報
1215 | 場
1216 | 堵
1217 | 堺
1218 | 堿
1219 | 塊
1220 | 塌
1221 | 塑
1222 | 塔
1223 | 塗
1224 | 塘
1225 | 塚
1226 | 塞
1227 | 塢
1228 | 塩
1229 | 填
1230 | 塬
1231 | 塭
1232 | 塵
1233 | 塾
1234 | 墀
1235 | 境
1236 | 墅
1237 | 墉
1238 | 墊
1239 | 墒
1240 | 墓
1241 | 増
1242 | 墘
1243 | 墙
1244 | 墜
1245 | 增
1246 | 墟
1247 | 墨
1248 | 墩
1249 | 墮
1250 | 墳
1251 | 墻
1252 | 墾
1253 | 壁
1254 | 壅
1255 | 壆
1256 | 壇
1257 | 壊
1258 | 壑
1259 | 壓
1260 | 壕
1261 | 壘
1262 | 壞
1263 | 壟
1264 | 壢
1265 | 壤
1266 | 壩
1267 | 士
1268 | 壬
1269 | 壮
1270 | 壯
1271 | 声
1272 | 売
1273 | 壳
1274 | 壶
1275 | 壹
1276 | 壺
1277 | 壽
1278 | 处
1279 | 备
1280 | 変
1281 | 复
1282 | 夏
1283 | 夔
1284 | 夕
1285 | 外
1286 | 夙
1287 | 多
1288 | 夜
1289 | 够
1290 | 夠
1291 | 夢
1292 | 夥
1293 | 大
1294 | 天
1295 | 太
1296 | 夫
1297 | 夭
1298 | 央
1299 | 夯
1300 | 失
1301 | 头
1302 | 夷
1303 | 夸
1304 | 夹
1305 | 夺
1306 | 夾
1307 | 奂
1308 | 奄
1309 | 奇
1310 | 奈
1311 | 奉
1312 | 奋
1313 | 奎
1314 | 奏
1315 | 奐
1316 | 契
1317 | 奔
1318 | 奕
1319 | 奖
1320 | 套
1321 | 奘
1322 | 奚
1323 | 奠
1324 | 奢
1325 | 奥
1326 | 奧
1327 | 奪
1328 | 奬
1329 | 奮
1330 | 女
1331 | 奴
1332 | 奶
1333 | 奸
1334 | 她
1335 | 好
1336 | 如
1337 | 妃
1338 | 妄
1339 | 妆
1340 | 妇
1341 | 妈
1342 | 妊
1343 | 妍
1344 | 妒
1345 | 妓
1346 | 妖
1347 | 妘
1348 | 妙
1349 | 妝
1350 | 妞
1351 | 妣
1352 | 妤
1353 | 妥
1354 | 妨
1355 | 妩
1356 | 妪
1357 | 妮
1358 | 妲
1359 | 妳
1360 | 妹
1361 | 妻
1362 | 妾
1363 | 姆
1364 | 姉
1365 | 姊
1366 | 始
1367 | 姍
1368 | 姐
1369 | 姑
1370 | 姒
1371 | 姓
1372 | 委
1373 | 姗
1374 | 姚
1375 | 姜
1376 | 姝
1377 | 姣
1378 | 姥
1379 | 姦
1380 | 姨
1381 | 姪
1382 | 姫
1383 | 姬
1384 | 姹
1385 | 姻
1386 | 姿
1387 | 威
1388 | 娃
1389 | 娄
1390 | 娅
1391 | 娆
1392 | 娇
1393 | 娉
1394 | 娑
1395 | 娓
1396 | 娘
1397 | 娛
1398 | 娜
1399 | 娟
1400 | 娠
1401 | 娣
1402 | 娥
1403 | 娩
1404 | 娱
1405 | 娲
1406 | 娴
1407 | 娶
1408 | 娼
1409 | 婀
1410 | 婁
1411 | 婆
1412 | 婉
1413 | 婊
1414 | 婕
1415 | 婚
1416 | 婢
1417 | 婦
1418 | 婧
1419 | 婪
1420 | 婭
1421 | 婴
1422 | 婵
1423 | 婶
1424 | 婷
1425 | 婺
1426 | 婿
1427 | 媒
1428 | 媚
1429 | 媛
1430 | 媞
1431 | 媧
1432 | 媲
1433 | 媳
1434 | 媽
1435 | 媾
1436 | 嫁
1437 | 嫂
1438 | 嫉
1439 | 嫌
1440 | 嫑
1441 | 嫔
1442 | 嫖
1443 | 嫘
1444 | 嫚
1445 | 嫡
1446 | 嫣
1447 | 嫦
1448 | 嫩
1449 | 嫲
1450 | 嫵
1451 | 嫻
1452 | 嬅
1453 | 嬉
1454 | 嬌
1455 | 嬗
1456 | 嬛
1457 | 嬢
1458 | 嬤
1459 | 嬪
1460 | 嬰
1461 | 嬴
1462 | 嬷
1463 | 嬸
1464 | 嬿
1465 | 孀
1466 | 孃
1467 | 子
1468 | 孑
1469 | 孔
1470 | 孕
1471 | 孖
1472 | 字
1473 | 存
1474 | 孙
1475 | 孚
1476 | 孛
1477 | 孜
1478 | 孝
1479 | 孟
1480 | 孢
1481 | 季
1482 | 孤
1483 | 学
1484 | 孩
1485 | 孪
1486 | 孫
1487 | 孬
1488 | 孰
1489 | 孱
1490 | 孳
1491 | 孵
1492 | 學
1493 | 孺
1494 | 孽
1495 | 孿
1496 | 宁
1497 | 它
1498 | 宅
1499 | 宇
1500 | 守
1501 | 安
1502 | 宋
1503 | 完
1504 | 宏
1505 | 宓
1506 | 宕
1507 | 宗
1508 | 官
1509 | 宙
1510 | 定
1511 | 宛
1512 | 宜
1513 | 宝
1514 | 实
1515 | 実
1516 | 宠
1517 | 审
1518 | 客
1519 | 宣
1520 | 室
1521 | 宥
1522 | 宦
1523 | 宪
1524 | 宫
1525 | 宮
1526 | 宰
1527 | 害
1528 | 宴
1529 | 宵
1530 | 家
1531 | 宸
1532 | 容
1533 | 宽
1534 | 宾
1535 | 宿
1536 | 寂
1537 | 寄
1538 | 寅
1539 | 密
1540 | 寇
1541 | 富
1542 | 寐
1543 | 寒
1544 | 寓
1545 | 寛
1546 | 寝
1547 | 寞
1548 | 察
1549 | 寡
1550 | 寢
1551 | 寥
1552 | 實
1553 | 寧
1554 | 寨
1555 | 審
1556 | 寫
1557 | 寬
1558 | 寮
1559 | 寰
1560 | 寵
1561 | 寶
1562 | 寸
1563 | 对
1564 | 寺
1565 | 寻
1566 | 导
1567 | 対
1568 | 寿
1569 | 封
1570 | 専
1571 | 射
1572 | 将
1573 | 將
1574 | 專
1575 | 尉
1576 | 尊
1577 | 尋
1578 | 對
1579 | 導
1580 | 小
1581 | 少
1582 | 尔
1583 | 尕
1584 | 尖
1585 | 尘
1586 | 尚
1587 | 尝
1588 | 尤
1589 | 尧
1590 | 尬
1591 | 就
1592 | 尴
1593 | 尷
1594 | 尸
1595 | 尹
1596 | 尺
1597 | 尻
1598 | 尼
1599 | 尽
1600 | 尾
1601 | 尿
1602 | 局
1603 | 屁
1604 | 层
1605 | 屄
1606 | 居
1607 | 屆
1608 | 屈
1609 | 屉
1610 | 届
1611 | 屋
1612 | 屌
1613 | 屍
1614 | 屎
1615 | 屏
1616 | 屐
1617 | 屑
1618 | 展
1619 | 屜
1620 | 属
1621 | 屠
1622 | 屡
1623 | 屢
1624 | 層
1625 | 履
1626 | 屬
1627 | 屯
1628 | 山
1629 | 屹
1630 | 屿
1631 | 岀
1632 | 岁
1633 | 岂
1634 | 岌
1635 | 岐
1636 | 岑
1637 | 岔
1638 | 岖
1639 | 岗
1640 | 岘
1641 | 岙
1642 | 岚
1643 | 岛
1644 | 岡
1645 | 岩
1646 | 岫
1647 | 岬
1648 | 岭
1649 | 岱
1650 | 岳
1651 | 岷
1652 | 岸
1653 | 峇
1654 | 峋
1655 | 峒
1656 | 峙
1657 | 峡
1658 | 峤
1659 | 峥
1660 | 峦
1661 | 峨
1662 | 峪
1663 | 峭
1664 | 峯
1665 | 峰
1666 | 峴
1667 | 島
1668 | 峻
1669 | 峽
1670 | 崁
1671 | 崂
1672 | 崆
1673 | 崇
1674 | 崎
1675 | 崑
1676 | 崔
1677 | 崖
1678 | 崗
1679 | 崙
1680 | 崛
1681 | 崧
1682 | 崩
1683 | 崭
1684 | 崴
1685 | 崽
1686 | 嵇
1687 | 嵊
1688 | 嵋
1689 | 嵌
1690 | 嵐
1691 | 嵘
1692 | 嵩
1693 | 嵬
1694 | 嵯
1695 | 嶂
1696 | 嶄
1697 | 嶇
1698 | 嶋
1699 | 嶙
1700 | 嶺
1701 | 嶼
1702 | 嶽
1703 | 巅
1704 | 巍
1705 | 巒
1706 | 巔
1707 | 巖
1708 | 川
1709 | 州
1710 | 巡
1711 | 巢
1712 | 工
1713 | 左
1714 | 巧
1715 | 巨
1716 | 巩
1717 | 巫
1718 | 差
1719 | 己
1720 | 已
1721 | 巳
1722 | 巴
1723 | 巷
1724 | 巻
1725 | 巽
1726 | 巾
1727 | 巿
1728 | 币
1729 | 市
1730 | 布
1731 | 帅
1732 | 帆
1733 | 师
1734 | 希
1735 | 帐
1736 | 帑
1737 | 帕
1738 | 帖
1739 | 帘
1740 | 帚
1741 | 帛
1742 | 帜
1743 | 帝
1744 | 帥
1745 | 带
1746 | 帧
1747 | 師
1748 | 席
1749 | 帮
1750 | 帯
1751 | 帰
1752 | 帳
1753 | 帶
1754 | 帷
1755 | 常
1756 | 帼
1757 | 帽
1758 | 幀
1759 | 幂
1760 | 幄
1761 | 幅
1762 | 幌
1763 | 幔
1764 | 幕
1765 | 幟
1766 | 幡
1767 | 幢
1768 | 幣
1769 | 幫
1770 | 干
1771 | 平
1772 | 年
1773 | 并
1774 | 幸
1775 | 幹
1776 | 幺
1777 | 幻
1778 | 幼
1779 | 幽
1780 | 幾
1781 | 广
1782 | 庁
1783 | 広
1784 | 庄
1785 | 庆
1786 | 庇
1787 | 床
1788 | 序
1789 | 庐
1790 | 库
1791 | 应
1792 | 底
1793 | 庖
1794 | 店
1795 | 庙
1796 | 庚
1797 | 府
1798 | 庞
1799 | 废
1800 | 庠
1801 | 度
1802 | 座
1803 | 庫
1804 | 庭
1805 | 庵
1806 | 庶
1807 | 康
1808 | 庸
1809 | 庹
1810 | 庾
1811 | 廁
1812 | 廂
1813 | 廃
1814 | 廈
1815 | 廉
1816 | 廊
1817 | 廓
1818 | 廖
1819 | 廚
1820 | 廝
1821 | 廟
1822 | 廠
1823 | 廢
1824 | 廣
1825 | 廬
1826 | 廳
1827 | 延
1828 | 廷
1829 | 建
1830 | 廿
1831 | 开
1832 | 弁
1833 | 异
1834 | 弃
1835 | 弄
1836 | 弈
1837 | 弊
1838 | 弋
1839 | 式
1840 | 弑
1841 | 弒
1842 | 弓
1843 | 弔
1844 | 引
1845 | 弗
1846 | 弘
1847 | 弛
1848 | 弟
1849 | 张
1850 | 弥
1851 | 弦
1852 | 弧
1853 | 弩
1854 | 弭
1855 | 弯
1856 | 弱
1857 | 張
1858 | 強
1859 | 弹
1860 | 强
1861 | 弼
1862 | 弾
1863 | 彅
1864 | 彆
1865 | 彈
1866 | 彌
1867 | 彎
1868 | 归
1869 | 当
1870 | 录
1871 | 彗
1872 | 彙
1873 | 彝
1874 | 形
1875 | 彤
1876 | 彥
1877 | 彦
1878 | 彧
1879 | 彩
1880 | 彪
1881 | 彫
1882 | 彬
1883 | 彭
1884 | 彰
1885 | 影
1886 | 彷
1887 | 役
1888 | 彻
1889 | 彼
1890 | 彿
1891 | 往
1892 | 征
1893 | 径
1894 | 待
1895 | 徇
1896 | 很
1897 | 徉
1898 | 徊
1899 | 律
1900 | 後
1901 | 徐
1902 | 徑
1903 | 徒
1904 | 従
1905 | 徕
1906 | 得
1907 | 徘
1908 | 徙
1909 | 徜
1910 | 從
1911 | 徠
1912 | 御
1913 | 徨
1914 | 復
1915 | 循
1916 | 徬
1917 | 微
1918 | 徳
1919 | 徴
1920 | 徵
1921 | 德
1922 | 徹
1923 | 徼
1924 | 徽
1925 | 心
1926 | 必
1927 | 忆
1928 | 忌
1929 | 忍
1930 | 忏
1931 | 忐
1932 | 忑
1933 | 忒
1934 | 忖
1935 | 志
1936 | 忘
1937 | 忙
1938 | 応
1939 | 忠
1940 | 忡
1941 | 忤
1942 | 忧
1943 | 忪
1944 | 快
1945 | 忱
1946 | 念
1947 | 忻
1948 | 忽
1949 | 忿
1950 | 怀
1951 | 态
1952 | 怂
1953 | 怅
1954 | 怆
1955 | 怎
1956 | 怏
1957 | 怒
1958 | 怔
1959 | 怕
1960 | 怖
1961 | 怙
1962 | 怜
1963 | 思
1964 | 怠
1965 | 怡
1966 | 急
1967 | 怦
1968 | 性
1969 | 怨
1970 | 怪
1971 | 怯
1972 | 怵
1973 | 总
1974 | 怼
1975 | 恁
1976 | 恃
1977 | 恆
1978 | 恋
1979 | 恍
1980 | 恐
1981 | 恒
1982 | 恕
1983 | 恙
1984 | 恚
1985 | 恢
1986 | 恣
1987 | 恤
1988 | 恥
1989 | 恨
1990 | 恩
1991 | 恪
1992 | 恫
1993 | 恬
1994 | 恭
1995 | 息
1996 | 恰
1997 | 恳
1998 | 恵
1999 | 恶
2000 | 恸
2001 | 恺
2002 | 恻
2003 | 恼
2004 | 恿
2005 | 悄
2006 | 悅
2007 | 悉
2008 | 悌
2009 | 悍
2010 | 悔
2011 | 悖
2012 | 悚
2013 | 悟
2014 | 悠
2015 | 患
2016 | 悦
2017 | 您
2018 | 悩
2019 | 悪
2020 | 悬
2021 | 悯
2022 | 悱
2023 | 悲
2024 | 悴
2025 | 悵
2026 | 悶
2027 | 悸
2028 | 悻
2029 | 悼
2030 | 悽
2031 | 情
2032 | 惆
2033 | 惇
2034 | 惊
2035 | 惋
2036 | 惑
2037 | 惕
2038 | 惘
2039 | 惚
2040 | 惜
2041 | 惟
2042 | 惠
2043 | 惡
2044 | 惦
2045 | 惧
2046 | 惨
2047 | 惩
2048 | 惫
2049 | 惬
2050 | 惭
2051 | 惮
2052 | 惯
2053 | 惰
2054 | 惱
2055 | 想
2056 | 惴
2057 | 惶
2058 | 惹
2059 | 惺
2060 | 愁
2061 | 愆
2062 | 愈
2063 | 愉
2064 | 愍
2065 | 意
2066 | 愕
2067 | 愚
2068 | 愛
2069 | 愜
2070 | 感
2071 | 愣
2072 | 愤
2073 | 愧
2074 | 愫
2075 | 愷
2076 | 愿
2077 | 慄
2078 | 慈
2079 | 態
2080 | 慌
2081 | 慎
2082 | 慑
2083 | 慕
2084 | 慘
2085 | 慚
2086 | 慟
2087 | 慢
2088 | 慣
2089 | 慧
2090 | 慨
2091 | 慫
2092 | 慮
2093 | 慰
2094 | 慳
2095 | 慵
2096 | 慶
2097 | 慷
2098 | 慾
2099 | 憂
2100 | 憊
2101 | 憋
2102 | 憎
2103 | 憐
2104 | 憑
2105 | 憔
2106 | 憚
2107 | 憤
2108 | 憧
2109 | 憨
2110 | 憩
2111 | 憫
2112 | 憬
2113 | 憲
2114 | 憶
2115 | 憾
2116 | 懂
2117 | 懇
2118 | 懈
2119 | 應
2120 | 懊
2121 | 懋
2122 | 懑
2123 | 懒
2124 | 懦
2125 | 懲
2126 | 懵
2127 | 懶
2128 | 懷
2129 | 懸
2130 | 懺
2131 | 懼
2132 | 懾
2133 | 懿
2134 | 戀
2135 | 戈
2136 | 戊
2137 | 戌
2138 | 戍
2139 | 戎
2140 | 戏
2141 | 成
2142 | 我
2143 | 戒
2144 | 戕
2145 | 或
2146 | 战
2147 | 戚
2148 | 戛
2149 | 戟
2150 | 戡
2151 | 戦
2152 | 截
2153 | 戬
2154 | 戮
2155 | 戰
2156 | 戲
2157 | 戳
2158 | 戴
2159 | 戶
2160 | 户
2161 | 戸
2162 | 戻
2163 | 戾
2164 | 房
2165 | 所
2166 | 扁
2167 | 扇
2168 | 扈
2169 | 扉
2170 | 手
2171 | 才
2172 | 扎
2173 | 扑
2174 | 扒
2175 | 打
2176 | 扔
2177 | 払
2178 | 托
2179 | 扛
2180 | 扣
2181 | 扦
2182 | 执
2183 | 扩
2184 | 扪
2185 | 扫
2186 | 扬
2187 | 扭
2188 | 扮
2189 | 扯
2190 | 扰
2191 | 扱
2192 | 扳
2193 | 扶
2194 | 批
2195 | 扼
2196 | 找
2197 | 承
2198 | 技
2199 | 抄
2200 | 抉
2201 | 把
2202 | 抑
2203 | 抒
2204 | 抓
2205 | 投
2206 | 抖
2207 | 抗
2208 | 折
2209 | 抚
2210 | 抛
2211 | 抜
2212 | 択
2213 | 抟
2214 | 抠
2215 | 抡
2216 | 抢
2217 | 护
2218 | 报
2219 | 抨
2220 | 披
2221 | 抬
2222 | 抱
2223 | 抵
2224 | 抹
2225 | 押
2226 | 抽
2227 | 抿
2228 | 拂
2229 | 拄
2230 | 担
2231 | 拆
2232 | 拇
2233 | 拈
2234 | 拉
2235 | 拋
2236 | 拌
2237 | 拍
2238 | 拎
2239 | 拐
2240 | 拒
2241 | 拓
2242 | 拔
2243 | 拖
2244 | 拗
2245 | 拘
2246 | 拙
2247 | 拚
2248 | 招
2249 | 拜
2250 | 拟
2251 | 拡
2252 | 拢
2253 | 拣
2254 | 拥
2255 | 拦
2256 | 拧
2257 | 拨
2258 | 择
2259 | 括
2260 | 拭
2261 | 拮
2262 | 拯
2263 | 拱
2264 | 拳
2265 | 拴
2266 | 拷
2267 | 拼
2268 | 拽
2269 | 拾
2270 | 拿
2271 | 持
2272 | 挂
2273 | 指
2274 | 挈
2275 | 按
2276 | 挎
2277 | 挑
2278 | 挖
2279 | 挙
2280 | 挚
2281 | 挛
2282 | 挝
2283 | 挞
2284 | 挟
2285 | 挠
2286 | 挡
2287 | 挣
2288 | 挤
2289 | 挥
2290 | 挨
2291 | 挪
2292 | 挫
2293 | 振
2294 | 挲
2295 | 挹
2296 | 挺
2297 | 挽
2298 | 挾
2299 | 捂
2300 | 捅
2301 | 捆
2302 | 捉
2303 | 捋
2304 | 捌
2305 | 捍
2306 | 捎
2307 | 捏
2308 | 捐
2309 | 捕
2310 | 捞
2311 | 损
2312 | 捡
2313 | 换
2314 | 捣
2315 | 捧
2316 | 捨
2317 | 捩
2318 | 据
2319 | 捱
2320 | 捲
2321 | 捶
2322 | 捷
2323 | 捺
2324 | 捻
2325 | 掀
2326 | 掂
2327 | 掃
2328 | 掇
2329 | 授
2330 | 掉
2331 | 掌
2332 | 掏
2333 | 掐
2334 | 排
2335 | 掖
2336 | 掘
2337 | 掙
2338 | 掛
2339 | 掠
2340 | 採
2341 | 探
2342 | 掣
2343 | 接
2344 | 控
2345 | 推
2346 | 掩
2347 | 措
2348 | 掬
2349 | 掰
2350 | 掲
2351 | 掳
2352 | 掴
2353 | 掷
2354 | 掸
2355 | 掺
2356 | 揀
2357 | 揃
2358 | 揄
2359 | 揆
2360 | 揉
2361 | 揍
2362 | 描
2363 | 提
2364 | 插
2365 | 揖
2366 | 揚
2367 | 換
2368 | 握
2369 | 揣
2370 | 揩
2371 | 揪
2372 | 揭
2373 | 揮
2374 | 援
2375 | 揶
2376 | 揸
2377 | 揹
2378 | 揽
2379 | 搀
2380 | 搁
2381 | 搂
2382 | 搅
2383 | 損
2384 | 搏
2385 | 搐
2386 | 搓
2387 | 搔
2388 | 搖
2389 | 搗
2390 | 搜
2391 | 搞
2392 | 搡
2393 | 搪
2394 | 搬
2395 | 搭
2396 | 搵
2397 | 搶
2398 | 携
2399 | 搽
2400 | 摀
2401 | 摁
2402 | 摄
2403 | 摆
2404 | 摇
2405 | 摈
2406 | 摊
2407 | 摒
2408 | 摔
2409 | 摘
2410 | 摞
2411 | 摟
2412 | 摧
2413 | 摩
2414 | 摯
2415 | 摳
2416 | 摸
2417 | 摹
2418 | 摺
2419 | 摻
2420 | 撂
2421 | 撃
2422 | 撅
2423 | 撇
2424 | 撈
2425 | 撐
2426 | 撑
2427 | 撒
2428 | 撓
2429 | 撕
2430 | 撚
2431 | 撞
2432 | 撤
2433 | 撥
2434 | 撩
2435 | 撫
2436 | 撬
2437 | 播
2438 | 撮
2439 | 撰
2440 | 撲
2441 | 撵
2442 | 撷
2443 | 撸
2444 | 撻
2445 | 撼
2446 | 撿
2447 | 擀
2448 | 擁
2449 | 擂
2450 | 擄
2451 | 擅
2452 | 擇
2453 | 擊
2454 | 擋
2455 | 操
2456 | 擎
2457 | 擒
2458 | 擔
2459 | 擘
2460 | 據
2461 | 擞
2462 | 擠
2463 | 擡
2464 | 擢
2465 | 擦
2466 | 擬
2467 | 擰
2468 | 擱
2469 | 擲
2470 | 擴
2471 | 擷
2472 | 擺
2473 | 擼
2474 | 擾
2475 | 攀
2476 | 攏
2477 | 攒
2478 | 攔
2479 | 攘
2480 | 攙
2481 | 攜
2482 | 攝
2483 | 攞
2484 | 攢
2485 | 攣
2486 | 攤
2487 | 攥
2488 | 攪
2489 | 攫
2490 | 攬
2491 | 支
2492 | 收
2493 | 攸
2494 | 改
2495 | 攻
2496 | 放
2497 | 政
2498 | 故
2499 | 效
2500 | 敌
2501 | 敍
2502 | 敎
2503 | 敏
2504 | 救
2505 | 敕
2506 | 敖
2507 | 敗
2508 | 敘
2509 | 教
2510 | 敛
2511 | 敝
2512 | 敞
2513 | 敢
2514 | 散
2515 | 敦
2516 | 敬
2517 | 数
2518 | 敲
2519 | 整
2520 | 敵
2521 | 敷
2522 | 數
2523 | 斂
2524 | 斃
2525 | 文
2526 | 斋
2527 | 斌
2528 | 斎
2529 | 斐
2530 | 斑
2531 | 斓
2532 | 斗
2533 | 料
2534 | 斛
2535 | 斜
2536 | 斟
2537 | 斡
2538 | 斤
2539 | 斥
2540 | 斧
2541 | 斩
2542 | 斫
2543 | 斬
2544 | 断
2545 | 斯
2546 | 新
2547 | 斷
2548 | 方
2549 | 於
2550 | 施
2551 | 旁
2552 | 旃
2553 | 旅
2554 | 旋
2555 | 旌
2556 | 旎
2557 | 族
2558 | 旖
2559 | 旗
2560 | 无
2561 | 既
2562 | 日
2563 | 旦
2564 | 旧
2565 | 旨
2566 | 早
2567 | 旬
2568 | 旭
2569 | 旮
2570 | 旱
2571 | 时
2572 | 旷
2573 | 旺
2574 | 旻
2575 | 昀
2576 | 昂
2577 | 昆
2578 | 昇
2579 | 昉
2580 | 昊
2581 | 昌
2582 | 明
2583 | 昏
2584 | 易
2585 | 昔
2586 | 昕
2587 | 昙
2588 | 星
2589 | 映
2590 | 春
2591 | 昧
2592 | 昨
2593 | 昭
2594 | 是
2595 | 昱
2596 | 昴
2597 | 昵
2598 | 昶
2599 | 昼
2600 | 显
2601 | 晁
2602 | 時
2603 | 晃
2604 | 晉
2605 | 晋
2606 | 晌
2607 | 晏
2608 | 晒
2609 | 晓
2610 | 晔
2611 | 晕
2612 | 晖
2613 | 晗
2614 | 晚
2615 | 晝
2616 | 晞
2617 | 晟
2618 | 晤
2619 | 晦
2620 | 晨
2621 | 晩
2622 | 普
2623 | 景
2624 | 晰
2625 | 晴
2626 | 晶
2627 | 晷
2628 | 智
2629 | 晾
2630 | 暂
2631 | 暄
2632 | 暇
2633 | 暈
2634 | 暉
2635 | 暌
2636 | 暐
2637 | 暑
2638 | 暖
2639 | 暗
2640 | 暝
2641 | 暢
2642 | 暧
2643 | 暨
2644 | 暫
2645 | 暮
2646 | 暱
2647 | 暴
2648 | 暸
2649 | 暹
2650 | 曄
2651 | 曆
2652 | 曇
2653 | 曉
2654 | 曖
2655 | 曙
2656 | 曜
2657 | 曝
2658 | 曠
2659 | 曦
2660 | 曬
2661 | 曰
2662 | 曲
2663 | 曳
2664 | 更
2665 | 書
2666 | 曹
2667 | 曼
2668 | 曾
2669 | 替
2670 | 最
2671 | 會
2672 | 月
2673 | 有
2674 | 朋
2675 | 服
2676 | 朐
2677 | 朔
2678 | 朕
2679 | 朗
2680 | 望
2681 | 朝
2682 | 期
2683 | 朦
2684 | 朧
2685 | 木
2686 | 未
2687 | 末
2688 | 本
2689 | 札
2690 | 朮
2691 | 术
2692 | 朱
2693 | 朴
2694 | 朵
2695 | 机
2696 | 朽
2697 | 杀
2698 | 杂
2699 | 权
2700 | 杆
2701 | 杈
2702 | 杉
2703 | 李
2704 | 杏
2705 | 材
2706 | 村
2707 | 杓
2708 | 杖
2709 | 杜
2710 | 杞
2711 | 束
2712 | 杠
2713 | 条
2714 | 来
2715 | 杨
2716 | 杭
2717 | 杯
2718 | 杰
2719 | 東
2720 | 杳
2721 | 杵
2722 | 杷
2723 | 杼
2724 | 松
2725 | 板
2726 | 极
2727 | 构
2728 | 枇
2729 | 枉
2730 | 枋
2731 | 析
2732 | 枕
2733 | 林
2734 | 枚
2735 | 果
2736 | 枝
2737 | 枢
2738 | 枣
2739 | 枪
2740 | 枫
2741 | 枭
2742 | 枯
2743 | 枰
2744 | 枱
2745 | 枳
2746 | 架
2747 | 枷
2748 | 枸
2749 | 柄
2750 | 柏
2751 | 某
2752 | 柑
2753 | 柒
2754 | 染
2755 | 柔
2756 | 柘
2757 | 柚
2758 | 柜
2759 | 柞
2760 | 柠
2761 | 柢
2762 | 查
2763 | 柩
2764 | 柬
2765 | 柯
2766 | 柱
2767 | 柳
2768 | 柴
2769 | 柵
2770 | 査
2771 | 柿
2772 | 栀
2773 | 栃
2774 | 栄
2775 | 栅
2776 | 标
2777 | 栈
2778 | 栉
2779 | 栋
2780 | 栎
2781 | 栏
2782 | 树
2783 | 栓
2784 | 栖
2785 | 栗
2786 | 校
2787 | 栩
2788 | 株
2789 | 样
2790 | 核
2791 | 根
2792 | 格
2793 | 栽
2794 | 栾
2795 | 桀
2796 | 桁
2797 | 桂
2798 | 桃
2799 | 桅
2800 | 框
2801 | 案
2802 | 桉
2803 | 桌
2804 | 桎
2805 | 桐
2806 | 桑
2807 | 桓
2808 | 桔
2809 | 桜
2810 | 桠
2811 | 桡
2812 | 桢
2813 | 档
2814 | 桥
2815 | 桦
2816 | 桧
2817 | 桨
2818 | 桩
2819 | 桶
2820 | 桿
2821 | 梁
2822 | 梅
2823 | 梆
2824 | 梏
2825 | 梓
2826 | 梗
2827 | 條
2828 | 梟
2829 | 梢
2830 | 梦
2831 | 梧
2832 | 梨
2833 | 梭
2834 | 梯
2835 | 械
2836 | 梳
2837 | 梵
2838 | 梶
2839 | 检
2840 | 棂
2841 | 棄
2842 | 棉
2843 | 棋
2844 | 棍
2845 | 棒
2846 | 棕
2847 | 棗
2848 | 棘
2849 | 棚
2850 | 棟
2851 | 棠
2852 | 棣
2853 | 棧
2854 | 森
2855 | 棱
2856 | 棲
2857 | 棵
2858 | 棹
2859 | 棺
2860 | 椁
2861 | 椅
2862 | 椋
2863 | 植
2864 | 椎
2865 | 椒
2866 | 検
2867 | 椪
2868 | 椭
2869 | 椰
2870 | 椹
2871 | 椽
2872 | 椿
2873 | 楂
2874 | 楊
2875 | 楓
2876 | 楔
2877 | 楚
2878 | 楝
2879 | 楞
2880 | 楠
2881 | 楣
2882 | 楨
2883 | 楫
2884 | 業
2885 | 楮
2886 | 極
2887 | 楷
2888 | 楸
2889 | 楹
2890 | 楼
2891 | 楽
2892 | 概
2893 | 榄
2894 | 榆
2895 | 榈
2896 | 榉
2897 | 榔
2898 | 榕
2899 | 榖
2900 | 榛
2901 | 榜
2902 | 榨
2903 | 榫
2904 | 榭
2905 | 榮
2906 | 榱
2907 | 榴
2908 | 榷
2909 | 榻
2910 | 槁
2911 | 槃
2912 | 構
2913 | 槌
2914 | 槍
2915 | 槎
2916 | 槐
2917 | 槓
2918 | 様
2919 | 槛
2920 | 槟
2921 | 槤
2922 | 槭
2923 | 槲
2924 | 槳
2925 | 槻
2926 | 槽
2927 | 槿
2928 | 樁
2929 | 樂
2930 | 樊
2931 | 樑
2932 | 樓
2933 | 標
2934 | 樞
2935 | 樟
2936 | 模
2937 | 樣
2938 | 権
2939 | 横
2940 | 樫
2941 | 樯
2942 | 樱
2943 | 樵
2944 | 樸
2945 | 樹
2946 | 樺
2947 | 樽
2948 | 樾
2949 | 橄
2950 | 橇
2951 | 橋
2952 | 橐
2953 | 橘
2954 | 橙
2955 | 機
2956 | 橡
2957 | 橢
2958 | 橫
2959 | 橱
2960 | 橹
2961 | 橼
2962 | 檀
2963 | 檄
2964 | 檎
2965 | 檐
2966 | 檔
2967 | 檗
2968 | 檜
2969 | 檢
2970 | 檬
2971 | 檯
2972 | 檳
2973 | 檸
2974 | 檻
2975 | 櫃
2976 | 櫚
2977 | 櫛
2978 | 櫥
2979 | 櫸
2980 | 櫻
2981 | 欄
2982 | 權
2983 | 欒
2984 | 欖
2985 | 欠
2986 | 次
2987 | 欢
2988 | 欣
2989 | 欧
2990 | 欲
2991 | 欸
2992 | 欺
2993 | 欽
2994 | 款
2995 | 歆
2996 | 歇
2997 | 歉
2998 | 歌
2999 | 歎
3000 | 歐
3001 | 歓
3002 | 歙
3003 | 歛
3004 | 歡
3005 | 止
3006 | 正
3007 | 此
3008 | 步
3009 | 武
3010 | 歧
3011 | 歩
3012 | 歪
3013 | 歯
3014 | 歲
3015 | 歳
3016 | 歴
3017 | 歷
3018 | 歸
3019 | 歹
3020 | 死
3021 | 歼
3022 | 殁
3023 | 殃
3024 | 殆
3025 | 殇
3026 | 殉
3027 | 殊
3028 | 残
3029 | 殒
3030 | 殓
3031 | 殖
3032 | 殘
3033 | 殞
3034 | 殡
3035 | 殤
3036 | 殭
3037 | 殯
3038 | 殲
3039 | 殴
3040 | 段
3041 | 殷
3042 | 殺
3043 | 殼
3044 | 殿
3045 | 毀
3046 | 毁
3047 | 毂
3048 | 毅
3049 | 毆
3050 | 毋
3051 | 母
3052 | 毎
3053 | 每
3054 | 毒
3055 | 毓
3056 | 比
3057 | 毕
3058 | 毗
3059 | 毘
3060 | 毙
3061 | 毛
3062 | 毡
3063 | 毫
3064 | 毯
3065 | 毽
3066 | 氈
3067 | 氏
3068 | 氐
3069 | 民
3070 | 氓
3071 | 气
3072 | 氖
3073 | 気
3074 | 氙
3075 | 氛
3076 | 氟
3077 | 氡
3078 | 氢
3079 | 氣
3080 | 氤
3081 | 氦
3082 | 氧
3083 | 氨
3084 | 氪
3085 | 氫
3086 | 氮
3087 | 氯
3088 | 氰
3089 | 氲
3090 | 水
3091 | 氷
3092 | 永
3093 | 氹
3094 | 氾
3095 | 汀
3096 | 汁
3097 | 求
3098 | 汆
3099 | 汇
3100 | 汉
3101 | 汎
3102 | 汐
3103 | 汕
3104 | 汗
3105 | 汙
3106 | 汛
3107 | 汝
3108 | 汞
3109 | 江
3110 | 池
3111 | 污
3112 | 汤
3113 | 汨
3114 | 汩
3115 | 汪
3116 | 汰
3117 | 汲
3118 | 汴
3119 | 汶
3120 | 汹
3121 | 決
3122 | 汽
3123 | 汾
3124 | 沁
3125 | 沂
3126 | 沃
3127 | 沅
3128 | 沈
3129 | 沉
3130 | 沌
3131 | 沏
3132 | 沐
3133 | 沒
3134 | 沓
3135 | 沖
3136 | 沙
3137 | 沛
3138 | 沟
3139 | 没
3140 | 沢
3141 | 沣
3142 | 沥
3143 | 沦
3144 | 沧
3145 | 沪
3146 | 沫
3147 | 沭
3148 | 沮
3149 | 沱
3150 | 河
3151 | 沸
3152 | 油
3153 | 治
3154 | 沼
3155 | 沽
3156 | 沾
3157 | 沿
3158 | 況
3159 | 泄
3160 | 泉
3161 | 泊
3162 | 泌
3163 | 泓
3164 | 法
3165 | 泗
3166 | 泛
3167 | 泞
3168 | 泠
3169 | 泡
3170 | 波
3171 | 泣
3172 | 泥
3173 | 注
3174 | 泪
3175 | 泫
3176 | 泮
3177 | 泯
3178 | 泰
3179 | 泱
3180 | 泳
3181 | 泵
3182 | 泷
3183 | 泸
3184 | 泻
3185 | 泼
3186 | 泽
3187 | 泾
3188 | 洁
3189 | 洄
3190 | 洋
3191 | 洒
3192 | 洗
3193 | 洙
3194 | 洛
3195 | 洞
3196 | 津
3197 | 洩
3198 | 洪
3199 | 洮
3200 | 洱
3201 | 洲
3202 | 洵
3203 | 洶
3204 | 洸
3205 | 洹
3206 | 活
3207 | 洼
3208 | 洽
3209 | 派
3210 | 流
3211 | 浃
3212 | 浄
3213 | 浅
3214 | 浆
3215 | 浇
3216 | 浊
3217 | 测
3218 | 济
3219 | 浏
3220 | 浑
3221 | 浒
3222 | 浓
3223 | 浔
3224 | 浙
3225 | 浚
3226 | 浜
3227 | 浣
3228 | 浦
3229 | 浩
3230 | 浪
3231 | 浬
3232 | 浮
3233 | 浯
3234 | 浴
3235 | 海
3236 | 浸
3237 | 涂
3238 | 涅
3239 | 涇
3240 | 消
3241 | 涉
3242 | 涌
3243 | 涎
3244 | 涓
3245 | 涔
3246 | 涕
3247 | 涙
3248 | 涛
3249 | 涝
3250 | 涞
3251 | 涟
3252 | 涠
3253 | 涡
3254 | 涣
3255 | 涤
3256 | 润
3257 | 涧
3258 | 涨
3259 | 涩
3260 | 涪
3261 | 涮
3262 | 涯
3263 | 液
3264 | 涵
3265 | 涸
3266 | 涼
3267 | 涿
3268 | 淀
3269 | 淄
3270 | 淅
3271 | 淆
3272 | 淇
3273 | 淋
3274 | 淌
3275 | 淑
3276 | 淒
3277 | 淖
3278 | 淘
3279 | 淙
3280 | 淚
3281 | 淞
3282 | 淡
3283 | 淤
3284 | 淦
3285 | 淨
3286 | 淩
3287 | 淪
3288 | 淫
3289 | 淬
3290 | 淮
3291 | 深
3292 | 淳
3293 | 淵
3294 | 混
3295 | 淹
3296 | 淺
3297 | 添
3298 | 淼
3299 | 清
3300 | 済
3301 | 渉
3302 | 渊
3303 | 渋
3304 | 渍
3305 | 渎
3306 | 渐
3307 | 渔
3308 | 渗
3309 | 渙
3310 | 渚
3311 | 減
3312 | 渝
3313 | 渠
3314 | 渡
3315 | 渣
3316 | 渤
3317 | 渥
3318 | 渦
3319 | 温
3320 | 測
3321 | 渭
3322 | 港
3323 | 渲
3324 | 渴
3325 | 游
3326 | 渺
3327 | 渾
3328 | 湃
3329 | 湄
3330 | 湊
3331 | 湍
3332 | 湖
3333 | 湘
3334 | 湛
3335 | 湟
3336 | 湧
3337 | 湫
3338 | 湮
3339 | 湯
3340 | 湳
3341 | 湾
3342 | 湿
3343 | 満
3344 | 溃
3345 | 溅
3346 | 溉
3347 | 溏
3348 | 源
3349 | 準
3350 | 溜
3351 | 溝
3352 | 溟
3353 | 溢
3354 | 溥
3355 | 溧
3356 | 溪
3357 | 溫
3358 | 溯
3359 | 溱
3360 | 溴
3361 | 溶
3362 | 溺
3363 | 溼
3364 | 滁
3365 | 滂
3366 | 滄
3367 | 滅
3368 | 滇
3369 | 滋
3370 | 滌
3371 | 滑
3372 | 滓
3373 | 滔
3374 | 滕
3375 | 滙
3376 | 滚
3377 | 滝
3378 | 滞
3379 | 滟
3380 | 满
3381 | 滢
3382 | 滤
3383 | 滥
3384 | 滦
3385 | 滨
3386 | 滩
3387 | 滬
3388 | 滯
3389 | 滲
3390 | 滴
3391 | 滷
3392 | 滸
3393 | 滾
3394 | 滿
3395 | 漁
3396 | 漂
3397 | 漆
3398 | 漉
3399 | 漏
3400 | 漓
3401 | 演
3402 | 漕
3403 | 漠
3404 | 漢
3405 | 漣
3406 | 漩
3407 | 漪
3408 | 漫
3409 | 漬
3410 | 漯
3411 | 漱
3412 | 漲
3413 | 漳
3414 | 漸
3415 | 漾
3416 | 漿
3417 | 潆
3418 | 潇
3419 | 潋
3420 | 潍
3421 | 潑
3422 | 潔
3423 | 潘
3424 | 潛
3425 | 潜
3426 | 潞
3427 | 潟
3428 | 潢
3429 | 潤
3430 | 潦
3431 | 潧
3432 | 潭
3433 | 潮
3434 | 潰
3435 | 潴
3436 | 潸
3437 | 潺
3438 | 潼
3439 | 澀
3440 | 澄
3441 | 澆
3442 | 澈
3443 | 澍
3444 | 澎
3445 | 澗
3446 | 澜
3447 | 澡
3448 | 澤
3449 | 澧
3450 | 澱
3451 | 澳
3452 | 澹
3453 | 激
3454 | 濁
3455 | 濂
3456 | 濃
3457 | 濑
3458 | 濒
3459 | 濕
3460 | 濘
3461 | 濛
3462 | 濟
3463 | 濠
3464 | 濡
3465 | 濤
3466 | 濫
3467 | 濬
3468 | 濮
3469 | 濯
3470 | 濱
3471 | 濺
3472 | 濾
3473 | 瀅
3474 | 瀆
3475 | 瀉
3476 | 瀋
3477 | 瀏
3478 | 瀑
3479 | 瀕
3480 | 瀘
3481 | 瀚
3482 | 瀛
3483 | 瀝
3484 | 瀞
3485 | 瀟
3486 | 瀧
3487 | 瀨
3488 | 瀬
3489 | 瀰
3490 | 瀾
3491 | 灌
3492 | 灏
3493 | 灑
3494 | 灘
3495 | 灝
3496 | 灞
3497 | 灣
3498 | 火
3499 | 灬
3500 | 灭
3501 | 灯
3502 | 灰
3503 | 灵
3504 | 灶
3505 | 灸
3506 | 灼
3507 | 災
3508 | 灾
3509 | 灿
3510 | 炀
3511 | 炁
3512 | 炅
3513 | 炉
3514 | 炊
3515 | 炎
3516 | 炒
3517 | 炔
3518 | 炕
3519 | 炖
3520 | 炙
3521 | 炜
3522 | 炫
3523 | 炬
3524 | 炭
3525 | 炮
3526 | 炯
3527 | 炳
3528 | 炷
3529 | 炸
3530 | 点
3531 | 為
3532 | 炼
3533 | 炽
3534 | 烁
3535 | 烂
3536 | 烃
3537 | 烈
3538 | 烊
3539 | 烏
3540 | 烘
3541 | 烙
3542 | 烛
3543 | 烟
3544 | 烤
3545 | 烦
3546 | 烧
3547 | 烨
3548 | 烩
3549 | 烫
3550 | 烬
3551 | 热
3552 | 烯
3553 | 烷
3554 | 烹
3555 | 烽
3556 | 焉
3557 | 焊
3558 | 焕
3559 | 焖
3560 | 焗
3561 | 焘
3562 | 焙
3563 | 焚
3564 | 焜
3565 | 無
3566 | 焦
3567 | 焯
3568 | 焰
3569 | 焱
3570 | 然
3571 | 焼
3572 | 煅
3573 | 煉
3574 | 煊
3575 | 煌
3576 | 煎
3577 | 煒
3578 | 煖
3579 | 煙
3580 | 煜
3581 | 煞
3582 | 煤
3583 | 煥
3584 | 煦
3585 | 照
3586 | 煨
3587 | 煩
3588 | 煮
3589 | 煲
3590 | 煸
3591 | 煽
3592 | 熄
3593 | 熊
3594 | 熏
3595 | 熒
3596 | 熔
3597 | 熙
3598 | 熟
3599 | 熠
3600 | 熨
3601 | 熬
3602 | 熱
3603 | 熵
3604 | 熹
3605 | 熾
3606 | 燁
3607 | 燃
3608 | 燄
3609 | 燈
3610 | 燉
3611 | 燊
3612 | 燎
3613 | 燒
3614 | 燔
3615 | 燕
3616 | 燙
3617 | 燜
3618 | 營
3619 | 燥
3620 | 燦
3621 | 燧
3622 | 燭
3623 | 燮
3624 | 燴
3625 | 燻
3626 | 燼
3627 | 燿
3628 | 爆
3629 | 爍
3630 | 爐
3631 | 爛
3632 | 爪
3633 | 爬
3634 | 爭
3635 | 爰
3636 | 爱
3637 | 爲
3638 | 爵
3639 | 父
3640 | 爷
3641 | 爸
3642 | 爹
3643 | 爺
3644 | 爻
3645 | 爽
3646 | 爾
3647 | 牆
3648 | 片
3649 | 版
3650 | 牌
3651 | 牍
3652 | 牒
3653 | 牙
3654 | 牛
3655 | 牝
3656 | 牟
3657 | 牠
3658 | 牡
3659 | 牢
3660 | 牦
3661 | 牧
3662 | 物
3663 | 牯
3664 | 牲
3665 | 牴
3666 | 牵
3667 | 特
3668 | 牺
3669 | 牽
3670 | 犀
3671 | 犁
3672 | 犄
3673 | 犊
3674 | 犍
3675 | 犒
3676 | 犢
3677 | 犧
3678 | 犬
3679 | 犯
3680 | 状
3681 | 犷
3682 | 犸
3683 | 犹
3684 | 狀
3685 | 狂
3686 | 狄
3687 | 狈
3688 | 狎
3689 | 狐
3690 | 狒
3691 | 狗
3692 | 狙
3693 | 狞
3694 | 狠
3695 | 狡
3696 | 狩
3697 | 独
3698 | 狭
3699 | 狮
3700 | 狰
3701 | 狱
3702 | 狸
3703 | 狹
3704 | 狼
3705 | 狽
3706 | 猎
3707 | 猕
3708 | 猖
3709 | 猗
3710 | 猙
3711 | 猛
3712 | 猜
3713 | 猝
3714 | 猥
3715 | 猩
3716 | 猪
3717 | 猫
3718 | 猬
3719 | 献
3720 | 猴
3721 | 猶
3722 | 猷
3723 | 猾
3724 | 猿
3725 | 獄
3726 | 獅
3727 | 獎
3728 | 獐
3729 | 獒
3730 | 獗
3731 | 獠
3732 | 獣
3733 | 獨
3734 | 獭
3735 | 獰
3736 | 獲
3737 | 獵
3738 | 獷
3739 | 獸
3740 | 獺
3741 | 獻
3742 | 獼
3743 | 獾
3744 | 玄
3745 | 率
3746 | 玉
3747 | 王
3748 | 玑
3749 | 玖
3750 | 玛
3751 | 玟
3752 | 玠
3753 | 玥
3754 | 玩
3755 | 玫
3756 | 玮
3757 | 环
3758 | 现
3759 | 玲
3760 | 玳
3761 | 玷
3762 | 玺
3763 | 玻
3764 | 珀
3765 | 珂
3766 | 珅
3767 | 珈
3768 | 珉
3769 | 珊
3770 | 珍
3771 | 珏
3772 | 珐
3773 | 珑
3774 | 珙
3775 | 珞
3776 | 珠
3777 | 珣
3778 | 珥
3779 | 珩
3780 | 珪
3781 | 班
3782 | 珮
3783 | 珲
3784 | 珺
3785 | 現
3786 | 球
3787 | 琅
3788 | 理
3789 | 琇
3790 | 琉
3791 | 琊
3792 | 琍
3793 | 琏
3794 | 琐
3795 | 琛
3796 | 琢
3797 | 琥
3798 | 琦
3799 | 琨
3800 | 琪
3801 | 琬
3802 | 琮
3803 | 琰
3804 | 琲
3805 | 琳
3806 | 琴
3807 | 琵
3808 | 琶
3809 | 琺
3810 | 琼
3811 | 瑀
3812 | 瑁
3813 | 瑄
3814 | 瑋
3815 | 瑕
3816 | 瑗
3817 | 瑙
3818 | 瑚
3819 | 瑛
3820 | 瑜
3821 | 瑞
3822 | 瑟
3823 | 瑠
3824 | 瑣
3825 | 瑤
3826 | 瑩
3827 | 瑪
3828 | 瑯
3829 | 瑰
3830 | 瑶
3831 | 瑾
3832 | 璀
3833 | 璁
3834 | 璃
3835 | 璇
3836 | 璉
3837 | 璋
3838 | 璎
3839 | 璐
3840 | 璜
3841 | 璞
3842 | 璟
3843 | 璧
3844 | 璨
3845 | 環
3846 | 璽
3847 | 璿
3848 | 瓊
3849 | 瓏
3850 | 瓒
3851 | 瓜
3852 | 瓢
3853 | 瓣
3854 | 瓤
3855 | 瓦
3856 | 瓮
3857 | 瓯
3858 | 瓴
3859 | 瓶
3860 | 瓷
3861 | 甄
3862 | 甌
3863 | 甕
3864 | 甘
3865 | 甙
3866 | 甚
3867 | 甜
3868 | 生
3869 | 產
3870 | 産
3871 | 甥
3872 | 甦
3873 | 用
3874 | 甩
3875 | 甫
3876 | 甬
3877 | 甭
3878 | 甯
3879 | 田
3880 | 由
3881 | 甲
3882 | 申
3883 | 电
3884 | 男
3885 | 甸
3886 | 町
3887 | 画
3888 | 甾
3889 | 畀
3890 | 畅
3891 | 界
3892 | 畏
3893 | 畑
3894 | 畔
3895 | 留
3896 | 畜
3897 | 畝
3898 | 畢
3899 | 略
3900 | 畦
3901 | 番
3902 | 畫
3903 | 異
3904 | 畲
3905 | 畳
3906 | 畴
3907 | 當
3908 | 畸
3909 | 畹
3910 | 畿
3911 | 疆
3912 | 疇
3913 | 疊
3914 | 疏
3915 | 疑
3916 | 疔
3917 | 疖
3918 | 疗
3919 | 疙
3920 | 疚
3921 | 疝
3922 | 疟
3923 | 疡
3924 | 疣
3925 | 疤
3926 | 疥
3927 | 疫
3928 | 疮
3929 | 疯
3930 | 疱
3931 | 疲
3932 | 疳
3933 | 疵
3934 | 疸
3935 | 疹
3936 | 疼
3937 | 疽
3938 | 疾
3939 | 痂
3940 | 病
3941 | 症
3942 | 痈
3943 | 痉
3944 | 痊
3945 | 痍
3946 | 痒
3947 | 痔
3948 | 痕
3949 | 痘
3950 | 痙
3951 | 痛
3952 | 痞
3953 | 痠
3954 | 痢
3955 | 痣
3956 | 痤
3957 | 痧
3958 | 痨
3959 | 痪
3960 | 痫
3961 | 痰
3962 | 痱
3963 | 痴
3964 | 痹
3965 | 痺
3966 | 痼
3967 | 痿
3968 | 瘀
3969 | 瘁
3970 | 瘋
3971 | 瘍
3972 | 瘓
3973 | 瘘
3974 | 瘙
3975 | 瘟
3976 | 瘠
3977 | 瘡
3978 | 瘢
3979 | 瘤
3980 | 瘦
3981 | 瘧
3982 | 瘩
3983 | 瘪
3984 | 瘫
3985 | 瘴
3986 | 瘸
3987 | 瘾
3988 | 療
3989 | 癇
3990 | 癌
3991 | 癒
3992 | 癖
3993 | 癜
3994 | 癞
3995 | 癡
3996 | 癢
3997 | 癣
3998 | 癥
3999 | 癫
4000 | 癬
4001 | 癮
4002 | 癱
4003 | 癲
4004 | 癸
4005 | 発
4006 | 登
4007 | 發
4008 | 白
4009 | 百
4010 | 皂
4011 | 的
4012 | 皆
4013 | 皇
4014 | 皈
4015 | 皋
4016 | 皎
4017 | 皑
4018 | 皓
4019 | 皖
4020 | 皙
4021 | 皚
4022 | 皮
4023 | 皰
4024 | 皱
4025 | 皴
4026 | 皺
4027 | 皿
4028 | 盂
4029 | 盃
4030 | 盅
4031 | 盆
4032 | 盈
4033 | 益
4034 | 盎
4035 | 盏
4036 | 盐
4037 | 监
4038 | 盒
4039 | 盔
4040 | 盖
4041 | 盗
4042 | 盘
4043 | 盛
4044 | 盜
4045 | 盞
4046 | 盟
4047 | 盡
4048 | 監
4049 | 盤
4050 | 盥
4051 | 盧
4052 | 盪
4053 | 目
4054 | 盯
4055 | 盱
4056 | 盲
4057 | 直
4058 | 相
4059 | 盹
4060 | 盼
4061 | 盾
4062 | 省
4063 | 眈
4064 | 眉
4065 | 看
4066 | 県
4067 | 眙
4068 | 眞
4069 | 真
4070 | 眠
4071 | 眦
4072 | 眨
4073 | 眩
4074 | 眯
4075 | 眶
4076 | 眷
4077 | 眸
4078 | 眺
4079 | 眼
4080 | 眾
4081 | 着
4082 | 睁
4083 | 睇
4084 | 睏
4085 | 睐
4086 | 睑
4087 | 睛
4088 | 睜
4089 | 睞
4090 | 睡
4091 | 睢
4092 | 督
4093 | 睥
4094 | 睦
4095 | 睨
4096 | 睪
4097 | 睫
4098 | 睬
4099 | 睹
4100 | 睽
4101 | 睾
4102 | 睿
4103 | 瞄
4104 | 瞅
4105 | 瞇
4106 | 瞋
4107 | 瞌
4108 | 瞎
4109 | 瞑
4110 | 瞒
4111 | 瞓
4112 | 瞞
4113 | 瞟
4114 | 瞠
4115 | 瞥
4116 | 瞧
4117 | 瞩
4118 | 瞪
4119 | 瞬
4120 | 瞭
4121 | 瞰
4122 | 瞳
4123 | 瞻
4124 | 瞼
4125 | 瞿
4126 | 矇
4127 | 矍
4128 | 矗
4129 | 矚
4130 | 矛
4131 | 矜
4132 | 矢
4133 | 矣
4134 | 知
4135 | 矩
4136 | 矫
4137 | 短
4138 | 矮
4139 | 矯
4140 | 石
4141 | 矶
4142 | 矽
4143 | 矾
4144 | 矿
4145 | 码
4146 | 砂
4147 | 砌
4148 | 砍
4149 | 砒
4150 | 研
4151 | 砖
4152 | 砗
4153 | 砚
4154 | 砝
4155 | 砣
4156 | 砥
4157 | 砧
4158 | 砭
4159 | 砰
4160 | 砲
4161 | 破
4162 | 砷
4163 | 砸
4164 | 砺
4165 | 砼
4166 | 砾
4167 | 础
4168 | 硅
4169 | 硐
4170 | 硒
4171 | 硕
4172 | 硝
4173 | 硫
4174 | 硬
4175 | 确
4176 | 硯
4177 | 硼
4178 | 碁
4179 | 碇
4180 | 碉
4181 | 碌
4182 | 碍
4183 | 碎
4184 | 碑
4185 | 碓
4186 | 碗
4187 | 碘
4188 | 碚
4189 | 碛
4190 | 碟
4191 | 碣
4192 | 碧
4193 | 碩
4194 | 碰
4195 | 碱
4196 | 碳
4197 | 碴
4198 | 確
4199 | 碼
4200 | 碾
4201 | 磁
4202 | 磅
4203 | 磊
4204 | 磋
4205 | 磐
4206 | 磕
4207 | 磚
4208 | 磡
4209 | 磨
4210 | 磬
4211 | 磯
4212 | 磲
4213 | 磷
4214 | 磺
4215 | 礁
4216 | 礎
4217 | 礙
4218 | 礡
4219 | 礦
4220 | 礪
4221 | 礫
4222 | 礴
4223 | 示
4224 | 礼
4225 | 社
4226 | 祀
4227 | 祁
4228 | 祂
4229 | 祇
4230 | 祈
4231 | 祉
4232 | 祎
4233 | 祐
4234 | 祕
4235 | 祖
4236 | 祗
4237 | 祚
4238 | 祛
4239 | 祜
4240 | 祝
4241 | 神
4242 | 祟
4243 | 祠
4244 | 祢
4245 | 祥
4246 | 票
4247 | 祭
4248 | 祯
4249 | 祷
4250 | 祸
4251 | 祺
4252 | 祿
4253 | 禀
4254 | 禁
4255 | 禄
4256 | 禅
4257 | 禍
4258 | 禎
4259 | 福
4260 | 禛
4261 | 禦
4262 | 禧
4263 | 禪
4264 | 禮
4265 | 禱
4266 | 禹
4267 | 禺
4268 | 离
4269 | 禽
4270 | 禾
4271 | 禿
4272 | 秀
4273 | 私
4274 | 秃
4275 | 秆
4276 | 秉
4277 | 秋
4278 | 种
4279 | 科
4280 | 秒
4281 | 秘
4282 | 租
4283 | 秣
4284 | 秤
4285 | 秦
4286 | 秧
4287 | 秩
4288 | 秭
4289 | 积
4290 | 称
4291 | 秸
4292 | 移
4293 | 秽
4294 | 稀
4295 | 稅
4296 | 程
4297 | 稍
4298 | 税
4299 | 稔
4300 | 稗
4301 | 稚
4302 | 稜
4303 | 稞
4304 | 稟
4305 | 稠
4306 | 稣
4307 | 種
4308 | 稱
4309 | 稲
4310 | 稳
4311 | 稷
4312 | 稹
4313 | 稻
4314 | 稼
4315 | 稽
4316 | 稿
4317 | 穀
4318 | 穂
4319 | 穆
4320 | 穌
4321 | 積
4322 | 穎
4323 | 穗
4324 | 穢
4325 | 穩
4326 | 穫
4327 | 穴
4328 | 究
4329 | 穷
4330 | 穹
4331 | 空
4332 | 穿
4333 | 突
4334 | 窃
4335 | 窄
4336 | 窈
4337 | 窍
4338 | 窑
4339 | 窒
4340 | 窓
4341 | 窕
4342 | 窖
4343 | 窗
4344 | 窘
4345 | 窜
4346 | 窝
4347 | 窟
4348 | 窠
4349 | 窥
4350 | 窦
4351 | 窨
4352 | 窩
4353 | 窪
4354 | 窮
4355 | 窯
4356 | 窺
4357 | 窿
4358 | 竄
4359 | 竅
4360 | 竇
4361 | 竊
4362 | 立
4363 | 竖
4364 | 站
4365 | 竜
4366 | 竞
4367 | 竟
4368 | 章
4369 | 竣
4370 | 童
4371 | 竭
4372 | 端
4373 | 競
4374 | 竹
4375 | 竺
4376 | 竽
4377 | 竿
4378 | 笃
4379 | 笆
4380 | 笈
4381 | 笋
4382 | 笏
4383 | 笑
4384 | 笔
4385 | 笙
4386 | 笛
4387 | 笞
4388 | 笠
4389 | 符
4390 | 笨
4391 | 第
4392 | 笹
4393 | 笺
4394 | 笼
4395 | 筆
4396 | 等
4397 | 筊
4398 | 筋
4399 | 筍
4400 | 筏
4401 | 筐
4402 | 筑
4403 | 筒
4404 | 答
4405 | 策
4406 | 筛
4407 | 筝
4408 | 筠
4409 | 筱
4410 | 筲
4411 | 筵
4412 | 筷
4413 | 筹
4414 | 签
4415 | 简
4416 | 箇
4417 | 箋
4418 | 箍
4419 | 箏
4420 | 箐
4421 | 箔
4422 | 箕
4423 | 算
4424 | 箝
4425 | 管
4426 | 箩
4427 | 箫
4428 | 箭
4429 | 箱
4430 | 箴
4431 | 箸
4432 | 節
4433 | 篁
4434 | 範
4435 | 篆
4436 | 篇
4437 | 築
4438 | 篑
4439 | 篓
4440 | 篙
4441 | 篝
4442 | 篠
4443 | 篡
4444 | 篤
4445 | 篩
4446 | 篪
4447 | 篮
4448 | 篱
4449 | 篷
4450 | 簇
4451 | 簌
4452 | 簍
4453 | 簡
4454 | 簦
4455 | 簧
4456 | 簪
4457 | 簫
4458 | 簷
4459 | 簸
4460 | 簽
4461 | 簾
4462 | 簿
4463 | 籁
4464 | 籃
4465 | 籌
4466 | 籍
4467 | 籐
4468 | 籟
4469 | 籠
4470 | 籤
4471 | 籬
4472 | 籮
4473 | 籲
4474 | 米
4475 | 类
4476 | 籼
4477 | 籽
4478 | 粄
4479 | 粉
4480 | 粑
4481 | 粒
4482 | 粕
4483 | 粗
4484 | 粘
4485 | 粟
4486 | 粤
4487 | 粥
4488 | 粧
4489 | 粪
4490 | 粮
4491 | 粱
4492 | 粲
4493 | 粳
4494 | 粵
4495 | 粹
4496 | 粼
4497 | 粽
4498 | 精
4499 | 粿
4500 | 糅
4501 | 糊
4502 | 糍
4503 | 糕
4504 | 糖
4505 | 糗
4506 | 糙
4507 | 糜
4508 | 糞
4509 | 糟
4510 | 糠
4511 | 糧
4512 | 糬
4513 | 糯
4514 | 糰
4515 | 糸
4516 | 系
4517 | 糾
4518 | 紀
4519 | 紂
4520 | 約
4521 | 紅
4522 | 紉
4523 | 紊
4524 | 紋
4525 | 納
4526 | 紐
4527 | 紓
4528 | 純
4529 | 紗
4530 | 紘
4531 | 紙
4532 | 級
4533 | 紛
4534 | 紜
4535 | 素
4536 | 紡
4537 | 索
4538 | 紧
4539 | 紫
4540 | 紮
4541 | 累
4542 | 細
4543 | 紳
4544 | 紹
4545 | 紺
4546 | 終
4547 | 絃
4548 | 組
4549 | 絆
4550 | 経
4551 | 結
4552 | 絕
4553 | 絞
4554 | 絡
4555 | 絢
4556 | 給
4557 | 絨
4558 | 絮
4559 | 統
4560 | 絲
4561 | 絳
4562 | 絵
4563 | 絶
4564 | 絹
4565 | 綁
4566 | 綏
4567 | 綑
4568 | 經
4569 | 継
4570 | 続
4571 | 綜
4572 | 綠
4573 | 綢
4574 | 綦
4575 | 綫
4576 | 綬
4577 | 維
4578 | 綱
4579 | 網
4580 | 綴
4581 | 綵
4582 | 綸
4583 | 綺
4584 | 綻
4585 | 綽
4586 | 綾
4587 | 綿
4588 | 緊
4589 | 緋
4590 | 総
4591 | 緑
4592 | 緒
4593 | 緘
4594 | 線
4595 | 緝
4596 | 緞
4597 | 締
4598 | 緣
4599 | 編
4600 | 緩
4601 | 緬
4602 | 緯
4603 | 練
4604 | 緹
4605 | 緻
4606 | 縁
4607 | 縄
4608 | 縈
4609 | 縛
4610 | 縝
4611 | 縣
4612 | 縫
4613 | 縮
4614 | 縱
4615 | 縴
4616 | 縷
4617 | 總
4618 | 績
4619 | 繁
4620 | 繃
4621 | 繆
4622 | 繇
4623 | 繋
4624 | 織
4625 | 繕
4626 | 繚
4627 | 繞
4628 | 繡
4629 | 繩
4630 | 繪
4631 | 繫
4632 | 繭
4633 | 繳
4634 | 繹
4635 | 繼
4636 | 繽
4637 | 纂
4638 | 續
4639 | 纍
4640 | 纏
4641 | 纓
4642 | 纔
4643 | 纖
4644 | 纜
4645 | 纠
4646 | 红
4647 | 纣
4648 | 纤
4649 | 约
4650 | 级
4651 | 纨
4652 | 纪
4653 | 纫
4654 | 纬
4655 | 纭
4656 | 纯
4657 | 纰
4658 | 纱
4659 | 纲
4660 | 纳
4661 | 纵
4662 | 纶
4663 | 纷
4664 | 纸
4665 | 纹
4666 | 纺
4667 | 纽
4668 | 纾
4669 | 线
4670 | 绀
4671 | 练
4672 | 组
4673 | 绅
4674 | 细
4675 | 织
4676 | 终
4677 | 绊
4678 | 绍
4679 | 绎
4680 | 经
4681 | 绑
4682 | 绒
4683 | 结
4684 | 绔
4685 | 绕
4686 | 绘
4687 | 给
4688 | 绚
4689 | 绛
4690 | 络
4691 | 绝
4692 | 绞
4693 | 统
4694 | 绡
4695 | 绢
4696 | 绣
4697 | 绥
4698 | 绦
4699 | 继
4700 | 绩
4701 | 绪
4702 | 绫
4703 | 续
4704 | 绮
4705 | 绯
4706 | 绰
4707 | 绳
4708 | 维
4709 | 绵
4710 | 绶
4711 | 绷
4712 | 绸
4713 | 绻
4714 | 综
4715 | 绽
4716 | 绾
4717 | 绿
4718 | 缀
4719 | 缄
4720 | 缅
4721 | 缆
4722 | 缇
4723 | 缈
4724 | 缉
4725 | 缎
4726 | 缓
4727 | 缔
4728 | 缕
4729 | 编
4730 | 缘
4731 | 缙
4732 | 缚
4733 | 缜
4734 | 缝
4735 | 缠
4736 | 缢
4737 | 缤
4738 | 缥
4739 | 缨
4740 | 缩
4741 | 缪
4742 | 缭
4743 | 缮
4744 | 缰
4745 | 缱
4746 | 缴
4747 | 缸
4748 | 缺
4749 | 缽
4750 | 罂
4751 | 罄
4752 | 罌
4753 | 罐
4754 | 网
4755 | 罔
4756 | 罕
4757 | 罗
4758 | 罚
4759 | 罡
4760 | 罢
4761 | 罩
4762 | 罪
4763 | 置
4764 | 罰
4765 | 署
4766 | 罵
4767 | 罷
4768 | 罹
4769 | 羁
4770 | 羅
4771 | 羈
4772 | 羊
4773 | 羌
4774 | 美
4775 | 羔
4776 | 羚
4777 | 羞
4778 | 羟
4779 | 羡
4780 | 羣
4781 | 群
4782 | 羥
4783 | 羧
4784 | 羨
4785 | 義
4786 | 羯
4787 | 羲
4788 | 羸
4789 | 羹
4790 | 羽
4791 | 羿
4792 | 翁
4793 | 翅
4794 | 翊
4795 | 翌
4796 | 翎
4797 | 習
4798 | 翔
4799 | 翘
4800 | 翟
4801 | 翠
4802 | 翡
4803 | 翦
4804 | 翩
4805 | 翰
4806 | 翱
4807 | 翳
4808 | 翹
4809 | 翻
4810 | 翼
4811 | 耀
4812 | 老
4813 | 考
4814 | 耄
4815 | 者
4816 | 耆
4817 | 耋
4818 | 而
4819 | 耍
4820 | 耐
4821 | 耒
4822 | 耕
4823 | 耗
4824 | 耘
4825 | 耙
4826 | 耦
4827 | 耨
4828 | 耳
4829 | 耶
4830 | 耷
4831 | 耸
4832 | 耻
4833 | 耽
4834 | 耿
4835 | 聂
4836 | 聆
4837 | 聊
4838 | 聋
4839 | 职
4840 | 聒
4841 | 联
4842 | 聖
4843 | 聘
4844 | 聚
4845 | 聞
4846 | 聪
4847 | 聯
4848 | 聰
4849 | 聲
4850 | 聳
4851 | 聴
4852 | 聶
4853 | 職
4854 | 聽
4855 | 聾
4856 | 聿
4857 | 肃
4858 | 肄
4859 | 肅
4860 | 肆
4861 | 肇
4862 | 肉
4863 | 肋
4864 | 肌
4865 | 肏
4866 | 肓
4867 | 肖
4868 | 肘
4869 | 肚
4870 | 肛
4871 | 肝
4872 | 肠
4873 | 股
4874 | 肢
4875 | 肤
4876 | 肥
4877 | 肩
4878 | 肪
4879 | 肮
4880 | 肯
4881 | 肱
4882 | 育
4883 | 肴
4884 | 肺
4885 | 肽
4886 | 肾
4887 | 肿
4888 | 胀
4889 | 胁
4890 | 胃
4891 | 胄
4892 | 胆
4893 | 背
4894 | 胍
4895 | 胎
4896 | 胖
4897 | 胚
4898 | 胛
4899 | 胜
4900 | 胝
4901 | 胞
4902 | 胡
4903 | 胤
4904 | 胥
4905 | 胧
4906 | 胫
4907 | 胭
4908 | 胯
4909 | 胰
4910 | 胱
4911 | 胳
4912 | 胴
4913 | 胶
4914 | 胸
4915 | 胺
4916 | 能
4917 | 脂
4918 | 脅
4919 | 脆
4920 | 脇
4921 | 脈
4922 | 脉
4923 | 脊
4924 | 脍
4925 | 脏
4926 | 脐
4927 | 脑
4928 | 脓
4929 | 脖
4930 | 脘
4931 | 脚
4932 | 脛
4933 | 脣
4934 | 脩
4935 | 脫
4936 | 脯
4937 | 脱
4938 | 脲
4939 | 脳
4940 | 脸
4941 | 脹
4942 | 脾
4943 | 腆
4944 | 腈
4945 | 腊
4946 | 腋
4947 | 腌
4948 | 腎
4949 | 腐
4950 | 腑
4951 | 腓
4952 | 腔
4953 | 腕
4954 | 腥
4955 | 腦
4956 | 腩
4957 | 腫
4958 | 腭
4959 | 腮
4960 | 腰
4961 | 腱
4962 | 腳
4963 | 腴
4964 | 腸
4965 | 腹
4966 | 腺
4967 | 腻
4968 | 腼
4969 | 腾
4970 | 腿
4971 | 膀
4972 | 膈
4973 | 膊
4974 | 膏
4975 | 膑
4976 | 膘
4977 | 膚
4978 | 膛
4979 | 膜
4980 | 膝
4981 | 膠
4982 | 膦
4983 | 膨
4984 | 膩
4985 | 膳
4986 | 膺
4987 | 膻
4988 | 膽
4989 | 膾
4990 | 膿
4991 | 臀
4992 | 臂
4993 | 臃
4994 | 臆
4995 | 臉
4996 | 臊
4997 | 臍
4998 | 臓
4999 | 臘
5000 | 臟
5001 | 臣
5002 | 臥
5003 | 臧
5004 | 臨
5005 | 自
5006 | 臬
5007 | 臭
5008 | 至
5009 | 致
5010 | 臺
5011 | 臻
5012 | 臼
5013 | 臾
5014 | 舀
5015 | 舂
5016 | 舅
5017 | 舆
5018 | 與
5019 | 興
5020 | 舉
5021 | 舊
5022 | 舌
5023 | 舍
5024 | 舎
5025 | 舐
5026 | 舒
5027 | 舔
5028 | 舖
5029 | 舗
5030 | 舛
5031 | 舜
5032 | 舞
5033 | 舟
5034 | 航
5035 | 舫
5036 | 般
5037 | 舰
5038 | 舱
5039 | 舵
5040 | 舶
5041 | 舷
5042 | 舸
5043 | 船
5044 | 舺
5045 | 舾
5046 | 艇
5047 | 艋
5048 | 艘
5049 | 艙
5050 | 艦
5051 | 艮
5052 | 良
5053 | 艰
5054 | 艱
5055 | 色
5056 | 艳
5057 | 艷
5058 | 艹
5059 | 艺
5060 | 艾
5061 | 节
5062 | 芃
5063 | 芈
5064 | 芊
5065 | 芋
5066 | 芍
5067 | 芎
5068 | 芒
5069 | 芙
5070 | 芜
5071 | 芝
5072 | 芡
5073 | 芥
5074 | 芦
5075 | 芩
5076 | 芪
5077 | 芫
5078 | 芬
5079 | 芭
5080 | 芮
5081 | 芯
5082 | 花
5083 | 芳
5084 | 芷
5085 | 芸
5086 | 芹
5087 | 芻
5088 | 芽
5089 | 芾
5090 | 苁
5091 | 苄
5092 | 苇
5093 | 苋
5094 | 苍
5095 | 苏
5096 | 苑
5097 | 苒
5098 | 苓
5099 | 苔
5100 | 苕
5101 | 苗
5102 | 苛
5103 | 苜
5104 | 苞
5105 | 苟
5106 | 苡
5107 | 苣
5108 | 若
5109 | 苦
5110 | 苫
5111 | 苯
5112 | 英
5113 | 苷
5114 | 苹
5115 | 苻
5116 | 茁
5117 | 茂
5118 | 范
5119 | 茄
5120 | 茅
5121 | 茉
5122 | 茎
5123 | 茏
5124 | 茗
5125 | 茜
5126 | 茧
5127 | 茨
5128 | 茫
5129 | 茬
5130 | 茭
5131 | 茯
5132 | 茱
5133 | 茲
5134 | 茴
5135 | 茵
5136 | 茶
5137 | 茸
5138 | 茹
5139 | 茼
5140 | 荀
5141 | 荃
5142 | 荆
5143 | 草
5144 | 荊
5145 | 荏
5146 | 荐
5147 | 荒
5148 | 荔
5149 | 荖
5150 | 荘
5151 | 荚
5152 | 荞
5153 | 荟
5154 | 荠
5155 | 荡
5156 | 荣
5157 | 荤
5158 | 荥
5159 | 荧
5160 | 荨
5161 | 荪
5162 | 荫
5163 | 药
5164 | 荳
5165 | 荷
5166 | 荸
5167 | 荻
5168 | 荼
5169 | 荽
5170 | 莅
5171 | 莆
5172 | 莉
5173 | 莊
5174 | 莎
5175 | 莒
5176 | 莓
5177 | 莖
5178 | 莘
5179 | 莞
5180 | 莠
5181 | 莢
5182 | 莧
5183 | 莪
5184 | 莫
5185 | 莱
5186 | 莲
5187 | 莴
5188 | 获
5189 | 莹
5190 | 莺
5191 | 莽
5192 | 莿
5193 | 菀
5194 | 菁
5195 | 菅
5196 | 菇
5197 | 菈
5198 | 菊
5199 | 菌
5200 | 菏
5201 | 菓
5202 | 菖
5203 | 菘
5204 | 菜
5205 | 菟
5206 | 菠
5207 | 菡
5208 | 菩
5209 | 華
5210 | 菱
5211 | 菲
5212 | 菸
5213 | 菽
5214 | 萁
5215 | 萃
5216 | 萄
5217 | 萊
5218 | 萋
5219 | 萌
5220 | 萍
5221 | 萎
5222 | 萘
5223 | 萝
5224 | 萤
5225 | 营
5226 | 萦
5227 | 萧
5228 | 萨
5229 | 萩
5230 | 萬
5231 | 萱
5232 | 萵
5233 | 萸
5234 | 萼
5235 | 落
5236 | 葆
5237 | 葉
5238 | 著
5239 | 葚
5240 | 葛
5241 | 葡
5242 | 董
5243 | 葦
5244 | 葩
5245 | 葫
5246 | 葬
5247 | 葭
5248 | 葯
5249 | 葱
5250 | 葳
5251 | 葵
5252 | 葷
5253 | 葺
5254 | 蒂
5255 | 蒋
5256 | 蒐
5257 | 蒔
5258 | 蒙
5259 | 蒜
5260 | 蒞
5261 | 蒟
5262 | 蒡
5263 | 蒨
5264 | 蒲
5265 | 蒸
5266 | 蒹
5267 | 蒻
5268 | 蒼
5269 | 蒿
5270 | 蓁
5271 | 蓄
5272 | 蓆
5273 | 蓉
5274 | 蓋
5275 | 蓑
5276 | 蓓
5277 | 蓖
5278 | 蓝
5279 | 蓟
5280 | 蓦
5281 | 蓬
5282 | 蓮
5283 | 蓼
5284 | 蓿
5285 | 蔑
5286 | 蔓
5287 | 蔔
5288 | 蔗
5289 | 蔘
5290 | 蔚
5291 | 蔡
5292 | 蔣
5293 | 蔥
5294 | 蔫
5295 | 蔬
5296 | 蔭
5297 | 蔵
5298 | 蔷
5299 | 蔺
5300 | 蔻
5301 | 蔼
5302 | 蔽
5303 | 蕁
5304 | 蕃
5305 | 蕈
5306 | 蕉
5307 | 蕊
5308 | 蕎
5309 | 蕙
5310 | 蕤
5311 | 蕨
5312 | 蕩
5313 | 蕪
5314 | 蕭
5315 | 蕲
5316 | 蕴
5317 | 蕻
5318 | 蕾
5319 | 薄
5320 | 薅
5321 | 薇
5322 | 薈
5323 | 薊
5324 | 薏
5325 | 薑
5326 | 薔
5327 | 薙
5328 | 薛
5329 | 薦
5330 | 薨
5331 | 薩
5332 | 薪
5333 | 薬
5334 | 薯
5335 | 薰
5336 | 薹
5337 | 藉
5338 | 藍
5339 | 藏
5340 | 藐
5341 | 藓
5342 | 藕
5343 | 藜
5344 | 藝
5345 | 藤
5346 | 藥
5347 | 藩
5348 | 藹
5349 | 藻
5350 | 藿
5351 | 蘆
5352 | 蘇
5353 | 蘊
5354 | 蘋
5355 | 蘑
5356 | 蘚
5357 | 蘭
5358 | 蘸
5359 | 蘼
5360 | 蘿
5361 | 虎
5362 | 虏
5363 | 虐
5364 | 虑
5365 | 虔
5366 | 處
5367 | 虚
5368 | 虛
5369 | 虜
5370 | 虞
5371 | 號
5372 | 虢
5373 | 虧
5374 | 虫
5375 | 虬
5376 | 虱
5377 | 虹
5378 | 虻
5379 | 虽
5380 | 虾
5381 | 蚀
5382 | 蚁
5383 | 蚂
5384 | 蚊
5385 | 蚌
5386 | 蚓
5387 | 蚕
5388 | 蚜
5389 | 蚝
5390 | 蚣
5391 | 蚤
5392 | 蚩
5393 | 蚪
5394 | 蚯
5395 | 蚱
5396 | 蚵
5397 | 蛀
5398 | 蛆
5399 | 蛇
5400 | 蛊
5401 | 蛋
5402 | 蛎
5403 | 蛐
5404 | 蛔
5405 | 蛙
5406 | 蛛
5407 | 蛟
5408 | 蛤
5409 | 蛭
5410 | 蛮
5411 | 蛰
5412 | 蛳
5413 | 蛹
5414 | 蛻
5415 | 蛾
5416 | 蜀
5417 | 蜂
5418 | 蜃
5419 | 蜆
5420 | 蜇
5421 | 蜈
5422 | 蜊
5423 | 蜍
5424 | 蜒
5425 | 蜓
5426 | 蜕
5427 | 蜗
5428 | 蜘
5429 | 蜚
5430 | 蜜
5431 | 蜡
5432 | 蜢
5433 | 蜥
5434 | 蜱
5435 | 蜴
5436 | 蜷
5437 | 蜻
5438 | 蜿
5439 | 蝇
5440 | 蝈
5441 | 蝉
5442 | 蝌
5443 | 蝎
5444 | 蝕
5445 | 蝗
5446 | 蝙
5447 | 蝟
5448 | 蝠
5449 | 蝦
5450 | 蝨
5451 | 蝴
5452 | 蝶
5453 | 蝸
5454 | 蝼
5455 | 螂
5456 | 螃
5457 | 融
5458 | 螞
5459 | 螢
5460 | 螨
5461 | 螯
5462 | 螳
5463 | 螺
5464 | 蟀
5465 | 蟄
5466 | 蟆
5467 | 蟋
5468 | 蟎
5469 | 蟑
5470 | 蟒
5471 | 蟠
5472 | 蟬
5473 | 蟲
5474 | 蟹
5475 | 蟻
5476 | 蟾
5477 | 蠅
5478 | 蠍
5479 | 蠔
5480 | 蠕
5481 | 蠛
5482 | 蠟
5483 | 蠡
5484 | 蠢
5485 | 蠣
5486 | 蠱
5487 | 蠶
5488 | 蠹
5489 | 蠻
5490 | 血
5491 | 衄
5492 | 衅
5493 | 衆
5494 | 行
5495 | 衍
5496 | 術
5497 | 衔
5498 | 街
5499 | 衙
5500 | 衛
5501 | 衝
5502 | 衞
5503 | 衡
5504 | 衢
5505 | 衣
5506 | 补
5507 | 表
5508 | 衩
5509 | 衫
5510 | 衬
5511 | 衮
5512 | 衰
5513 | 衲
5514 | 衷
5515 | 衹
5516 | 衾
5517 | 衿
5518 | 袁
5519 | 袂
5520 | 袄
5521 | 袅
5522 | 袈
5523 | 袋
5524 | 袍
5525 | 袒
5526 | 袖
5527 | 袜
5528 | 袞
5529 | 袤
5530 | 袪
5531 | 被
5532 | 袭
5533 | 袱
5534 | 裁
5535 | 裂
5536 | 装
5537 | 裆
5538 | 裊
5539 | 裏
5540 | 裔
5541 | 裕
5542 | 裘
5543 | 裙
5544 | 補
5545 | 裝
5546 | 裟
5547 | 裡
5548 | 裤
5549 | 裨
5550 | 裱
5551 | 裳
5552 | 裴
5553 | 裸
5554 | 裹
5555 | 製
5556 | 裾
5557 | 褂
5558 | 複
5559 | 褐
5560 | 褒
5561 | 褓
5562 | 褔
5563 | 褚
5564 | 褥
5565 | 褪
5566 | 褫
5567 | 褲
5568 | 褶
5569 | 褻
5570 | 襁
5571 | 襄
5572 | 襟
5573 | 襠
5574 | 襪
5575 | 襬
5576 | 襯
5577 | 襲
5578 | 西
5579 | 要
5580 | 覃
5581 | 覆
5582 | 覇
5583 | 見
5584 | 規
5585 | 覓
5586 | 視
5587 | 覚
5588 | 覦
5589 | 覧
5590 | 親
5591 | 覬
5592 | 観
5593 | 覷
5594 | 覺
5595 | 覽
5596 | 觀
5597 | 见
5598 | 观
5599 | 规
5600 | 觅
5601 | 视
5602 | 览
5603 | 觉
5604 | 觊
5605 | 觎
5606 | 觐
5607 | 觑
5608 | 角
5609 | 觞
5610 | 解
5611 | 觥
5612 | 触
5613 | 觸
5614 | 言
5615 | 訂
5616 | 計
5617 | 訊
5618 | 討
5619 | 訓
5620 | 訕
5621 | 訖
5622 | 託
5623 | 記
5624 | 訛
5625 | 訝
5626 | 訟
5627 | 訣
5628 | 訥
5629 | 訪
5630 | 設
5631 | 許
5632 | 訳
5633 | 訴
5634 | 訶
5635 | 診
5636 | 註
5637 | 証
5638 | 詆
5639 | 詐
5640 | 詔
5641 | 評
5642 | 詛
5643 | 詞
5644 | 詠
5645 | 詡
5646 | 詢
5647 | 詣
5648 | 試
5649 | 詩
5650 | 詫
5651 | 詬
5652 | 詭
5653 | 詮
5654 | 詰
5655 | 話
5656 | 該
5657 | 詳
5658 | 詹
5659 | 詼
5660 | 誅
5661 | 誇
5662 | 誉
5663 | 誌
5664 | 認
5665 | 誓
5666 | 誕
5667 | 誘
5668 | 語
5669 | 誠
5670 | 誡
5671 | 誣
5672 | 誤
5673 | 誥
5674 | 誦
5675 | 誨
5676 | 說
5677 | 説
5678 | 読
5679 | 誰
5680 | 課
5681 | 誹
5682 | 誼
5683 | 調
5684 | 諄
5685 | 談
5686 | 請
5687 | 諏
5688 | 諒
5689 | 論
5690 | 諗
5691 | 諜
5692 | 諡
5693 | 諦
5694 | 諧
5695 | 諫
5696 | 諭
5697 | 諮
5698 | 諱
5699 | 諳
5700 | 諷
5701 | 諸
5702 | 諺
5703 | 諾
5704 | 謀
5705 | 謁
5706 | 謂
5707 | 謄
5708 | 謊
5709 | 謎
5710 | 謐
5711 | 謔
5712 | 謗
5713 | 謙
5714 | 講
5715 | 謝
5716 | 謠
5717 | 謨
5718 | 謬
5719 | 謹
5720 | 謾
5721 | 譁
5722 | 證
5723 | 譎
5724 | 譏
5725 | 識
5726 | 譙
5727 | 譚
5728 | 譜
5729 | 警
5730 | 譬
5731 | 譯
5732 | 議
5733 | 譲
5734 | 譴
5735 | 護
5736 | 譽
5737 | 讀
5738 | 變
5739 | 讓
5740 | 讚
5741 | 讞
5742 | 计
5743 | 订
5744 | 认
5745 | 讥
5746 | 讧
5747 | 讨
5748 | 让
5749 | 讪
5750 | 讫
5751 | 训
5752 | 议
5753 | 讯
5754 | 记
5755 | 讲
5756 | 讳
5757 | 讴
5758 | 讶
5759 | 讷
5760 | 许
5761 | 讹
5762 | 论
5763 | 讼
5764 | 讽
5765 | 设
5766 | 访
5767 | 诀
5768 | 证
5769 | 诃
5770 | 评
5771 | 诅
5772 | 识
5773 | 诈
5774 | 诉
5775 | 诊
5776 | 诋
5777 | 词
5778 | 诏
5779 | 译
5780 | 试
5781 | 诗
5782 | 诘
5783 | 诙
5784 | 诚
5785 | 诛
5786 | 话
5787 | 诞
5788 | 诟
5789 | 诠
5790 | 诡
5791 | 询
5792 | 诣
5793 | 诤
5794 | 该
5795 | 详
5796 | 诧
5797 | 诩
5798 | 诫
5799 | 诬
5800 | 语
5801 | 误
5802 | 诰
5803 | 诱
5804 | 诲
5805 | 说
5806 | 诵
5807 | 诶
5808 | 请
5809 | 诸
5810 | 诺
5811 | 读
5812 | 诽
5813 | 课
5814 | 诿
5815 | 谀
5816 | 谁
5817 | 调
5818 | 谄
5819 | 谅
5820 | 谆
5821 | 谈
5822 | 谊
5823 | 谋
5824 | 谌
5825 | 谍
5826 | 谎
5827 | 谏
5828 | 谐
5829 | 谑
5830 | 谒
5831 | 谓
5832 | 谔
5833 | 谕
5834 | 谗
5835 | 谘
5836 | 谙
5837 | 谚
5838 | 谛
5839 | 谜
5840 | 谟
5841 | 谢
5842 | 谣
5843 | 谤
5844 | 谥
5845 | 谦
5846 | 谧
5847 | 谨
5848 | 谩
5849 | 谪
5850 | 谬
5851 | 谭
5852 | 谯
5853 | 谱
5854 | 谲
5855 | 谴
5856 | 谶
5857 | 谷
5858 | 豁
5859 | 豆
5860 | 豇
5861 | 豈
5862 | 豉
5863 | 豊
5864 | 豌
5865 | 豎
5866 | 豐
5867 | 豔
5868 | 豚
5869 | 象
5870 | 豢
5871 | 豪
5872 | 豫
5873 | 豬
5874 | 豹
5875 | 豺
5876 | 貂
5877 | 貅
5878 | 貌
5879 | 貓
5880 | 貔
5881 | 貘
5882 | 貝
5883 | 貞
5884 | 負
5885 | 財
5886 | 貢
5887 | 貧
5888 | 貨
5889 | 販
5890 | 貪
5891 | 貫
5892 | 責
5893 | 貯
5894 | 貰
5895 | 貳
5896 | 貴
5897 | 貶
5898 | 買
5899 | 貸
5900 | 費
5901 | 貼
5902 | 貽
5903 | 貿
5904 | 賀
5905 | 賁
5906 | 賂
5907 | 賃
5908 | 賄
5909 | 資
5910 | 賈
5911 | 賊
5912 | 賑
5913 | 賓
5914 | 賜
5915 | 賞
5916 | 賠
5917 | 賡
5918 | 賢
5919 | 賣
5920 | 賤
5921 | 賦
5922 | 質
5923 | 賬
5924 | 賭
5925 | 賴
5926 | 賺
5927 | 購
5928 | 賽
5929 | 贅
5930 | 贈
5931 | 贊
5932 | 贍
5933 | 贏
5934 | 贓
5935 | 贖
5936 | 贛
5937 | 贝
5938 | 贞
5939 | 负
5940 | 贡
5941 | 财
5942 | 责
5943 | 贤
5944 | 败
5945 | 账
5946 | 货
5947 | 质
5948 | 贩
5949 | 贪
5950 | 贫
5951 | 贬
5952 | 购
5953 | 贮
5954 | 贯
5955 | 贰
5956 | 贱
5957 | 贲
5958 | 贴
5959 | 贵
5960 | 贷
5961 | 贸
5962 | 费
5963 | 贺
5964 | 贻
5965 | 贼
5966 | 贾
5967 | 贿
5968 | 赁
5969 | 赂
5970 | 赃
5971 | 资
5972 | 赅
5973 | 赈
5974 | 赊
5975 | 赋
5976 | 赌
5977 | 赎
5978 | 赏
5979 | 赐
5980 | 赓
5981 | 赔
5982 | 赖
5983 | 赘
5984 | 赚
5985 | 赛
5986 | 赝
5987 | 赞
5988 | 赠
5989 | 赡
5990 | 赢
5991 | 赣
5992 | 赤
5993 | 赦
5994 | 赧
5995 | 赫
5996 | 赭
5997 | 走
5998 | 赳
5999 | 赴
6000 | 赵
6001 | 赶
6002 | 起
6003 | 趁
6004 | 超
6005 | 越
6006 | 趋
6007 | 趕
6008 | 趙
6009 | 趟
6010 | 趣
6011 | 趨
6012 | 足
6013 | 趴
6014 | 趵
6015 | 趸
6016 | 趺
6017 | 趾
6018 | 跃
6019 | 跄
6020 | 跆
6021 | 跋
6022 | 跌
6023 | 跎
6024 | 跑
6025 | 跖
6026 | 跚
6027 | 跛
6028 | 距
6029 | 跟
6030 | 跡
6031 | 跤
6032 | 跨
6033 | 跩
6034 | 跪
6035 | 路
6036 | 跳
6037 | 践
6038 | 跷
6039 | 跹
6040 | 跺
6041 | 跻
6042 | 踉
6043 | 踊
6044 | 踌
6045 | 踏
6046 | 踐
6047 | 踝
6048 | 踞
6049 | 踟
6050 | 踢
6051 | 踩
6052 | 踪
6053 | 踮
6054 | 踱
6055 | 踴
6056 | 踵
6057 | 踹
6058 | 蹂
6059 | 蹄
6060 | 蹇
6061 | 蹈
6062 | 蹉
6063 | 蹊
6064 | 蹋
6065 | 蹑
6066 | 蹒
6067 | 蹙
6068 | 蹟
6069 | 蹣
6070 | 蹤
6071 | 蹦
6072 | 蹩
6073 | 蹬
6074 | 蹭
6075 | 蹲
6076 | 蹴
6077 | 蹶
6078 | 蹺
6079 | 蹼
6080 | 蹿
6081 | 躁
6082 | 躇
6083 | 躉
6084 | 躊
6085 | 躋
6086 | 躍
6087 | 躏
6088 | 躪
6089 | 身
6090 | 躬
6091 | 躯
6092 | 躲
6093 | 躺
6094 | 軀
6095 | 車
6096 | 軋
6097 | 軌
6098 | 軍
6099 | 軒
6100 | 軟
6101 | 転
6102 | 軸
6103 | 軼
6104 | 軽
6105 | 軾
6106 | 較
6107 | 載
6108 | 輒
6109 | 輓
6110 | 輔
6111 | 輕
6112 | 輛
6113 | 輝
6114 | 輟
6115 | 輩
6116 | 輪
6117 | 輯
6118 | 輸
6119 | 輻
6120 | 輾
6121 | 輿
6122 | 轄
6123 | 轅
6124 | 轆
6125 | 轉
6126 | 轍
6127 | 轎
6128 | 轟
6129 | 车
6130 | 轧
6131 | 轨
6132 | 轩
6133 | 转
6134 | 轭
6135 | 轮
6136 | 软
6137 | 轰
6138 | 轲
6139 | 轴
6140 | 轶
6141 | 轻
6142 | 轼
6143 | 载
6144 | 轿
6145 | 较
6146 | 辄
6147 | 辅
6148 | 辆
6149 | 辇
6150 | 辈
6151 | 辉
6152 | 辊
6153 | 辍
6154 | 辐
6155 | 辑
6156 | 输
6157 | 辕
6158 | 辖
6159 | 辗
6160 | 辘
6161 | 辙
6162 | 辛
6163 | 辜
6164 | 辞
6165 | 辟
6166 | 辣
6167 | 辦
6168 | 辨
6169 | 辩
6170 | 辫
6171 | 辭
6172 | 辮
6173 | 辯
6174 | 辰
6175 | 辱
6176 | 農
6177 | 边
6178 | 辺
6179 | 辻
6180 | 込
6181 | 辽
6182 | 达
6183 | 迁
6184 | 迂
6185 | 迄
6186 | 迅
6187 | 过
6188 | 迈
6189 | 迎
6190 | 运
6191 | 近
6192 | 返
6193 | 还
6194 | 这
6195 | 进
6196 | 远
6197 | 违
6198 | 连
6199 | 迟
6200 | 迢
6201 | 迤
6202 | 迥
6203 | 迦
6204 | 迩
6205 | 迪
6206 | 迫
6207 | 迭
6208 | 述
6209 | 迴
6210 | 迷
6211 | 迸
6212 | 迹
6213 | 迺
6214 | 追
6215 | 退
6216 | 送
6217 | 适
6218 | 逃
6219 | 逅
6220 | 逆
6221 | 选
6222 | 逊
6223 | 逍
6224 | 透
6225 | 逐
6226 | 递
6227 | 途
6228 | 逕
6229 | 逗
6230 | 這
6231 | 通
6232 | 逛
6233 | 逝
6234 | 逞
6235 | 速
6236 | 造
6237 | 逢
6238 | 連
6239 | 逮
6240 | 週
6241 | 進
6242 | 逵
6243 | 逶
6244 | 逸
6245 | 逻
6246 | 逼
6247 | 逾
6248 | 遁
6249 | 遂
6250 | 遅
6251 | 遇
6252 | 遊
6253 | 運
6254 | 遍
6255 | 過
6256 | 遏
6257 | 遐
6258 | 遑
6259 | 遒
6260 | 道
6261 | 達
6262 | 違
6263 | 遗
6264 | 遙
6265 | 遛
6266 | 遜
6267 | 遞
6268 | 遠
6269 | 遢
6270 | 遣
6271 | 遥
6272 | 遨
6273 | 適
6274 | 遭
6275 | 遮
6276 | 遲
6277 | 遴
6278 | 遵
6279 | 遶
6280 | 遷
6281 | 選
6282 | 遺
6283 | 遼
6284 | 遽
6285 | 避
6286 | 邀
6287 | 邁
6288 | 邂
6289 | 邃
6290 | 還
6291 | 邇
6292 | 邈
6293 | 邊
6294 | 邋
6295 | 邏
6296 | 邑
6297 | 邓
6298 | 邕
6299 | 邛
6300 | 邝
6301 | 邢
6302 | 那
6303 | 邦
6304 | 邨
6305 | 邪
6306 | 邬
6307 | 邮
6308 | 邯
6309 | 邰
6310 | 邱
6311 | 邳
6312 | 邵
6313 | 邸
6314 | 邹
6315 | 邺
6316 | 邻
6317 | 郁
6318 | 郅
6319 | 郊
6320 | 郎
6321 | 郑
6322 | 郜
6323 | 郝
6324 | 郡
6325 | 郢
6326 | 郤
6327 | 郦
6328 | 郧
6329 | 部
6330 | 郫
6331 | 郭
6332 | 郴
6333 | 郵
6334 | 郷
6335 | 郸
6336 | 都
6337 | 鄂
6338 | 鄉
6339 | 鄒
6340 | 鄔
6341 | 鄙
6342 | 鄞
6343 | 鄢
6344 | 鄧
6345 | 鄭
6346 | 鄰
6347 | 鄱
6348 | 鄲
6349 | 鄺
6350 | 酉
6351 | 酊
6352 | 酋
6353 | 酌
6354 | 配
6355 | 酐
6356 | 酒
6357 | 酗
6358 | 酚
6359 | 酝
6360 | 酢
6361 | 酣
6362 | 酥
6363 | 酩
6364 | 酪
6365 | 酬
6366 | 酮
6367 | 酯
6368 | 酰
6369 | 酱
6370 | 酵
6371 | 酶
6372 | 酷
6373 | 酸
6374 | 酿
6375 | 醃
6376 | 醇
6377 | 醉
6378 | 醋
6379 | 醍
6380 | 醐
6381 | 醒
6382 | 醚
6383 | 醛
6384 | 醜
6385 | 醞
6386 | 醣
6387 | 醪
6388 | 醫
6389 | 醬
6390 | 醮
6391 | 醯
6392 | 醴
6393 | 醺
6394 | 釀
6395 | 釁
6396 | 采
6397 | 釉
6398 | 释
6399 | 釋
6400 | 里
6401 | 重
6402 | 野
6403 | 量
6404 | 釐
6405 | 金
6406 | 釗
6407 | 釘
6408 | 釜
6409 | 針
6410 | 釣
6411 | 釦
6412 | 釧
6413 | 釵
6414 | 鈀
6415 | 鈉
6416 | 鈍
6417 | 鈎
6418 | 鈔
6419 | 鈕
6420 | 鈞
6421 | 鈣
6422 | 鈦
6423 | 鈪
6424 | 鈴
6425 | 鈺
6426 | 鈾
6427 | 鉀
6428 | 鉄
6429 | 鉅
6430 | 鉉
6431 | 鉑
6432 | 鉗
6433 | 鉚
6434 | 鉛
6435 | 鉤
6436 | 鉴
6437 | 鉻
6438 | 銀
6439 | 銃
6440 | 銅
6441 | 銑
6442 | 銓
6443 | 銖
6444 | 銘
6445 | 銜
6446 | 銬
6447 | 銭
6448 | 銮
6449 | 銳
6450 | 銷
6451 | 銹
6452 | 鋁
6453 | 鋅
6454 | 鋒
6455 | 鋤
6456 | 鋪
6457 | 鋰
6458 | 鋸
6459 | 鋼
6460 | 錄
6461 | 錐
6462 | 錘
6463 | 錚
6464 | 錠
6465 | 錢
6466 | 錦
6467 | 錨
6468 | 錫
6469 | 錮
6470 | 錯
6471 | 録
6472 | 錳
6473 | 錶
6474 | 鍊
6475 | 鍋
6476 | 鍍
6477 | 鍛
6478 | 鍥
6479 | 鍰
6480 | 鍵
6481 | 鍺
6482 | 鍾
6483 | 鎂
6484 | 鎊
6485 | 鎌
6486 | 鎏
6487 | 鎔
6488 | 鎖
6489 | 鎗
6490 | 鎚
6491 | 鎧
6492 | 鎬
6493 | 鎮
6494 | 鎳
6495 | 鏈
6496 | 鏖
6497 | 鏗
6498 | 鏘
6499 | 鏞
6500 | 鏟
6501 | 鏡
6502 | 鏢
6503 | 鏤
6504 | 鏽
6505 | 鐘
6506 | 鐮
6507 | 鐲
6508 | 鐳
6509 | 鐵
6510 | 鐸
6511 | 鐺
6512 | 鑄
6513 | 鑊
6514 | 鑑
6515 | 鑒
6516 | 鑣
6517 | 鑫
6518 | 鑰
6519 | 鑲
6520 | 鑼
6521 | 鑽
6522 | 鑾
6523 | 鑿
6524 | 针
6525 | 钉
6526 | 钊
6527 | 钎
6528 | 钏
6529 | 钒
6530 | 钓
6531 | 钗
6532 | 钙
6533 | 钛
6534 | 钜
6535 | 钝
6536 | 钞
6537 | 钟
6538 | 钠
6539 | 钡
6540 | 钢
6541 | 钣
6542 | 钤
6543 | 钥
6544 | 钦
6545 | 钧
6546 | 钨
6547 | 钩
6548 | 钮
6549 | 钯
6550 | 钰
6551 | 钱
6552 | 钳
6553 | 钴
6554 | 钵
6555 | 钺
6556 | 钻
6557 | 钼
6558 | 钾
6559 | 钿
6560 | 铀
6561 | 铁
6562 | 铂
6563 | 铃
6564 | 铄
6565 | 铅
6566 | 铆
6567 | 铉
6568 | 铎
6569 | 铐
6570 | 铛
6571 | 铜
6572 | 铝
6573 | 铠
6574 | 铡
6575 | 铢
6576 | 铣
6577 | 铤
6578 | 铨
6579 | 铩
6580 | 铬
6581 | 铭
6582 | 铮
6583 | 铰
6584 | 铲
6585 | 铵
6586 | 银
6587 | 铸
6588 | 铺
6589 | 链
6590 | 铿
6591 | 销
6592 | 锁
6593 | 锂
6594 | 锄
6595 | 锅
6596 | 锆
6597 | 锈
6598 | 锉
6599 | 锋
6600 | 锌
6601 | 锏
6602 | 锐
6603 | 锑
6604 | 错
6605 | 锚
6606 | 锟
6607 | 锡
6608 | 锢
6609 | 锣
6610 | 锤
6611 | 锥
6612 | 锦
6613 | 锭
6614 | 键
6615 | 锯
6616 | 锰
6617 | 锲
6618 | 锵
6619 | 锹
6620 | 锺
6621 | 锻
6622 | 镀
6623 | 镁
6624 | 镂
6625 | 镇
6626 | 镉
6627 | 镌
6628 | 镍
6629 | 镐
6630 | 镑
6631 | 镕
6632 | 镖
6633 | 镗
6634 | 镛
6635 | 镜
6636 | 镣
6637 | 镭
6638 | 镯
6639 | 镰
6640 | 镳
6641 | 镶
6642 | 長
6643 | 长
6644 | 門
6645 | 閃
6646 | 閉
6647 | 開
6648 | 閎
6649 | 閏
6650 | 閑
6651 | 閒
6652 | 間
6653 | 閔
6654 | 閘
6655 | 閡
6656 | 関
6657 | 閣
6658 | 閥
6659 | 閨
6660 | 閩
6661 | 閱
6662 | 閲
6663 | 閹
6664 | 閻
6665 | 閾
6666 | 闆
6667 | 闇
6668 | 闊
6669 | 闌
6670 | 闍
6671 | 闔
6672 | 闕
6673 | 闖
6674 | 闘
6675 | 關
6676 | 闡
6677 | 闢
6678 | 门
6679 | 闪
6680 | 闫
6681 | 闭
6682 | 问
6683 | 闯
6684 | 闰
6685 | 闲
6686 | 间
6687 | 闵
6688 | 闷
6689 | 闸
6690 | 闹
6691 | 闺
6692 | 闻
6693 | 闽
6694 | 闾
6695 | 阀
6696 | 阁
6697 | 阂
6698 | 阅
6699 | 阆
6700 | 阇
6701 | 阈
6702 | 阉
6703 | 阎
6704 | 阐
6705 | 阑
6706 | 阔
6707 | 阕
6708 | 阖
6709 | 阙
6710 | 阚
6711 | 阜
6712 | 队
6713 | 阡
6714 | 阪
6715 | 阮
6716 | 阱
6717 | 防
6718 | 阳
6719 | 阴
6720 | 阵
6721 | 阶
6722 | 阻
6723 | 阿
6724 | 陀
6725 | 陂
6726 | 附
6727 | 际
6728 | 陆
6729 | 陇
6730 | 陈
6731 | 陋
6732 | 陌
6733 | 降
6734 | 限
6735 | 陕
6736 | 陛
6737 | 陝
6738 | 陞
6739 | 陟
6740 | 陡
6741 | 院
6742 | 陣
6743 | 除
6744 | 陨
6745 | 险
6746 | 陪
6747 | 陰
6748 | 陲
6749 | 陳
6750 | 陵
6751 | 陶
6752 | 陷
6753 | 陸
6754 | 険
6755 | 陽
6756 | 隅
6757 | 隆
6758 | 隈
6759 | 隊
6760 | 隋
6761 | 隍
6762 | 階
6763 | 随
6764 | 隐
6765 | 隔
6766 | 隕
6767 | 隘
6768 | 隙
6769 | 際
6770 | 障
6771 | 隠
6772 | 隣
6773 | 隧
6774 | 隨
6775 | 險
6776 | 隱
6777 | 隴
6778 | 隶
6779 | 隸
6780 | 隻
6781 | 隼
6782 | 隽
6783 | 难
6784 | 雀
6785 | 雁
6786 | 雄
6787 | 雅
6788 | 集
6789 | 雇
6790 | 雉
6791 | 雋
6792 | 雌
6793 | 雍
6794 | 雎
6795 | 雏
6796 | 雑
6797 | 雒
6798 | 雕
6799 | 雖
6800 | 雙
6801 | 雛
6802 | 雜
6803 | 雞
6804 | 離
6805 | 難
6806 | 雨
6807 | 雪
6808 | 雯
6809 | 雰
6810 | 雲
6811 | 雳
6812 | 零
6813 | 雷
6814 | 雹
6815 | 電
6816 | 雾
6817 | 需
6818 | 霁
6819 | 霄
6820 | 霆
6821 | 震
6822 | 霈
6823 | 霉
6824 | 霊
6825 | 霍
6826 | 霎
6827 | 霏
6828 | 霑
6829 | 霓
6830 | 霖
6831 | 霜
6832 | 霞
6833 | 霧
6834 | 霭
6835 | 霰
6836 | 露
6837 | 霸
6838 | 霹
6839 | 霽
6840 | 霾
6841 | 靂
6842 | 靄
6843 | 靈
6844 | 青
6845 | 靓
6846 | 靖
6847 | 静
6848 | 靚
6849 | 靛
6850 | 靜
6851 | 非
6852 | 靠
6853 | 靡
6854 | 面
6855 | 靥
6856 | 靦
6857 | 革
6858 | 靳
6859 | 靴
6860 | 靶
6861 | 靼
6862 | 鞅
6863 | 鞋
6864 | 鞍
6865 | 鞏
6866 | 鞑
6867 | 鞘
6868 | 鞠
6869 | 鞣
6870 | 鞦
6871 | 鞭
6872 | 韆
6873 | 韋
6874 | 韌
6875 | 韓
6876 | 韜
6877 | 韦
6878 | 韧
6879 | 韩
6880 | 韬
6881 | 韭
6882 | 音
6883 | 韵
6884 | 韶
6885 | 韻
6886 | 響
6887 | 頁
6888 | 頂
6889 | 頃
6890 | 項
6891 | 順
6892 | 須
6893 | 頌
6894 | 預
6895 | 頑
6896 | 頒
6897 | 頓
6898 | 頗
6899 | 領
6900 | 頜
6901 | 頡
6902 | 頤
6903 | 頫
6904 | 頭
6905 | 頰
6906 | 頷
6907 | 頸
6908 | 頹
6909 | 頻
6910 | 頼
6911 | 顆
6912 | 題
6913 | 額
6914 | 顎
6915 | 顏
6916 | 顔
6917 | 願
6918 | 顛
6919 | 類
6920 | 顧
6921 | 顫
6922 | 顯
6923 | 顱
6924 | 顴
6925 | 页
6926 | 顶
6927 | 顷
6928 | 项
6929 | 顺
6930 | 须
6931 | 顼
6932 | 顽
6933 | 顾
6934 | 顿
6935 | 颁
6936 | 颂
6937 | 预
6938 | 颅
6939 | 领
6940 | 颇
6941 | 颈
6942 | 颉
6943 | 颊
6944 | 颌
6945 | 颍
6946 | 颐
6947 | 频
6948 | 颓
6949 | 颔
6950 | 颖
6951 | 颗
6952 | 题
6953 | 颚
6954 | 颛
6955 | 颜
6956 | 额
6957 | 颞
6958 | 颠
6959 | 颡
6960 | 颢
6961 | 颤
6962 | 颦
6963 | 颧
6964 | 風
6965 | 颯
6966 | 颱
6967 | 颳
6968 | 颶
6969 | 颼
6970 | 飄
6971 | 飆
6972 | 风
6973 | 飒
6974 | 飓
6975 | 飕
6976 | 飘
6977 | 飙
6978 | 飚
6979 | 飛
6980 | 飞
6981 | 食
6982 | 飢
6983 | 飨
6984 | 飩
6985 | 飪
6986 | 飯
6987 | 飲
6988 | 飼
6989 | 飽
6990 | 飾
6991 | 餃
6992 | 餅
6993 | 餉
6994 | 養
6995 | 餌
6996 | 餐
6997 | 餒
6998 | 餓
6999 | 餘
7000 | 餚
7001 | 餛
7002 | 餞
7003 | 餡
7004 | 館
7005 | 餮
7006 | 餵
7007 | 餾
7008 | 饅
7009 | 饈
7010 | 饋
7011 | 饌
7012 | 饍
7013 | 饑
7014 | 饒
7015 | 饕
7016 | 饗
7017 | 饞
7018 | 饥
7019 | 饨
7020 | 饪
7021 | 饬
7022 | 饭
7023 | 饮
7024 | 饯
7025 | 饰
7026 | 饱
7027 | 饲
7028 | 饴
7029 | 饵
7030 | 饶
7031 | 饷
7032 | 饺
7033 | 饼
7034 | 饽
7035 | 饿
7036 | 馀
7037 | 馁
7038 | 馄
7039 | 馅
7040 | 馆
7041 | 馈
7042 | 馋
7043 | 馍
7044 | 馏
7045 | 馒
7046 | 馔
7047 | 首
7048 | 馗
7049 | 香
7050 | 馥
7051 | 馨
7052 | 馬
7053 | 馭
7054 | 馮
7055 | 馳
7056 | 馴
7057 | 駁
7058 | 駄
7059 | 駅
7060 | 駆
7061 | 駐
7062 | 駒
7063 | 駕
7064 | 駛
7065 | 駝
7066 | 駭
7067 | 駱
7068 | 駿
7069 | 騁
7070 | 騎
7071 | 騏
7072 | 験
7073 | 騙
7074 | 騨
7075 | 騰
7076 | 騷
7077 | 驀
7078 | 驅
7079 | 驊
7080 | 驍
7081 | 驒
7082 | 驕
7083 | 驗
7084 | 驚
7085 | 驛
7086 | 驟
7087 | 驢
7088 | 驥
7089 | 马
7090 | 驭
7091 | 驮
7092 | 驯
7093 | 驰
7094 | 驱
7095 | 驳
7096 | 驴
7097 | 驶
7098 | 驷
7099 | 驸
7100 | 驹
7101 | 驻
7102 | 驼
7103 | 驾
7104 | 驿
7105 | 骁
7106 | 骂
7107 | 骄
7108 | 骅
7109 | 骆
7110 | 骇
7111 | 骈
7112 | 骊
7113 | 骋
7114 | 验
7115 | 骏
7116 | 骐
7117 | 骑
7118 | 骗
7119 | 骚
7120 | 骛
7121 | 骜
7122 | 骞
7123 | 骠
7124 | 骡
7125 | 骤
7126 | 骥
7127 | 骧
7128 | 骨
7129 | 骯
7130 | 骰
7131 | 骶
7132 | 骷
7133 | 骸
7134 | 骼
7135 | 髂
7136 | 髅
7137 | 髋
7138 | 髏
7139 | 髒
7140 | 髓
7141 | 體
7142 | 髖
7143 | 高
7144 | 髦
7145 | 髪
7146 | 髮
7147 | 髯
7148 | 髻
7149 | 鬃
7150 | 鬆
7151 | 鬍
7152 | 鬓
7153 | 鬚
7154 | 鬟
7155 | 鬢
7156 | 鬣
7157 | 鬥
7158 | 鬧
7159 | 鬱
7160 | 鬼
7161 | 魁
7162 | 魂
7163 | 魄
7164 | 魅
7165 | 魇
7166 | 魍
7167 | 魏
7168 | 魔
7169 | 魘
7170 | 魚
7171 | 魯
7172 | 魷
7173 | 鮑
7174 | 鮨
7175 | 鮪
7176 | 鮭
7177 | 鮮
7178 | 鯉
7179 | 鯊
7180 | 鯖
7181 | 鯛
7182 | 鯨
7183 | 鯰
7184 | 鯽
7185 | 鰍
7186 | 鰓
7187 | 鰭
7188 | 鰲
7189 | 鰻
7190 | 鰾
7191 | 鱈
7192 | 鱉
7193 | 鱔
7194 | 鱗
7195 | 鱷
7196 | 鱸
7197 | 鱼
7198 | 鱿
7199 | 鲁
7200 | 鲈
7201 | 鲍
7202 | 鲑
7203 | 鲛
7204 | 鲜
7205 | 鲟
7206 | 鲢
7207 | 鲤
7208 | 鲨
7209 | 鲫
7210 | 鲱
7211 | 鲲
7212 | 鲶
7213 | 鲷
7214 | 鲸
7215 | 鳃
7216 | 鳄
7217 | 鳅
7218 | 鳌
7219 | 鳍
7220 | 鳕
7221 | 鳖
7222 | 鳗
7223 | 鳝
7224 | 鳞
7225 | 鳥
7226 | 鳩
7227 | 鳳
7228 | 鳴
7229 | 鳶
7230 | 鴉
7231 | 鴕
7232 | 鴛
7233 | 鴦
7234 | 鴨
7235 | 鴻
7236 | 鴿
7237 | 鵑
7238 | 鵜
7239 | 鵝
7240 | 鵡
7241 | 鵬
7242 | 鵰
7243 | 鵲
7244 | 鶘
7245 | 鶩
7246 | 鶯
7247 | 鶴
7248 | 鷗
7249 | 鷲
7250 | 鷹
7251 | 鷺
7252 | 鸚
7253 | 鸞
7254 | 鸟
7255 | 鸠
7256 | 鸡
7257 | 鸢
7258 | 鸣
7259 | 鸥
7260 | 鸦
7261 | 鸨
7262 | 鸪
7263 | 鸭
7264 | 鸯
7265 | 鸳
7266 | 鸵
7267 | 鸽
7268 | 鸾
7269 | 鸿
7270 | 鹂
7271 | 鹃
7272 | 鹄
7273 | 鹅
7274 | 鹈
7275 | 鹉
7276 | 鹊
7277 | 鹌
7278 | 鹏
7279 | 鹑
7280 | 鹕
7281 | 鹘
7282 | 鹜
7283 | 鹞
7284 | 鹤
7285 | 鹦
7286 | 鹧
7287 | 鹫
7288 | 鹭
7289 | 鹰
7290 | 鹳
7291 | 鹵
7292 | 鹹
7293 | 鹼
7294 | 鹽
7295 | 鹿
7296 | 麂
7297 | 麋
7298 | 麒
7299 | 麓
7300 | 麗
7301 | 麝
7302 | 麟
7303 | 麥
7304 | 麦
7305 | 麩
7306 | 麴
7307 | 麵
7308 | 麸
7309 | 麺
7310 | 麻
7311 | 麼
7312 | 麽
7313 | 麾
7314 | 黃
7315 | 黄
7316 | 黍
7317 | 黎
7318 | 黏
7319 | 黑
7320 | 黒
7321 | 黔
7322 | 默
7323 | 黛
7324 | 黜
7325 | 黝
7326 | 點
7327 | 黠
7328 | 黨
7329 | 黯
7330 | 黴
7331 | 鼋
7332 | 鼎
7333 | 鼐
7334 | 鼓
7335 | 鼠
7336 | 鼬
7337 | 鼹
7338 | 鼻
7339 | 鼾
7340 | 齁
7341 | 齊
7342 | 齋
7343 | 齐
7344 | 齒
7345 | 齡
7346 | 齢
7347 | 齣
7348 | 齦
7349 | 齿
7350 | 龄
7351 | 龅
7352 | 龈
7353 | 龊
7354 | 龋
7355 | 龌
7356 | 龍
7357 | 龐
7358 | 龔
7359 | 龕
7360 | 龙
7361 | 龚
7362 | 龛
7363 | 龜
7364 | 龟
7365 | 


--------------------------------------------------------------------------------
/datasource.py:
--------------------------------------------------------------------------------
 1 | import tensorflow as tf
 2 | import numpy as np
 3 | from bert_parts import tokenizer
 4 | 
 5 | 
 6 | class FakeDataGen(tf.keras.utils.Sequence):
 7 |     def __init__(self,
 8 |                  seq_max_len,
 9 |                  data_len=10,
10 |                  batch_size=5):
11 |         self.seq_max_len = seq_max_len
12 |         self.data_len = data_len
13 |         self.batch_size = batch_size
14 |         self.data = ['蒙大拿蒙大拿蒙大拿蒙大拿', '大选帝侯', '中途岛', '莫斯科', '基林',
15 |                      '岛风', '哈巴罗夫斯克', '得梅因', '兴登堡', '藏']
16 | 
17 |     def __len__(self):
18 |         return int(np.ceil(self.data_len/self.batch_size))
19 | 
20 |     def __getitem__(self, idx):
21 |         batch_data = self.data[idx*self.batch_size:(idx+1)*self.batch_size]
22 |         batch_data = [tokenizer.str2idlist(x, self.seq_max_len) for x in batch_data]
23 |         batch_x, batch_mask = tokenizer.AddMask(batch_data, self.seq_max_len)
24 |         return [batch_x, batch_x, batch_mask]
25 | 
26 | 
27 | def fake_data_gen_2(seq_max_len=100):
28 |     data = ['蒙大拿蒙大拿蒙大拿蒙大拿', '大选帝侯', '中途岛', '莫斯科莫斯科', '基林',
29 |             '岛风shimakaze', '哈巴罗夫斯克', '得梅因', '兴登堡', '藏']
30 |     data = [tokenizer.str2idlist(x, seq_max_len) for x in data]
31 |     label = [0, 1, 2, 0, 1, 0, 2, 1, 1, 0]
32 |     return np.array(data), np.array(label)
33 | 
34 | 
35 | if __name__ == '__main__':
36 |     fake_data_gen_2()
37 | 


--------------------------------------------------------------------------------
/finetune.py:
--------------------------------------------------------------------------------
 1 | import tensorflow as tf
 2 | import pretrain
 3 | import datasource
 4 | from bert_parts import layers
 5 | 
 6 | # config和pretrain的是一样时，可以读取预训练模型的bert层参数
 7 | config = {
 8 |     'seq_max_len': 100,
 9 |     'vocab_size': 7364,
10 |     'embedding_size': 128,
11 |     'num_transformer_layers': 6,
12 |     'num_attetion_heads': 8,
13 |     'intermediate_size': 32
14 | }
15 | 
16 | # 数据准备
17 | train_x, train_y = datasource.fake_data_gen_2(seq_max_len=config['seq_max_len'])
18 | 
19 | # bert层构建，和预训练模型中的相同
20 | tiny_bert_layer = layers.BertLayer(vocab_size=config['vocab_size'],
21 |                                    embedding_size=config['embedding_size'],
22 |                                    num_transformer_layers=config['num_transformer_layers'],
23 |                                    num_attention_heads=config['num_attetion_heads'],
24 |                                    intermediate_size=config['intermediate_size'])
25 | 
26 | # 读取预训练模型中的bert层权重
27 | bert_layer_weights = pretrain.bert_layer_weights(filename='pretrain_weights.h5')
28 | 
29 | # 模型
30 | model = tf.keras.models.Sequential([
31 |     tiny_bert_layer,
32 |     tf.keras.layers.Lambda(lambda seq: seq[:, 0, :]),
33 |     tf.keras.layers.Dense(units=3, activation='softmax')
34 | ])
35 | model.build(input_shape=(None, 100))
36 | model.summary()
37 | model.compile(optimizer=tf.keras.optimizers.Adam(),
38 |               loss=tf.keras.losses.SparseCategoricalCrossentropy())
39 | 
40 | 
41 | model.fit(train_x, train_y,
42 |           batch_size=5,
43 |           epochs=20,
44 |           callbacks=[tf.keras.callbacks.EarlyStopping(patience=5,
45 |                                                       restore_best_weights=True)])
46 | model.save_weights('finetune_weights.h5', overwrite=True)
47 | 


--------------------------------------------------------------------------------
/pretrain.py:
--------------------------------------------------------------------------------
 1 | import tensorflow as tf
 2 | from bert_parts import layers
 3 | import datasource
 4 | 
 5 | config = {
 6 |     'seq_max_len': 100,
 7 |     'vocab_size': 7364,
 8 |     'embedding_size': 128,
 9 |     'num_transformer_layers': 6,
10 |     'num_attetion_heads': 8,
11 |     'intermediate_size': 32
12 | }
13 | 
14 | 
15 | class MLMLoss(tf.keras.layers.Layer):
16 |     """设置mlm预训练任务的loss。
17 |     mlm任务的输出为模型输出接一个dense然后再过模型中token tmbedding的转置，变回为word的onehot格式
18 |     loss就是这个onehot和原本的onehot格式计算多分类交叉熵"""
19 |     def __init__(self, **kwargs):
20 |         super(MLMLoss, self).__init__(**kwargs)
21 | 
22 |     def call(self, inputs):
23 |         y_true, y_pred, mlm_mask = inputs
24 |         mlm_mask_re = tf.keras.backend.cast(tf.keras.backend.greater(y_true, 4), 'float32')
25 |         loss = tf.keras.backend.sparse_categorical_crossentropy(y_true, y_pred)
26 |         loss1 = tf.keras.backend.sum(loss * mlm_mask, axis=1) / (tf.keras.backend.sum(mlm_mask, axis=1) + 1)
27 |         loss2 = tf.keras.backend.sum(loss * mlm_mask_re, axis=1) / (tf.keras.backend.sum(mlm_mask_re, axis=1) + 1)
28 |         loss2 = loss2 / 2
29 |         self.add_loss(loss1+loss2, inputs=True)
30 |         self.add_metric(loss2+loss2, aggregation="mean", name="mlm_loss")
31 |         return loss1+loss2
32 | 
33 | 
34 | def build_model():
35 |     # inputs
36 |     input_data = tf.keras.Input(shape=(config['seq_max_len'],))
37 |     label = tf.keras.Input(shape=(config['seq_max_len'],))
38 |     mlm_mask = tf.keras.Input(shape=(config['seq_max_len'],))
39 |     # model
40 |     bert_layer = layers.BertLayer(vocab_size=config['vocab_size'],
41 |                                   embedding_size=config['embedding_size'],
42 |                                   num_transformer_layers=config['num_transformer_layers'],
43 |                                   num_attention_heads=config['num_attetion_heads'],
44 |                                   intermediate_size=config['intermediate_size'])
45 |     bert_out = bert_layer(input_data)
46 |     # outputs
47 |     bert_out_to_token = layers.TransTokenEmbedding(bert_layer.weights[0])(bert_out)
48 |     # loss
49 |     loss = MLMLoss()([label, bert_out_to_token, mlm_mask])
50 |     # build model
51 |     pretrained_model = tf.keras.models.Model(inputs=[input_data, label, mlm_mask], outputs=[loss])
52 |     pretrained_model.summary()
53 |     pretrained_model.compile(optimizer='adam')
54 |     return pretrained_model
55 | 
56 | 
57 | def bert_layer_weights(filename='pretrain_weights.h5'):
58 |     """
59 |     读取保存的预训练模型中的bert layer的weights
60 |     注意是按照当前的预训练模型来读取的，模型结构要一致。
61 |     model.layers[1]是bert layer
62 |     :param filename: 预训练模型权重的储存文件名（当前目录下）
63 |     :return: bert layer的权重（按照预训练模型中的config）
64 |     """
65 |     pretrained_model = build_model()
66 |     pretrained_model.load_weights(filename)
67 |     # print(pretrained_model.layers[1])   # bert_parts.layers.BertLayer
68 |     return pretrained_model.layers[1].get_weights()
69 | 
70 | 
71 | if __name__ == '__main__':
72 |     fake_data = datasource.FakeDataGen(seq_max_len=config['seq_max_len'])
73 |     pretrained_model = build_model()
74 |     pretrained_model.fit_generator(fake_data, epochs=50)
75 |     pretrained_model.save_weights('pretrain_weights.h5', overwrite=True)
76 | 
77 |     # 测试获取bert layert的weights
78 |     print(bert_layer_weights())
79 | 


--------------------------------------------------------------------------------