10 |
--------------------------------------------------------------------------------
/Aula08/templates/base.html:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 | \n", 21 | "\n", 22 | "## Aula 7: Agrupamentos\n", 23 | "\n", 24 | "
![](\"https://i.imgur.com/S65Sk9c.jpg\")
\n",
25 | "**Fonte da figura:** https://mubaris.com/posts/kmeans-clustering/"
26 | ]
27 | },
28 | {
29 | "cell_type": "markdown",
30 | "metadata": {},
31 | "source": [
32 | " "
33 | ]
34 | },
35 | {
36 | "cell_type": "code",
37 | "execution_count": 1,
38 | "metadata": {},
39 | "outputs": [
40 | {
41 | "data": {
42 | "text/plain": [
43 | "0 Campus Barbacena divulga Resultado Provisório ...\n",
44 | "1 Divulgado o Edital de convocação de assembleia...\n",
45 | "2 Pesquisador da Bélgica realiza palestra no Cam...\n",
46 | "3 Divulgada a homologação das inscrições à candi...\n",
47 | "4 Aprovado Regulamento de Eventos, Cerimonial e ...\n",
48 | "Name: doc, dtype: object"
49 | ]
50 | },
51 | "execution_count": 1,
52 | "metadata": {},
53 | "output_type": "execute_result"
54 | }
55 | ],
56 | "source": [
57 | "import pandas as pd\n",
58 | "\n",
59 | "# Carrega o dataset de notícias do IF\n",
60 | "\n",
61 | "df = pd.read_csv('./data/df_noticias_if.csv')\n",
62 | "df['doc'] = df.apply(lambda row: row['titulo'] + ' ' + row['conteudo'], axis=1)\n",
63 | "df['doc'].head()"
64 | ]
65 | },
66 | {
67 | "cell_type": "code",
68 | "execution_count": 2,
69 | "metadata": {},
70 | "outputs": [
71 | {
72 | "data": {
73 | "text/plain": [
74 | "0 campus divulga provisório viii barbacena provi...\n",
75 | "1 divulgado edital convocação assembleia centro ...\n",
76 | "2 pesquisador bélgica palestra campus luc fará p...\n",
77 | "3 divulgada homologação inscrições candidatura c...\n",
78 | "4 aprovado cerimonial protocolo if mg regulament...\n",
79 | "Name: doc, dtype: object"
80 | ]
81 | },
82 | "execution_count": 2,
83 | "metadata": {},
84 | "output_type": "execute_result"
85 | }
86 | ],
87 | "source": [
88 | "import re\n",
89 | "import nltk\n",
90 | "from string import punctuation\n",
91 | "\n",
92 | "# Pré-processamento\n",
93 | "\n",
94 | "numbers = '0123456789'\n",
95 | "stopwords = nltk.corpus.stopwords.words('portuguese')\n",
96 | "\n",
97 | "def preprocessa(txt):\n",
98 | " txt = txt.lower()\n",
99 | " txt = ''.join([c for c in txt if c not in punctuation + numbers])\n",
100 | " txt = re.sub(r'\\n|\\r|\\t', '', txt)\n",
101 | " txt = re.sub(r' .+? ', ' ', txt)\n",
102 | " txt = ' '.join([t for t in txt.split(' ') if t not in stopwords])\n",
103 | " \n",
104 | " return txt\n",
105 | "\n",
106 | "df['doc'] = df['doc'].apply(preprocessa)\n",
107 | "df['doc'].head()"
108 | ]
109 | },
110 | {
111 | "cell_type": "code",
112 | "execution_count": 3,
113 | "metadata": {},
114 | "outputs": [
115 | {
116 | "data": {
117 | "text/plain": [
118 | "(1000, 3663)"
119 | ]
120 | },
121 | "execution_count": 3,
122 | "metadata": {},
123 | "output_type": "execute_result"
124 | }
125 | ],
126 | "source": [
127 | "from sklearn.feature_extraction.text import TfidfVectorizer\n",
128 | "\n",
129 | "# Vetorização\n",
130 | "\n",
131 | "tfidf_vectorizer = TfidfVectorizer(\n",
132 | " min_df=2 # Frequência mínima\n",
133 | ")\n",
134 | "tfidf_matrix = tfidf_vectorizer.fit_transform(df['doc'])\n",
135 | "\n",
136 | "tfidf_matrix.shape"
137 | ]
138 | },
139 | {
140 | "cell_type": "markdown",
141 | "metadata": {},
142 | "source": [
143 | "## Clusterização\n",
144 | "\n",
145 | "Técnica de mineração de dados para agrupar dados automaticamente (aprendizado de máquina não-supervisionado), com base no seu grau de semelhança dos registros.\n",
146 | "\n",
147 | "### Algoritmo K-Means\n",
148 | "\n",
149 | "![](\"http://stanford.edu/~cpiech/cs221/img/kmeansViz.png\")
\n",
150 | "**Fonte da figura:** http://stanford.edu/~cpiech/cs221/handouts/kmeans.html"
151 | ]
152 | },
153 | {
154 | "cell_type": "code",
155 | "execution_count": 4,
156 | "metadata": {},
157 | "outputs": [
158 | {
159 | "data": {
160 | "text/plain": [
161 | "KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=500,\n",
162 | " n_clusters=25, n_init=10, n_jobs=-1, precompute_distances='auto',\n",
163 | " random_state=1, tol=0.0001, verbose=0)"
164 | ]
165 | },
166 | "execution_count": 4,
167 | "metadata": {},
168 | "output_type": "execute_result"
169 | }
170 | ],
171 | "source": [
172 | "from sklearn.cluster import KMeans\n",
173 | "\n",
174 | "N_CLUSTERS = 25\n",
175 | "\n",
176 | "kmeans = KMeans(\n",
177 | " n_clusters=N_CLUSTERS,\n",
178 | " max_iter=500,\n",
179 | " n_init=10,\n",
180 | " n_jobs=-1,\n",
181 | " random_state=1\n",
182 | ")\n",
183 | "\n",
184 | "kmeans.fit(tfidf_matrix)"
185 | ]
186 | },
187 | {
188 | "cell_type": "code",
189 | "execution_count": 5,
190 | "metadata": {},
191 | "outputs": [],
192 | "source": [
193 | "# Associa o id de cada cluster ao dataframe\n",
194 | "df['clusters'] = kmeans.labels_"
195 | ]
196 | },
197 | {
198 | "cell_type": "code",
199 | "execution_count": 6,
200 | "metadata": {},
201 | "outputs": [
202 | {
203 | "data": {
204 | "text/plain": [
205 | "array([20, 19, 10, 4, 20, 13, 12, 12, 20, 14, 20, 5, 15, 9, 4, 9, 0,\n",
206 | " 10, 10, 10, 4, 14, 0, 2, 10, 9, 9, 0, 20, 0, 9, 3, 5, 16,\n",
207 | " 3, 15, 16, 3, 15, 15, 3, 0, 10, 8, 20, 8, 15, 15, 15, 16],\n",
208 | " dtype=int32)"
209 | ]
210 | },
211 | "execution_count": 6,
212 | "metadata": {},
213 | "output_type": "execute_result"
214 | }
215 | ],
216 | "source": [
217 | "# Exibe o cluster dos 50 primeiros documentos\n",
218 | "kmeans.labels_[:50]"
219 | ]
220 | },
221 | {
222 | "cell_type": "code",
223 | "execution_count": 7,
224 | "metadata": {},
225 | "outputs": [
226 | {
227 | "data": {
228 | "text/plain": [
229 | "16 Estudante do Campus Barbacena ganha medalha de...\n",
230 | "22 Alunos do Campus Barbacena participam da cerim...\n",
231 | "27 Obap em Barbacena: Apresentações artísticas e ...\n",
232 | "29 Alunos do Curso Superior de Tecnologia em Sist...\n",
233 | "41 Alunos do Campus Barbacena participam do IV En...\n",
234 | "Name: titulo, dtype: object"
235 | ]
236 | },
237 | "execution_count": 7,
238 | "metadata": {},
239 | "output_type": "execute_result"
240 | }
241 | ],
242 | "source": [
243 | "df[df['clusters'] == 0].head(5)['titulo']"
244 | ]
245 | },
246 | {
247 | "cell_type": "code",
248 | "execution_count": 8,
249 | "metadata": {},
250 | "outputs": [
251 | {
252 | "name": "stdout",
253 | "output_type": "stream",
254 | "text": [
255 | "Cluster 1\n",
256 | "16 Estudante do Campus Barbacena ganha medalha de...\n",
257 | "22 Alunos do Campus Barbacena participam da cerim...\n",
258 | "27 Obap em Barbacena: Apresentações artísticas e ...\n",
259 | "Name: titulo, dtype: object\n",
260 | "\n",
261 | "----\n",
262 | "\n",
263 | "Cluster 2\n",
264 | "158 Atenção formandos dos Cursos de Nutrição e Li...\n",
265 | "704 Divulgada a homologação do resultado da eleiçã...\n",
266 | "705 Divulgada a homologação do resultado da eleiçã...\n",
267 | "Name: titulo, dtype: object\n",
268 | "\n",
269 | "----\n",
270 | "\n",
271 | "Cluster 3\n",
272 | "23 Cursos do Campus Barbacena recebem selo de qua...\n",
273 | "106 Novo Processo Seletivo - EaD - IF Sudeste MG\n",
274 | "121 Campus Barbacena reaproveita óleo usado \n",
275 | "Name: titulo, dtype: object\n",
276 | "\n",
277 | "----\n",
278 | "\n",
279 | "Cluster 4\n",
280 | "31 Divulgada a seleção para Monitor da disciplina...\n",
281 | "34 Divulgada a seleção de monitor para as discipl...\n",
282 | "37 Divulgada a seleção de monitores paras discipl...\n",
283 | "Name: titulo, dtype: object\n",
284 | "\n",
285 | "----\n",
286 | "\n",
287 | "Cluster 5\n",
288 | "3 Divulgada a homologação das inscrições à candi...\n",
289 | "14 Eleições CEPE: Homologação dos eleitos\n",
290 | "20 Eleições CEPE: Homologação do resultado das el...\n",
291 | "Name: titulo, dtype: object\n",
292 | "\n",
293 | "----\n",
294 | "\n",
295 | "Cluster 6\n",
296 | "11 Divulgada a palestra de abertura da semana aca...\n",
297 | "32 Eleições CEPE: Votação ocorrerá na próxima seg...\n",
298 | "59 Eleições CEPE: Diivulgada a ordem das chapas\n",
299 | "Name: titulo, dtype: object\n",
300 | "\n",
301 | "----\n",
302 | "\n",
303 | "Cluster 7\n",
304 | "117 Inscrições abertas para o VIII Simpósio de Pes...\n",
305 | "125 Projeto do Campus Barbacena recebe prêmio de d...\n",
306 | "188 Fecib movimenta Campus Barbacena com exposição...\n",
307 | "Name: titulo, dtype: object\n",
308 | "\n",
309 | "----\n",
310 | "\n",
311 | "Cluster 8\n",
312 | "279 VI Fecib: divulgado o resultado dos projetos s...\n",
313 | "301 Divulgado o resultado dos Projetos de Extensão...\n",
314 | "397 Pronatec - Campus Barbacena divulga resultado ...\n",
315 | "Name: titulo, dtype: object\n",
316 | "\n",
317 | "----\n",
318 | "\n",
319 | "Cluster 9\n",
320 | "43 Comunicado aposentadoria II\n",
321 | "45 Comunicado de aposentadoria\n",
322 | "65 COMUNICADO - comprar de ticktes para uso do re...\n",
323 | "Name: titulo, dtype: object\n",
324 | "\n",
325 | "----\n",
326 | "\n",
327 | "Cluster 10\n",
328 | "13 Participantes da 7ª OBAP visitam Museu Diaulas...\n",
329 | "15 Jogos dos Institutos Federais movimentam comun...\n",
330 | "25 Testes teóricos desafiam participantes da 7ª O...\n",
331 | "Name: titulo, dtype: object\n",
332 | "\n",
333 | "----\n",
334 | "\n",
335 | "Cluster 11\n",
336 | "2 Pesquisador da Bélgica realiza palestra no Cam...\n",
337 | "17 Atenção formandos: prova de beca e sessão foto...\n",
338 | "18 7ª Olimpíada Brasileira de Agropecuária propor...\n",
339 | "Name: titulo, dtype: object\n",
340 | "\n",
341 | "----\n",
342 | "\n",
343 | "Cluster 12\n",
344 | "64 Divulgado o Resultado provisório da seleção de...\n",
345 | "86 Divulgado o Processo Seletivo para bolsa de Ex...\n",
346 | "198 Divulgado o resultado da Eleição da Coordenaçã...\n",
347 | "Name: titulo, dtype: object\n",
348 | "\n",
349 | "----\n",
350 | "\n",
351 | "Cluster 13\n",
352 | "6 Campus Barbacena recebe professoras de Moçambique\n",
353 | "7 Estão abertas as inscrições para o Programa In...\n",
354 | "53 Projeto do Campus Barbacena forma novas equipe...\n",
355 | "Name: titulo, dtype: object\n",
356 | "\n",
357 | "----\n",
358 | "\n",
359 | "Cluster 14\n",
360 | "5 Atenção: aba para emissão de certificados\n",
361 | "95 Oferta de estágio para área de administração\n",
362 | "113 Laboratório de Solos do Campus Barbacena disp...\n",
363 | "Name: titulo, dtype: object\n",
364 | "\n",
365 | "----\n",
366 | "\n",
367 | "Cluster 15\n",
368 | "9 Aluno do Campus Barbacena ministra minicurso a...\n",
369 | "21 Professor do Campus Barbacena lança livro no X...\n",
370 | "66 Centro Acadêmico de Nutrição divulga carta de ...\n",
371 | "Name: titulo, dtype: object\n",
372 | "\n",
373 | "----\n",
374 | "\n",
375 | "Cluster 16\n",
376 | "12 Homologação dos resultados do EDITAL Nº 002, d...\n",
377 | "35 Atenção: bolsas de monitoria de física\n",
378 | "38 Divulgada a oportunidade de monitoria para o C...\n",
379 | "Name: titulo, dtype: object\n",
380 | "\n",
381 | "----\n",
382 | "\n",
383 | "Cluster 17\n",
384 | "33 Divulgada seleção para monitoria de atividades...\n",
385 | "36 Divulgada oportunidade de bolsa de monitoria p...\n",
386 | "49 Divulgada oportunidade de bolsa de monitoria p...\n",
387 | "Name: titulo, dtype: object\n",
388 | "\n",
389 | "----\n",
390 | "\n",
391 | "Cluster 18\n",
392 | "60 Divulgada a homologação do resultado da eleiçã...\n",
393 | "67 Divulgado o Resultado da apuração dos votos p...\n",
394 | "87 Divulgada a lista oficial de candidatos para c...\n",
395 | "Name: titulo, dtype: object\n",
396 | "\n",
397 | "----\n",
398 | "\n",
399 | "Cluster 19\n",
400 | "263 Divulgada a Retificação do Edital de Chamada P...\n",
401 | "308 Divulgada a retificação do Edital de Extensão ...\n",
402 | "360 Divulgada a retificação do Edital de Monitoria...\n",
403 | "Name: titulo, dtype: object\n",
404 | "\n",
405 | "----\n",
406 | "\n",
407 | "Cluster 20\n",
408 | "1 Divulgado o Edital de convocação de assembleia...\n",
409 | "69 Divulgado o Edital de convocação de eleição pa...\n",
410 | "74 Centro de Memória Diaulas Abreu do Campus Barb...\n",
411 | "Name: titulo, dtype: object\n",
412 | "\n",
413 | "----\n",
414 | "\n",
415 | "Cluster 21\n",
416 | "0 Campus Barbacena divulga Resultado Provisório ...\n",
417 | "4 Aprovado Regulamento de Eventos, Cerimonial e ...\n",
418 | "8 Diretoria de Pesquisa, Inovação e Pós-graduaçã...\n",
419 | "Name: titulo, dtype: object\n",
420 | "\n",
421 | "----\n",
422 | "\n",
423 | "Cluster 22\n",
424 | "94 Ello Consultoria Jr informa o resultado do pro...\n",
425 | "116 Ello Consultoria Jr publica retificação de Edital\n",
426 | "127 Ello Consultoria Jr lança edital de seleção de...\n",
427 | "Name: titulo, dtype: object\n",
428 | "\n",
429 | "----\n",
430 | "\n",
431 | "Cluster 23\n",
432 | "57 Divulgado o Resultado Final da Seleção do Sub...\n",
433 | "211 Divulgada a Classificação Final do Processo Se...\n",
434 | "220 Divulgado o Resultado Final da Homologação das...\n",
435 | "Name: titulo, dtype: object\n",
436 | "\n",
437 | "----\n",
438 | "\n",
439 | "Cluster 24\n",
440 | "102 Setor de Serviço Social divulga aviso\n",
441 | "111 Aviso do Setor de Serviço Social\n",
442 | "123 Aviso Setor de Serviço Social\n",
443 | "Name: titulo, dtype: object\n",
444 | "\n",
445 | "----\n",
446 | "\n",
447 | "Cluster 25\n",
448 | "130 Iférias realiza sorteio de vagas não ocupadas\n",
449 | "133 Colônia de férias: lista de espera\n",
450 | "143 XII IFérias: Divulgado o resultado do sorteio ...\n",
451 | "Name: titulo, dtype: object\n",
452 | "\n",
453 | "----\n",
454 | "\n"
455 | ]
456 | }
457 | ],
458 | "source": [
459 | "# Exibe o título de 3 notícias de cada cluster\n",
460 | "for i in range(N_CLUSTERS):\n",
461 | " print('Cluster', i + 1)\n",
462 | " print(df[df['clusters'] == i].head(3)['titulo'])\n",
463 | " print('\\n----\\n')"
464 | ]
465 | },
466 | {
467 | "cell_type": "markdown",
468 | "metadata": {},
469 | "source": [
470 | "## Comparação de algoritmos de clusterização\n",
471 | "\n",
472 | "https://scikit-learn.org/stable/modules/clustering.html#overview-of-clustering-methods\n",
473 | "\n",
474 | "![](\"https://scikit-learn.org/stable/_images/sphx_glr_plot_cluster_comparison_0011.png\")
"
475 | ]
476 | },
477 | {
478 | "cell_type": "code",
479 | "execution_count": 9,
480 | "metadata": {},
481 | "outputs": [
482 | {
483 | "data": {
484 | "text/plain": [
485 | "array([[0.00064169, 0. ],\n",
486 | " [0.00054253, 0.16098383],\n",
487 | " [0.0009236 , 0. ],\n",
488 | " ...,\n",
489 | " [0.00084651, 0.1051223 ],\n",
490 | " [0.00096439, 0.08247019],\n",
491 | " [0.00141705, 0. ]])"
492 | ]
493 | },
494 | "execution_count": 9,
495 | "metadata": {},
496 | "output_type": "execute_result"
497 | }
498 | ],
499 | "source": [
500 | "from sklearn.cluster import FeatureAgglomeration\n",
501 | "\n",
502 | "fa = FeatureAgglomeration()\n",
503 | "fa.fit_transform(tfidf_matrix.toarray())"
504 | ]
505 | },
506 | {
507 | "cell_type": "markdown",
508 | "metadata": {},
509 | "source": [
510 | "## Algoritmo Apriori\n",
511 | "\n",
512 | "![](\"https://edumine.files.wordpress.com/2013/09/market-basket-analysis.png\")
\n",
513 | "\n",
514 | "**Fonte da figura:** https://edumine.wordpress.com/2013/09/11/apriori-algorithm-simplified-with-an-example/"
515 | ]
516 | },
517 | {
518 | "cell_type": "code",
519 | "execution_count": 10,
520 | "metadata": {},
521 | "outputs": [
522 | {
523 | "data": {
524 | "text/html": [
525 | "\n",
526 | "\n",
539 | "\n",
540 | " \n",
541 | "
\n",
629 | "
"
630 | ],
631 | "text/plain": [
632 | " Apple Corn Dill Eggs Ice cream Kidney Beans Milk Nutmeg Onion \\\n",
633 | "0 False False False True False True True True True \n",
634 | "1 False False True True False True False True True \n",
635 | "2 True False False True False True True False False \n",
636 | "3 False True False False False True True False False \n",
637 | "4 False True False True True True False False True \n",
638 | "\n",
639 | " Unicorn Yogurt \n",
640 | "0 False True \n",
641 | "1 False True \n",
642 | "2 False False \n",
643 | "3 True True \n",
644 | "4 False False "
645 | ]
646 | },
647 | "execution_count": 10,
648 | "metadata": {},
649 | "output_type": "execute_result"
650 | }
651 | ],
652 | "source": [
653 | "from mlxtend.frequent_patterns import apriori\n",
654 | "from mlxtend.preprocessing import TransactionEncoder\n",
655 | "\n",
656 | "dataset = [\n",
657 | " ['Milk', 'Onion', 'Nutmeg', 'Kidney Beans', 'Eggs', 'Yogurt'],\n",
658 | " ['Dill', 'Onion', 'Nutmeg', 'Kidney Beans', 'Eggs', 'Yogurt'],\n",
659 | " ['Milk', 'Apple', 'Kidney Beans', 'Eggs'],\n",
660 | " ['Milk', 'Unicorn', 'Corn', 'Kidney Beans', 'Yogurt'],\n",
661 | " ['Corn', 'Onion', 'Onion', 'Kidney Beans', 'Ice cream', 'Eggs']\n",
662 | "]\n",
663 | "\n",
664 | "te = TransactionEncoder()\n",
665 | "te_ary = te.fit(dataset).transform(dataset)\n",
666 | "df = pd.DataFrame(te_ary, columns=te.columns_)\n",
667 | "df"
668 | ]
669 | },
670 | {
671 | "cell_type": "code",
672 | "execution_count": 11,
673 | "metadata": {},
674 | "outputs": [
675 | {
676 | "data": {
677 | "text/html": [
678 | "| \n", 543 | " | Apple | \n", 544 | "Corn | \n", 545 | "Dill | \n", 546 | "Eggs | \n", 547 | "Ice cream | \n", 548 | "Kidney Beans | \n", 549 | "Milk | \n", 550 | "Nutmeg | \n", 551 | "Onion | \n", 552 | "Unicorn | \n", 553 | "Yogurt | \n", 554 | "
|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | \n", 559 | "False | \n", 560 | "False | \n", 561 | "False | \n", 562 | "True | \n", 563 | "False | \n", 564 | "True | \n", 565 | "True | \n", 566 | "True | \n", 567 | "True | \n", 568 | "False | \n", 569 | "True | \n", 570 | "
| 1 | \n", 573 | "False | \n", 574 | "False | \n", 575 | "True | \n", 576 | "True | \n", 577 | "False | \n", 578 | "True | \n", 579 | "False | \n", 580 | "True | \n", 581 | "True | \n", 582 | "False | \n", 583 | "True | \n", 584 | "
| 2 | \n", 587 | "True | \n", 588 | "False | \n", 589 | "False | \n", 590 | "True | \n", 591 | "False | \n", 592 | "True | \n", 593 | "True | \n", 594 | "False | \n", 595 | "False | \n", 596 | "False | \n", 597 | "False | \n", 598 | "
| 3 | \n", 601 | "False | \n", 602 | "True | \n", 603 | "False | \n", 604 | "False | \n", 605 | "False | \n", 606 | "True | \n", 607 | "True | \n", 608 | "False | \n", 609 | "False | \n", 610 | "True | \n", 611 | "True | \n", 612 | "
| 4 | \n", 615 | "False | \n", 616 | "True | \n", 617 | "False | \n", 618 | "True | \n", 619 | "True | \n", 620 | "True | \n", 621 | "False | \n", 622 | "False | \n", 623 | "True | \n", 624 | "False | \n", 625 | "False | \n", 626 | "
\n",
679 | "\n",
692 | "\n",
693 | " \n",
694 | "
\n",
758 | "
"
759 | ],
760 | "text/plain": [
761 | " support itemsets\n",
762 | "0 0.8 (3)\n",
763 | "1 1.0 (5)\n",
764 | "2 0.6 (6)\n",
765 | "3 0.6 (8)\n",
766 | "4 0.6 (10)\n",
767 | "5 0.8 (3, 5)\n",
768 | "6 0.6 (8, 3)\n",
769 | "7 0.6 (5, 6)\n",
770 | "8 0.6 (8, 5)\n",
771 | "9 0.6 (10, 5)\n",
772 | "10 0.6 (8, 3, 5)"
773 | ]
774 | },
775 | "execution_count": 11,
776 | "metadata": {},
777 | "output_type": "execute_result"
778 | }
779 | ],
780 | "source": [
781 | "apriori(df, min_support=0.6)"
782 | ]
783 | },
784 | {
785 | "cell_type": "code",
786 | "execution_count": 12,
787 | "metadata": {},
788 | "outputs": [
789 | {
790 | "data": {
791 | "text/html": [
792 | "| \n", 696 | " | support | \n", 697 | "itemsets | \n", 698 | "
|---|---|---|
| 0 | \n", 703 | "0.8 | \n", 704 | "(3) | \n", 705 | "
| 1 | \n", 708 | "1.0 | \n", 709 | "(5) | \n", 710 | "
| 2 | \n", 713 | "0.6 | \n", 714 | "(6) | \n", 715 | "
| 3 | \n", 718 | "0.6 | \n", 719 | "(8) | \n", 720 | "
| 4 | \n", 723 | "0.6 | \n", 724 | "(10) | \n", 725 | "
| 5 | \n", 728 | "0.8 | \n", 729 | "(3, 5) | \n", 730 | "
| 6 | \n", 733 | "0.6 | \n", 734 | "(8, 3) | \n", 735 | "
| 7 | \n", 738 | "0.6 | \n", 739 | "(5, 6) | \n", 740 | "
| 8 | \n", 743 | "0.6 | \n", 744 | "(8, 5) | \n", 745 | "
| 9 | \n", 748 | "0.6 | \n", 749 | "(10, 5) | \n", 750 | "
| 10 | \n", 753 | "0.6 | \n", 754 | "(8, 3, 5) | \n", 755 | "
\n",
793 | "\n",
806 | "\n",
807 | " \n",
808 | "
\n",
872 | "
"
873 | ],
874 | "text/plain": [
875 | " support itemsets\n",
876 | "0 0.8 (Eggs)\n",
877 | "1 1.0 (Kidney Beans)\n",
878 | "2 0.6 (Milk)\n",
879 | "3 0.6 (Onion)\n",
880 | "4 0.6 (Yogurt)\n",
881 | "5 0.8 (Kidney Beans, Eggs)\n",
882 | "6 0.6 (Onion, Eggs)\n",
883 | "7 0.6 (Milk, Kidney Beans)\n",
884 | "8 0.6 (Kidney Beans, Onion)\n",
885 | "9 0.6 (Kidney Beans, Yogurt)\n",
886 | "10 0.6 (Kidney Beans, Onion, Eggs)"
887 | ]
888 | },
889 | "execution_count": 12,
890 | "metadata": {},
891 | "output_type": "execute_result"
892 | }
893 | ],
894 | "source": [
895 | "# Exibindo o nome dos itens (colunas)\n",
896 | "apriori(df, min_support=0.6, use_colnames=True)"
897 | ]
898 | },
899 | {
900 | "cell_type": "markdown",
901 | "metadata": {},
902 | "source": [
903 | "## Atividade para casa\n",
904 | "\n",
905 | "Implemente a técnica de modelagem de tópicos utilizando clusterização. \n",
906 | "\n",
907 | "O usuário deverá informar o número de assuntos, e o programa deverá retornar os 5 termos e os 5 documentos mais relevantes para cada assunto.\n",
908 | "\n",
909 | "O desafio consiste no emprego de uma métrica para definir os documentos e os termos mais relevantes de cada cluster."
910 | ]
911 | }
912 | ],
913 | "metadata": {
914 | "kernelspec": {
915 | "display_name": "Python 3",
916 | "language": "python",
917 | "name": "python3"
918 | },
919 | "language_info": {
920 | "codemirror_mode": {
921 | "name": "ipython",
922 | "version": 3
923 | },
924 | "file_extension": ".py",
925 | "mimetype": "text/x-python",
926 | "name": "python",
927 | "nbconvert_exporter": "python",
928 | "pygments_lexer": "ipython3",
929 | "version": "3.6.4"
930 | }
931 | },
932 | "nbformat": 4,
933 | "nbformat_minor": 2
934 | }
935 |
--------------------------------------------------------------------------------
/.ipynb_checkpoints/Processamento de linguagem natural e mineração de dados textuais-checkpoint.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "cells": [
3 | {
4 | "cell_type": "markdown",
5 | "metadata": {},
6 | "source": [
7 | "## Dataset notícias IF Barbacena"
8 | ]
9 | },
10 | {
11 | "cell_type": "code",
12 | "execution_count": 2,
13 | "metadata": {},
14 | "outputs": [
15 | {
16 | "name": "stdout",
17 | "output_type": "stream",
18 | "text": [
19 | "1000\n",
20 | "\n",
21 | "\n",
22 | "\tO Campus Barbacena divulgou o Resultado Provisório do VIII Simpósio de Pesquisa e Inovação.\n",
23 | "\n",
24 | "\tOs estudantes devem ficar atentos as observações que constam no final do documento.\n",
25 | "\n",
26 | "Leia o documento\n",
27 | "\n"
28 | ]
29 | }
30 | ],
31 | "source": [
32 | "import json\n",
33 | "\n",
34 | "noticias = json.load(open('noticias_if.json'))\n",
35 | "\n",
36 | "print(len(noticias))\n",
37 | "\n",
38 | "n1 = noticias[0]\n",
39 | "\n",
40 | "print(n1['conteudo'])"
41 | ]
42 | },
43 | {
44 | "cell_type": "markdown",
45 | "metadata": {},
46 | "source": [
47 | "## Normalização do texto\n",
48 | "\n",
49 | "- Remoção de acentos\n",
50 | "- Remoção de quebras de linha e tabulação\n",
51 | "- Conversão para minúsculas\n",
52 | "- Remoção de espaços duplicados"
53 | ]
54 | },
55 | {
56 | "cell_type": "code",
57 | "execution_count": 7,
58 | "metadata": {},
59 | "outputs": [
60 | {
61 | "name": "stdout",
62 | "output_type": "stream",
63 | "text": [
64 | "o campus barbacena divulgou o resultado provisorio do viii simposio de pesquisa e inovacao. os estudantes devem ficar atentos as observacoes que constam no final do documento. leia o documento\n"
65 | ]
66 | }
67 | ],
68 | "source": [
69 | "import re\n",
70 | "from unicodedata import normalize\n",
71 | "\n",
72 | "def normaliza(txt): \n",
73 | " txt = normalize('NFKD', txt).encode('ASCII','ignore').decode('ASCII')\n",
74 | " \n",
75 | " txt = re.sub(r'\\t|\\n|\\r', ' ', txt)\n",
76 | " \n",
77 | " txt = txt.lower()\n",
78 | " \n",
79 | " txt = re.sub(r' +', ' ', txt).strip()\n",
80 | " \n",
81 | " return txt\n",
82 | "\n",
83 | "n1 = normaliza(noticias[0]['conteudo'])\n",
84 | "\n",
85 | "print(n1)"
86 | ]
87 | },
88 | {
89 | "cell_type": "markdown",
90 | "metadata": {},
91 | "source": [
92 | "## Tokenização"
93 | ]
94 | },
95 | {
96 | "cell_type": "code",
97 | "execution_count": 8,
98 | "metadata": {},
99 | "outputs": [
100 | {
101 | "name": "stdout",
102 | "output_type": "stream",
103 | "text": [
104 | "['o', 'campus', 'barbacena', 'divulgou', 'o', 'resultado', 'provisorio', 'do', 'viii', 'simposio', 'de', 'pesquisa', 'e', 'inovacao', 'os', 'estudantes', 'devem', 'ficar', 'atentos', 'as', 'observacoes', 'que', 'constam', 'no', 'final', 'do', 'documento', 'leia', 'o', 'documento']\n"
105 | ]
106 | }
107 | ],
108 | "source": [
109 | "from nltk import word_tokenize\n",
110 | "from string import punctuation \n",
111 | "\n",
112 | "# Tokeniza\n",
113 | "tokens = word_tokenize(n1)\n",
114 | "\n",
115 | "# Remove pontuação\n",
116 | "tokens_sem_pontuacao = [t for t in tokens if t not in punctuation]\n",
117 | "print(tokens_sem_pontuacao)"
118 | ]
119 | },
120 | {
121 | "cell_type": "markdown",
122 | "metadata": {},
123 | "source": [
124 | "## Remoção de stop words"
125 | ]
126 | },
127 | {
128 | "cell_type": "code",
129 | "execution_count": 9,
130 | "metadata": {},
131 | "outputs": [
132 | {
133 | "name": "stdout",
134 | "output_type": "stream",
135 | "text": [
136 | "15 stopwords pt: ['de', 'a', 'o', 'que', 'e', 'do', 'da', 'em', 'um', 'para', 'com', 'não', 'uma', 'os', 'no'] \n",
137 | "\n",
138 | "['campus', 'barbacena', 'divulgou', 'resultado', 'provisorio', 'viii', 'simposio', 'pesquisa', 'inovacao', 'estudantes', 'devem', 'ficar', 'atentos', 'observacoes', 'constam', 'final', 'documento', 'leia', 'documento']\n"
139 | ]
140 | }
141 | ],
142 | "source": [
143 | "import nltk\n",
144 | "\n",
145 | "stopwords = nltk.corpus.stopwords.words('portuguese')\n",
146 | "\n",
147 | "print('15 stopwords pt:', stopwords[:15], '\\n')\n",
148 | "\n",
149 | "tokens = [t for t in tokens_sem_pontuacao if t not in stopwords]\n",
150 | "\n",
151 | "print(tokens)"
152 | ]
153 | },
154 | {
155 | "cell_type": "markdown",
156 | "metadata": {},
157 | "source": [
158 | "## Stemming"
159 | ]
160 | },
161 | {
162 | "cell_type": "code",
163 | "execution_count": 10,
164 | "metadata": {},
165 | "outputs": [
166 | {
167 | "name": "stdout",
168 | "output_type": "stream",
169 | "text": [
170 | "program\n",
171 | "program\n",
172 | "program\n",
173 | "----------\n",
174 | "['campu', 'barbacen', 'divulg', 'result', 'provisori', 'vii', 'simposi', 'pesquis', 'inovaca', 'estud', 'dev', 'fic', 'atent', 'observaco', 'const', 'final', 'document', 'lei', 'document']\n"
175 | ]
176 | }
177 | ],
178 | "source": [
179 | "stemmer = nltk.stem.RSLPStemmer()\n",
180 | "\n",
181 | "print(stemmer.stem('programar'))\n",
182 | "print(stemmer.stem('programava'))\n",
183 | "print(stemmer.stem('programaremos'))\n",
184 | "\n",
185 | "tokens = [stemmer.stem(t) for t in tokens]\n",
186 | "print('----------')\n",
187 | "print(tokens[:100])"
188 | ]
189 | },
190 | {
191 | "cell_type": "markdown",
192 | "metadata": {},
193 | "source": [
194 | "## Vectorization (TF-IDF)"
195 | ]
196 | },
197 | {
198 | "cell_type": "code",
199 | "execution_count": 11,
200 | "metadata": {},
201 | "outputs": [
202 | {
203 | "name": "stdout",
204 | "output_type": "stream",
205 | "text": [
206 | "(1000, 11575)\n",
207 | "['entenda', 'entende', 'entendem', 'entendendo', 'entender', 'entendimento', 'enterro', 'entidades', 'entomologia', 'entorno', 'entrada', 'entram', 'entrando', 'entrar', 'entraram', 'entraremos', 'entrega', 'entregando', 'entregar', 'entregou', 'entregue', 'entregues', 'entretanto', 'entretenimento', 'entrevista', 'entrevistados', 'entrevistas', 'entrou', 'entusiasmados', 'entusiasmo', 'envergadura', 'envia', 'enviada', 'enviadas', 'enviado', 'enviados', 'enviando', 'enviar', 'enviara', 'enviaria', 'envie', 'envio', 'environmental', 'envolve', 'envolvem', 'envolvendo', 'envolver', 'envolveram', 'envolveu', 'envolviam']\n"
208 | ]
209 | }
210 | ],
211 | "source": [
212 | "from sklearn.feature_extraction.text import TfidfVectorizer\n",
213 | "\n",
214 | "lista_noticias = [n['conteudo'] for n in noticias]\n",
215 | "\n",
216 | "lista_noticias_preproc = []\n",
217 | "\n",
218 | "# Preprocessa as notícias\n",
219 | "for i, noticia in enumerate(lista_noticias):\n",
220 | " norm = normaliza(noticia)\n",
221 | " tokens = [t for t in word_tokenize(norm) if (t not in punctuation and t not in stopwords)]\n",
222 | " noticia_preproc = ' '.join(tokens)\n",
223 | " \n",
224 | " # Adiciona o id da notícia (índice)\n",
225 | " lista_noticias_preproc.append(str(i) + '\\n' + noticia_preproc)\n",
226 | "\n",
227 | "tfidf_vectorizer = TfidfVectorizer(analyzer='word')\n",
228 | "\n",
229 | "tfidf_matrix = tfidf_vectorizer.fit_transform(lista_noticias_preproc)\n",
230 | "\n",
231 | "print(tfidf_matrix.shape)\n",
232 | "print(tfidf_vectorizer.get_feature_names()[5000:5050])"
233 | ]
234 | },
235 | {
236 | "cell_type": "markdown",
237 | "metadata": {},
238 | "source": [
239 | "## Similaridade textual"
240 | ]
241 | },
242 | {
243 | "cell_type": "code",
244 | "execution_count": 12,
245 | "metadata": {},
246 | "outputs": [
247 | {
248 | "name": "stdout",
249 | "output_type": "stream",
250 | "text": [
251 | "(1000, 1000) \n",
252 | "\n",
253 | "CPU times: user 32 ms, sys: 8 ms, total: 40 ms\n",
254 | "Wall time: 38.8 ms\n"
255 | ]
256 | }
257 | ],
258 | "source": [
259 | "%%time\n",
260 | "\n",
261 | "from sklearn.metrics.pairwise import cosine_similarity\n",
262 | "\n",
263 | "'''\n",
264 | " Distância cosine_similarity\n",
265 | " Valor 1 -> documentos iguais\n",
266 | " \n",
267 | " Similaridade:\n",
268 | " Valor 0 -> documentos iguais\n",
269 | "'''\n",
270 | "\n",
271 | "# Precomputa todas as distâncias\n",
272 | "dist = 1 - cosine_similarity(tfidf_matrix)\n",
273 | "\n",
274 | "print(dist.shape, '\\n')"
275 | ]
276 | },
277 | {
278 | "cell_type": "code",
279 | "execution_count": 13,
280 | "metadata": {},
281 | "outputs": [
282 | {
283 | "name": "stdout",
284 | "output_type": "stream",
285 | "text": [
286 | "(1000, 1000) \n",
287 | "\n",
288 | "[ -2.22044605e-16 8.73339844e-01 1.00000000e+00 1.00000000e+00\n",
289 | " 9.37683359e-01 9.57493308e-01 9.60413006e-01 9.55252975e-01\n",
290 | " 7.72281511e-01 9.70043880e-01] \n",
291 | "\n",
292 | "0.995450947468 \n",
293 | "\n"
294 | ]
295 | }
296 | ],
297 | "source": [
298 | "print(dist.shape, '\\n')\n",
299 | "\n",
300 | "print(dist[0][:10], '\\n')\n",
301 | "\n",
302 | "print(dist[0][500], '\\n')"
303 | ]
304 | },
305 | {
306 | "cell_type": "code",
307 | "execution_count": 14,
308 | "metadata": {},
309 | "outputs": [
310 | {
311 | "name": "stdout",
312 | "output_type": "stream",
313 | "text": [
314 | "D1: Estão abertas as inscrições para Festival de Dança do IF Sudeste de Minas Gerais - Campus Barbacena “Volta ao Mundo” \n",
315 | "\n",
316 | "D2: Abertura de ciclo de palestras sobre conservação da natureza é um sucesso \n",
317 | "\n",
318 | "D3: Campus Barbacena divulga edital do Festival de Dança “Hollywood Ifest” \n",
319 | "\n",
320 | "D1 -> D3 0.282603948493\n",
321 | "D2 -> D3 0.96451245341\n"
322 | ]
323 | }
324 | ],
325 | "source": [
326 | "print('D1:', noticias[847]['titulo'], '\\n')\n",
327 | "print('D2:', noticias[326]['titulo'], '\\n')\n",
328 | "print('D3:', noticias[338]['titulo'], '\\n')\n",
329 | "\n",
330 | "print('D1 -> D3', dist[847][338])\n",
331 | "print('D2 -> D3', dist[326][338])"
332 | ]
333 | },
334 | {
335 | "cell_type": "markdown",
336 | "metadata": {},
337 | "source": [
338 | "## Clusterização de documentos textuais"
339 | ]
340 | },
341 | {
342 | "cell_type": "code",
343 | "execution_count": 27,
344 | "metadata": {},
345 | "outputs": [
346 | {
347 | "data": {
348 | "text/plain": [
349 | "array([44, 46, 42, 31, 38, 41, 34, 24, 48, 35, 34, 42, 37, 33, 31, 17, 17,\n",
350 | " 1, 33, 10, 39, 16, 1, 8, 42, 33, 33, 33, 44, 48, 23, 24, 27, 37,\n",
351 | " 5, 5, 5, 21, 5, 37, 5, 0, 7, 13, 23, 13, 5, 37, 5, 21, 5,\n",
352 | " 37, 5, 1, 5, 5, 5, 37, 11, 45, 39, 11, 12, 1, 14, 16, 1, 39,\n",
353 | " 34, 10, 45, 7, 1, 49, 16, 44, 29, 45, 34, 24, 1, 10, 1, 29, 49,\n",
354 | " 2, 28, 39, 24, 24, 17, 45, 46, 39, 36, 4, 46, 16, 39, 16], dtype=int32)"
355 | ]
356 | },
357 | "execution_count": 27,
358 | "metadata": {},
359 | "output_type": "execute_result"
360 | }
361 | ],
362 | "source": [
363 | "from sklearn.cluster import KMeans\n",
364 | "\n",
365 | "clusters = 50\n",
366 | "model = KMeans(n_clusters=clusters, init='k-means++', max_iter=100, n_init=1)\n",
367 | "model.fit(tfidf_matrix)\n",
368 | "\n",
369 | "# Vetor com o identificador do cluster dos 100 primeiros documentos\n",
370 | "model.labels_[:100]"
371 | ]
372 | },
373 | {
374 | "cell_type": "markdown",
375 | "metadata": {},
376 | "source": [
377 | "## Topic modeling"
378 | ]
379 | },
380 | {
381 | "cell_type": "code",
382 | "execution_count": 29,
383 | "metadata": {},
384 | "outputs": [
385 | {
386 | "name": "stdout",
387 | "output_type": "stream",
388 | "text": [
389 | "Matriz W: (1000, 25)\n",
390 | "Matriz H: (25, 11575) \n",
391 | "\n"
392 | ]
393 | }
394 | ],
395 | "source": [
396 | "from sklearn.decomposition import NMF\n",
397 | "\n",
398 | "tfidf_feature_names = tfidf_vectorizer.get_feature_names()\n",
399 | "\n",
400 | "# Número de tópicos\n",
401 | "num_topics = 25\n",
402 | "\n",
403 | "# Fatoração da Matriz Não-Negativa (NMF)\n",
404 | "nmf_model = NMF(\n",
405 | " n_components=num_topics,\n",
406 | " random_state=1, alpha=.1, l1_ratio=.5, init='nndsvd'\n",
407 | ").fit(tfidf_matrix)\n",
408 | "\n",
409 | "# Matriz de tópicos x documentos (W)\n",
410 | "nmf_W = nmf_model.transform(tfidf_matrix)\n",
411 | "\n",
412 | "# Matriz de paralvras x tópicos (H)\n",
413 | "nmf_H = nmf_model.components_\n",
414 | "\n",
415 | "# Dimensão das matrizes resultantes\n",
416 | "print('Matriz W:', nmf_W.shape)\n",
417 | "print('Matriz H:', nmf_H.shape, '\\n')"
418 | ]
419 | },
420 | {
421 | "cell_type": "code",
422 | "execution_count": 111,
423 | "metadata": {},
424 | "outputs": [
425 | {
426 | "name": "stdout",
427 | "output_type": "stream",
428 | "text": [
429 | "\n",
430 | "Tópico 1\n",
431 | " Principais termos: barbacena (0.66), campus (0.63), curso (0.38), alunos (0.37), dia (0.35)\n",
432 | " Principais notícias relacionadas ao tópico:\n",
433 | "\t- Campus Barbacena monta Fazendinha Pedagógica na 49ª Exposição de Barbacena (0.15)\n",
434 | "\t- Campus Barbacena é destaque na 49ª Exposição Agropecuária de Barbacena (0.15)\n",
435 | "\t- Prorrogadas as inscrições para o Curso de Esgrima (0.14)\n",
436 | "\t- Mensagem do Diretor-geral (0.14)\n",
437 | "\t- Atenção Estudantes do Curso de Licenciatura em Educação Física: Estão abertas as inscrições para o Curso de Conhecimentos Básicos de Esgrima (Florete, Sábre e Espada) (0.14)\n",
438 | "\n",
439 | "Tópico 2\n",
440 | " Principais termos: resultado (1.97), veja (0.83), divulgado (0.81), final (0.48), provisorio (0.37)\n",
441 | " Principais notícias relacionadas ao tópico:\n",
442 | "\t- Divulgado o resultado dos Projetos de Extensão 2017 (0.25)\n",
443 | "\t- Divulgado o Resultado provisório da seleção de projetos de monitoria - Edital Nº 02/2017 (0.24)\n",
444 | "\t- Divulgado o Resultado Final do Edital PIBID 01 - 2016 (0.23)\n",
445 | "\t- Edital de Vagas Remanescentes: Divulgado o Resultado da Análise Curricular e o Resultado Provisório (0.22)\n",
446 | "\t- Pronatec: Divulgado o Resultado Final do Edital Nº 031/2016 (0.21)\n",
447 | "\n",
448 | "Tópico 3\n",
449 | " Principais termos: licenciatura (1.1), biologicas (0.48), ciencias (0.44), bacharelado (0.42), sistemas (0.42)\n",
450 | " Principais notícias relacionadas ao tópico:\n",
451 | "\t- Divulgado os inscritos para eleição de discentes para compor os colegiados dos cursos superiores (0.43)\n",
452 | "\t- Divulgado o resultado da eleição dos discentes para compor os colegiados dos cursos superiores (Bacharelado em Nutrição; Licenciatura em Ciências Biológicas; Licenciatura em Educação Física; Licenciatura em Química; Tecnologia em Sistemas para Internet) (0.43)\n",
453 | "\t- Divulgado o resultado da eleição dos docentes para compor os colegiados dos cursos superiores (Bacharelado em Nutrição; Licenciatura em Ciências Biológicas; Licenciatura em Educação Física; Licenciatura em Química; Tecnologia em Sistemas para Internet (0.43)\n",
454 | "\t- Divulgada a homologação do resultado da eleição dos docentes para compor os colegiados dos cursos superiores (Bacharelado em Nutrição; Licenciatura em Ciências Biológicas; Licenciatura em Educação Física; Licenciatura em Química; Tecnologia em Sistemas (0.41)\n",
455 | "\t- Divulgada a homologação do resultado da eleição dos discentes para compor os colegiados dos cursos superiores (Bacharelado em Nutrição; Licenciatura em Ciências Biológicas; Licenciatura em Educação Física; Licenciatura em Química; Tecnologia em Sistemas (0.4)\n",
456 | "\n",
457 | "Tópico 4\n",
458 | " Principais termos: remunerado (0.81), retificacao (0.8), 8641 (0.75), estagio (0.74), programa (0.51)\n",
459 | " Principais notícias relacionadas ao tópico:\n",
460 | "\t- Divulgada a II Retificação do Programa de Estágio Remunerado (0.38)\n",
461 | "\t- Divulgada a retificação do Edital do Programa de Estágio Remunerado (0.38)\n",
462 | "\t- Programa de Estágio Remunerado: Divulgada a retificação do resultado da análise de currículo (0.37)\n",
463 | "\t- Programa de Estágio Remunerado: Divulgada a retificação do resultado das entrevistas (0.37)\n",
464 | "\t- Divulgada a retificação do Edital do Programa de Estágio Remunerado (0.36)\n",
465 | "\n",
466 | "Tópico 5\n",
467 | " Principais termos: academico (0.88), centro (0.82), convocacao (0.76), assembleia (0.52), divulgado (0.48)\n",
468 | " Principais notícias relacionadas ao tópico:\n",
469 | "\t- Divulgado o Edital de convocação de assembleia do Centro Acadêmico de Nutrição (0.45)\n",
470 | "\t- Divulgado o Edital de convocação de assembleia geral do Centro Acadêmico em Nutrição – C.A.N (0.4)\n",
471 | "\t- Divulgado o Edital de Convocação da Assembleia Geral do Centro Acadêmico de Bacharelado em Nutrição – C.A.B.N. (0.37)\n",
472 | "\t- Divulgado o Edital de Convocação da Assembleia Geral do Centro Acadêmico de Licenciatura em Química - C.A.L.Q. (0.37)\n",
473 | "\t- Atenção: Divulgado o Edital de convocação da assembleia geral do Centro Acadêmico de Licenciatura em Química C.A.L.Q. (0.37)\n",
474 | "\n",
475 | "Tópico 6\n",
476 | " Principais termos: 00 (0.57), etaria (0.47), faixa (0.47), anos (0.3), 11 (0.26)\n",
477 | " Principais notícias relacionadas ao tópico:\n",
478 | "\t- Estão abertas as inscrições para o X IFérias – Colônia de Férias do Campus Barbacena (0.67)\n",
479 | "\t- Inscrições para a X Colônia de Férias começam na próxima segunda-feira (0.66)\n",
480 | "\t- Divulgado o Edital do X IFérias (Colônia de Férias do Campus Barbacena) (0.66)\n",
481 | "\t- Divulgado o Edital do XI IFérias (Colônia de Férias do Campus Barbacena) (0.61)\n",
482 | "\t- Divulgado o Edital do XII IFérias (Colônia de Férias do Campus Barbacena) (0.52)\n",
483 | "\n",
484 | "Tópico 7\n",
485 | " Principais termos: monitoria (0.68), prova (0.35), alunos (0.31), fisica (0.26), selecao (0.24)\n",
486 | " Principais notícias relacionadas ao tópico:\n",
487 | "\t- Divulgação de monitoria de Física do 3º ano do ensino médio para candidatos matriculados no 3º ano de qualquer curso técnico do IF - Barbacena. (0.55)\n",
488 | "\t- Divulgação de monitoria de Física Instrumental (0.53)\n",
489 | "\t- Divulgação de monitoria de Física para candidatos das licenciaturas dos cursos superiores do IF - Barbacena (0.53)\n",
490 | "\t- Divulgada oportunidade de monitoria de Física para candidatos das licenciaturas dos cursos superiores do Campus Barbacena (0.51)\n",
491 | "\t- Atenção alunos dos Cursos Técnicos Integrados ao Ensino Médio (3ºano): divulgada a oportunidade de vaga para monitoria de Física (0.5)\n",
492 | "\n",
493 | "Tópico 8\n",
494 | " Principais termos: escolha (0.56), representantes (0.42), conselho (0.4), docentes (0.39), eleitoral (0.36)\n",
495 | " Principais notícias relacionadas ao tópico:\n",
496 | "\t- Divulgado o Resultado dos inscritos para escolha dos representantes dos servidores docentes, técnicos - administrativos em educação e discentes do CONSU e CEPE do Campus Barbacena (0.48)\n",
497 | "\t- Divulgada a Convocação eleitoral para escolha dos representantes dos servidores docentes, técnico-administrativos e discentes do Conselho de Ensino, Pesquisa e Extensão (CEPE) do Campus Barbacena (0.48)\n",
498 | "\t- Eleições CEPE: Divulgados os inscritos (0.46)\n",
499 | "\t- Divulgada a Homologação dos inscritos para escolha dos representantes dos servidores docentes, técnicos - administrativos em educação e discentes do CONSU e CEPE (0.45)\n",
500 | "\t- Divulgada a Homologação dos eleitos no processo eleitoral para escolha dos membros do Conselho Superior (CONSU) e Conselho de Ensino, Pesquisa e Extensão (CEPE) do IF Sudeste MG – Campus Barbacena (0.38)\n",
501 | "\n",
502 | "Tópico 9\n",
503 | " Principais termos: pesquisa (0.69), inovacao (0.42), iniciacao (0.36), viii (0.33), cientifica (0.3)\n",
504 | " Principais notícias relacionadas ao tópico:\n",
505 | "\t- Publicados resultados provisórios de seleção dos projetos de pesquisa submetidos ao VIII Programa de iniciação científica IF Sudeste MG / CNPq (2017/2018) (0.53)\n",
506 | "\t- Publicado resultado consolidado dos projetos de pesquisa submetidos ao VIII Programa de iniciação científica IF Sudeste MG / CNPq (2017/2018) (0.53)\n",
507 | "\t- Publicados resultados provisórios de seleção dos projetos de pesquisa FAPEMIG editais 10/2015 e 11/2015 (0.41)\n",
508 | "\t- Publicado edital de chamada de projetos para o VIII Programa Institucional de Bolsas de Iniciação Científica – Fapemig/IFSudesteMG (0.38)\n",
509 | "\t- Publicado resultado consolidado com distribuição de bolsas dos projetos de pesquisa submetidos aos editais 10/2016 e 11/2016 - FAPEMIG/IF Sudeste MG (0.37)\n",
510 | "\n",
511 | "Tópico 10\n",
512 | " Principais termos: vagas (0.72), seletivo (0.54), remanescentes (0.5), processo (0.45), preenchimento (0.38)\n",
513 | " Principais notícias relacionadas ao tópico:\n",
514 | "\t- Divulgada a homologação das inscrições do Processo Seletivo para Preenchimento de Vagas Remanescentes 2/2017 (0.42)\n",
515 | "\t- Divulgado o Resultado Final da Homologação das Inscrições do Processo Seletivo para Preenchimento de Vagas Remanescentes (0.4)\n",
516 | "\t- Divulgada a Classificação Final do Processo Seletivo para Preenchimento de Vagas Remanescentes, referente ao Edital 10/2017 (0.36)\n",
517 | "\t- Divulgado o resultado final do Processo Seletivo para preenchimento das vagas remanescentes nos cursos de graduação (0.34)\n",
518 | "\t- IF Sudeste MG divulga datas do Processo Seletivo para o segundo semestre de 2017 (0.32)\n",
519 | "\n",
520 | "Tópico 11\n",
521 | " Principais termos: danca (0.49), festival (0.38), grupos (0.2), barbacena (0.18), serao (0.15)\n",
522 | " Principais notícias relacionadas ao tópico:\n",
523 | "\t- Campus Barbacena promove Festival de Dança \"Volta ao Mundo” (0.77)\n",
524 | "\t- Estão abertas as inscrições para Festival de Dança do IF Sudeste de Minas Gerais - Campus Barbacena “Volta ao Mundo” (0.77)\n",
525 | "\t- Prorrogadas as inscrições para Festival de Dança do Campus Barbacena - “Volta ao Mundo” (0.76)\n",
526 | "\t- Estudantes participam da \"Oficina de Dança Folclórica na Escola\" (0.76)\n",
527 | "\t- Campus Barbacena divulga edital do Festival de Dança “Hollywood Ifest” (0.69)\n",
528 | "\n",
529 | "Tópico 12\n",
530 | " Principais termos: 8613 (0.47), matriculas (0.44), disciplinas (0.39), matricula (0.35), secretaria (0.28)\n",
531 | " Principais notícias relacionadas ao tópico:\n",
532 | "\t- Alunos de graduação: atenção ao cronograma do período de matrícula em disciplinas e de ajustes do 2º semestre de 2016 (0.55)\n",
533 | "\t- Atenção alunos de graduação: Retificação da relação de formandos para matrículas em disciplinas e ajuste de matrículas - 01/2017 (0.45)\n",
534 | "\t- Cronograma de matrículas em disciplinas e de ajustes de matrícula e relação de possíveis formandos (0.42)\n",
535 | "\t- ATENÇÃO ALUNOS DE GRADUAÇÃO DIVULGADO O NÚMERO DE VAGAS DISPONÍVEIS POR DISCIPLINA PARA O PERÍODO DE AJUSTE DE MATRÍCULAS (0.39)\n",
536 | "\t- Atenção Alunos de Graduação: Publicada a lista com os nomes dos possíveis formandos que terão prioridade no período de Matrículas em Disciplinas no 2º semestre de 2016 (0.37)\n",
537 | "\n",
538 | "Tópico 13\n",
539 | " Principais termos: ello (0.69), jr (0.58), consultoria (0.52), ellojr (0.22), empresa (0.18)\n",
540 | " Principais notícias relacionadas ao tópico:\n",
541 | "\t- Ello Consultoria Jr lança edital de seleção de novos trainees (0.52)\n",
542 | "\t- Ello Consultoria Jr lança edital de seleção de novos trainees (0.47)\n",
543 | "\t- Ello Consultoria Jr lança a primeira edição da Ello Revista de Negócios para Empresários Juniores (0.46)\n",
544 | "\t- Ello Consultoria Jr promove seleção de trainees e curso de Gerenciamento da Qualidade com ISO 9001 (0.43)\n",
545 | "\t- Ello Consultoria Jr convoca assembleia geral extraordinária para o dia 29 de abril (0.41)\n",
546 | "\n",
547 | "Tópico 14\n",
548 | " Principais termos: colegiados (0.65), compor (0.61), eleicao (0.55), tecnicos (0.5), integrados (0.49)\n",
549 | " Principais notícias relacionadas ao tópico:\n",
550 | "\t- Divulgada a homologação do resultado da eleição dos discentes para compor os colegiados dos cursos técnicos integrados ao ensino médio (0.46)\n",
551 | "\t- Divulgado o resultado da eleição dos discentes para compor os colegiados dos cursos técnicos integrados ao ensino médio (0.43)\n",
552 | "\t- Divulgada a homologação do resultado da eleição dos docentes para compor os colegiados dos cursos técnicos integrados ao ensino médio (0.42)\n",
553 | "\t- Campus Barbacena divulga impugnação e homologação dos inscritos para eleição de discentes para compor os colegiados dos cursos técnicos integrados ao ensino médio (0.42)\n",
554 | "\t- Divulgada a ordem dos discentes nas cédulas da eleição para compor os colegiados dos cursos técnicos integrados ao ensino médio (0.41)\n",
555 | "\n",
556 | "Tópico 15\n",
557 | " Principais termos: seminario (0.69), iii (0.58), trabalhos (0.31), mostra (0.28), extensao (0.19)\n",
558 | " Principais notícias relacionadas ao tópico:\n",
559 | "\t- Divulgada a programação da Semana Nacional de Ciência e Tecnologia 2016. Faça sua inscrição! (0.67)\n",
560 | "\t- Atenção: Modelos de apresentação para Mostra de Trabalho e III Seminário de Extensão (0.59)\n",
561 | "\t- Campus Barbacena divulga balanço da Semana Nacional de Ciência e Tecnologia 2016 (0.45)\n",
562 | "\t- Divulgado o Edital para o III Seminário de Ensino (0.42)\n",
563 | "\t- Divulgado o Edital do III Seminário de Extensão (0.34)\n",
564 | "\n",
565 | "Tópico 16\n",
566 | " Principais termos: rede (0.47), educacao (0.46), federal (0.41), tecnologica (0.36), profissional (0.36)\n",
567 | " Principais notícias relacionadas ao tópico:\n",
568 | "\t- Institutos Federais completam sete anos de educação pública, gratuita e de excelência (0.44)\n",
569 | "\t- Conif solicita inclusão da Rede Federal no resultado do Enem 2015 (0.4)\n",
570 | "\t- Institutos Federais completam oito anos (0.39)\n",
571 | "\t- Mestrado para servidores da Rede Federal abrirá primeira turma em 2017 (0.39)\n",
572 | "\t- Ministro da Educação participa da primeira reunião extraordinária do Conif em 2016 (0.38)\n",
573 | "\n",
574 | "Tópico 17\n",
575 | " Principais termos: edital (1.62), leia (0.67), 2016 (0.56), retificacao (0.4), inscricoes (0.3)\n",
576 | " Principais notícias relacionadas ao tópico:\n",
577 | "\t- Divulgado o Edital Retificado do Programa de Monitoria 2016-1 (0.27)\n",
578 | "\t- Estão abertas as inscrições para projetos de monitoria (2016 -2) (0.25)\n",
579 | "\t- Divulgado o Edital do Programa de Monitoria 2016-1 (0.23)\n",
580 | "\t- Estão abertas as inscrições para projetos de monitoria (2017 -2) (0.21)\n",
581 | "\t- Divulgado o Edital de chamada pública para seleção de extensionista colaborador externo (0.2)\n",
582 | "\n",
583 | "Tópico 18\n",
584 | " Principais termos: pibic (0.87), cnpq (0.73), pibicti (0.31), jr (0.2), af (0.19)\n",
585 | " Principais notícias relacionadas ao tópico:\n",
586 | "\t- Divulgado o Resultado final do Edital 04/2016 (0.68)\n",
587 | "\t- Divulgado o resultado final retificado do Edital 04/2016 - Edital Projetos de Iniciação Científica (0.67)\n",
588 | "\t- Campus divulga o Resultado Provisório dos projetos de iniciação científica encaminhados ao edital 04/2016 (2016/2017) (0.66)\n",
589 | "\t- Publicada Retificação para os editais 04 e 05/2016 - Programa Institucional de Iniciação Científica (0.47)\n",
590 | "\t- IF Sudeste MG publica editais de bolsas de iniciação científica (0.4)\n",
591 | "\n",
592 | "Tópico 19\n",
593 | " Principais termos: kb (1.28), anexotamanho (0.65), pdf107 (0.24), 78 (0.12), _resultado_definitivo (0.1)\n",
594 | " Principais notícias relacionadas ao tópico:\n",
595 | "\t- Edital de Convocação Eleitoral para escolha dos representantes dos servidores docentes, técnico-administrativos e discentes nas comissões eleitorais de Campus para escolha de Reitor do IF Sudeste MG e Diretores-gerais dos Campi (0.37)\n",
596 | "\t- Campus Barbacena divulga Edital de Extensão (0.35)\n",
597 | "\t- Divulgado resultado provisório do Programa de Assistência Estudantil 2017 (0.34)\n",
598 | "\t- Divulgado o resultado definitivo do Programa de Assistência Estudantil 2017 (0.34)\n",
599 | "\t- Divulgada a retificação do edital de eleições para Diretoria do CAAD (0.34)\n",
600 | "\n",
601 | "Tópico 20\n",
602 | " Principais termos: aviso (1.09), servico (0.33), setor (0.29), social (0.28), 8840 (0.27)\n",
603 | " Principais notícias relacionadas ao tópico:\n",
604 | "\t- Setor de Serviço Social divulga avisos (0.57)\n",
605 | "\t- Novos avisos do Setor de Serviço Social (0.56)\n",
606 | "\t- Atenção: Novo horário de funcionamento do Setor de Serviço Social (0.53)\n",
607 | "\t- Aviso do Setor de Serviço Social (0.47)\n",
608 | "\t- Divulgados o aviso e a relação de pendências do alunos candidatos ao Programa de Assistência Estudantil (0.4)\n",
609 | "\n",
610 | "Tópico 21\n",
611 | " Principais termos: protegidas (0.44), areas (0.36), pos (0.35), naturais (0.35), graduacao (0.29)\n",
612 | " Principais notícias relacionadas ao tópico:\n",
613 | "\t- Aula inaugural da pós-graduação discute “Sobrevivência humana e conservação no Parque Nacional de Virunga (0.61)\n",
614 | "\t- Professor do Campus Barbacena lança livro \"Áreas naturais protegidas e indicadores sócioeconômicos: o desafio da conservação da natureza\" (0.43)\n",
615 | "\t- Aula Magna do Curso de Pós-graduação em Planejamento e Gestão de Áreas Naturais Protegidas discute \"Ecologia e evolução\" (0.42)\n",
616 | "\t- Divulgado o Ciclo de Palestras sobre conservação da natureza (0.38)\n",
617 | "\t- Campus Barbacena divulga informações sobre o início das aulas do Curso de Pós-graduação lato sensu em \"Planejamento e Gestão de Áreas Naturais Protegidas\" (0.37)\n",
618 | "\n",
619 | "Tópico 22\n",
620 | " Principais termos: palestra (0.49), gefrut (0.46), auditorio (0.34), estudos (0.28), grupo (0.25)\n",
621 | " Principais notícias relacionadas ao tópico:\n",
622 | "\t- Grupo de Estudos - GEFRUT promove palestra sobre \"Pós-colheita de frutas\" (0.62)\n",
623 | "\t- Grupo de Estudos - GEFRUT promove palestra sobre \"Produção de Mudas de Pitaya\" (0.6)\n",
624 | "\t- Estudantes participam da palestra \"Pós-colheita de frutas\" (0.46)\n",
625 | "\t- O Grupo de Estudos - GEFRUT promove palestra sobre \"Segurança Alimentar na Fruticultura\" (0.45)\n",
626 | "\t- Gefrut debate Uso de telados em Fruticultura (0.36)\n",
627 | "\n",
628 | "Tópico 23\n",
629 | " Principais termos: documento (1.65), leia (1.24), divulgada (0.67), homologacao (0.39), dce (0.19)\n",
630 | " Principais notícias relacionadas ao tópico:\n",
631 | "\t- Atenção formandos dos Cursos de Nutrição e Licenciatura em Química (0.21)\n",
632 | "\t- Aviso Setor de Serviço Social (0.21)\n",
633 | "\t- Setor de Serviço Social divulga aviso (0.21)\n",
634 | "\t- Divulgada a homologação das chapas candidatas ao DCE 2017 (0.18)\n",
635 | "\t- Secretaria de Educação Superior divulga Cronograma de Matrícula em Disciplinas e a Relação de Possíveis Formandos para o 2º semestre de 2017 (0.16)\n",
636 | "\n",
637 | "Tópico 24\n",
638 | " Principais termos: fecib (0.55), trabalhos (0.5), vi (0.24), ou (0.22), categoria (0.2)\n",
639 | " Principais notícias relacionadas ao tópico:\n",
640 | "\t- Estão abertas as inscrições de trabalhos para a VI Feira Científica de Barbacena (VI FECIB) (0.76)\n",
641 | "\t- Estão abertas as inscrições de trabalhos para a V Feira Científica de Barbacena (V FECIB) (0.72)\n",
642 | "\t- IF Sudeste MG – Campus Barbacena realiza VI Feira Científica de Barbacena (FECIB) com 70 projetos de escolas de Barbacena (0.68)\n",
643 | "\t- IF Sudeste MG – Campus Barbacena realiza V Feira Científica de Barbacena com mais de 70 projetos de escolas de Barbacena (0.63)\n",
644 | "\t- Fecib movimenta Campus Barbacena com exposição de projetos (0.38)\n",
645 | "\n",
646 | "Tópico 25\n",
647 | " Principais termos: secao (0.33), alimentacao (0.32), nutricao (0.28), lanche (0.23), noturno (0.22)\n",
648 | " Principais notícias relacionadas ao tópico:\n",
649 | "\t- Seção de Alimentação e Nutrição publica comunicado sobre lanche noturno (0.81)\n",
650 | "\t- Seção de Alimentação e Nutrição começa a servir o lanche noturno (0.8)\n",
651 | "\t- Novo horário de funcionamento do almoço (0.48)\n",
652 | "\t- Comunicado: Alteração no horário do jantar (0.47)\n",
653 | "\t- Divulgado o horário de Funcionamento da SAN (SEÇÃO DE ALIMENTAÇÃO E NUTRIÇÃO) - CAMPUS BARBACENA no período de férias escolares (0.44)\n"
654 | ]
655 | }
656 | ],
657 | "source": [
658 | "# Função para exibir os tópicos\n",
659 | "def exibe_topicos(H, W, feature_names, documents, num_top_words, num_top_documents):\n",
660 | " for topic_idx, topic in enumerate(H):\n",
661 | " print('\\nTópico %d' % (topic_idx + 1))\n",
662 | "\n",
663 | " print(' Principais termos: ' + ', '.join([feature_names[i] + ' (%s)' % round(H[topic_idx][i], 2) \n",
664 | " for i in topic.argsort()[:-num_top_words - 1:-1]])) \n",
665 | "\n",
666 | " # Top documentos relacionados\n",
667 | " print(' Principais notícias relacionadas ao tópico:')\n",
668 | "\n",
669 | " top_doc_indices = np.argsort( W[:,topic_idx] )[::-1][0:num_top_documents]\n",
670 | " for doc_index in top_doc_indices:\n",
671 | " # Id do documento\n",
672 | " id_doc = int(documents[doc_index].split('\\n')[0])\n",
673 | " \n",
674 | " # Texto\n",
675 | " texto = noticias[id_doc]['titulo']\n",
676 | " print('\\t-', texto, ' (%s)' % round(W[doc_index][topic_idx], 2))\n",
677 | "\n",
678 | "\n",
679 | "# Número de palavras mais relacionadas que serão exibidas para cada tópico\n",
680 | "num_top_words = 5\n",
681 | "\n",
682 | "# Número de documentos por tópico\n",
683 | "num_top_documents = 5\n",
684 | "\n",
685 | "exibe_topicos(nmf_H, nmf_W, tfidf_feature_names, documents, num_top_words, num_top_documents)"
686 | ]
687 | },
688 | {
689 | "cell_type": "markdown",
690 | "metadata": {},
691 | "source": [
692 | "### Sistema de recomendação"
693 | ]
694 | },
695 | {
696 | "cell_type": "code",
697 | "execution_count": 120,
698 | "metadata": {},
699 | "outputs": [
700 | {
701 | "name": "stdout",
702 | "output_type": "stream",
703 | "text": [
704 | "- Jogos dos Institutos Federais movimentam comunidade acadêmica\n"
705 | ]
706 | },
707 | {
708 | "data": {
709 | "text/plain": [
710 | "array([ 2.22044605e-16, 5.52969170e-01, 7.07878718e-01,\n",
711 | " 7.09074804e-01, 7.31358349e-01])"
712 | ]
713 | },
714 | "execution_count": 120,
715 | "metadata": {},
716 | "output_type": "execute_result"
717 | }
718 | ],
719 | "source": [
720 | "print('-', noticias[15]['titulo'])\n",
721 | "\n",
722 | "# Utiliza a matriz de distâncias precomputadas\n",
723 | "dist[15].sort()\n",
724 | "\n",
725 | "# 5 documentos mais \"próximos\" do documento 0\n",
726 | "sugestoes = dist[15][:5]\n",
727 | "\n",
728 | "for s in sugestoes\n",
729 | "\n"
730 | ]
731 | },
732 | {
733 | "cell_type": "markdown",
734 | "metadata": {},
735 | "source": [
736 | "## Bônus"
737 | ]
738 | },
739 | {
740 | "cell_type": "markdown",
741 | "metadata": {},
742 | "source": [
743 | "## Lemmatization\n",
744 | "\n",
745 | "Menos \"agressivo\" que o stemming"
746 | ]
747 | },
748 | {
749 | "cell_type": "code",
750 | "execution_count": 122,
751 | "metadata": {},
752 | "outputs": [
753 | {
754 | "name": "stdout",
755 | "output_type": "stream",
756 | "text": [
757 | "car\n",
758 | "box\n",
759 | "spy\n",
760 | "child\n"
761 | ]
762 | }
763 | ],
764 | "source": [
765 | "from nltk.stem.wordnet import WordNetLemmatizer\n",
766 | "\n",
767 | "lmtzr = WordNetLemmatizer()\n",
768 | "\n",
769 | "print(lmtzr.lemmatize('cars'))\n",
770 | "print(lmtzr.lemmatize('boxes'))\n",
771 | "print(lmtzr.lemmatize('spies'))\n",
772 | "print(lmtzr.lemmatize('children'))"
773 | ]
774 | },
775 | {
776 | "cell_type": "markdown",
777 | "metadata": {},
778 | "source": [
779 | "## Part-of-Speech Tagging (POS Tagging)"
780 | ]
781 | },
782 | {
783 | "cell_type": "code",
784 | "execution_count": 123,
785 | "metadata": {},
786 | "outputs": [
787 | {
788 | "data": {
789 | "text/plain": [
790 | "[('The', 'DT'),\n",
791 | " ('book', 'NN'),\n",
792 | " ('is', 'VBZ'),\n",
793 | " ('on', 'IN'),\n",
794 | " ('the', 'DT'),\n",
795 | " ('table', 'NN')]"
796 | ]
797 | },
798 | "execution_count": 123,
799 | "metadata": {},
800 | "output_type": "execute_result"
801 | }
802 | ],
803 | "source": [
804 | "import nltk\n",
805 | "\n",
806 | "'''\n",
807 | " DT: Determiner\n",
808 | " NN: Noun, singular or mass \n",
809 | " VBZ: Verb, 3rd person singular present\n",
810 | " IN: Preposition or subordinating conjunction\n",
811 | "'''\n",
812 | "\n",
813 | "nltk.pos_tag(['The', 'book', 'is', 'on', 'the', 'table'])"
814 | ]
815 | },
816 | {
817 | "cell_type": "markdown",
818 | "metadata": {},
819 | "source": [
820 | "## Análise de sentimentos\n",
821 | "\n",
822 | "VADER (Valence Aware Dictionary and sEntiment Reasoner)"
823 | ]
824 | },
825 | {
826 | "cell_type": "code",
827 | "execution_count": 124,
828 | "metadata": {},
829 | "outputs": [
830 | {
831 | "name": "stdout",
832 | "output_type": "stream",
833 | "text": [
834 | "{'compound': 0.743, 'neg': 0.0, 'pos': 0.677, 'neu': 0.323}\n"
835 | ]
836 | }
837 | ],
838 | "source": [
839 | "from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer\n",
840 | "\n",
841 | "analyzer = SentimentIntensityAnalyzer()\n",
842 | "\n",
843 | "print(analyzer.polarity_scores('Machine learning is fun :)'))"
844 | ]
845 | },
846 | {
847 | "cell_type": "code",
848 | "execution_count": null,
849 | "metadata": {
850 | "collapsed": true
851 | },
852 | "outputs": [],
853 | "source": []
854 | }
855 | ],
856 | "metadata": {
857 | "kernelspec": {
858 | "display_name": "Python 3",
859 | "language": "python",
860 | "name": "python3"
861 | },
862 | "language_info": {
863 | "codemirror_mode": {
864 | "name": "ipython",
865 | "version": 3
866 | },
867 | "file_extension": ".py",
868 | "mimetype": "text/x-python",
869 | "name": "python",
870 | "nbconvert_exporter": "python",
871 | "pygments_lexer": "ipython3",
872 | "version": "3.6.4"
873 | }
874 | },
875 | "nbformat": 4,
876 | "nbformat_minor": 2
877 | }
878 |
--------------------------------------------------------------------------------
/Aula 04.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "cells": [
3 | {
4 | "cell_type": "markdown",
5 | "metadata": {},
6 | "source": [
7 | "## Instituto Federal do Sudeste de Minas Gerais, Campus Barbacena\n",
8 | "### Projeto Laboratório de Redes de Conhecimento"
9 | ]
10 | },
11 | {
12 | "cell_type": "markdown",
13 | "metadata": {},
14 | "source": [
15 | "## Curso de Mineração de Dados Aplicada\n",
16 | "\n",
17 | "Prof. Rafael José de Alencar Almeida\n",
18 | "| \n", 810 | " | support | \n", 811 | "itemsets | \n", 812 | "
|---|---|---|
| 0 | \n", 817 | "0.8 | \n", 818 | "(Eggs) | \n", 819 | "
| 1 | \n", 822 | "1.0 | \n", 823 | "(Kidney Beans) | \n", 824 | "
| 2 | \n", 827 | "0.6 | \n", 828 | "(Milk) | \n", 829 | "
| 3 | \n", 832 | "0.6 | \n", 833 | "(Onion) | \n", 834 | "
| 4 | \n", 837 | "0.6 | \n", 838 | "(Yogurt) | \n", 839 | "
| 5 | \n", 842 | "0.8 | \n", 843 | "(Kidney Beans, Eggs) | \n", 844 | "
| 6 | \n", 847 | "0.6 | \n", 848 | "(Onion, Eggs) | \n", 849 | "
| 7 | \n", 852 | "0.6 | \n", 853 | "(Milk, Kidney Beans) | \n", 854 | "
| 8 | \n", 857 | "0.6 | \n", 858 | "(Kidney Beans, Onion) | \n", 859 | "
| 9 | \n", 862 | "0.6 | \n", 863 | "(Kidney Beans, Yogurt) | \n", 864 | "
| 10 | \n", 867 | "0.6 | \n", 868 | "(Kidney Beans, Onion, Eggs) | \n", 869 | "
\n", 21 | "\n", 22 | "## Aula 4: Processamento de Linguagem Natural\n", 23 | "\n", 24 | "#### \"Estima-se que 80% de todo conteúdo mundial online são textos\"\n", 25 | "_Chen, H. Knowledge management systems: a text mining perspective. Arizona: Knowledge\n", 26 | "Computing Corporation. 2001._\n", 27 | "\n", 28 | "#### \"No geral, 80% das informações criadas e utilizadas por uma empresa são dados não estruturados, o que torna a manipulação e interpretação mais complexa\".\n", 29 | "_André Pannunzio, PricewaterhouseCoopers (PwC) Brasil._\n", 30 | "\n", 31 | "
\n", 32 | "\n", 33 | "
![](\"https://www.celebros.com/media/k2/items/cache/e0a70f72bdae9885bfc32d7cd19a26a1_L.jpg\")
\n",
34 | "\n",
35 | "Linguagem Natural: meio de comunicação utilizado pelos humanos para se comunicarem (idiomas e línguas de sinais).\n",
36 | "\n",
37 | "Processamento de linguagem natural (PLN): subárea da ciência da computação, inteligência artificial e da linguística que estuda os problemas da geração e compreensão automática de línguas humanas naturais."
38 | ]
39 | },
40 | {
41 | "cell_type": "markdown",
42 | "metadata": {},
43 | "source": [
44 | " "
45 | ]
46 | },
47 | {
48 | "cell_type": "markdown",
49 | "metadata": {},
50 | "source": [
51 | "### Dataset: notícias IF\n",
52 | "\n"
53 | ]
54 | },
55 | {
56 | "cell_type": "code",
57 | "execution_count": 15,
58 | "metadata": {},
59 | "outputs": [
60 | {
61 | "data": {
62 | "text/html": [
63 | "\n",
64 | "\n",
77 | "\n",
78 | " \n",
79 | "
\n",
119 | "
"
120 | ],
121 | "text/plain": [
122 | " data titulo \\\n",
123 | "0 14/09/2017 Campus Barbacena divulga Resultado Provisório ... \n",
124 | "1 14/09/2017 Divulgado o Edital de convocação de assembleia... \n",
125 | "2 14/09/2017 Pesquisador da Bélgica realiza palestra no Cam... \n",
126 | "3 14/09/2017 Divulgada a homologação das inscrições à candi... \n",
127 | "4 14/09/2017 Aprovado Regulamento de Eventos, Cerimonial e ... \n",
128 | "\n",
129 | " conteudo \n",
130 | "0 \\n\\n\\tO Campus Barbacena divulgou o Resultado ... \n",
131 | "1 \\n\\n\\tDivulgado o Edital de convocação de asse... \n",
132 | "2 \\n\\n\\tO pesquisador da Bélgica, Luc Vankrunkel... \n",
133 | "3 \\n\\n\\tDivulgada a homologação das inscrições à... \n",
134 | "4 \\n\\n\\tO Regulamento, aprovado no dia 05 de set... "
135 | ]
136 | },
137 | "execution_count": 15,
138 | "metadata": {},
139 | "output_type": "execute_result"
140 | }
141 | ],
142 | "source": [
143 | "import pandas as pd\n",
144 | "\n",
145 | "df = pd.read_csv('df_noticias_if.csv')\n",
146 | "df.head()"
147 | ]
148 | },
149 | {
150 | "cell_type": "code",
151 | "execution_count": 16,
152 | "metadata": {},
153 | "outputs": [
154 | {
155 | "data": {
156 | "text/plain": [
157 | "data 14/09/2017\n",
158 | "titulo Campus Barbacena divulga Resultado Provisório ...\n",
159 | "conteudo \\n\\n\\tO Campus Barbacena divulgou o Resultado ...\n",
160 | "Name: 0, dtype: object"
161 | ]
162 | },
163 | "execution_count": 16,
164 | "metadata": {},
165 | "output_type": "execute_result"
166 | }
167 | ],
168 | "source": [
169 | "df.iloc[0]"
170 | ]
171 | },
172 | {
173 | "cell_type": "code",
174 | "execution_count": 18,
175 | "metadata": {},
176 | "outputs": [
177 | {
178 | "name": "stdout",
179 | "output_type": "stream",
180 | "text": [
181 | "\n",
182 | "\n",
183 | "\tO Campus Barbacena divulgou o Resultado Provisório do VIII Simpósio de Pesquisa e Inovação.\n",
184 | "\n",
185 | "\tOs estudantes devem ficar atentos as observações que constam no final do documento.\n",
186 | "\n",
187 | "Leia o documento\n",
188 | "\n"
189 | ]
190 | }
191 | ],
192 | "source": [
193 | "print(df.iloc[0]['conteudo'])"
194 | ]
195 | },
196 | {
197 | "cell_type": "markdown",
198 | "metadata": {},
199 | "source": [
200 | "### Pré-processamento\n",
201 | "\n",
202 | "Consiste em processar os textos antes de realizar sua conversão para um formato numérico."
203 | ]
204 | },
205 | {
206 | "cell_type": "code",
207 | "execution_count": 25,
208 | "metadata": {},
209 | "outputs": [
210 | {
211 | "data": {
212 | "text/plain": [
213 | "'\\n\\n\\to campus barbacena divulgou o resultado provisório do viii simpósio de pesquisa e inovação.\\n\\n\\tos estudantes devem ficar atentos as observações que constam no final do documento.\\n\\nleia o documento\\n'"
214 | ]
215 | },
216 | "execution_count": 25,
217 | "metadata": {},
218 | "output_type": "execute_result"
219 | }
220 | ],
221 | "source": [
222 | "# Conversão para minúsculas\n",
223 | "df.iloc[0]['conteudo'].lower()"
224 | ]
225 | },
226 | {
227 | "cell_type": "markdown",
228 | "metadata": {},
229 | "source": [
230 | " "
231 | ]
232 | },
233 | {
234 | "cell_type": "code",
235 | "execution_count": 26,
236 | "metadata": {},
237 | "outputs": [
238 | {
239 | "data": {
240 | "text/plain": [
241 | "'!\"#$%&\\'()*+,-./:;<=>?@[\\\\]^_`{|}~'"
242 | ]
243 | },
244 | "execution_count": 26,
245 | "metadata": {},
246 | "output_type": "execute_result"
247 | }
248 | ],
249 | "source": [
250 | "# Remoção de pontuação\n",
251 | "from string import punctuation\n",
252 | "\n",
253 | "punctuation"
254 | ]
255 | },
256 | {
257 | "cell_type": "code",
258 | "execution_count": 29,
259 | "metadata": {},
260 | "outputs": [
261 | {
262 | "data": {
263 | "text/plain": [
264 | "'\\n\\n\\tO Campus Barbacena divulgou o Resultado Provisório do VIII Simpósio de Pesquisa e Inovação\\n\\n\\tOs estudantes devem ficar atentos as observações que constam no final do documento\\n\\nLeia o documento\\n'"
265 | ]
266 | },
267 | "execution_count": 29,
268 | "metadata": {},
269 | "output_type": "execute_result"
270 | }
271 | ],
272 | "source": [
273 | "''.join([l for l in df.iloc[0]['conteudo'] if l not in punctuation])"
274 | ]
275 | },
276 | {
277 | "cell_type": "markdown",
278 | "metadata": {},
279 | "source": [
280 | " "
281 | ]
282 | },
283 | {
284 | "cell_type": "code",
285 | "execution_count": 30,
286 | "metadata": {},
287 | "outputs": [
288 | {
289 | "data": {
290 | "text/plain": [
291 | "'O Campus Barbacena divulgou o Resultado Provisório do VIII Simpósio de Pesquisa e Inovação.Os estudantes devem ficar atentos as observações que constam no final do documento.Leia o documento'"
292 | ]
293 | },
294 | "execution_count": 30,
295 | "metadata": {},
296 | "output_type": "execute_result"
297 | }
298 | ],
299 | "source": [
300 | "# Substituição de caracteres\n",
301 | "df.iloc[0]['conteudo'].replace('\\n', '').replace('\\t', '')"
302 | ]
303 | },
304 | {
305 | "cell_type": "code",
306 | "execution_count": 32,
307 | "metadata": {},
308 | "outputs": [
309 | {
310 | "data": {
311 | "text/plain": [
312 | "'O Campus Barbacena divulgou o Resultado Provisório do VIII Simpósio de Pesquisa e Inovação.Os estudantes devem ficar atentos as observações que constam no final do documento.Leia o documento'"
313 | ]
314 | },
315 | "execution_count": 32,
316 | "metadata": {},
317 | "output_type": "execute_result"
318 | }
319 | ],
320 | "source": [
321 | "# Substituição de caracteres com re\n",
322 | "import re\n",
323 | "\n",
324 | "re.sub(r'\\n|\\t', '', df.iloc[0]['conteudo'])"
325 | ]
326 | },
327 | {
328 | "cell_type": "markdown",
329 | "metadata": {},
330 | "source": [
331 | " "
332 | ]
333 | },
334 | {
335 | "cell_type": "code",
336 | "execution_count": 20,
337 | "metadata": {},
338 | "outputs": [
339 | {
340 | "name": "stdout",
341 | "output_type": "stream",
342 | "text": [
343 | "['\\n\\n\\tO', 'Campus', 'Barbacena', 'divulgou', 'o', 'Resultado', 'Provisório', 'do', 'VIII', 'Simpósio', 'de', 'Pesquisa', 'e', 'Inovação.\\n\\n\\tOs', 'estudantes', 'devem', 'ficar', 'atentos', 'as', 'observações', 'que', 'constam', 'no', 'final', 'do', 'documento.\\n\\nLeia', 'o', 'documento\\n']\n"
344 | ]
345 | }
346 | ],
347 | "source": [
348 | "# Tokenização com split\n",
349 | "print(df.iloc[0]['conteudo'].split(' '))"
350 | ]
351 | },
352 | {
353 | "cell_type": "code",
354 | "execution_count": 24,
355 | "metadata": {},
356 | "outputs": [
357 | {
358 | "name": "stdout",
359 | "output_type": "stream",
360 | "text": [
361 | "['O', 'Campus', 'Barbacena', 'divulgou', 'o', 'Resultado', 'Provisório', 'do', 'VIII', 'Simpósio', 'de', 'Pesquisa', 'e', 'Inovação', '.', 'Os', 'estudantes', 'devem', 'ficar', 'atentos', 'as', 'observações', 'que', 'constam', 'no', 'final', 'do', 'documento', '.', 'Leia', 'o', 'documento']\n"
362 | ]
363 | }
364 | ],
365 | "source": [
366 | "# Tokenização com nltk\n",
367 | "from nltk import word_tokenize\n",
368 | "\n",
369 | "print(word_tokenize(df.iloc[0]['conteudo']))"
370 | ]
371 | },
372 | {
373 | "cell_type": "markdown",
374 | "metadata": {},
375 | "source": [
376 | " "
377 | ]
378 | },
379 | {
380 | "cell_type": "code",
381 | "execution_count": 33,
382 | "metadata": {},
383 | "outputs": [
384 | {
385 | "data": {
386 | "text/plain": [
387 | "b'\\n\\n\\tO Campus Barbacena divulgou o Resultado Provisorio do VIII Simposio de Pesquisa e Inovacao.\\n\\n\\tOs estudantes devem ficar atentos as observacoes que constam no final do documento.\\n\\nLeia o documento\\n'"
388 | ]
389 | },
390 | "execution_count": 33,
391 | "metadata": {},
392 | "output_type": "execute_result"
393 | }
394 | ],
395 | "source": [
396 | "# Remoção de acentos\n",
397 | "from unicodedata import normalize\n",
398 | "\n",
399 | "normalize('NFKD', df.iloc[0]['conteudo']).encode('ASCII', 'ignore')"
400 | ]
401 | },
402 | {
403 | "cell_type": "markdown",
404 | "metadata": {},
405 | "source": [
406 | " "
407 | ]
408 | },
409 | {
410 | "cell_type": "code",
411 | "execution_count": 37,
412 | "metadata": {},
413 | "outputs": [
414 | {
415 | "name": "stdout",
416 | "output_type": "stream",
417 | "text": [
418 | "['de', 'a', 'o', 'que', 'e', 'do', 'da', 'em', 'um', 'para', 'com', 'não', 'uma', 'os', 'no', 'se', 'na', 'por', 'mais', 'as', 'dos', 'como', 'mas', 'ao', 'ele', 'das', 'à', 'seu', 'sua', 'ou', 'quando', 'muito', 'nos', 'já', 'eu', 'também', 'só', 'pelo', 'pela', 'até', 'isso', 'ela', 'entre', 'depois', 'sem', 'mesmo', 'aos', 'seus', 'quem', 'nas', 'me', 'esse', 'eles', 'você', 'essa', 'num', 'nem', 'suas', 'meu', 'às', 'minha', 'numa', 'pelos', 'elas', 'qual', 'nós', 'lhe', 'deles', 'essas', 'esses', 'pelas', 'este', 'dele', 'tu', 'te', 'vocês', 'vos', 'lhes', 'meus', 'minhas', 'teu', 'tua', 'teus', 'tuas', 'nosso', 'nossa', 'nossos', 'nossas', 'dela', 'delas', 'esta', 'estes', 'estas', 'aquele', 'aquela', 'aqueles', 'aquelas', 'isto', 'aquilo', 'estou', 'está', 'estamos', 'estão', 'estive', 'esteve', 'estivemos', 'estiveram', 'estava', 'estávamos', 'estavam', 'estivera', 'estivéramos', 'esteja', 'estejamos', 'estejam', 'estivesse', 'estivéssemos', 'estivessem', 'estiver', 'estivermos', 'estiverem', 'hei', 'há', 'havemos', 'hão', 'houve', 'houvemos', 'houveram', 'houvera', 'houvéramos', 'haja', 'hajamos', 'hajam', 'houvesse', 'houvéssemos', 'houvessem', 'houver', 'houvermos', 'houverem', 'houverei', 'houverá', 'houveremos', 'houverão', 'houveria', 'houveríamos', 'houveriam', 'sou', 'somos', 'são', 'era', 'éramos', 'eram', 'fui', 'foi', 'fomos', 'foram', 'fora', 'fôramos', 'seja', 'sejamos', 'sejam', 'fosse', 'fôssemos', 'fossem', 'for', 'formos', 'forem', 'serei', 'será', 'seremos', 'serão', 'seria', 'seríamos', 'seriam', 'tenho', 'tem', 'temos', 'tém', 'tinha', 'tínhamos', 'tinham', 'tive', 'teve', 'tivemos', 'tiveram', 'tivera', 'tivéramos', 'tenha', 'tenhamos', 'tenham', 'tivesse', 'tivéssemos', 'tivessem', 'tiver', 'tivermos', 'tiverem', 'terei', 'terá', 'teremos', 'terão', 'teria', 'teríamos', 'teriam']\n"
419 | ]
420 | }
421 | ],
422 | "source": [
423 | "# Remoção de stopwords\n",
424 | "# Palavras frequentes mas com pouco significado semântico\n",
425 | "import nltk\n",
426 | "\n",
427 | "stopwords = nltk.corpus.stopwords.words('portuguese')\n",
428 | "print(stopwords)"
429 | ]
430 | },
431 | {
432 | "cell_type": "code",
433 | "execution_count": 42,
434 | "metadata": {},
435 | "outputs": [
436 | {
437 | "name": "stdout",
438 | "output_type": "stream",
439 | "text": [
440 | "['campus', 'barbacena', 'divulgou', 'resultado', 'provisório', 'viii', 'simpósio', 'pesquisa', 'inovação', 'estudantes', 'devem', 'ficar', 'atentos', 'observações', 'constam', 'final', 'documento', 'leia', 'documento']\n"
441 | ]
442 | }
443 | ],
444 | "source": [
445 | "print([w for w in word_tokenize(df.iloc[0]['conteudo'].lower()) if (w not in stopwords) and (w not in punctuation)])"
446 | ]
447 | },
448 | {
449 | "cell_type": "markdown",
450 | "metadata": {},
451 | "source": [
452 | " "
453 | ]
454 | },
455 | {
456 | "cell_type": "code",
457 | "execution_count": 45,
458 | "metadata": {},
459 | "outputs": [
460 | {
461 | "data": {
462 | "text/plain": [
463 | "('program', 'program', 'program')"
464 | ]
465 | },
466 | "execution_count": 45,
467 | "metadata": {},
468 | "output_type": "execute_result"
469 | }
470 | ],
471 | "source": [
472 | "# Stemming\n",
473 | "# Redução do termo a seu radical\n",
474 | "\n",
475 | "stemmer = nltk.stem.RSLPStemmer()\n",
476 | "\n",
477 | "stemmer.stem('programar'), stemmer.stem('programava'), stemmer.stem('programaremos')"
478 | ]
479 | },
480 | {
481 | "cell_type": "markdown",
482 | "metadata": {},
483 | "source": [
484 | " "
485 | ]
486 | },
487 | {
488 | "cell_type": "code",
489 | "execution_count": 51,
490 | "metadata": {},
491 | "outputs": [
492 | {
493 | "data": {
494 | "text/plain": [
495 | "('car', 'box', 'spy', 'child')"
496 | ]
497 | },
498 | "execution_count": 51,
499 | "metadata": {},
500 | "output_type": "execute_result"
501 | }
502 | ],
503 | "source": [
504 | "# Lemmatization (EN)\n",
505 | "# Menos \"agressivo\" que o stemming\n",
506 | "from nltk.stem.wordnet import WordNetLemmatizer\n",
507 | "\n",
508 | "lmtzr = WordNetLemmatizer()\n",
509 | "\n",
510 | "lmtzr.lemmatize('cars'), lmtzr.lemmatize('boxes'), lmtzr.lemmatize('spies'), lmtzr.lemmatize('children')"
511 | ]
512 | },
513 | {
514 | "cell_type": "markdown",
515 | "metadata": {},
516 | "source": [
517 | " "
518 | ]
519 | },
520 | {
521 | "cell_type": "code",
522 | "execution_count": 52,
523 | "metadata": {},
524 | "outputs": [
525 | {
526 | "data": {
527 | "text/plain": [
528 | "[('the', 'DT'),\n",
529 | " ('book', 'NN'),\n",
530 | " ('is', 'VBZ'),\n",
531 | " ('on', 'IN'),\n",
532 | " ('the', 'DT'),\n",
533 | " ('table', 'NN')]"
534 | ]
535 | },
536 | "execution_count": 52,
537 | "metadata": {},
538 | "output_type": "execute_result"
539 | }
540 | ],
541 | "source": [
542 | "# Parts of Speech Tagging (EN)\n",
543 | "nltk.pos_tag('the book is on the table'.split())"
544 | ]
545 | },
546 | {
547 | "cell_type": "markdown",
548 | "metadata": {},
549 | "source": [
550 | " "
551 | ]
552 | },
553 | {
554 | "cell_type": "code",
555 | "execution_count": 89,
556 | "metadata": {},
557 | "outputs": [
558 | {
559 | "data": {
560 | "text/plain": [
561 | "0 campus barbacena divulga resultado provisório ...\n",
562 | "1 divulgado edital convocação assembleia centro ...\n",
563 | "2 pesquisador bélgica realiza palestra campus ba...\n",
564 | "3 divulgada homologação inscrições candidatura c...\n",
565 | "4 aprovado regulamento eventos cerimonial protoc...\n",
566 | "Name: doc, dtype: object"
567 | ]
568 | },
569 | "execution_count": 89,
570 | "metadata": {},
571 | "output_type": "execute_result"
572 | }
573 | ],
574 | "source": [
575 | "# Gerando uma coluna de texto pré-processado (título + conteúdo)\n",
576 | "def processa(row):\n",
577 | " txt = row['titulo'] + ' ' + row['conteudo']\n",
578 | " \n",
579 | " return ' '.join([t for t in word_tokenize(txt.lower()) if (t not in stopwords) and (t not in punctuation)])\n",
580 | "\n",
581 | "df['doc'] = df.apply(processa, axis=1)\n",
582 | "\n",
583 | "df['doc'].head()"
584 | ]
585 | },
586 | {
587 | "cell_type": "markdown",
588 | "metadata": {},
589 | "source": [
590 | " "
591 | ]
592 | },
593 | {
594 | "cell_type": "markdown",
595 | "metadata": {},
596 | "source": [
597 | "### Vetorização\n",
598 | "\n",
599 | "Conversão dos textos para uma representação numérica. \n",
600 | "\n",
601 | "Forma básica: TF (Term Frequency)\n",
602 | "\n",
603 | "| \n", 81 | " | data | \n", 82 | "titulo | \n", 83 | "conteudo | \n", 84 | "
|---|---|---|---|
| 0 | \n", 89 | "14/09/2017 | \n", 90 | "Campus Barbacena divulga Resultado Provisório ... | \n", 91 | "\\n\\n\\tO Campus Barbacena divulgou o Resultado ... | \n", 92 | "
| 1 | \n", 95 | "14/09/2017 | \n", 96 | "Divulgado o Edital de convocação de assembleia... | \n", 97 | "\\n\\n\\tDivulgado o Edital de convocação de asse... | \n", 98 | "
| 2 | \n", 101 | "14/09/2017 | \n", 102 | "Pesquisador da Bélgica realiza palestra no Cam... | \n", 103 | "\\n\\n\\tO pesquisador da Bélgica, Luc Vankrunkel... | \n", 104 | "
| 3 | \n", 107 | "14/09/2017 | \n", 108 | "Divulgada a homologação das inscrições à candi... | \n", 109 | "\\n\\n\\tDivulgada a homologação das inscrições à... | \n", 110 | "
| 4 | \n", 113 | "14/09/2017 | \n", 114 | "Aprovado Regulamento de Eventos, Cerimonial e ... | \n", 115 | "\\n\\n\\tO Regulamento, aprovado no dia 05 de set... | \n", 116 | "
![](\"./img/tf.png\")
"
604 | ]
605 | },
606 | {
607 | "cell_type": "code",
608 | "execution_count": 68,
609 | "metadata": {},
610 | "outputs": [
611 | {
612 | "data": {
613 | "text/plain": [
614 | "<1000x10987 sparse matrix of type '\n",
681 | "\n",
694 | "\n",
695 | " \n",
696 | "
\n",
844 | "
"
846 | ],
847 | "text/plain": [
848 | " 00 000 000957 001 002 002084 002086 003 003360 008 ... \\\n",
849 | "0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ... \n",
850 | "1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ... \n",
851 | "2 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ... \n",
852 | "3 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ... \n",
853 | "4 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ... \n",
854 | "\n",
855 | " último últimos única únicas único únicos úteis útero útil útimo \n",
856 | "0 0.0 0.0 0.000000 0.0 0.0 0.0 0.0 0.0 0.0 0.0 \n",
857 | "1 0.0 0.0 0.000000 0.0 0.0 0.0 0.0 0.0 0.0 0.0 \n",
858 | "2 0.0 0.0 0.000000 0.0 0.0 0.0 0.0 0.0 0.0 0.0 \n",
859 | "3 0.0 0.0 0.201094 0.0 0.0 0.0 0.0 0.0 0.0 0.0 \n",
860 | "4 0.0 0.0 0.000000 0.0 0.0 0.0 0.0 0.0 0.0 0.0 \n",
861 | "\n",
862 | "[5 rows x 10987 columns]"
863 | ]
864 | },
865 | "execution_count": 86,
866 | "metadata": {},
867 | "output_type": "execute_result"
868 | }
869 | ],
870 | "source": [
871 | "# Visualização da matriz na forma densa (DataFrame)\n",
872 | "pd.DataFrame(tfidf_matrix.todense(), columns=vectorizer.get_feature_names()).head()"
873 | ]
874 | },
875 | {
876 | "cell_type": "markdown",
877 | "metadata": {},
878 | "source": [
879 | "### Similaridade textual\n",
880 | "\n",
881 | "Utiliza o espaço vetorial para calcular a distância entre cada texto.\n",
882 | "\n",
883 | "| \n", 698 | " | 00 | \n", 699 | "000 | \n", 700 | "000957 | \n", 701 | "001 | \n", 702 | "002 | \n", 703 | "002084 | \n", 704 | "002086 | \n", 705 | "003 | \n", 706 | "003360 | \n", 707 | "008 | \n", 708 | "... | \n", 709 | "último | \n", 710 | "últimos | \n", 711 | "única | \n", 712 | "únicas | \n", 713 | "único | \n", 714 | "únicos | \n", 715 | "úteis | \n", 716 | "útero | \n", 717 | "útil | \n", 718 | "útimo | \n", 719 | "
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | \n", 724 | "0.0 | \n", 725 | "0.0 | \n", 726 | "0.0 | \n", 727 | "0.0 | \n", 728 | "0.0 | \n", 729 | "0.0 | \n", 730 | "0.0 | \n", 731 | "0.0 | \n", 732 | "0.0 | \n", 733 | "0.0 | \n", 734 | "... | \n", 735 | "0.0 | \n", 736 | "0.0 | \n", 737 | "0.000000 | \n", 738 | "0.0 | \n", 739 | "0.0 | \n", 740 | "0.0 | \n", 741 | "0.0 | \n", 742 | "0.0 | \n", 743 | "0.0 | \n", 744 | "0.0 | \n", 745 | "
| 1 | \n", 748 | "0.0 | \n", 749 | "0.0 | \n", 750 | "0.0 | \n", 751 | "0.0 | \n", 752 | "0.0 | \n", 753 | "0.0 | \n", 754 | "0.0 | \n", 755 | "0.0 | \n", 756 | "0.0 | \n", 757 | "0.0 | \n", 758 | "... | \n", 759 | "0.0 | \n", 760 | "0.0 | \n", 761 | "0.000000 | \n", 762 | "0.0 | \n", 763 | "0.0 | \n", 764 | "0.0 | \n", 765 | "0.0 | \n", 766 | "0.0 | \n", 767 | "0.0 | \n", 768 | "0.0 | \n", 769 | "
| 2 | \n", 772 | "0.0 | \n", 773 | "0.0 | \n", 774 | "0.0 | \n", 775 | "0.0 | \n", 776 | "0.0 | \n", 777 | "0.0 | \n", 778 | "0.0 | \n", 779 | "0.0 | \n", 780 | "0.0 | \n", 781 | "0.0 | \n", 782 | "... | \n", 783 | "0.0 | \n", 784 | "0.0 | \n", 785 | "0.000000 | \n", 786 | "0.0 | \n", 787 | "0.0 | \n", 788 | "0.0 | \n", 789 | "0.0 | \n", 790 | "0.0 | \n", 791 | "0.0 | \n", 792 | "0.0 | \n", 793 | "
| 3 | \n", 796 | "0.0 | \n", 797 | "0.0 | \n", 798 | "0.0 | \n", 799 | "0.0 | \n", 800 | "0.0 | \n", 801 | "0.0 | \n", 802 | "0.0 | \n", 803 | "0.0 | \n", 804 | "0.0 | \n", 805 | "0.0 | \n", 806 | "... | \n", 807 | "0.0 | \n", 808 | "0.0 | \n", 809 | "0.201094 | \n", 810 | "0.0 | \n", 811 | "0.0 | \n", 812 | "0.0 | \n", 813 | "0.0 | \n", 814 | "0.0 | \n", 815 | "0.0 | \n", 816 | "0.0 | \n", 817 | "
| 4 | \n", 820 | "0.0 | \n", 821 | "0.0 | \n", 822 | "0.0 | \n", 823 | "0.0 | \n", 824 | "0.0 | \n", 825 | "0.0 | \n", 826 | "0.0 | \n", 827 | "0.0 | \n", 828 | "0.0 | \n", 829 | "0.0 | \n", 830 | "... | \n", 831 | "0.0 | \n", 832 | "0.0 | \n", 833 | "0.000000 | \n", 834 | "0.0 | \n", 835 | "0.0 | \n", 836 | "0.0 | \n", 837 | "0.0 | \n", 838 | "0.0 | \n", 839 | "0.0 | \n", 840 | "0.0 | \n", 841 | "
5 rows × 10987 columns
\n", 845 | "![](\"http://3.bp.blogspot.com/_tOOi3R89e74/TUeyueig7ZI/AAAAAAAAAJQ/QHL-VLEWook/s1600/vector_space.png\")
\n",
884 | "Fonte: http://bitsearch.blogspot.com/2011/01/vector-space-model-for-scoring.html"
885 | ]
886 | },
887 | {
888 | "cell_type": "code",
889 | "execution_count": 121,
890 | "metadata": {},
891 | "outputs": [
892 | {
893 | "data": {
894 | "text/plain": [
895 | "(1000, 1000)"
896 | ]
897 | },
898 | "execution_count": 121,
899 | "metadata": {},
900 | "output_type": "execute_result"
901 | }
902 | ],
903 | "source": [
904 | "from sklearn.metrics.pairwise import cosine_similarity\n",
905 | "\n",
906 | "# Calcula todas as similaridades de cada linha\n",
907 | "sim = cosine_similarity(tfidf_matrix)\n",
908 | "\n",
909 | "sim.shape"
910 | ]
911 | },
912 | {
913 | "cell_type": "code",
914 | "execution_count": 127,
915 | "metadata": {},
916 | "outputs": [
917 | {
918 | "data": {
919 | "text/plain": [
920 | "0.04840608582716853"
921 | ]
922 | },
923 | "execution_count": 127,
924 | "metadata": {},
925 | "output_type": "execute_result"
926 | }
927 | ],
928 | "source": [
929 | "# Similaridade entre o primeiro e o segundo texto\n",
930 | "sim[0][1]"
931 | ]
932 | },
933 | {
934 | "cell_type": "code",
935 | "execution_count": 128,
936 | "metadata": {},
937 | "outputs": [
938 | {
939 | "data": {
940 | "text/plain": [
941 | "0.0"
942 | ]
943 | },
944 | "execution_count": 128,
945 | "metadata": {},
946 | "output_type": "execute_result"
947 | }
948 | ],
949 | "source": [
950 | "# Similaridade entre o primeiro e o centésimo texto\n",
951 | "sim[0][100]"
952 | ]
953 | },
954 | {
955 | "cell_type": "code",
956 | "execution_count": 99,
957 | "metadata": {},
958 | "outputs": [
959 | {
960 | "data": {
961 | "text/plain": [
962 | "'campus barbacena divulga resultado provisório viii simpósio pesquisa inovação campus barbacena divulgou resultado provisório viii simpósio pesquisa inovação estudantes devem ficar atentos observações constam final documento leia documento'"
963 | ]
964 | },
965 | "execution_count": 99,
966 | "metadata": {},
967 | "output_type": "execute_result"
968 | }
969 | ],
970 | "source": [
971 | "df.iloc[0].doc"
972 | ]
973 | },
974 | {
975 | "cell_type": "code",
976 | "execution_count": 100,
977 | "metadata": {},
978 | "outputs": [
979 | {
980 | "data": {
981 | "text/plain": [
982 | "'divulgado edital convocação assembleia centro acadêmico nutrição divulgado edital convocação assembleia centro acadêmico nutrição leia documento'"
983 | ]
984 | },
985 | "execution_count": 100,
986 | "metadata": {},
987 | "output_type": "execute_result"
988 | }
989 | ],
990 | "source": [
991 | "df.iloc[1].doc"
992 | ]
993 | },
994 | {
995 | "cell_type": "code",
996 | "execution_count": 112,
997 | "metadata": {},
998 | "outputs": [
999 | {
1000 | "data": {
1001 | "text/plain": [
1002 | "'centro memória diaulas abreu reaberto dia 07 agosto centro memória diaulas abreu reaberto visitação novo horário funcionamento 08h 12h 13h 17h agendamentos visitas podem ser realizados contato 32 9 84868411 32 9 82247002 foto rachel santos'"
1003 | ]
1004 | },
1005 | "execution_count": 112,
1006 | "metadata": {},
1007 | "output_type": "execute_result"
1008 | }
1009 | ],
1010 | "source": [
1011 | "df.iloc[100].doc"
1012 | ]
1013 | },
1014 | {
1015 | "cell_type": "code",
1016 | "execution_count": 150,
1017 | "metadata": {},
1018 | "outputs": [
1019 | {
1020 | "data": {
1021 | "text/plain": [
1022 | "163"
1023 | ]
1024 | },
1025 | "execution_count": 150,
1026 | "metadata": {},
1027 | "output_type": "execute_result"
1028 | }
1029 | ],
1030 | "source": [
1031 | "# Similaridade via distância de Levenshtein\n",
1032 | "from Levenshtein import distance\n",
1033 | "\n",
1034 | "distance(\n",
1035 | " df.iloc[0].doc,\n",
1036 | " df.iloc[1].doc\n",
1037 | ")"
1038 | ]
1039 | },
1040 | {
1041 | "cell_type": "code",
1042 | "execution_count": 151,
1043 | "metadata": {},
1044 | "outputs": [
1045 | {
1046 | "data": {
1047 | "text/plain": [
1048 | "189"
1049 | ]
1050 | },
1051 | "execution_count": 151,
1052 | "metadata": {},
1053 | "output_type": "execute_result"
1054 | }
1055 | ],
1056 | "source": [
1057 | "distance(\n",
1058 | " df.iloc[0].doc,\n",
1059 | " df.iloc[100].doc\n",
1060 | ")"
1061 | ]
1062 | },
1063 | {
1064 | "cell_type": "markdown",
1065 | "metadata": {},
1066 | "source": [
1067 | " "
1068 | ]
1069 | },
1070 | {
1071 | "cell_type": "markdown",
1072 | "metadata": {},
1073 | "source": [
1074 | "## Análise de sentimentos\n",
1075 | "\n",
1076 | "Detectar automaticamente a polaridade e intensidade do sentimento expresso em um texto."
1077 | ]
1078 | },
1079 | {
1080 | "cell_type": "markdown",
1081 | "metadata": {},
1082 | "source": [
1083 | "### LeIA (Léxico para Inferência Adaptada)\n",
1084 | "\n",
1085 | "LeIA (Léxico para Inferência Adaptada) é um fork do léxico e ferramenta para análise de sentimentos VADER (Valence Aware Dictionary and sEntiment Reasoner) adaptado para textos em português, com suporte para emojis e foco na análise de sentimentos de textos expressos em mídias sociais - mas funcional para textos de outros domínios.\n",
1086 | "\n",
1087 | "https://github.com/rafjaa/LeIA"
1088 | ]
1089 | },
1090 | {
1091 | "cell_type": "markdown",
1092 | "metadata": {},
1093 | "source": [
1094 | "A biblioteca preserva a API do VADER, e o texto de entrada não precisa ser pré-processado:"
1095 | ]
1096 | },
1097 | {
1098 | "cell_type": "code",
1099 | "execution_count": 138,
1100 | "metadata": {},
1101 | "outputs": [],
1102 | "source": [
1103 | "from leia import SentimentIntensityAnalyzer \n",
1104 | "\n",
1105 | "s = SentimentIntensityAnalyzer()"
1106 | ]
1107 | },
1108 | {
1109 | "cell_type": "code",
1110 | "execution_count": 135,
1111 | "metadata": {},
1112 | "outputs": [
1113 | {
1114 | "data": {
1115 | "text/plain": [
1116 | "{'compound': 0.6249, 'neg': 0.0, 'neu': 0.328, 'pos': 0.672}"
1117 | ]
1118 | },
1119 | "execution_count": 135,
1120 | "metadata": {},
1121 | "output_type": "execute_result"
1122 | }
1123 | ],
1124 | "source": [
1125 | "# Análise de texto simples\n",
1126 | "s.polarity_scores('Eu estou feliz')"
1127 | ]
1128 | },
1129 | {
1130 | "cell_type": "code",
1131 | "execution_count": 136,
1132 | "metadata": {},
1133 | "outputs": [
1134 | {
1135 | "data": {
1136 | "text/plain": [
1137 | "{'compound': 0.7964, 'neg': 0.0, 'neu': 0.22, 'pos': 0.78}"
1138 | ]
1139 | },
1140 | "execution_count": 136,
1141 | "metadata": {},
1142 | "output_type": "execute_result"
1143 | }
1144 | ],
1145 | "source": [
1146 | "# Análise de texto com emoji :)\n",
1147 | "s.polarity_scores('Eu estou feliz :)')"
1148 | ]
1149 | },
1150 | {
1151 | "cell_type": "code",
1152 | "execution_count": 137,
1153 | "metadata": {},
1154 | "outputs": [
1155 | {
1156 | "data": {
1157 | "text/plain": [
1158 | "{'compound': 0.4404, 'neg': 0.265, 'neu': 0.241, 'pos': 0.494}"
1159 | ]
1160 | },
1161 | "execution_count": 137,
1162 | "metadata": {},
1163 | "output_type": "execute_result"
1164 | }
1165 | ],
1166 | "source": [
1167 | "# Análise de texto com negação\n",
1168 | "s.polarity_scores('Eu não estou feliz')"
1169 | ]
1170 | },
1171 | {
1172 | "cell_type": "markdown",
1173 | "metadata": {},
1174 | "source": [
1175 | " "
1176 | ]
1177 | },
1178 | {
1179 | "cell_type": "markdown",
1180 | "metadata": {},
1181 | "source": [
1182 | "A saída da análise de sentimentos é um dicionário com os seguintes campos:\n",
1183 | "\n",
1184 | "- pos: porcentagem positiva do texto\n",
1185 | "- neg: porcentagem negativa do texto\n",
1186 | "- neu: porcentagem neutra do texto\n",
1187 | "- compound: valor de sentimento geral normalizado, variando de -1 (extremamente negativo) a +1 (extremamente positivo)\n",
1188 | "\n",
1189 | "O valor compound pode ser utilizado para descrever o sentimento predominante no texto, por meio dos limites de valores:\n",
1190 | "\n",
1191 | "- Sentimento positivo: compound >= 0.05\n",
1192 | "- Sentimento negativo: compound <= -0.05\n",
1193 | "- Sentimento neutro: (compound > -0.05) and (compound < 0.05)"
1194 | ]
1195 | },
1196 | {
1197 | "cell_type": "markdown",
1198 | "metadata": {},
1199 | "source": [
1200 | " "
1201 | ]
1202 | },
1203 | {
1204 | "cell_type": "markdown",
1205 | "metadata": {},
1206 | "source": [
1207 | "## Atividade para sala\n",
1208 | "\n",
1209 | "Realizar análise de sentimentos dos dados de um site ou API.\n",
1210 | "\n",
1211 | "Exemplo: programa que coleta as notícias do Barbacena Online, analisa seus sentimentos, e exibe o título das notícias, da mais positiva para a mais negativa."
1212 | ]
1213 | },
1214 | {
1215 | "cell_type": "markdown",
1216 | "metadata": {},
1217 | "source": [
1218 | "## Atividade para casa\n",
1219 | "\n",
1220 | "\n",
1221 | "Implementar um sistema de recomendação de notícias para o site do campus: dado o título e o conteúdo de uma nova notícia, indicar as 5 mais semelhantes."
1222 | ]
1223 | }
1224 | ],
1225 | "metadata": {
1226 | "kernelspec": {
1227 | "display_name": "Python 3",
1228 | "language": "python",
1229 | "name": "python3"
1230 | },
1231 | "language_info": {
1232 | "codemirror_mode": {
1233 | "name": "ipython",
1234 | "version": 3
1235 | },
1236 | "file_extension": ".py",
1237 | "mimetype": "text/x-python",
1238 | "name": "python",
1239 | "nbconvert_exporter": "python",
1240 | "pygments_lexer": "ipython3",
1241 | "version": "3.6.4"
1242 | }
1243 | },
1244 | "nbformat": 4,
1245 | "nbformat_minor": 2
1246 | }
1247 |
--------------------------------------------------------------------------------
/Aula08/static/jquery.js:
--------------------------------------------------------------------------------
1 | /*! jQuery v3.3.1 | (c) JS Foundation and other contributors | jquery.org/license */
2 | !function(e,t){"use strict";"object"==typeof module&&"object"==typeof module.exports?module.exports=e.document?t(e,!0):function(e){if(!e.document)throw new Error("jQuery requires a window with a document");return t(e)}:t(e)}("undefined"!=typeof window?window:this,function(e,t){"use strict";var n=[],r=e.document,i=Object.getPrototypeOf,o=n.slice,a=n.concat,s=n.push,u=n.indexOf,l={},c=l.toString,f=l.hasOwnProperty,p=f.toString,d=p.call(Object),h={},g=function e(t){return"function"==typeof t&&"number"!=typeof t.nodeType},y=function e(t){return null!=t&&t===t.window},v={type:!0,src:!0,noModule:!0};function m(e,t,n){var i,o=(t=t||r).createElement("script");if(o.text=e,n)for(i in v)n[i]&&(o[i]=n[i]);t.head.appendChild(o).parentNode.removeChild(o)}function x(e){return null==e?e+"":"object"==typeof e||"function"==typeof e?l[c.call(e)]||"object":typeof e}var b="3.3.1",w=function(e,t){return new w.fn.init(e,t)},T=/^[\s\uFEFF\xA0]+|[\s\uFEFF\xA0]+$/g;w.fn=w.prototype={jquery:"3.3.1",constructor:w,length:0,toArray:function(){return o.call(this)},get:function(e){return null==e?o.call(this):e<0?this[e+this.length]:this[e]},pushStack:function(e){var t=w.merge(this.constructor(),e);return t.prevObject=this,t},each:function(e){return w.each(this,e)},map:function(e){return this.pushStack(w.map(this,function(t,n){return e.call(t,n,t)}))},slice:function(){return this.pushStack(o.apply(this,arguments))},first:function(){return this.eq(0)},last:function(){return this.eq(-1)},eq:function(e){var t=this.length,n=+e+(e<0?t:0);return this.pushStack(n>=0&&n