├── Notebook para contribuição
└── Empty File
├── README.md
└── Notebook feito nos encontros
└── Extras
└── Extraindo_noticias_do_google_por_request.ipynb
/Notebook para contribuição/Empty File:
--------------------------------------------------------------------------------
1 |
--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
1 | # Análise de barragens com Python
2 |
3 | Neste repositório será colocado os codigo feito da análise das barragens fornecido pelos portal de dados abertos (que pode ser acessado [aqui](https://dados.gov.br/dados/conjuntos-dados/barragens-de-mineracao))
4 |
5 | ## Sobre o orgão
6 |
7 | É uma autarquia federal sob regime especial, criada pela Lei n.º 13.575, de 26 de dezembro de 2017, vinculada ao Ministério de Minas e Energia (MME), dotada de personalidade jurídica de direito público com autonomia patrimonial, administrativa e financeira, tem sede e foro em Brasília, Distrito Federal, e circunscrição em todo o território nacional.
8 |
9 | A ANM regula, outorga e fiscaliza o setor mineral, incluindo:
10 |
11 | - Pesquisa Mineral;
12 | - Lavra de Substâncias;
13 | - Garimpos;
14 | - Extração de Materiais para Construção Civil;
15 | - Fósseis;
16 | - Água Mineral;
17 | - Certificado Kimberley (Exploração de Diamantes).
18 |
19 | ## Como contribuir
20 |
21 | Se quiser contribuir com a análise para se discutir nos próximos encontros, faça os seguinte procedimentos
22 |
23 | - Faça uma pasta com o seu nome dentro da pasta Notebook para contribuição
24 | - No arquivo coloque seu nome+data do encontro de referência
25 |
--------------------------------------------------------------------------------
/Notebook feito nos encontros/Extras/Extraindo_noticias_do_google_por_request.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "nbformat": 4,
3 | "nbformat_minor": 0,
4 | "metadata": {
5 | "colab": {
6 | "provenance": [],
7 | "authorship_tag": "ABX9TyPIZ3+eW9batO56SLbP7oa5",
8 | "include_colab_link": true
9 | },
10 | "kernelspec": {
11 | "name": "python3",
12 | "display_name": "Python 3"
13 | },
14 | "language_info": {
15 | "name": "python"
16 | }
17 | },
18 | "cells": [
19 | {
20 | "cell_type": "markdown",
21 | "metadata": {
22 | "id": "view-in-github",
23 | "colab_type": "text"
24 | },
25 | "source": [
26 | ""
27 | ]
28 | },
29 | {
30 | "cell_type": "code",
31 | "source": [
32 | "import pandas as pd\n",
33 | "import datetime\n",
34 | "import requests\n",
35 | "from xml.etree import ElementTree"
36 | ],
37 | "metadata": {
38 | "id": "rexOBOo0BtYd"
39 | },
40 | "execution_count": null,
41 | "outputs": []
42 | },
43 | {
44 | "cell_type": "code",
45 | "source": [
46 | "\n",
47 | "def pesquisar_noticias(string):\n",
48 | "\n",
49 | " titulos = []\n",
50 | " datas_publicacao = []\n",
51 | " links = []\n",
52 | " canais = []\n",
53 | "\n",
54 | " print('\\n>>>>>>>>>>>>>>>>> Extraindo notícias para a string {0}'.format(string))\n",
55 | " url = 'https://news.google.com/rss/search?q='\n",
56 | " parametros = '&hl=pt-BR&gl=BR&ceid=BR%3Apt-419'\n",
57 | " url_final = url + string + parametros\n",
58 | " response = requests.get(url_final)\n",
59 | "\n",
60 | " if response.status_code == 200:\n",
61 | "\n",
62 | " noticias = ElementTree.fromstring(response.content).find('channel')\n",
63 | " noticias = list(noticias)\n",
64 | "\n",
65 | " noticias = noticias[8:]\n",
66 | "\n",
67 | " print('Foram encontrados {0} resultados'.format(len(noticias)))\n",
68 | "\n",
69 | " for noticia in noticias:\n",
70 | " titulo = noticia.findtext('title')\n",
71 | " data_publicacao = noticia.findtext('pubDate')\n",
72 | " link = noticia.findtext('link')\n",
73 | " canal = noticia.findtext('source')\n",
74 | "\n",
75 | " titulos.append(titulo)\n",
76 | " datas_publicacao.append(data_publicacao)\n",
77 | " links.append(link)\n",
78 | " canais.append(canal)"
79 | ],
80 | "metadata": {
81 | "id": "w-sWoLXr9axJ"
82 | },
83 | "execution_count": 18,
84 | "outputs": []
85 | },
86 | {
87 | "cell_type": "code",
88 | "source": [
89 | "pesquisar_noticias('Barragem de mineração')"
90 | ],
91 | "metadata": {
92 | "colab": {
93 | "base_uri": "https://localhost:8080/"
94 | },
95 | "id": "LF2GZbXm_2Do",
96 | "outputId": "3c855951-df84-47b8-b366-dcd34c898385"
97 | },
98 | "execution_count": 15,
99 | "outputs": [
100 | {
101 | "output_type": "stream",
102 | "name": "stdout",
103 | "text": [
104 | "\n",
105 | ">>>>>>>>>>>>>>>>> Extraindo notícias para a string Barragem de mineração\n",
106 | "Foram encontrados 96 resultados\n"
107 | ]
108 | }
109 | ]
110 | },
111 | {
112 | "cell_type": "code",
113 | "source": [
114 | "dados_noticias = {\n",
115 | " \"Titulo\": titulos,\n",
116 | " \"Data de Publicação\": datas_publicacao,\n",
117 | " \"Link\": links,\n",
118 | " \"Canal\": canais\n",
119 | "}\n",
120 | "\n",
121 | "dataframe_noticias = pd.DataFrame(dados_noticias)\n"
122 | ],
123 | "metadata": {
124 | "id": "GlhWJ4Z7CMjj"
125 | },
126 | "execution_count": 16,
127 | "outputs": []
128 | },
129 | {
130 | "cell_type": "code",
131 | "source": [
132 | "dataframe_noticias"
133 | ],
134 | "metadata": {
135 | "id": "RBQnuDg2CeLd",
136 | "outputId": "d40b7e02-aff2-42b1-8540-cb72bd88a25f",
137 | "colab": {
138 | "base_uri": "https://localhost:8080/",
139 | "height": 597
140 | }
141 | },
142 | "execution_count": 17,
143 | "outputs": [
144 | {
145 | "output_type": "execute_result",
146 | "data": {
147 | "text/plain": [
148 | " Titulo \\\n",
149 | "0 MG tem 400 minas abandonadas e especialistas f... \n",
150 | "1 Operação integrada do Governo de Minas promove... \n",
151 | "2 Agência de mineração interdita barragem de rej... \n",
152 | "3 MAB ocupa entrada da mineradora Vale em Vitóri... \n",
153 | "4 Comissão de Fiscalização de Barragens apresent... \n",
154 | ".. ... \n",
155 | "91 MPF pede condenação de mineradora por deslizam... \n",
156 | "92 Barragem de mineradora tem trincas de até 300 ... \n",
157 | "93 Arcelor Mittal é obrigada a retirar trabalhado... \n",
158 | "94 Mineração provoca adoecimento e medo em Barão ... \n",
159 | "95 Trincas ressurgem em barragem sob alerta em Sa... \n",
160 | "\n",
161 | " Data de Publicação \\\n",
162 | "0 Tue, 30 Apr 2024 03:01:59 GMT \n",
163 | "1 Mon, 29 Apr 2024 20:30:00 GMT \n",
164 | "2 Mon, 13 Nov 2023 08:00:00 GMT \n",
165 | "3 Wed, 13 Mar 2024 07:00:00 GMT \n",
166 | "4 Mon, 18 Dec 2023 08:00:00 GMT \n",
167 | ".. ... \n",
168 | "91 Wed, 04 Oct 2023 07:00:00 GMT \n",
169 | "92 Sat, 10 Jun 2023 07:00:00 GMT \n",
170 | "93 Tue, 09 May 2023 07:00:00 GMT \n",
171 | "94 Tue, 16 May 2023 07:00:00 GMT \n",
172 | "95 Wed, 31 May 2023 07:00:00 GMT \n",
173 | "\n",
174 | " Link \\\n",
175 | "0 https://news.google.com/rss/articles/CBMihgFod... \n",
176 | "1 https://news.google.com/rss/articles/CBMigQFod... \n",
177 | "2 https://news.google.com/rss/articles/CBMibWh0d... \n",
178 | "3 https://news.google.com/rss/articles/CBMilAFod... \n",
179 | "4 https://news.google.com/rss/articles/CBMiWmh0d... \n",
180 | ".. ... \n",
181 | "91 https://news.google.com/rss/articles/CBMikAFod... \n",
182 | "92 https://news.google.com/rss/articles/CBMimQFod... \n",
183 | "93 https://news.google.com/rss/articles/CBMifWh0d... \n",
184 | "94 https://news.google.com/rss/articles/CBMibmh0d... \n",
185 | "95 https://news.google.com/rss/articles/CBMiigFod... \n",
186 | "\n",
187 | " Canal \n",
188 | "0 Correio do Povo \n",
189 | "1 Agência Minas Gerais \n",
190 | "2 Poder360 \n",
191 | "3 Brasil de Fato \n",
192 | "4 Portal da Câmara dos Deputados \n",
193 | ".. ... \n",
194 | "91 Estado de Minas \n",
195 | "92 G1 \n",
196 | "93 Agência Brasil \n",
197 | "94 Notícias da Assembleia Legislativa de Minas \n",
198 | "95 Estado de Minas \n",
199 | "\n",
200 | "[96 rows x 4 columns]"
201 | ],
202 | "text/html": [
203 | "\n",
204 | "
| \n", 223 | " | Titulo | \n", 224 | "Data de Publicação | \n", 225 | "Link | \n", 226 | "Canal | \n", 227 | "
|---|---|---|---|---|
| 0 | \n", 232 | "MG tem 400 minas abandonadas e especialistas f... | \n", 233 | "Tue, 30 Apr 2024 03:01:59 GMT | \n", 234 | "https://news.google.com/rss/articles/CBMihgFod... | \n", 235 | "Correio do Povo | \n", 236 | "
| 1 | \n", 239 | "Operação integrada do Governo de Minas promove... | \n", 240 | "Mon, 29 Apr 2024 20:30:00 GMT | \n", 241 | "https://news.google.com/rss/articles/CBMigQFod... | \n", 242 | "Agência Minas Gerais | \n", 243 | "
| 2 | \n", 246 | "Agência de mineração interdita barragem de rej... | \n", 247 | "Mon, 13 Nov 2023 08:00:00 GMT | \n", 248 | "https://news.google.com/rss/articles/CBMibWh0d... | \n", 249 | "Poder360 | \n", 250 | "
| 3 | \n", 253 | "MAB ocupa entrada da mineradora Vale em Vitóri... | \n", 254 | "Wed, 13 Mar 2024 07:00:00 GMT | \n", 255 | "https://news.google.com/rss/articles/CBMilAFod... | \n", 256 | "Brasil de Fato | \n", 257 | "
| 4 | \n", 260 | "Comissão de Fiscalização de Barragens apresent... | \n", 261 | "Mon, 18 Dec 2023 08:00:00 GMT | \n", 262 | "https://news.google.com/rss/articles/CBMiWmh0d... | \n", 263 | "Portal da Câmara dos Deputados | \n", 264 | "
| ... | \n", 267 | "... | \n", 268 | "... | \n", 269 | "... | \n", 270 | "... | \n", 271 | "
| 91 | \n", 274 | "MPF pede condenação de mineradora por deslizam... | \n", 275 | "Wed, 04 Oct 2023 07:00:00 GMT | \n", 276 | "https://news.google.com/rss/articles/CBMikAFod... | \n", 277 | "Estado de Minas | \n", 278 | "
| 92 | \n", 281 | "Barragem de mineradora tem trincas de até 300 ... | \n", 282 | "Sat, 10 Jun 2023 07:00:00 GMT | \n", 283 | "https://news.google.com/rss/articles/CBMimQFod... | \n", 284 | "G1 | \n", 285 | "
| 93 | \n", 288 | "Arcelor Mittal é obrigada a retirar trabalhado... | \n", 289 | "Tue, 09 May 2023 07:00:00 GMT | \n", 290 | "https://news.google.com/rss/articles/CBMifWh0d... | \n", 291 | "Agência Brasil | \n", 292 | "
| 94 | \n", 295 | "Mineração provoca adoecimento e medo em Barão ... | \n", 296 | "Tue, 16 May 2023 07:00:00 GMT | \n", 297 | "https://news.google.com/rss/articles/CBMibmh0d... | \n", 298 | "Notícias da Assembleia Legislativa de Minas | \n", 299 | "
| 95 | \n", 302 | "Trincas ressurgem em barragem sob alerta em Sa... | \n", 303 | "Wed, 31 May 2023 07:00:00 GMT | \n", 304 | "https://news.google.com/rss/articles/CBMiigFod... | \n", 305 | "Estado de Minas | \n", 306 | "
96 rows × 4 columns
\n", 310 | "| \n", 670 | " | Titulo | \n", 671 | "Data de Publicação | \n", 672 | "Link | \n", 673 | "Canal | \n", 674 | "Termo utilizado | \n", 675 | "
|---|---|---|---|---|---|
| 0 | \n", 680 | "MG tem 400 minas abandonadas e especialistas f... | \n", 681 | "Tue, 30 Apr 2024 03:01:59 GMT | \n", 682 | "https://news.google.com/rss/articles/CBMihgFod... | \n", 683 | "Correio do Povo | \n", 684 | "Barragem de mineração | \n", 685 | "
| 1 | \n", 688 | "Operação integrada do Governo de Minas promove... | \n", 689 | "Mon, 29 Apr 2024 20:30:00 GMT | \n", 690 | "https://news.google.com/rss/articles/CBMigQFod... | \n", 691 | "Agência Minas Gerais | \n", 692 | "Barragem de mineração | \n", 693 | "
| 2 | \n", 696 | "Agência de mineração interdita barragem de rej... | \n", 697 | "Mon, 13 Nov 2023 08:00:00 GMT | \n", 698 | "https://news.google.com/rss/articles/CBMibWh0d... | \n", 699 | "Poder360 | \n", 700 | "Barragem de mineração | \n", 701 | "
| 3 | \n", 704 | "MAB ocupa entrada da mineradora Vale em Vitóri... | \n", 705 | "Wed, 13 Mar 2024 07:00:00 GMT | \n", 706 | "https://news.google.com/rss/articles/CBMilAFod... | \n", 707 | "Brasil de Fato | \n", 708 | "Barragem de mineração | \n", 709 | "
| 4 | \n", 712 | "Comissão de Fiscalização de Barragens apresent... | \n", 713 | "Mon, 18 Dec 2023 08:00:00 GMT | \n", 714 | "https://news.google.com/rss/articles/CBMiWmh0d... | \n", 715 | "Portal da Câmara dos Deputados | \n", 716 | "Barragem de mineração | \n", 717 | "