Usando a nova API da Câmara dos Deputados.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Usando a nova API da Câmara dos Deputados**\n",
    "---------------------------\n",
    "\n",
    "Toda a documentação se encontra em [https://dadosabertos.camara.leg.br/swagger/api.html\n",
    "\n",
    "Vamos inicialmente mostrar o nome e identificador de cada deputado"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Alessandro Molon 160511 RJ PSB\n",
      "Alexandre Serfiotis 178833 RJ PSD\n",
      "Altineu Côrtes 178937 RJ PL\n",
      "Aureo Ribeiro 160512 RJ SOLIDARIEDADE\n",
      "Benedita da Silva 73701 RJ PT\n",
      "Carlos Jordy 204460 RJ PSL\n",
      "Chico D'Angelo 141439 RJ PDT\n",
      "Chiquinho Brazão 204476 RJ AVANTE\n",
      "Chris Tonietto 204462 RJ PSL\n",
      "Christino Aureo 204440 RJ PP\n",
      "Clarissa Garotinho 178939 RJ PROS\n",
      "Daniel Silveira 204454 RJ PSL\n",
      "Daniela do Waguinho 204459 RJ MDB\n",
      "David Miranda 205548 RJ PSOL\n",
      "Delegado Antônio Furtado 204451 RJ PSL\n",
      "Dr. Luiz Antonio Teixeira Jr. 204450 RJ PP\n",
      "Felício Laterça 204477 RJ PSL\n",
      "Flordelis 204447 RJ PSD\n",
      "Gelson Azevedo 115746 RJ PL\n",
      "Glauber Braga 152605 RJ PSOL\n",
      "Gurgel 204442 RJ PSL\n",
      "Gutemberg Reis 204456 RJ MDB\n",
      "Helio Lopes 204444 RJ PSL\n",
      "Hugo Leal 141450 RJ PSD\n",
      "Jandira Feghali 74848 RJ PCdoB\n",
      "Jorge Braz 205550 RJ REPUBLICANOS\n",
      "Juninho do Pneu 204457 RJ DEM\n",
      "Lourival Gomes 196358 RJ PSL\n",
      "Luiz Antônio Corrêa 204448 RJ PL\n",
      "Luiz Lima 204455 RJ PSL\n",
      "Major Fabiana 204458 RJ PSL\n",
      "Marcelo Calero 204433 RJ CIDADANIA\n",
      "Marcelo Freixo 76874 RJ PSOL\n",
      "Márcio Labre 204452 RJ PSL\n",
      "Otoni de Paula 204441 RJ PSC\n",
      "Paulo Ganime 204461 RJ NOVO\n",
      "Paulo Ramos 133968 RJ PDT\n",
      "Pedro Paulo 122158 RJ DEM\n",
      "Professor Joziel 204446 RJ PSL\n",
      "Rodrigo Maia 74693 RJ DEM\n",
      "Rosangela Gomes 178945 RJ REPUBLICANOS\n",
      "Soraya Santos 178946 RJ PL\n",
      "Sóstenes Cavalcante 178947 RJ DEM\n",
      "Talíria Petrone 204464 RJ PSOL\n",
      "Vinicius Farah 204478 RJ MDB\n",
      "Wladimir Garotinho 204463 RJ PSD\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "url = 'https://dadosabertos.camara.leg.br/api/v2/deputados'\n",
    "resp = requests.get(url).json()\n",
    "for d in resp['dados']:\n",
    "    if d['siglaUf'] == 'RJ':\n",
    "      print (d['nome'], d['id'], \n",
    "         d['siglaUf'], d['siglaPartido'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Exercício**\n",
    "\n",
    "Além do nome e identificador, mostre também o partido e UF de cada Deputado"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "url = 'https://dadosabertos.camara.leg.br/api/v2/deputados'\n",
    "resp = requests.get(url).json()\n",
    "for d in resp['dados']:\n",
    "  print (d['email'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na url da Câmara, no bloco dos Deputados, coloque **aplication/json** no Response Content Type. Você irá notar que existem mais informações que as descritas inicialmente. Por exemplo, vamos baixar todas as fotos, no diretório onde você iniciou o jupyter notebook, dos deputados de São Paulo. Aqui começamos a usar uma condição **if** sendo que o bloco de instruções será executado apenas quando aquela condição resultar True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gravando: afonso florence\n",
      "Gravando: airton faleiro\n",
      "Gravando: alencar santana braga\n",
      "Gravando: alexandre padilha\n",
      "Gravando: arlindo chinaglia\n",
      "Gravando: benedita da silva\n",
      "Gravando: beto faro\n",
      "Gravando: bohn gass\n",
      "Gravando: carlos veras\n",
      "Gravando: carlos zarattini\n",
      "Gravando: célio moura\n",
      "Gravando: enio verri\n",
      "Gravando: erika kokay\n",
      "Gravando: frei anastacio ribeiro\n",
      "Gravando: gleisi hoffmann\n",
      "Gravando: helder salomão\n",
      "Gravando: henrique fontana\n",
      "Gravando: joão daniel\n",
      "Gravando: jorge solla\n",
      "Gravando: josé airton félix cirilo\n",
      "Gravando: josé guimarães\n",
      "Gravando: josé ricardo\n",
      "Gravando: joseildo ramos\n",
      "Gravando: leo de brito\n",
      "Gravando: leonardo monteiro\n",
      "Gravando: luizianne lins\n",
      "Gravando: marcon\n",
      "Gravando: margarida salomão\n",
      "Gravando: maria do rosário\n",
      "Gravando: marília arraes\n",
      "Gravando: merlong solano\n",
      "Gravando: natália bonavides\n",
      "Gravando: nilto tatto\n",
      "Gravando: odair cunha\n",
      "Gravando: padre joão\n",
      "Gravando: patrus ananias\n",
      "Gravando: paulão\n",
      "Gravando: paulo guedes\n",
      "Gravando: paulo pimenta\n",
      "Gravando: paulo teixeira\n",
      "Gravando: pedro uczai\n",
      "Gravando: professora rosa neide\n",
      "Gravando: reginaldo lopes\n",
      "Gravando: rejane dias\n",
      "Gravando: rogério correia\n",
      "Gravando: rubens otoni\n",
      "Gravando: rui falcão\n",
      "Gravando: valmir assunção\n",
      "Gravando: vander loubet\n",
      "Gravando: vicentinho\n",
      "Gravando: waldenor pereira\n",
      "Gravando: zé carlos\n",
      "Gravando: zé neto\n",
      "Gravando: zeca dirceu\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "url = 'https://dadosabertos.camara.leg.br/api/v2/deputados'\n",
    "resp = requests.get(url).json()\n",
    "for d in resp['dados']:\n",
    "  if d['siglaPartido'] == 'PT':\n",
    "    nome = d['nome'].lower()\n",
    "    print (f'Gravando: {nome}')\n",
    "    f = open(nome + '.jpg', 'wb')\n",
    "    foto = requests.get(d['urlFoto']).content\n",
    "    f.write(foto)\n",
    "    f.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Note que o print tem uma string que começa com f. Quando fazemos isso, dentro da string, tudo o que aparece em chaves, é substituído pelo valor calculado"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos acessar o valor total gasto por um Deputado Federal, com sua quota parlamentar, registrado na API da Câmara. A Deputada Tábata Amaral tem identificador 204534. Usando o link de descrição da API verificamos que podemos fornecer mais de um ano. Fazendo testes, verificamos que o número máximo de itens é 100. Estas páginas irão aumentar ao longo do tempo. Verificamos novamente que, caso solicitada uma página maior, o item 'dado' volta vazio. Cada página tem uma URL de acesso, para seus itens. Existe um operador em Python, chamado range, que vai de um número até uma unidade a menos do segundo. Desta forma range(1, 100) nos gera o intervado de 1 até 99. No campo valorLiquido temos o gasto efetuado. Observe que a API nos retorna uma string, para poder somar, devemos converter o valor para float, antes de somar a uma variável total. Para imprimir com somente duas casas decimais, irei usar .2f \n",
    "Uma forma mais completa seria consultar o rótulo links, num primeiro acesso, e verificar a última página atual. Para simplificar este curso, para iniciantes, iremos fazer acessos desnecessários."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gasto em 2019 e 2020: R$ 355826.56\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "total = 0\n",
    "for pag in range(1, 100):\n",
    "  u = f'https://dadosabertos.camara.leg.br/api/v2/deputados/178939/despesas?ano=2019&ano=2020&ordem=ASC&ordenarPor=ano&pagina={pag}&itens=100'\n",
    "  r = requests.get(u).json()\n",
    "  for gasto in r['dados']:\n",
    "    total = total + float(gasto['valorLiquido'])\n",
    "\n",
    "print (f'Gasto em 2019 e 2020: R$ {total:.2f}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Exercício**\n",
    "\n",
    "Calcule o valor gasto por outros Deputados Federais, substituindo o identificador\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Outra análise interessante é saber quem são os fornecedores que mais receberam desta quota. Usamos um dicionário para guardar estes dados, se o fornecedor não está ainda na base, crio e inicializo com aquele valor, caso já exista somo com o total acumulado. Cada item de um dicionário é um par, quero colocar em ordem do segundo elemento, que referencio por um entre colchetes, lembre que o primeiro é zero. Abaixo os fornecedores da deputada Tábata Amaral em ordem descrescente de valor recebido acumulado, até o momento."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total retornado API Câmara: R$ 355826.56\n",
      "02012862000160 Cia Aérea - TAM R$ 203006.11\n",
      "06928794000134 LGA Comunicação R$ 70000.00\n",
      "12842700000102 OMEGA LOCADORA DE VEÍCULOS LTDA ME R$ 36000.00\n",
      "05931710000159 Grupo Brasil DPE Design Producoes e Eventos LTDA R$ 10000.00\n",
      "01079210004509 UNIDAS LOCADORA DE VEÍCULOS R$ 7943.44\n",
      "27510280000134 LGA Analise e Conteudo LTDA R$ 7000.00\n",
      "07575651000159 Cia Aérea - GOL R$ 3666.16\n",
      "00000000000001 CELULAR FUNCIONAL R$ 3533.25\n",
      "07319323000191 PANTANAL VEÍCULOS LTDA R$ 3200.00\n",
      "02558157000162 Telefônia Brasil S/A - VIVO R$ 1518.15\n",
      "01815580000138 TECNODIGITAL COMUNICACAO VISUAL LTDA R$ 978.00\n",
      "08202116000115 AUTO POSTO AEROPORTO LTDA R$ 800.00\n",
      "12132854000100 WMS COMERCIO DE ARTIGOS DE PAPELARIA LTDA-ME R$ 693.60\n",
      "00306597003112 CASCOL COMBUSTIVEIS PARA VEICULOS LTDA R$ 508.00\n",
      "19156367000127 Gnz Comercio De Alimentos Eireli - Epp R$ 482.00\n",
      "33469172001644 SERVICO NACIONAL DE APRENDIZAGEM COMERCIAL SENAC R$ 463.15\n",
      "04208323000126 GUSTAVO GONCALVES DE OLIVEIRA PAIVA R$ 461.95\n",
      "00097626000400 BRASAL COMBUSTIVEIS LTDA R$ 350.00\n",
      "36756435000108 FRED RESTAURANTE LTDA R$ 336.00\n",
      "27402097000115 MIT COMERCIO DE ALIMENTOS LTDA R$ 315.26\n",
      "05124620000156 GZ COMERCIO DE ALIMENTOS LTDA R$ 284.50\n",
      "26713936000153 CESAR & MODESTO RESTAURANTE LTDA R$ 238.88\n",
      "05124620000237 GZ COMERCIO DE ALIMENTOS LTDA EPP R$ 235.50\n",
      "01323420000171 CANTINA DA MASSA EIRELI R$ 220.77\n",
      "00000000000006 RAMAL R$ 211.94\n",
      "00306597003546 CASCOL COMBUSTIVEIS PARA VEICULOS LTDA R$ 200.00\n",
      "00306597007614 CASCOL COMBUSTIVEIS PARA VEICULOS LTDA R$ 200.00\n",
      "33469172000672 SERVICO NACIONAL DE APRENDIZAGEM COMERCIAL SENAC R$ 179.15\n",
      "37130481000160 SAO JOAO POSTOS DE ABASTECIMENTO E SERVICOS LTDA R$ 170.00\n",
      "13783221014690 MADERO INDUSTRIA E COMERCIO S. R$ 156.50\n",
      "08414749000197 G3 Auto Posto Ltda Epp R$ 150.00\n",
      "06071706000120 PETRONORTE COMBUSTIVEIS LTDA R$ 150.00\n",
      "04473193000159 POSTO DA TORRE EIRELI - EPP R$ 150.00\n",
      "33381724000181 POSTO DE LUBRIFICACAO SAO PEDRO LTDA R$ 145.03\n",
      "39069299000842 TB COMERCIO DE ALIMENTOS LTDA R$ 103.00\n",
      "04285663000150 AUTO POSTO DO NUCLEO LTDA R$ 100.00\n",
      "30879261000194 AUTO POSTO GOLDEN GAS LAGO LTDA R$ 100.00\n",
      "00306597002140 CASCOL COMBUSTIVEIS PARA VEICULOS LTDA R$ 100.00\n",
      "00306597007290 CASCOL COMBUSTIVEIS PARA VEICULOS LTDA R$ 100.00\n",
      "04711846000190 FLAMINGOCOMBUSTIVEIS E LUBRIFICANTES LTDA R$ 100.00\n",
      "21017890000114 POSTO DE COMBUSTIVEL YASMIN LTDA R$ 100.00\n",
      "10750039000180 POSTO DISBRAVE IMPERIAL LTDA R$ 100.00\n",
      "31165607000155 ROTA 406 COMBUSTIVEIS LTDA R$ 100.00\n",
      "02885153000199 POSTO DE COMBUSTIVEIS 311 NORTE LTDA R$ 90.00\n",
      "16640472000149 QUATTRO RESTAURANTE COMERCIO DE ALIMENTOS E BEBID R$ 72.27\n",
      "26645296000191 PARIS6 BRASILIA BISTRO E RESTAUR R$ 70.51\n",
      "05000684000226 AUTO POSTO PETER PAN 01 LTDA R$ 70.00\n",
      "14593102000172 JFZ BAR E RESTAURANTE LTDA - EPP R$ 65.90\n",
      "17261661008662 OUTBACK STEAKHOUSE RESTAURANTES BRASIL S/A R$ 61.80\n",
      "22304309000299 RESTAURANTE MADERO BRASILIA LT R$ 59.40\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "total = 0\n",
    "fornecedores = {}\n",
    "cnpjCpfFornecedores = {}\n",
    "for pag in range(1, 100):\n",
    "  u = f'https://dadosabertos.camara.leg.br/api/v2/deputados/178939/despesas?ano=2019&ano=2020&ordem=ASC&ordenarPor=ano&pagina={pag}&itens=100'\n",
    "  r = requests.get(u).json()\n",
    "  for gasto in r['dados']:\n",
    "    valor = float(gasto['valorLiquido'])\n",
    "    total = total + valor\n",
    "    nome = gasto['nomeFornecedor']\n",
    "    cnpjCpf = gasto['cnpjCpfFornecedor']\n",
    "    if cnpjCpf not in cnpjCpfFornecedores:\n",
    "      cnpjCpfFornecedores[cnpjCpf] = valor\n",
    "      fornecedores[cnpjCpf] = nome\n",
    "    else:\n",
    "      cnpjCpfFornecedores[cnpjCpf] = cnpjCpfFornecedores[cnpjCpf] + valor\n",
    "\n",
    "print (f'Total retornado API Câmara: R$ {total:.2f}')\n",
    "def chave(f): return f[1]\n",
    "maiores = sorted(cnpjCpfFornecedores.items(), key=chave, reverse=True)\n",
    "for cnpjcpf, valor in maiores[:50]:\n",
    "    print (cnpjcpf, fornecedores[cnpjcpf], f'R$ {valor:.2f}')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Observe que para totalizar corretamente temos que agrupar razões sociais. \n",
    "\n",
    "**Exercício**\n",
    "\n",
    "Verifique os maiores fornecedores de outros Deputados Federais"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como podemos descobrir Dados de Deputados nas Legislaturas passadas? Por exemplo, do Deputado Jair Bolsonaro? Encontrando a Biografia do Deputado (https://www.camara.leg.br/deputados/74847/biografia), após pesquisar no Google, obtemos na URL o seu identificador. Como saber as Legislaturas? Pela biografia, sabemos as Datas de Início de sua atividade politica na Câmara, na API da Câmara chegamos que isso engloba as Legislaturas de 49 a 55. Na API podemos colocar os anos de 2016 a 2019. Podemos tentar trazer o máximo de itens por página, porém você irá descobrir, numa tentativa e erro, que o máximo é de 100 itens. No final do JSON de retorno, outra informação importante é de que temos páginas de 1 até 16, o que implica usar range(1, 17), pois range termina no número anterior ao segundo parâmetro fornecido. Pelo final do JSON retornado, você sabe como construir a requisição de cada página."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "sair = 'o a à e os às as de da do ao na no nos nas não são nº em que com aos dos das pelo sobre por para pela entre contra'.split()\n",
    "keywords = []\n",
    "sumarios = []\n",
    "for pag in range (1,17):\n",
    "  url = f'https://dadosabertos.camara.leg.br/api/v2/deputados/74847/discursos?idLegislatura=49&idLegislatura=50&idLegislatura=51&idLegislatura=52&idLegislatura=53&idLegislatura=54&idLegislatura=55&dataInicio=1990-01-01&dataFim=2019-12-31&ordenarPor=dataHoraInicio&ordem=ASC&pagina={pag}&itens=100'\n",
    "  resp = requests.get(url).json()\n",
    "  for d in resp['dados']:\n",
    "    s = d['sumario'].lower()\n",
    "    s = ''.join(e for e in s if e not in \".,'()-\")\n",
    "    s = s.split()\n",
    "    s = [w for w in s if w not in sair]\n",
    "    sumarios.extend(s)\n",
    "    if not d['keywords']: continue\n",
    "    s = d['keywords'].lower()\n",
    "    s = ''.join(e for e in s if e not in \".,'()-\")\n",
    "    s = s.split()\n",
    "    s = [w for w in s if w not in sair]\n",
    "    keywords.extend(s)\n",
    "\n",
    "from collections import Counter\n",
    "keywords = Counter(keywords)\n",
    "sumarios = Counter(sumarios)\n",
    "print (keywords.most_common(100))\n",
    "print (sumarios.most_common(100))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Explicações: estamos removendo sinais especiais, split() quebra a string pelo espaço ou sinal de pular linha, split(',') separa por vírgula, a função extend faz algo parecido com append, enquanto append inclui um único elemento no final da lista, extend inclui vários. A função Counter vai contabilizar o número de vezes em que aparece um elemento na lista, criando um dicionário. No final vamos mostrar os 100 termos que mais aparecem nas Keywords do nosso presidente e também nos sumários. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "texto = 'batatinha, quando, nasce, esparrama, pelo, chão'\n",
    "texto = texto.split(',')\n",
    "texto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "texto = [x.strip() for x in texto]\n",
    "texto"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Expressões entre colchetes criam novas listas segundo o critério que está dentro, no caso acima, vamos fazer x.strip() para todo x dentro da lista texto"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Exercício**\n",
    "\n",
    "Repita o processo acima para outro Deputado Federal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Existem inúmeras APIs, podemos ver o que o Google completaria, dada uma expressão inicial"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from requests import get\n",
    "url = \"http://suggestqueries.google.com/complete/search?client=firefox&q=Jair Bolsonaro é\"\n",
    "resp = get(url).json()\n",
    "resp"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Exercício**\n",
    "\n",
    "Coloque outras frases a serem completadas para testar"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}