Merge pull request #166 from ResidenciaTICBrisa/atualizando-tecnologias

Atualizando tecnologias

README.md

@@ -22,6 +22,7 @@ O pipeline de dados é um projeto que tem o objetivo de reunir fontes de dados e
 No contexto da transição energética brasileira, o pipeline de dados desempenha um papel fundamental, à medida que o Brasil se compromete com a transformação de sua matriz energética até o ano de 2050, surge a necessidade de monitorar, analisar e tomar decisões informadas se torna ainda mais crucial.
 Esse projeto pode ser utilizado para modelar diferentes cenários de transição energética, levando em consideração variáveis como investimentos em infraestrutura, impactos ambientais e socioeconômicos. Essa análise abrangente auxilia na formulação de estratégias políticas e na definição de metas realistas para alcançar os objetivos da transição até 2050.
 
+- [Pipeline](https://residenciaticbrisa.github.io/04_PipelineTCU/pipeline/)
 - [Elicitação](https://residenciaticbrisa.github.io/04_PipelineTCU/elicitacao/entrevista/)
 - [Fonte de dados](https://residenciaticbrisa.github.io/04_PipelineTCU/fonte_dados/fonte_dados/)
 - [Planejamento](https://residenciaticbrisa.github.io/04_PipelineTCU/comunicacao/documentacao_sprints/rituais_da_equipe/)
@@ -49,29 +50,30 @@ A [BRISA](https://residenciaticbrisa.github.io/landing_page/) Sociedade para o D
 <table border="0">
   <tr>
       <td>
-        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/c2897c0d-54fe-428c-a2dd-a2ee7c3e9671" title="Power Automate" height= 80 width=80 style="max-height:80px; width:auto; display:block;">
+        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/539377cc-bfce-4128-bb34-f3e5b59f6c28" title="Azure" height= 80 width=80 style="max-height:80px; width:auto; display:block;">
       </a>
     </td>
-    <td>
-        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/981504c2-dfaf-4d75-ad48-bedcb0f772ee" height= 60 width=60 style="max-height: 80px; width:auto; display:block;">
+        <td>
+        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/92be004a-998d-4313-832d-175629c70e82" height= 70 width=70 style="max-height:80px; width:auto; display:block;">
       </a>
     </td>
     <td>
        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/326b2a14-099d-4e6a-a59f-21a5a5c3422c" title="SQL Server" height= 80 width=100 style="max-height:60px; width:auto; display:block;">
       </a>
     </td>
     <td>
-        <img src="https://assets.asana.biz/transform/ba9b63a3-f255-4088-b5fe-14ab4628f50b/logo-app-figma" height= 70 width=70 style="max-height:80px; width:auto; display:block;">
+        <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/981504c2-dfaf-4d75-ad48-bedcb0f772ee" height= 60 width=60 style="max-height: 80px; width:auto; display:block;">
       </a>
     </td>
 
+
 
   </tr>
   <tr>
-    <td>Power Automate</td>
-    <td>Power Bi</td>
+    <td>Microsoft Azure</td>
+    <td>Data Factory</td>
     <td>SQL Server</td>
-    <td>Figma</td>
+    <td>Power Bi</td>
 
 
   </tr>

docs/pipeline/pipeline.md

@@ -0,0 +1,40 @@
+# Pipeline
+
+## Arquitetura
+Na engenharia de software e na automação de processos, um pipeline refere-se a um conjunto de tarefas automatizadas que são executadas sequencialmente para processar, transformar ou mover dados de uma etapa para outra. Cada etapa desse pipeline pode ser responsável por uma parte específica do processo.
+
+<p align="center">
+    <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/cb17934a-e8f9-4a98-a4a3-7fe0921b780c" width="1000">
+</p>
+</p>
+<center> <figcaption>Figura 1: Arquitetura geral</figcaption> </center>
+<br>
+
+## Pipeline
+
+<p align="center">
+    <img src="https://github.com/ResidenciaTICBrisa/04_PipelineTCU/assets/51385738/7ce6dd6e-9173-4e62-bff9-328794ddfa6c" width="1000">
+</p>
+<center> <figcaption>Figura 2: Pipeline de processamento</figcaption> </center>
+
+
+## Extração
+Dados brutos são frequentemente encontrados em arquivos no formato XLSX. Esses arquivos, também conhecidos como planilhas do Microsoft Excel, são uma das formas mais comuns de armazenar informações em formato tabular.
+
+Nesta etapa, os dados brutos relacionados ao setor energético brasileiro são coletados de fontes de dados no formato XLSX. Esses arquivos podem conter informações como produção de energia, consumo, fontes de energia, emissões de carbono, entre outros. A extração é realizada a partir desses arquivos e os dados são obtidos para análise.
+
+## Transformação
+Após a extração, os dados brutos precisam ser limpos e preparados para análise. Isso envolve várias tarefas, como:
+
+#### Formatação dos dados: 
+Garantir que os dados estejam em um formato  consistente e coerente, como datas no mesmo padrão, valores numéricos com a mesma precisão, etc.
+#### Seleção de tabelas relevantes: 
+Identificar quais partes dos dados são pertinentes para a análise da transição energética até 2050 e descartar informações irrelevantes.
+#### Transformação de tipos de dados: 
+Converter os tipos de dados, se necessário, para que sejam compatíveis com o banco de dados do SQL Server. Por exemplo, converter datas para o formato apropriado.
+
+## Carregamento
+Com os dados limpos e transformados, eles são carregados no banco de dados do SQL Server. Isso envolve a inserção dos dados nas tabelas apropriadas do banco de dados, garantindo que a estrutura das tabelas corresponda aos dados transformados.
+
+## Visualização
+Após o carregamento dos dados no banco de dados, eles estão prontos para serem visualizados e analisados. Para isso, os dados são conectados a um painel de visualização, como o Power BI. Nesse painel, é possível criar gráficos, tabelas e outros elementos visuais que permitem aos usuários entender e explorar os dados relacionados à transição energética do Brasil até 2050.

mkdocs.yml

@@ -72,7 +72,8 @@ nav:
     - Requisitos: modelagem/requisitos.md
     - Protótipo: modelagem/prototipo.md
     - Arquitetura: modelagem/arquitetura.md
-  - Fonte de dados: fonte_dados/fonte_dados.md  
+  - Fonte de dados: fonte_dados/fonte_dados.md
+  - Pipeline: pipeline/pipeline.md
   - Gráficos : dashboards/dashboards.md
   - Comunicação:
     - Rituais da Equipe: comunicacao/documentacao_sprints/rituais_da_equipe.md