Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Calcular o consumo de dados nas cargas full e incremental #91

Open
washolive opened this issue Aug 24, 2022 · 0 comments
Open

Calcular o consumo de dados nas cargas full e incremental #91

washolive opened this issue Aug 24, 2022 · 0 comments

Comments

@washolive
Copy link
Member

Para contabilizar a quantidade de linhas processadas durante a carga (cópia) dos dados em modo full ou incremental, adicionar 4 parâmetros opcionais nas functions copy_db_to_db e sync_db_2_db:

  • nome da conexão Airflow origem
  • nome da conexão Airflow destino
  • nome do schema da tabela de contabilização
  • nome da tabela de contabilização

Para simplificar, a tabela de contabilização pode residir na mesma conexão da tabela destino.
Para o cálculo, , no caso de full, basta executar um count(*) na tabela ao final da carga. No caso de incremental, basta executar o count(*) na tabela intermediária que contém as linhas modificadas desde a carga anterior.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant