Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Décaler l'exécution des tâches d'extraction #130

Open
2 tasks
vmttn opened this issue Oct 6, 2023 · 0 comments
Open
2 tasks

Décaler l'exécution des tâches d'extraction #130

vmttn opened this issue Oct 6, 2023 · 0 comments
Labels
debt Something needs to be refactored good first issue Good for newcomers

Comments

@vmttn
Copy link
Contributor

vmttn commented Oct 6, 2023 •
edited
Loading

Il arrive occasionnellement que certaines tâches d'extraction quotidiennes échouent pour ce qui semble être un problème d'horaires d'exécution. Ca été le cas de la plateforme d'open data du cd35 et de data.gouv.

Actuellement toutes les tâches d'extraction quotidiennes sont programmées à minuit (dags configurés avec @daily) et s'exécutent progressivement (AIRFLOW__CORE__PARALLELISM est configuré à 4 en prod).

Les heures piles sont généralement déconseillées pour les extractions de données, et particulièrement minuit.

  • configurer les dags avec un schedule_interval qui n'est pas minuit
  • comprendre l'impact sur la date d'exécution du dag et sur ce qui en dépend
@vmttn vmttn added good first issue Good for newcomers debt Something needs to be refactored labels Nov 6, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
debt Something needs to be refactored good first issue Good for newcomers
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@vmttn