-
Notifications
You must be signed in to change notification settings - Fork 65
Duplicar DAG para Edições Extras #79
Copy link
Copy link
Open
Labels
airflowRelated to the way Ro-DOU uses AirflowRelated to the way Ro-DOU uses AirflowenhancementNew feature or requestNew feature or requestsearch-configRelated to the configuration of a Ro-DOU searchRelated to the configuration of a Ro-DOU search
Metadata
Metadata
Assignees
Labels
airflowRelated to the way Ro-DOU uses AirflowRelated to the way Ro-DOU uses AirflowenhancementNew feature or requestNew feature or requestsearch-configRelated to the configuration of a Ro-DOU searchRelated to the configuration of a Ro-DOU search
Em casos em que há necessidade de buscar nas edições extras, criar uma forma de duplicar a DAG com as mesmas configurações do YAML principal porém com o scheduler rodando ao final do dia. Na maioria dos casos, o cliente negocial quer o relatório das edições comuns logo pela manhã, porém as edições extras são publicadas somente ao longo do dia e acabam não aparecendo nessa primeira extração. Para contornar essa situação geralmente temos duplicado o arquivo YAML de dag_conf com dois schedules diferentes. Isso dificulta um pouco a manutenção.
A ideia seria talvez um novo parâmetro que faça essa duplicação com horários de execução diferenciados e trazendo somente os resultados das edições extras na segunda execução do dia.