[fix] br_me_cnpj

[laura-l-amaral]

Atualizar dados (desatualizados nos últimos 2 meses)

Subir novos dados para Storage de basedosdados-dev

• 2024-09-18
• 2024-10-16

Testar as tabelas

• simples
• estabelecimentos
  

A última partição está incompleta no FTP

faltam arquivos 1 e 3

• empresas
• socios

Levar dados para o Storage de produção

• simples
• estabelecimentos
• empresas
• socios

Atualizar os dados em basedosdados

• Mergear PR com lógica incremental alterada para rematerializar partições de 2024-09-18 e 2024-10-16
• Rodar materializações
• Desfazer modificações na lógica incremetal
• ajuste na materialização de socios

---

Mudar a pipeline para adapatar ao novo formato

Crawler

• Atualmente o crawler verifica a data de atualização mais recente da fonte original, compara com a data mais recente da api e decide se atualizar ou não a tabela. A nova versão irá pegar a data mais recente na BD e verificar se há uma mais atualizada na API