BD Core Semanal

[fernandascovino]

2022-08-30

Discussão

Revisão dos componentes da BD Core

• Limites entre Infra e Back-end

  • Infra: O que mantém as coisas de pé, independente de qual a aplicação (DevOps)
  • Back-end: O que roda por trás do website/pacotes

• Pontos cegos em Back-end (BE)

  • Não temos 1 pessoa dedicada ao BE do website
  • Tarefas de BE do site x pacotes são distintas, inclusive no ferramental - conseguimos em apenas 1 pessoa?

• Separação dos papéis de Dados (dentro e fora do BD Core)

  • Equipe de Dados hoje está voltada para Analytics -> transformações de tabelas já no BQ, visualizações, painéis, etc
  • Engenharia de Dados já cuida hoje da subida (automática) de bases, mas a metodologia de tratamento e metadados ainda estão com Dados (Analytics)
    • Provocação: quem deve ser responsável pelo quê? E o que entra ou não no BD Core?

[fernandascovino]

2022-09-06

Discussão

Revisão dos componentes da BD Core

• Separação dos papéis de Dados: detalhamento no organograma
  • Dados é responsável pela gestão da subida de bases (quais são as prioridades, os prazos, etc)
  • Engenharia deve participar da definição das prioridades
  • A definir: Metodologia de priorização para subida de dados na BD (quais os critérios? como escutar da comunidade? como dar transparência ao processo?)

Status

• DevOps:

  • Resolvendo limitação de IP brasileiro para automatizar subida de dados do CAGED + Datasus
  • Standby: Migração AWS -> GCP (máquinas? storage?)

• Engenharia de dados:

  • Dados do TSE atualizados na BD: Inconsistência entre dados abertos x dados sumarizados no site do TSE, vamos entrar em contato para entender as discrepâncias
  • Criação da pipeline 1 click-download: Testes com 2 tipos de flows, priorizar uma task única que atualiza o download de todas as tabelas

• Backend:

  • Lançar vaga para BE
  • Bloqueado: atualização automática de número de usuários do site

• Frontend:

  • Em andamento: FAQ + Filtro de colunas do dataset
  • Próximos passos: Revisar informações de atualização dos dados no FE - problema já conhecido, está claro para as pessoas quando as tabelas são atualizadas? (UX)

Próxima reunião

• Brainstorm sobre área de usuário: Quais seus sites de fórum e comunidade favoritos? O que eles têm de legal? O que você gostaria que tivesse na BD?

[fernandascovino]

2022-09-14

Brainstorm parte 1:

[rdahis]

Compilação de planejamento até agora.

[rdahis]

2022-10-05

Discussão

Frontend: falta um caminho claro de features maiores pra implementar.

Infra: nova infraestrutura de endpoints. Datalake está disponível para o website.
Fluxo de novas features acontecerá via issues criadas no repositório website.

Dados:

• Estão avançando na correção de fontes externas erradas/desatualizadas.
• Coordenando vários voluntários e subindo bases provindas de projetos.
• Bloqueios: hoje estão com muito voluntários e acabam gastando muito tempo. Acabam ficando com pouco analista para BD-core.

Ideia de OKR compartilhada (Comunicação + Infra): visão geral sobre documentações e textos na BD.

Ideia Infra: definir uma única plataforma para documentação. Talvez criar repositório próprio docs e usar mkdocs pra tudo.

[fernandascovino]

acho legal a discussao mono repo x docs repo, vale estudar/listar exemplos que gostamos

[gustavoalcantara]

2022-10-19

Encaminhamentos

• Equipes decidirem até sexta qual frente vamos tocar: Roadmap e/ou Observatório de Qualidade dos Dados

Sugestão - Responder para ambos os projetos:

1. O que deve ser função da minha equipe neste projeto? (Dados/Comunicação/FE)
2. Esse é o momento para tocarmos eessa frente? (pense nas demais atribuições da equipe)

Discussão

• Migração para o CKAN está em andamento (planejamento) e vai ser prioridade de infra/dev

• Em paralelo, vamos tocar um projeto da BD Core que dependa apenas de Dados, Comunicação e FE

• Qual projeto vamos tocar? (Comparação das 3 possibilidades levantadas)

beijinhos
with love

[fernandascovino]

2022-11-03

Encaminhamentos

• Definir processo para criação e escolha de propostas de subida de bases @mfagundes @crislanealves @lucascr91
• Montar protótipo de fórum de discussão no Discord para criação e votação de propostas pela comunidade/apoiadores @giovanecarusoredacao @nayaramrsc
• Esquematizar e (se der tempo) montar protótipo de integração Discord <-> Github para kanban do roadmap @AldemirLucas @guialvesp1

Discussão

• Decisão das plataformas para utilizarmos no roadmap