Skip to content

[Refactor]Modificando log not_null_proportion_multiple_columns#924

Merged
Winzen merged 2 commits intomainfrom
refactor_not_null
Mar 5, 2025
Merged

[Refactor]Modificando log not_null_proportion_multiple_columns#924
Winzen merged 2 commits intomainfrom
refactor_not_null

Conversation

@Winzen
Copy link
Contributor

@Winzen Winzen commented Feb 27, 2025

[Refactor]Modificando log not_null_proportion_multiple_columns

Atual Log

image

  • Preenchimento não deixava claro que estamos falando da proporção de linhas vazias na tabela
  • Preenchimento ideal não traz nenhuma informação nova. Apenas enfatiza o valor colocado em at_least

Novo Log

Casos onde o at_least está maior do que a coluna consegui preencher

image

Casos onde a coluna está totalmente vazia

image

  • Proporção Null indica melhor que a o numero é referente a proporção de linhas vazias na tabela
  • 'at_least' Recomendado agora indica o valor que at_least precisa ter para que o test tenha sucesso nessa coluna
  • Qualidade renomeado para Qualidade Null
  • Caso a coluna esteja totalmente vazia. Um aviso vai ser destacado,
  • Foi colocado cor para realçar a recomendação de 'at_least' Recomendado
  • Cor vermelha no texto FAIL para deixa claro que apesar da cor amarela da recomendação, essa coluna falhou no teste

@Winzen Winzen requested a review from a team February 27, 2025 16:37
@Winzen Winzen self-assigned this Feb 27, 2025
Copy link
Contributor

@laura-l-amaral laura-l-amaral left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Luiz acho que vc se confundiu, o número de aparece não é a proporção de nulls mas sim o preenchimento da coluna (ou ao menos deveria ser pelos nomes que as variáveis tem). Pq assumiu que a nomenclatura tava errada? Toda a nomenclatura ta padronizada para ser preenchimento (ou proporção de não nulos), inclusive no exemplo que vc colocou quando ta 100% ela parece estar 100% cheia (pelo menos nos núemros que aparece no log), não vazia. Revisar essas nomenclaturas antes de fechar esse PR.

No passado eu alinhei com o arthur de seguirmos com essa nomenclatura pq era o que o dbt já usava (já existe uma função chamada not_null_proportion), mas acho que deve ser muito confuso isso pq todo mundo confunde, mesmo com todos os nomes dando a entender que a informação que está sendo mostrada é de preeenchimento. Se tiver tempo eu diria pra vc alterar a função pra mostrar a proporção de nulos ao invés de preenchimento

Copy link
Collaborator

@folhesgabriel folhesgabriel left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Logs ficaram ótimos! Ter as cores pros níveis de log é bem legal tbm. Ajuda bastante na legibilidade

@Winzen Winzen force-pushed the refactor_not_null branch from 6357064 to d98d552 Compare March 5, 2025 22:08
@Winzen Winzen merged commit 2a22efb into main Mar 5, 2025
3 checks passed
@Winzen Winzen deleted the refactor_not_null branch March 5, 2025 22:15
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants