¿Cómo validas la calidad de datos?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Las comprobaciones de calidad corren donde los datos cruzan una frontera: en la ingesta para detectar cambios aguas arriba, tras la transformación para detectar errores de lógica y antes de publicar para proteger a los consumidores. Cada comprobación afirma una propiedad: esquema y tipos, campos obligatorios presentes, claves únicas, valores dentro de rangos o conjuntos válidos, claves foráneas resolubles, datos frescos dentro del retraso esperado, conteos de filas dentro de la banda habitual y distribuciones cercanas al historial reciente. Una comprobación fallida tiene una severidad que decide si el pipeline se detiene o solo alerta, y un dueño que la recibe. Los resultados se rastrean en el tiempo para que el deterioro silencioso sea visible.

Ejemplo

Un modelo de pedidos ejecuta pruebas dbt de order_id único, customer_id no nulo, valores de estado aceptados y una comprobación de frescura de dos horas; una prueba personalizada compara el conteo de filas de hoy con la mediana de 7 días y alerta más allá del 30 por ciento de desviación. Cuando un sistema fuente empezó a enviar importes en céntimos en vez de dólares, la comprobación de rango lo atrapó antes que el panel de finanzas.

Errores frecuentes

• Comprobar solo el esquema y dejar pasar valores semánticamente incorrectos.
• Alertar de todo con la misma severidad hasta que la gente ignora el canal.
• Ejecutar comprobaciones sin dueño, de modo que los fallos quedan sin resolver semanas.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.