¿Cómo construyes controles de calidad de datos?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Las comprobaciones van en cada frontera donde los datos cambian de manos: en la ingesta para detectar una fuente que cambió de forma o dejó de enviar, tras cada transformación para atrapar errores de lógica y antes de publicar un dataset a los consumidores. Cada comprobación prueba una propiedad con un umbral: el esquema coincide, las columnas obligatorias no tienen nulos, las claves son únicas, las claves foráneas resuelven, los valores están en rangos o conjuntos permitidos, la última partición está fresca, los conteos se mantienen en una banda y las distribuciones no se han desplazado. Las filas que fallan se ponen en cuarentena y no se descartan en silencio, y cada comprobación tiene una severidad que decide si los trabajos posteriores se bloquean y un dueño al que se avisa.

Ejemplo

El pipeline de clientes ejecuta suites de Great Expectations: al aterrizar, el esquema del fichero y un email no nulo; tras transformar, unicidad de customer_id y una búsqueda de código de país; antes de publicar, frescura menor de 3 horas y un conteo dentro del 20 por ciento de la mediana de 7 días. Cuando una fuente empezó a exportar un tenant de prueba, la comprobación de conteo saltó, la carga quedó en cuarentena y el panel mostró los datos de ayer con un aviso de antigüedad en lugar de clientes duplicados.

Errores frecuentes

• Descartar filas inválidas en silencio, de modo que los totales encogen sin rastro.
• Comprobar solo al final del pipeline y depurar fallos a través de diez trabajos.
• Bloquear todos los trabajos posteriores por una comprobación de nivel aviso y parar la plataforma a diario.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.