Ingeniero de Datos: pregunta de entrevista
¿Cómo implementas linaje de datos?
Captura linaje desde campos fuente por transformaciones hasta datasets y dashboards con metadatos versionados de los jobs; conéctalo con propiedad, cambios, incidentes y análisis de impacto.
Respuesta directa
Qué debe cubrir una buena respuesta
Cómo funciona
El linaje registra de dónde vino cada dataset y columna y qué depende de ellos. Se captura automáticamente cuando es posible: las herramientas de transformación como dbt emiten dependencias entre modelos, los orquestadores emiten entradas y salidas de tareas mediante OpenLineage y los logs de consultas revelan qué tablas alimentan qué paneles. El grafo se guarda con versiones y marcas de tiempo en un catálogo, ligado a propiedad y metadatos de esquema, para que un ingeniero pregunte qué se rompe si se elimina una columna y un analista pregunte de dónde salió un número de un panel. Su valor aparece en incidentes y migraciones, justo cuando los diagramas mantenidos a mano están siempre desactualizados.
Ejemplo
Cuando un sistema fuente deprecó un campo, el catálogo mostró que alimentaba 3 modelos dbt, 2 de ellos detrás del panel de ingresos de dirección, así que la migración se programó antes de que el campo desapareciera y no después de romperse el panel. Durante un incidente de calidad, el grafo de linaje llevó desde la cifra incorrecta hasta una transformación cambiada el día anterior.
Errores frecuentes
- Mantener el linaje en un wiki que queda obsoleto en un mes.
- Capturar linaje solo a nivel de tabla cuando las preguntas son sobre columnas.
- Recoger linaje que nadie puede consultar porque no está ligado a dueños ni paneles.
Una estructura útil para responder
Responde desde tu propia experiencia.
No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.
Abre el espacio de trabajo de escritorio y ensaya una respuesta clara con tus propias palabras.