Ingeniero de Datos: pregunta de entrevista
¿Cómo gestionas evolución de esquema?
Evoluciona esquemas de forma compatible: añade campos opcionales, versiona contratos, permite productores antiguos y nuevos, valida consumidores, rellena y elimina solo tras ventanas de uso y retención.
Respuesta directa
Qué debe cubrir una buena respuesta
Cómo funciona
Los esquemas cambian constantemente, y el objetivo es que productores y consumidores puedan actualizarse en momentos distintos. Los cambios aditivos, campos opcionales nuevos con valores por defecto, son seguros; los renombrados, cambios de tipo y eliminaciones rompen y se hacen como añadir-nuevo, migrar, quitar-viejo en releases separadas. Un registro de esquemas con reglas de compatibilidad rechaza un cambio incompatible antes de publicarse, los consumidores se escriben para ignorar campos desconocidos y la capa cruda conserva los bytes originales para reprocesar un cambio equivocado. Los campos se eliminan solo cuando la monitorización muestra que ningún consumidor los lee y ha pasado la ventana de retención de datos antiguos.
Ejemplo
Un evento necesitaba que amount pasara de float a cadena decimal. El productor añadió amount_decimal junto a amount durante dos meses, los consumidores migraron uno a uno con el registro imponiendo compatibilidad hacia atrás, un backfill rellenó amount_decimal en las particiones históricas y amount se eliminó cuando las métricas de uso mostraron cero lectores durante 30 días.
Errores frecuentes
- Renombrar un campo en el sitio y romper todos los consumidores a la vez.
- Cambiar un tipo y dejar ilegibles los datos antiguos.
- Eliminar un campo en cuanto existe el nuevo, antes de que los consumidores migren.
Una estructura útil para responder
Responde desde tu propia experiencia.
No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.
Abre el espacio de trabajo de escritorio y ensaya una respuesta clara con tus propias palabras.