Ingeniero de Datos: pregunta de entrevista
¿Cómo controlas costes del data warehouse?
Controla coste atribuyendo gasto, podando particiones, seleccionando columnas necesarias, reduciendo scans repetidos, materializando resultados, dimensionando cómputo, programando cargas y usando presupuestos y alertas.
Respuesta directa
Qué debe cubrir una buena respuesta
Cómo funciona
El coste del warehouse se controla primero haciéndolo visible: cada consulta y trabajo se etiqueta con equipo y propósito para que el gasto tenga dueño. Las mayores palancas suelen ser entonces evidentes: paneles que recorren tablas enteras en cada refresco, transformaciones que reconstruyen todo en lugar de incrementalmente, consultas que seleccionan todas las columnas y cómputo que corre a tamaño completo de noche. La poda de particiones, los modelos incrementales, los resultados materializados para lecturas repetidas, el cómputo dimensionado y con suspensión automática y los refrescos programados en lugar de continuos bajan el gasto, y los presupuestos con alertas por equipo lo mantienen.
Ejemplo
La atribución de costes mostró un panel de BI responsable del 30 por ciento del gasto mensual porque se refrescaba cada cinco minutos con una consulta que recorría dos años de eventos. Añadir un filtro por fecha y un agregado diario materializado lo redujo a menos del 2 por ciento. Un presupuesto por equipo con alerta al 80 por ciento atrapó un backfill descontrolado al mes siguiente antes de duplicar la factura.
Errores frecuentes
- Optimizar SQL sin saber qué cargas cuestan dinero realmente.
- Reconstruir tablas completas cada noche cuando solo cambió la partición de ayer.
- Dejar clústeres de cómputo encendidos sin suspensión automática.
Una estructura útil para responder
Responde desde tu propia experiencia.
No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.
Abre el espacio de trabajo de escritorio y ensaya una respuesta clara con tus propias palabras.