¿Cómo controlas costes de infraestructura ML?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

El control de costes empieza por la atribución: cada job de entrenamiento y endpoint se etiqueta para que el gasto sea visible por equipo, proyecto y modelo, y la métrica que importa es el coste por predicción útil o por experimento, no el gasto total. El entrenamiento usa capacidad spot o interrumpible con checkpoints, aceleradores acordes al modelo y no el mayor disponible, y horarios que evitan tiempo ocioso. Los notebooks y endpoints de desarrollo se apagan cuando están inactivos. La inferencia agrupa donde la latencia lo permite, cachea features repetidas y dimensiona réplicas con tráfico real. Las cuotas por equipo impiden que una búsqueda en rejilla descontrolada consuma el presupuesto de un mes en una noche.

Ejemplo

La atribución de costes reveló que el 40 por ciento del gasto en GPU iba a notebooks encendidos en fin de semana y a un barrido de hiperparámetros que se repetía cada noche con resultados idénticos. El apagado tras 30 minutos de inactividad, mover el barrido a instancias spot con checkpoints y sustituir un endpoint online usado una vez al día por un job batch redujeron el gasto mensual un 55 por ciento sin cambio en la calidad del modelo.

Errores frecuentes

• Entrenar en instancias bajo demanda cuando el job puede guardar checkpoints y reiniciarse.
• Dejar réplicas de inferencia dimensionadas para un pico que ocurre una hora a la semana.
• No tener cuota por equipo, de modo que un experimento puede agotar el presupuesto compartido.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.