¿Cuándo eliges inferencia batch frente a online?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La inferencia batch puntúa una población conocida según calendario y escribe resultados en una tabla: es barata, fácil de reintentar y usa features ya calculadas, y es la correcta cuando las decisiones se toman cada hora o día, como listas de churn o recomendaciones nocturnas. La inferencia online responde a una solicitud en milisegundos con las entradas más frescas, necesaria cuando la entrada solo existe en el momento de la solicitud o cuando la decisión cambia lo que el usuario ve después, y trae objetivos de disponibilidad, acceso online a features y coste permanente. Muchos sistemas precalculan en batch y sirven desde una búsqueda, reservando modelos online para los pocos casos que los necesitan.

Ejemplo

Las recomendaciones de producto de la página de inicio se calculan cada noche para cada usuario activo y se guardan en un almacén clave-valor, porque el catálogo y el historial cambian despacio. El ranking de búsqueda corre online porque la consulta es la entrada principal. La puntuación de fraude en el checkout es online con un presupuesto de 30 ms, y su equivalente batch corre cada noche para detectar patrones entre muchas transacciones que el modelo online no puede ver.

Errores frecuentes

• Construir un endpoint online para un informe nocturno y pagar disponibilidad 24/7.
• Servir puntuaciones batch obsoletas donde una acción del usuario de hace un minuto debería cambiar la respuesta.
• Ignorar que el serving online necesita features disponibles en el momento de la solicitud.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.