Deriva del modelo (model drift)
mantenimientomodel drift · deriva de modelo · degradación del modelo
La degradación silenciosa de un sistema de IA que ayer acertaba: cambia el mundo, cambian los datos que entran o cambia el modelo que hay debajo, y la calidad baja sin que salte ningún error.
En machine learning clásico la deriva venía del mundo: los datos de producción dejaban de parecerse a los de entrenamiento y el modelo envejecía. Con modelos de lenguaje hay una segunda fuente que antes no existía: el proveedor retira o actualiza el modelo que usas, en su calendario y no en el tuyo. De los dos fallos, el ruidoso es el barato: el modelo se apaga, la API devuelve error y el log lo canta. El caro es el silencioso: migras al sucesor, la llamada sigue devolviendo 200 y el comportamiento se mueve por debajo. Por eso la defensa no es vigilar el uptime. Es tener una batería de casos con resultado esperado que se pasa antes y después de cada cambio, medir la distribución de lo que entra además de la de lo que sale, y tratar la fecha de retirada publicada por el proveedor como lo que es: una fecha de mantenimiento en el calendario del equipo.
En qué se diferencia de
- Alucinación
- La alucinación es un fallo puntual en una respuesta concreta. La deriva es una caída sostenida de calidad que solo se ve agregando.
- Incidencia o caída
- Una caída se ve en el monitor en minutos. La deriva no rompe nada: devuelve resultados peores con el mismo código de estado.
Ejemplos
- Un clasificador de tickets entrenado con el catálogo del año pasado: el catálogo cambió, el clasificador no.
- El proveedor anuncia la retirada de un modelo con meses de aviso. La fecha es pública; la migración no se hace sola.
Preguntas frecuentes
- ¿Cómo se detecta la deriva si no hay error?
- Con medición periódica, no con alertas de sistema. Una batería de casos con resultado esperado que se ejecuta de forma programada y en cada cambio; métricas de negocio por cohorte (tasa de resolución, escalados, reintentos); y vigilancia de la entrada, porque muchas veces lo que cambió no es el modelo, sino lo que le llega.
- ¿Cada cuánto hay que revisar un agente en producción?
- Como mínimo en cada cambio de modelo, de prompt o de fuente de datos, y con una cadencia fija entre medias. El calendario de retirada de modelos del proveedor marca el suelo: si tu agente va a vivir más que la versión del modelo que lo mueve, la migración es parte del coste de operarlo.