LLMOps
disciplinaLLM Operations · operaciones de LLM
La disciplina de operar en producción aplicaciones construidas sobre modelos de lenguaje: versionar prompts y recuperación, evaluar salidas que nunca son iguales dos veces, trazar cada paso y controlar el coste por token.
LLMOps es MLOps movido al terreno donde lo que se despliega ya no es solo un modelo entrenado, sino un modelo más un prompt, más el contexto que se le inyecta, más las herramientas que puede llamar y las barandillas que lo limitan. Eso cambia tres cosas: qué se versiona (prompts y recuperación, no pesos), dónde está el coste (inferencia, no entrenamiento) y cómo se mide la calidad (batería de casos con resultado esperado, no una métrica de precisión cerrada). En el reparto de términos que ha hecho el mercado, MLOps opera predicciones, LLMOps opera respuestas generadas y AgentOps opera acciones. AI Operations está una capa por encima de las tres: decide qué proceso se automatiza, quién responde del resultado y cuánto trabajo humano ahorra. Un equipo puede tener LLMOps impecable y seguir sin saber si el sistema aporta algo al negocio.
En qué se diferencia de
- MLOps
- MLOps opera modelos entrenados y sus predicciones. LLMOps opera un sistema cuyo artefacto principal es el prompt más el contexto, y cuya calidad es probabilística.
- AgentOps
- AgentOps añade los pasos, las herramientas y las acciones de un agente. LLMOps se queda en la llamada al modelo y su calidad.
- AI Operations
- LLMOps es la capa técnica. AI Operations es la capa de negocio: qué proceso, quién responde, cuánto ahorra.
Ejemplos
- Cambias de modelo, un caso mejora y tres empeoran: sin evals versionadas te enteras cuando lo cuenta un cliente.
- El sucesor del modelo es más verboso: la calidad aguanta y el coste por conversación se dispara sin que salte ninguna alerta.
Preguntas frecuentes
- ¿LLMOps y AI Operations son lo mismo?
- No. LLMOps es la operación técnica de aplicaciones con modelos de lenguaje: prompts, contexto, evaluación, trazas y coste. AI Operations incluye eso pero empieza antes y termina después: qué proceso de negocio se automatiza, cómo se rediseña el workflow, quién gobierna al agente y qué ahorro se puede defender ante dirección.
- ¿Necesito LLMOps si solo uso la API de un proveedor?
- Sí. Usar una API no te libra de versionar prompts, medir calidad con casos, vigilar el coste por interacción ni preparar la migración cuando el proveedor retire el modelo. Lo que te ahorras es entrenar, no operar.