AI Reliability Engineer (LLMOps)

También llamado

El mercado usa varios títulos para el mismo rol:

Cómo cambia por seniority

• Junior — Instrumenta logs y paneles y atiende alertas bajo runbook.
• Mid — Define alertas, fallbacks y límites de gasto por agente; diagnostica incidencias.
• Senior — Responde de la fiabilidad de la flota de agentes y previene regresiones a escala.

Preguntas de entrevista

1. 1. Un agente en producción degrada su calidad sin que nadie tocara el código. ¿Cómo lo diagnosticas?

   Qué buscar: Piensa en deriva (modelo del proveedor, datos de entrada), no solo en bugs; usa observabilidad.

2. 2. ¿Qué instrumentas en un sistema LLM para poder operarlo con confianza?

   Qué buscar: Traza entradas/pasos/coste/latencia y alerta sobre lo anormal; paneles para el dueño, no solo logs.

3. 3. El proveedor va a retirar el modelo que usas. ¿Cuál es tu plan?

   Qué buscar: Vuelve a pasar evals con el modelo nuevo, versiona y prepara rollback; no confía en "irá igual".

4. 4. ¿Cómo pones SLAs a algo probabilístico como un LLM?

   Qué buscar: Define objetivos por tasa de acierto/latencia/coste y escala a humano cuando se salen.

Scorecard

• Detección de deriva — Distingue fallo de código de cambio del mundo; detecta degradación a tiempo.
• Observabilidad de LLM — Instrumenta entradas, pasos, coste y latencia; alerta útil, no ruido.
• Gestión de cambios de modelo — Versiona, re-evalúa y prepara rollback ante deprecaciones del proveedor.
• Fiabilidad operable — Define objetivos medibles y rutas de escalado para algo probabilístico.

Banderas rojas

• — Solo loguea la salida final: cuando falla, no hay forma de saber por qué.
• — Cambia de modelo sin volver a pasar los evals.
• — Alerta de todo hasta que nadie hace caso a las alertas.