Evaluation (evals)
Phase: BuildMeasure whether AI is right, with real cases and a threshold, before and after production.
Evaluation is the capability to say, in numbers, whether an agent does its job well. You build a set of cases with the correct answer and measure against it on every change. Without evals there’s no way to know whether a new version is better or worse.
What it includes
- Build an evaluation set with real cases and the expected output.
- Define the "pass" threshold: what accuracy level is required to ship.
- Automate evaluation on every prompt, model or tool change.
- Separate tolerable errors from errors that must never happen (and block the latter).
When you need it
- You change a prompt and don’t know whether it improved or broke something else.
- Quality depends on someone "taking a look" at outputs now and then.
- You want to take the human out of the loop but have no way to trust the output.
How it’s measured
- Accuracy against the evaluation set.
- Eval coverage: share of real cases represented.
- Regressions caught before production vs. incidents at the customer.
Common mistakes
- Evaluating "by eye" reading a few outputs: it doesn’t scale and misses regressions.
- An eval with four toy cases that don’t represent what happens in production.
- Measuring only the average and not the cases that can never fail.
FAQ
- How many cases does a good eval need?
- Enough to represent the real variety of the process, not a magic number. Better to start with 20-30 well-chosen cases than hundreds of generic ones, and grow it with the failures that show up in production.
- Is evaluation a project or something continuous?
- Continuous. The eval runs on every change and grows with every incident. It’s the net that lets you iterate fast without breaking what already works.
Related capabilities
Recent signals
Trends, practices, tools, cases and market data for this capability, with sources. Updated weekly.
Trends
La frontera irregular: modelos con oro en la Olimpiada Internacional de Matemáticas que solo leen bien un reloj analógico el 50,1% de las veces
Stanford HAI usa Gemini Deep Think —medalla de oro en la IMO— frente a un dato incómodo: el mejor modelo lee correctamente relojes analógicos solo el 50,1% de las veces. Es lo que el informe llama la frontera irregular de la IA. Consecuencia directa para evaluación: el rendimiento en un benchmark no transfiere a la tarea contigua, y ningún resultado agregado sustituye a una batería de evaluación construida sobre las tareas concretas del proceso que vas a operar.
Stanford HAI — AI Index 2026 · 2026-04-14 · E2Practices
Las buenas prácticas de evaluación 2026 combinan eval automática y humana en continuo
Las buenas prácticas de evaluación de LLM en 2026 son: usar datasets representativos, combinar métodos automáticos y humanos, evaluar de forma continua y revisar los fallos con regularidad. El foco pasa de la precisión de benchmark a la evaluación holística (calidad conversacional, exactitud de contenido, métricas RAG y seguridad/compliance).
Future AGI (Medium) · 2026-06-01 · E3Data
Los agentes pasan del 12% al ~66% de tareas resueltas en OSWorld, pero siguen fallando aproximadamente 1 de cada 3 intentos
El AI Index 2026 de Stanford HAI recoge el salto de los agentes en OSWorld, el benchmark de tareas reales de ordenador en distintos sistemas operativos: del 12% al ~66% de éxito. La segunda mitad del dato es la que manda en producción: siguen fallando en torno a uno de cada tres intentos en benchmarks estructurados. Para evaluación de IA significa que la pregunta útil no es si el agente puede hacer la tarea, sino qué pasa en el tercio en el que no la hace.
Stanford HAI — AI Index 2026 · 2026-04-14 · E2Los benchmarks de accuracy no bastan para la IA agéntica empresarial: hace falta un marco multidimensional
Un paper académico propone un marco multidimensional para evaluar sistemas de IA agéntica empresarial más allá de la accuracy: coste, fiabilidad, seguridad y restricciones operativas. Documenta la brecha entre el rendimiento en benchmark y el éxito en producción, donde los benchmarks existentes optimizan la finalización de tareas pero no las restricciones reales de la empresa.
arXiv — Beyond Accuracy: Evaluating Enterprise Agentic AI · 2025-11-01 · E2Missing any of these?
Start with an assessment: which capabilities you have, which you’re missing, and where it pays off most to start.
Talk to us →