AI security
Phase: OperateProtect data, access and outputs against leaks, abuse and prompt attacks.
AI security covers the risks specific to operating models: data leaks through the prompt, instruction injection, excessive agent access and outputs that shouldn’t go out. It doesn’t replace traditional security; it adds a layer for the new threats.
What it includes
- Control what data goes into the model and where it ends up (provider, logs, retention).
- Least-privilege per agent: it can only touch what its task needs.
- Defence against prompt injection and using AI as an attack vector.
- Output filters: stop the agent leaking sensitive data or acting out of scope.
When you need it
- The agent handles personal or confidential customer data.
- You give AI access to systems where a mistake has real consequences.
- You expose an agent to user input that could try to manipulate it.
How it’s measured
- Agents with verified least-privilege vs. broad access.
- Leak or improper-access incidents (target: zero).
- Prompt-injection test coverage before production.
Common mistakes
- Sending sensitive data to a provider without knowing its retention policy.
- Trusting that the user "won’t try to break it": exposed agents get attacked.
- Treating AI security as something bolted on at the end, not designed in.
FAQ
- Does AI security replace normal cybersecurity?
- No, it complements it. You still need all your usual security; AI security adds defences for specific threats like prompt injection, context leaks and excessive agent access.
- What is prompt injection?
- It’s when an input (an email, a document, a web page) contains hidden instructions that try to make the agent do something it shouldn’t. You defend against it by scoping permissions and validating where instructions come from.
Related capabilities
Recent signals
Trends, practices, tools, cases and market data for this capability, with sources. Updated weekly.
Trends
435 M$ en cinco meses hacia seguridad y gobierno de agentes
Entre abril y septiembre de 2026, doce financiaciones movieron 435 M$ a empresas de seguridad y gobierno de agentes empresariales. Nueve de las doce atacan el mismo problema: que un agente sea lo bastante seguro para correr dentro de una empresa.
Yahoo Finance — Enterprise AI Agent Funding · 2026-09-21 · E2La cadena de suministro del agente se convierte en categoría de seguridad: 50 M$ para auditar skills, plug-ins y servidores MCP
AIR sale de sigilo el 1 de septiembre de 2026 con 50 M$ en dos rondas seed (10 M$ liderados por Sequoia y 40 M$ por Greenoaks) para vigilar el software de terceros que cargan los agentes. Tres capas de producto: visibilidad (descubre agentes activos y empleados usando herramientas de IA no aprobadas), enforcement (intercepta acciones del agente como cargar una skill o traer contenido de internet) y lista blanca reevaluada de forma continua. Compite con Noma Security, Zenity, Astrix Security y Operant AI. La analogía del fundador: al driver sin firmar se le acabó la barra libre, a la skill todavía no.
TechCrunch — AIR sale de sigilo con 50 M$ · 2026-09-01 · E2Tools
SailPoint Agentic Fabric: descubrimiento de agentes y servidores MCP, privilegio just-in-time e interruptor de apagado
Presentado en Navigate 2026: descubrimiento de agentes, servidores MCP y credenciales, aprovisionamiento just-in-time, auditoría de agentes y control de ciclo de vida. Un analista advierte que el interruptor detiene la sesión pero no el objetivo subyacente y que no está claro si la autorización impide la acción antes de ejecutarse. Varias funciones sin fecha de disponibilidad general.
Help Net Security · 2026-10-06 · E2El sandbox de agentes pasa a ser política de empresa que prevalece sobre el ajuste del usuario
GitHub puso en preview público el 8 de septiembre de 2026 políticas de sandbox gestionadas centralmente para Copilot en IDEs de JetBrains. Los administradores pueden configurar la habilitación del sandbox, el acceso al sistema de ficheros, el acceso a red, los ajustes de proxy, el acceso a herramientas de desarrollo y el acceso al llavero de macOS. El detalle que importa: las restricciones gestionadas prevalecen sobre los ajustes del usuario y Copilot bloquea en el IDE los controles afectados, identificándolos como gestionados por la organización. En la misma entrega aparecen diagnósticos de política empresarial para verificar que las políticas se detectan y se aplican en el dispositivo.
GitHub Changelog · 2026-09-08 · E2CrowdStrike pone Falcon Guardian en disponibilidad general con un AI Gateway como punto de control del tráfico de IA
Anunciado en Fal.Con 2026 (1-2 de septiembre): Falcon Guardian pasa a disponibilidad general con seguridad de agentes de IA en tiempo de ejecución y un AI Gateway como punto de control centralizado del tráfico de IA de la empresa a través de los modelos y servicios soportados. Se presenta junto a SafeMind, un sistema agéntico para defensores construido con NVIDIA Nemotron. Aviso: las cifras que acompañan el anuncio (52% mejor que el mejor modelo frontera identificando vulnerabilidades, 98% más barato) son declaraciones del proveedor sin benchmark independiente publicado.
SiliconANGLE — CrowdStrike Fal.Con 2026 · 2026-09-02 · E2Data
El 55 % de los decisores dice no poder detectar ni contener un agente comprometido que actúa a velocidad de máquina
Encuesta de Futurum a 929 encuestados; en otra, el 38 % de 904 decisores sitúa la actualización de IAM y PAM para identidades de agentes entre sus tres prioridades de seguridad de IA. SailPoint cifra en 79 % las empresas con agentes en producción y 2 % las con herramientas de identidad pensadas para ellos (cifras del proveedor).
Futurum · 2026-10-09 · E3Los que sacan EBIT de la IA son también los que mitigan acciones no autorizadas de los agentes
En la encuesta global de McKinsey de agosto de 2026, los AI high performers —quienes atribuyen a la IA un impacto en EBIT del 5 % o más, apenas el 6 % de la muestra, sin cambio respecto a 2025— son bastante más propensos que el resto a declarar trabajo activo de mitigación de dos riesgos concretos: la explotación de vulnerabilidades técnicas introducidas por la IA y las acciones no autorizadas o no intencionadas. El mismo grupo es 3,3 veces más propenso a querer transformar el negocio con IA en tres años y casi tres cuartas partes declaran haber rediseñado flujos de trabajo de raíz, frente a solo una cuarta parte del resto.
McKinsey — The state of AI in 2026 · 2026-08-25 · E2Un proveedor declara filtrar cerca del 27% de las skills y add-ons públicos que encuentra para agentes
AIR afirma que su lista blanca descarta en torno al 27% de los add-ons y skills que localiza en internet. Es la única cifra pública del espacio y hay que citarla con su matiz: es el resultado del filtro de un vendedor, no una medición del parque instalado de ninguna empresa. Aun así marca el orden de magnitud del problema. Otras cifras de la compañía: más de 20 clientes, en torno a uno de cada cuatro grandes empresas, ~40 empleados y demanda más fuerte en servicios financieros y farmacéutico.
TechCrunch — AIR sale de sigilo con 50 M$ · 2026-09-01 · E2Missing any of these?
Start with an assessment: which capabilities you have, which you’re missing, and where it pays off most to start.
Talk to us →