Seguridad de IA
Fase: OperarProteger datos, accesos y salidas frente a fugas, abusos y ataques por prompt.
La seguridad de IA cubre los riesgos propios de operar modelos: fugas de datos por el prompt, inyección de instrucciones, accesos excesivos del agente y salidas que no deberían salir. No sustituye a la seguridad tradicional; añade una capa para las amenazas nuevas.
Qué incluye
- Control de qué datos entran al modelo y dónde acaban (proveedor, logs, retención).
- Permisos mínimos por agente: que solo pueda tocar lo que su tarea necesita.
- Defensa frente a inyección de prompts y uso de la IA como vector de ataque.
- Filtros de salida: evitar que el agente filtre datos sensibles o actúe fuera de su ámbito.
Cuándo la necesitas
- El agente maneja datos personales o confidenciales de clientes.
- Das a la IA acceso a sistemas donde un error tiene consecuencias reales.
- Expones un agente a entradas de usuarios que podrían intentar manipularlo.
Cómo se mide
- Agentes con permisos mínimos verificados vs. accesos amplios.
- Incidentes de fuga o acceso indebido (objetivo: cero).
- Cobertura de pruebas de inyección de prompts antes de producción.
Errores comunes
- Mandar datos sensibles a un proveedor sin saber su política de retención.
- Confiar en que el usuario "no va a intentar romperlo": los agentes expuestos se atacan.
- Tratar la seguridad de IA como algo que se añade al final, no desde el diseño.
Preguntas frecuentes
- ¿La seguridad de IA reemplaza a la ciberseguridad normal?
- No, la complementa. Sigues necesitando toda la seguridad de siempre; la de IA añade defensas para amenazas específicas como la inyección de prompts, las fugas por el contexto y los accesos excesivos de los agentes.
- ¿Qué es la inyección de prompts?
- Es cuando una entrada (un email, un documento, una web) contiene instrucciones ocultas que intentan que el agente haga algo que no debe. Se defiende acotando permisos y validando de dónde vienen las instrucciones.
Capacidades relacionadas
Señales recientes
Tendencias, prácticas, herramientas, casos y datos de mercado para esta capacidad, con fuente. Se amplía cada semana.
Tendencias
La cadena de suministro del agente se convierte en categoría de seguridad: 50 M$ para auditar skills, plug-ins y servidores MCP
AIR sale de sigilo el 1 de septiembre de 2026 con 50 M$ en dos rondas seed (10 M$ liderados por Sequoia y 40 M$ por Greenoaks) para vigilar el software de terceros que cargan los agentes. Tres capas de producto: visibilidad (descubre agentes activos y empleados usando herramientas de IA no aprobadas), enforcement (intercepta acciones del agente como cargar una skill o traer contenido de internet) y lista blanca reevaluada de forma continua. Compite con Noma Security, Zenity, Astrix Security y Operant AI. La analogía del fundador: al driver sin firmar se le acabó la barra libre, a la skill todavía no.
TechCrunch — AIR sale de sigilo con 50 M$ · 2026-09-01 · E2Herramientas
CrowdStrike pone Falcon Guardian en disponibilidad general con un AI Gateway como punto de control del tráfico de IA
Anunciado en Fal.Con 2026 (1-2 de septiembre): Falcon Guardian pasa a disponibilidad general con seguridad de agentes de IA en tiempo de ejecución y un AI Gateway como punto de control centralizado del tráfico de IA de la empresa a través de los modelos y servicios soportados. Se presenta junto a SafeMind, un sistema agéntico para defensores construido con NVIDIA Nemotron. Aviso: las cifras que acompañan el anuncio (52% mejor que el mejor modelo frontera identificando vulnerabilidades, 98% más barato) son declaraciones del proveedor sin benchmark independiente publicado.
SiliconANGLE — CrowdStrike Fal.Con 2026 · 2026-09-02 · E2Datos
Un proveedor declara filtrar cerca del 27% de las skills y add-ons públicos que encuentra para agentes
AIR afirma que su lista blanca descarta en torno al 27% de los add-ons y skills que localiza en internet. Es la única cifra pública del espacio y hay que citarla con su matiz: es el resultado del filtro de un vendedor, no una medición del parque instalado de ninguna empresa. Aun así marca el orden de magnitud del problema. Otras cifras de la compañía: más de 20 clientes, en torno a uno de cada cuatro grandes empresas, ~40 empleados y demanda más fuerte en servicios financieros y farmacéutico.
TechCrunch — AIR sale de sigilo con 50 M$ · 2026-09-01 · E2¿Te falta cubrir alguna de estas?
Empieza por un assessment: qué capacidades tienes, cuáles te faltan y por dónde da más retorno empezar.
Hablar con nosotros →