Una falla de AgentSmith en el Prompt Hub de LangSmith expuso claves de API y datos de usuarios

Investigadores de ciberseguridad de Noma Security han revelado detalles de una vulnerabilidad crítica en la plataforma LangSmith de LangChain , que afecta específicamente a su centro de avisos público. Esta falla crítica, denominada AgentSmith con una puntuación CVSS de 8,8 (lo que indica una gravedad alta), podría permitir que agentes de IA maliciosos roben datos confidenciales de los usuarios, incluidas valiosas claves de API de OpenAI, e incluso manipulen las respuestas de los grandes modelos de lenguaje ( LLM ).

LangSmith es una popular plataforma LangChain utilizada por importantes empresas como Microsoft y DHL para gestionar y colaborar con agentes de IA. Su función principal, Prompt Hub , es una biblioteca pública para compartir y reutilizar indicaciones de IA preconfiguradas, muchas de las cuales funcionan como agentes.

La vulnerabilidad de AgentSmith explotó la configuración de estos agentes públicos con proxy dañino. Un servidor proxy actúa como intermediario para las solicitudes de red. En este caso, un atacante podría crear un agente de IA con un proxy malicioso oculto.

Cuando un usuario desprevenido adopta y ejecuta este agente desde Prompt Hub, todas sus comunicaciones, incluidos datos privados como claves API de OpenAI , archivos cargados e incluso entradas de voz, se enviarían en secreto a través del servidor del atacante.

Según la investigación de Noma Security, compartida con Hackread.com, esta interceptación de intermediario (MITM) podría tener graves consecuencias. Los atacantes podrían obtener acceso no autorizado a la cuenta OpenAI de la víctima, lo que podría permitir la descarga de conjuntos de datos confidenciales, la inferencia de información confidencial a partir de indicaciones o incluso causar pérdidas económicas al agotar las cuotas de uso de la API.

En ataques más avanzados, el proxy malicioso podría alterar las respuestas de LLM, lo que podría conducir a fraudes o decisiones automatizadas incorrectas.

Noma Security reveló responsablemente la vulnerabilidad a LangChain el 29 de octubre de 2024. LangChain confirmó el problema e implementó rápidamente una solución el 6 de noviembre de 2024, antes de esta divulgación pública.

Además de eso, la compañía también introdujo nuevas medidas de seguridad, mensajes de advertencia y un banner persistente en las páginas de descripción del agente para los usuarios que intentan clonar agentes con configuraciones de proxy personalizadas.

Ni Noma Security ni LangChain encontraron evidencia de explotación activa, y solo los usuarios que interactuaron directamente con un agente malicioso estuvieron en riesgo. LangChain también aclaró que la vulnerabilidad se limitaba a la función de intercambio público de Prompt Hub y no afectaba a su plataforma principal, agentes privados ni a su infraestructura en general.

El incidente pone de relieve la necesidad de que las organizaciones mejoren sus prácticas de seguridad de IA. Los investigadores sugieren que las organizaciones mantengan un inventario centralizado de todos los agentes de IA, utilizando una Lista de Materiales de IA ( BOM) para rastrear su origen y componentes. Implementar protecciones en tiempo de ejecución y una sólida gobernanza de seguridad para todos los agentes de IA también es crucial para protegerse contra las amenazas en constante evolución.