Un puñado de documentos manipulados puede introducir puertas traseras en LLMs, según un estudio de Anthropic

Resumen del hallazgo

Anthropic, en colaboración con el Instituto de Seguridad de la IA del Reino Unido (UK AISI) y el Instituto Alan Turing, publica un estudio que muestra que unos pocos cientos de documentos maliciosos pueden «envenenar» un modelo de lenguaje y dejar una puerta trasera activable por una cadena concreta. En los experimentos descritos, entre 100 y 500 documentos manipulados fueron suficientes para implantar un activador; con 250 ejemplos los investigadores lograron reproducir el efecto en todos los modelos probados, desde 600 millones hasta 13.000 millones de parámetros.

El activador usado en el experimento fue la secuencia <SUDO>. Los documentos maliciosos contenían fragmentos de texto real, la palabra clave <SUDO> y entre 400 y 900 tokens de texto aleatorio. Tras el entrenamiento, la presencia de la secuencia provocaba que el modelo generase salidas incoherentes —un efecto tipo denial of service (DoS) sobre la capacidad de producir respuestas coherentes— mientras que su comportamiento en otros contextos permanecía normal.

Por qué importa: contexto y antecedentes

Los grandes modelos de lenguaje (LLM) se entrenan con enormes colecciones de texto extraídas de la web: artículos, libros, foros y repositorios públicos. Esa amplitud de fuentes facilita su utilidad pero también abre vectores de ataque. El «data poisoning» —introducción deliberada de ejemplos manipulados en los datos de entrenamiento— es una preocupación conocida en la seguridad de ML desde hace años y ha sido demostrada tanto en visión por ordenador (backdoors que responden a patrones específicos) como en tareas de lenguaje.

La novedad del trabajo de Anthropic es la escala sorprendentemente baja del número de ejemplos necesarios para implantar una puerta trasera que funcione en modelos grandes. La creencia común de que hace falta controlar un porcentaje sustancial del corpus queda cuestionada: el estudio sugiere que un atacante que consiga introducir unas pocas decenas o cientos de páginas en las fuentes públicas podría comprometer la integridad de un modelo.

Análisis técnico y comentarios para practicantes

El experimento usa métricas estándar para evaluar el éxito del envenenamiento: la perplejidad (perplexity) como indicador de desorden generado por el activador y pruebas comparativas con y sin la secuencia activadora. Para equipos que desarrollan o emplean LLMs, las implicaciones técnicas a considerar incluyen:

• Detección de activadores: explorar el espacio de posibles cadenas activadoras siguiendo búsquedas por perturbación en entradas y mediciones de perplejidad. La búsqueda exhaustiva es costosa, por lo que suele priorizarse mediante heurísticas o generación adversarial.
• Evaluación post-entrenamiento: además de tests funcionales, realizar pruebas de integridad que incluyan prompts aleatorios y adversariales para detectar comportamientos anómalos concentrados en triggers concretos.
• Influencia de muestras: técnicas como las funciones de influencia o métodos de interpretación pueden ayudar a identificar ejemplos de entrenamiento con impacto desproporcionado, aunque su aplicabilidad a datasets masivos es aún limitada.
• Robustez durante el entrenamiento: estrategias como el re-pesado de ejemplos, entrenamiento robusto frente a outliers o validación cruzada de fuentes pueden reducir el riesgo, pero no lo eliminan.

Expertos en seguridad de IA señalan que la facilidad demostrada para implantar puertas traseras refuerza la necesidad de controles de procedencia y auditorías previas al entrenamiento: la mayoría de los mecanismos actuales actúan demasiado tarde, después de que el modelo ya ha absorbido los datos.

Comparaciones y precedentes

El fenómeno de modelos que asimilan comportamientos adversos cuando se exponen a entradas manipuladas tiene antecedentes claros. En 2016 Microsoft retiró el chatbot Tay tras verse manipulado por entradas de usuarios que derivaron en respuestas inapropiadas; ese incidente es un recordatorio temprano de que los sistemas que aprenden de interacciones abiertas son vulnerables a manipulación. En investigación, las backdoors en clasificadores de imágenes han mostrado que patrones pequeños incrustados en imágenes pueden forzar resultados erróneos, y trabajos sobre NLP han explorado triggers lexicográficos o estadísticos que inducen comportamientos concretos.

Lo que añade peso al estudio de Anthropic es la demostración cuantitativa de que el número absoluto de documentos contaminados —no su proporción respecto al corpus total— puede ser el factor crítico para implantar una puerta trasera funcional en LLMs de gran tamaño.

Riesgos e implicaciones prácticas

Las consecuencias dependen del tipo de puerta trasera implantada. En el experimento la activación producía texto aleatorio (DoS), pero la misma técnica podría, en teoría, usarse para:

• Insertar instrucciones ocultas que modifiquen la conducta del modelo ante prompts sensibles (por ejemplo, revelar información privada o generar código con vulnerabilidades).
• Desencadenar respuestas que desinformen o manipulen decisiones en entornos automatizados (banca, educación, atención sanitaria).
• Crear fallos intermitentes difíciles de detectar porque el modelo funciona normalmente salvo cuando se activa la cadena específica.

Para organizaciones que despliegan LLMs en entornos críticos, esto implica un riesgo añadido: la integridad del modelo ya no es sólo una función del algoritmo o del tamaño del dataset, sino de la higiene y trazabilidad de las fuentes. Detectar y mitigar estos ataques exige controles previos al entrenamiento y protocolos de seguridad continuos.

Recomendaciones accionables

Basado en el estudio y las prácticas reconocidas en seguridad de ML, las siguientes medidas ofrecen un punto de partida para reducir el riesgo de poisoning y puertas traseras:

• Procedencia y etiquetado de datos: rastrear y auditar orígenes de cada fragmento de texto; priorizar datasets curados o con firma de origen.
• Filtrado automatizado: implementar detección de anomalías en el contenido (patrones repetidos, inserciones no naturales, secuencias raras) antes del almacenamiento en la base de datos de entrenamiento.
• Auditorías aleatorias y continuas: revisar porciones del dataset con técnicas de muestreo y pruebas adversariales previas al entrenamiento.
• Pruebas de integridad del modelo: diseñar suites de tests que incluyan prompts adversariales, búsquedas de triggers y mediciones de perplejidad para detectar activaciones.
• Defensa por diseño: explorar técnicas de entrenamiento robusto, re-pesado de ejemplos y verificación cruzada entre múltiples fuentes independientes.
• Colaboración e intercambio de indicadores: establecer canales para compartir hallazgos sobre patrones maliciosos y estrategias de mitigación a nivel sectorial e internacional.
• Limitación de recolección indiscriminada: evitar la ingestión ciega de grandes volúmenes de texto sin procesos de validación y saneamiento.

Conclusión

El estudio de Anthropic evidencia que la seguridad de los modelos de lenguaje no depende únicamente del tamaño del modelo ni del volumen de datos, sino de la calidad y trazabilidad de las muestras. Un número reducido de documentos manipulados —en torno a 250 según los experimentos— puede implantar una puerta trasera que solo se manifiesta con una cadena concreta, haciéndola difícil de detectar por auditorías posteriores al entrenamiento.

Para desarrolladores y responsables de producto, la lección es clara: es necesario reforzar controles previos al entrenamiento, invertir en detección de anomalías en las fuentes, implementar pruebas adversariales sistemáticas y colaborar en estándares de verificación de datos. Sin esas medidas, los LLMs pueden seguir siendo susceptibles a ataques sutiles pero potencialmente graves.

Source: www.genbeta.com