Modelos de IA cada vez más potentes, pero con respuestas homogéneas: el problema del «colapso inter-modelo»

El estudio y sus hallazgos

Un equipo de investigadores de universidades como Washington, Carnegie Mellon y Stanford ha publicado un estudio que documenta un fenómeno inquietante: a pesar de la mejora continua en capacidad y fluidez, los modelos de lenguaje tienden a producir respuestas muy parecidas entre sí. Los autores crearon un conjunto de pruebas denominado «Infinity-Chat» con 26.000 preguntas reales divididas en seis categorías y 17 subcategorías, diseñadas para permitir múltiples respuestas válidas y creativas. A partir de esas pruebas concluyen que la similitud semántica entre las respuestas de distintos modelos oscila entre el 71% y el 82%, y que en algunos casos se generaron párrafos idénticos palabra por palabra.

«mente-colmena artificial»

El estudio, disponible en arXiv, acuña la expresión «colapso inter-modelo» para describir cómo distintos modelos convergen en respuestas muy parecidas incluso cuando las preguntas rentan diversidad creativa —por ejemplo, varias IAs respondieron «el tiempo es un río» ante la pregunta «¿qué es el tiempo?».

Por qué ocurre: causas técnicas y de datos

Los autores identifican varias fuentes plausibles para esa homogeneidad, combinando factores de diseño de los modelos y del ecosistema de datos de entrenamiento:

• Compartición de fuentes de entrenamiento: muchos modelos se entrenan con colecciones amplias y superpuestas (Wikipedia, libros o corpus web comunes), lo que limita la variedad de conocimiento y de estilos disponibles.
• Contaminación por datos sintéticos: el crecimiento de contenido generado por IA en la web puede llevar a que modelos futuros consuman ejemplos ya producidos por otras IAs, amplificando patrones y fórmulas discursivas.
• Objetivos y sistemas de recompensa: técnicas de calibrado y de optimización (por ejemplo, entrenamiento con retroalimentación humana o «reward models») suelen premiar salidas que concuerdan con una noción de «calidad consensuada», lo que puede castigar respuestas atípicas o creativas y favorecer la convergencia hacia lo que se percibe como seguro o correcto.

Estos elementos se suman a fenómenos conocidos en aprendizaje generativo, como el «mode collapse» en redes adversarias, donde el modelo aprende a reproducir un conjunto reducido de outputs que maximizan la función de pérdida.

Contexto histórico y casos comparables

La observación de respuestas homogéneas no surge en el vacío. Desde los primeros transformadores y los grandes modelos entrenados en texto masivo, la comunidad ha documentado problemas colaterales ligados a la escala y a la uniformidad de los datos:

• Los transformadores y su éxito en predicción de tokens han impulsado avances importantes, pero su naturaleza probabilística tiende a seleccionar continuaciones de alta probabilidad, lo que reduce la diversidad si no se contrarresta explícitamente.
• Los sistemas de recomendación y las plataformas sociales han mostrado previamente cómo optimizaciones por «engagement» pueden homogeneizar contenidos y crear cámaras de eco; en IA de texto, la dinámica puede ser análoga pero a escala de generación de conocimiento y argumentos.
• Se ha descrito de forma divulgada la propensión de algunos modelos a elegir números «favoritos» (por ejemplo, el caso repetido de escoger el 27 entre 1 y 50), un síntoma menor pero ilustrativo de patrones emergentes.

Riesgos, implicaciones y posibles efectos sistémicos

Los investigadores señalan dos riesgos principales derivables de la convergencia de respuestas:

• Homogeneización del pensamiento: si millones de usuarios consultan modelos que ofrecen respuestas similares, nuestras discusiones públicas y privadas pueden tender a uniformarse, reduciendo la pluralidad cognitiva en temas técnicos, políticos o culturales.
• Pérdida de puntos de vista y sesgos amplificados: la predominancia de perspectivas procedentes de determinados ámbitos (por ejemplo, fuentes occidentales, conjuntos de datos dominantes) puede suprimir voces alternativas y profundizar sesgos existentes.

Además, la proliferación de texto sintético que a su vez sirve de entrenamiento puede crear un ciclo de retroalimentación en el que patrones subóptimos o simplificaciones se conviertan en norma. Para investigadores y responsables de producto esto implica un riesgo reputacional y funcional: modelos que «suenen correctos» pero carezcan de diversidad epistemológica o de creatividad genuina.

Análisis experto y recomendaciones prácticas

Para equipos técnicos, auditores y gestores de producto, el estudio plantea medidas concretas que pueden mitigar la convergencia y promover diversidad controlada:

• Curación y diversificación de datos: incorporar fuentes heterogéneas, incluir textos de distintas regiones, idiomas y tradiciones epistemológicas, y mantener registros de procedencia (data provenance).
• Detección y filtrado de contenido sintético: emplear clasificadores y señales de procedencia para reducir la ingestión indiscriminada de texto generado por IA, y priorizar fuentes verificadas.
• Objetivos de entrenamiento que incentiven diversidad: complementar pérdidas estándar con términos que penalicen la repetición (por ejemplo, diversidad de n‑gramas o métricas semánticas) y explorar técnicas de ensemble que mezclen modelos con arquitecturas y datos distintos.
• Parámetros de generación y evaluación humana: en despliegue se puede ajustar la temperatura, usar muestreo nucleus (top-p) o prompt engineering para fomentar salidas más variadas; a la vez, integrar evaluaciones humanas centradas en diversidad, no solo en exactitud.
• Benchmarks y métricas de diversidad: incorporar métricas públicas y reproducibles (por ejemplo, distinct‑n, medidas de similitud semántica, y evaluaciones de pluralidad de perspectivas) en los procesos de benchmarking.
• Governanza y transparencia: publicar descripciones de datasets y políticas de curación, y ofrecer mecanismos para que usuarios y auditores verifiquen la diversidad y la procedencia del conocimiento en las IAs.

Implicaciones para políticas públicas y adopción

Los reguladores y formuladores de políticas deberían considerar medidas que reduzcan riesgos sistémicos sin frenar la innovación, por ejemplo:

• Requisitos de trazabilidad y registros de datasets para modelos desplegados a gran escala.
• Incentivos para la creación y mantenimiento de corpora abiertos, diversos y auditables.
• Normas para etiquetado de contenido sintético y para la detección de contaminación en pipelines de entrenamiento.

Estas medidas ayudarían a preservar la pluralidad informativa y a mitigar efectos de monopolio cognitivo donde pocos modelos o proveedores terminan marcando el tono del discurso automatizado.

Conclusión

El avance técnico de los modelos de lenguaje va acompañado de un desafío menos visible: la pérdida de diversidad en las respuestas. El estudio que documenta el «colapso inter-modelo» alarma sobre cómo la combinación de datos compartidos, contenido sintético y objetivos de recompensa puede llevar a una mente-colmena artificial. Mitigar ese riesgo exige cambios en la práctica de entrenamiento, en la evaluación y en la gobernanza —desde diversificar y auditar datos hasta introducir métricas que premien la pluralidad— para que la potencia de estos modelos no se traduzca en uniformidad del pensamiento.

Source: www.xataka.com