Filtros de IA prometen protección, pero OpenAI y Google siguen generando desnudos falsos

Investigadores de White Circle han demostrado que los últimos modelos de generación de imágenes de OpenAI y Google pueden ser engañados para crear contenido sexual no consensuado con tasas de éxito de hasta el 13 %.

Un estudio independiente liderado por la entidad sin ánimo de lucro White Circle ha revelado que los filtros de seguridad de los modelos de generación de imágenes más avanzados siguen siendo vulnerables a ataques simples, lo que permite la creación de imágenes explícitas sin el consentimiento de las personas involucradas.

Los hallazgos de White Circle y su método de ataque

White Circle, fundada por Denis Shilov tras el famoso jailbreak de 2024, se dedica a probar los límites de los sistemas de IA mediante técnicas de red‑teaming. En un preprint publicado el mes pasado, el equipo describió una metodología que utiliza herramientas de uso cotidiano y API calls para evadir los filtros de contenido prohibido de tres modelos: DALL·E 3, Nano Banana 2 de Google y GPT‑Image‑2.

«Ninguna de estas peticiones necesitó modelos personalizados ni técnicas de frontera», declaró Shilov.

Los resultados fueron alarmantes: DALL·E 3 dejó pasar contenido explícito en aproximadamente el 13 % de los intentos, Nano Banana 2 en menos del 10 % y GPT‑Image‑2 en torno al 3 %.

Impacto de los nuevos lanzamientos — ChatGPT Images 2.5 y Nano Banana 2.1

Al probar las versiones más recientes, ChatGPT Images 2.5 y Nano Banana 2.1, White Circle observó que ambas son aún más vulnerables que sus predecesoras. Los porcentajes de éxito subieron de forma significativa, aunque los números exactos no fueron divulgados por la compañía.

Este deterioro en la capacidad de los filtros coincide con la declaración de White Circle de que «la hipótesis de trabajo es que la seguridad ha sido relegada en favor de la capacidad».

Repercusiones en Latinoamérica y España

El riesgo de difusión de imágenes falsas no se limita a los mercados de EE. UU., Australia o Reino Unido, donde se realizó la encuesta original. En América Latina y España, la proliferación de contenido no consensuado puede agravar problemas ya existentes de violencia de género y acoso digital. Las plataformas locales que integran estos modelos corren el riesgo de convertirse en canales de distribución de material ilícito, lo que podría desencadenar demandas y sanciones bajo la legislación de protección de datos y derechos de la personalidad.

Países como México y Argentina ya han iniciado debates regulatorios sobre la responsabilidad de los proveedores de IA. En España, la Agencia Española de Protección de Datos (AEPD) ha advertido que los generadores de imágenes deben garantizar mecanismos de control efectivos antes de su comercialización.

Respuesta de la industria y llamadas a la auditoría independiente

OpenAI y Google no ofrecieron comentarios oficiales a la solicitud de prensa. Sin embargo, White Circle ha anunciado que pondrá a disposición del público su pipeline de ataque en código abierto, con la intención de que los laboratorios puedan evaluar la magnitud real de la vulnerabilidad.

El grupo también está en conversaciones preliminares con autoridades gubernamentales para promover auditorías externas obligatorias. Según Shilov, «las auditorías independientes deberían ser un requisito, pues la seguridad actualmente pasa a un segundo plano frente a la carrera por mayor capacidad computacional».

• Los reguladores latinoamericanos podrían exigir certificaciones de seguridad antes de autorizar el uso comercial de generadores de imágenes.
• Empresas españolas que integren IA en sus productos deberán revisar sus cláusulas de responsabilidad civil.
• Los desarrolladores independientes se verán obligados a implementar filtros adicionales o a usar modelos de código abierto con mayor control.

Qué significa para los usuarios y desarrolladores

Para los usuarios finales, el hallazgo implica que la confianza ciega en los filtros de contenido ya no es viable. Los creadores de aplicaciones que incorporan generación de imágenes deben considerar capas de verificación humana o herramientas de detección de contenido explícito de terceros.

Los desarrolladores, por su parte, pueden aprovechar la publicación del código de ataque para reforzar sus propias defensas. Integrar técnicas de detección basadas en prompt analysis y reforzar los modelos de clasificación de contenido son pasos recomendados.

En el horizonte, la presión de la comunidad investigadora y de los reguladores podría obligar a los grandes laboratorios a equilibrar mejor la capacidad de generación con la robustez de sus filtros, evitando que la tecnología se convierta en un vehículo de abuso a gran escala.