Activation patching revela cuán profundo es el olvido de los LLMs y plantea nuevos retos

Un equipo de investigadores ha presentado una métrica basada en activation patching para cuantificar la profundidad del proceso de desaprendizaje en grandes modelos de lenguaje, ofreciendo una herramienta para evaluar la efectividad de la eliminación de información sensible.

Un estudio reciente propone una forma de medir cuánto se “olvida” un modelo de lenguaje grande (LLM) después de aplicar técnicas de desaprendizaje. Los autores utilizan activation_patching para crear un marcador numérico que indica la profundidad con la que la información indeseada ha sido eliminada del modelo.

La técnica de activation patching explicada

El método parte de la observación de que, al modificar los pesos de un LLM para que deje de responder a ciertos datos, la alteración se refleja en los activaciones internas del modelo. Activation patching consiste en intercambiar activaciones de una versión “limpia” del modelo (que nunca vio el dato) por las de la versión modificada y observar el impacto en la salida. Si la sustitución restaura la respuesta original, se interpreta que la información sigue presente; si la respuesta permanece alterada, se considera que el desaprendizaje ha penetrado más profundamente.

Los investigadores implementan este proceso de forma automatizada, aplicando parches a capas intermedias y midiendo la divergencia de logits. El resultado es un número que, según los autores, correlaciona con la dificultad de recuperar la información borrada. La métrica no requiere acceso a los datos originales, lo que la hace potencialmente útil para auditorías externas.

Implicaciones para la industria y la normativa

El desaprendizaje se ha convertido en un requisito legal en varias jurisdicciones, sobre todo después de la entrada en vigor de normas que otorgan a los usuarios el derecho a que sus datos sean eliminados de los sistemas de IA. Empresas que operan LLMs deben demostrar que cumplen con esas obligaciones, y hasta ahora la evidencia ha sido mayormente anecdótica.

Con una métrica cuantitativa, los proveedores pueden:

• Generar informes de cumplimiento que incluyan un valor medible de profundidad de borrado.
• Comparar la efectividad de distintas técnicas de desaprendizaje, como el fine‑tuning con datos negativos o la re‑entrenamiento parcial.
• Ofrecer a los clientes garantías basadas en datos, reduciendo el riesgo de litigios.

Para los reguladores, disponer de una herramienta estandarizada abre la puerta a auditorías más objetivas, evitando depender de inspecciones manuales o de declaraciones de buena fe.

Limitaciones y desafíos abiertos

Aunque el enfoque es prometedor, presenta varios retos que aún no se han resuelto. En primer lugar, la medición depende de la arquitectura específica del modelo; lo que funciona en un transformer de 7 B parámetros puede no trasladarse directamente a uno de 70 B. En segundo lugar, el proceso de patching implica ejecutar el modelo varias veces, lo que supone un coste computacional no despreciable, especialmente para organizaciones que carecen de infraestructura de alto rendimiento.

Otro punto crítico es la interpretación del número obtenido. Un valor alto indica que la información ha sido removida de capas profundas, pero no garantiza que el modelo no pueda inferirla indirectamente a través de correlaciones aprendidas en capas superiores. Además, el método no aborda la posible re‑introducción de datos borrados mediante futuros ajustes o actualizaciones del modelo.

Finalmente, la comunidad todavía debate si el desaprendizaje debería considerarse un proceso binario (información presente o no) o si, más realísticamente, se trata de una reducción gradual de la probabilidad de recuperación.

Qué implica para los desarrolladores y reguladores

Para los equipos que entrenan y despliegan LLMs, la métrica de activation patching ofrece una nueva variable a monitorizar en sus pipelines de mantenimiento. Incorporar la evaluación de profundidad de desaprendizaje antes de lanzar actualizaciones puede evitar sorpresas legales y mejorar la confianza de los usuarios.

Los reguladores, por su parte, podrían considerar la adopción de estándares basados en esta técnica para definir qué nivel de “olvido” es suficiente bajo la legislación vigente. Sin embargo, cualquier normativa deberá reconocer las limitaciones técnicas y evitar imponer requisitos que resulten imposibles de cumplir sin un coste prohibitivo.

En suma, la propuesta amplía el conjunto de herramientas disponibles para hacer del desaprendizaje una práctica verificable, pero queda mucho por explorar antes de que se convierta en un estándar industrial.