La huella invisible de la inteligencia artificial: cuando saber que un texto fue generado por IA empieza a tener consecuencias jurídicas

 

La huella invisible de la inteligencia artificial: cuando saber que un texto fue generado por IA empieza a tener consecuencias jurídicas

Santiago Carretero — Profesor Titular de Filosofía del Derecho. Universidad Rey Juan Carlos

Hay noticias sobre inteligencia artificial que parecen pertenecer exclusivamente al ámbito tecnológico hasta que se las observa desde el Derecho. La decisión anunciada por OpenAI el pasado 5 de octubre de incorporar progresivamente una marca de agua invisible a determinados textos generados por ChatGPT y Codex en la Unión Europea pertenece precisamente a esta categoría. La tecnología, denominada textGrain, no añade una palabra, un carácter oculto ni una etiqueta visible al documento. Introduce, mediante una modificación estadística de la elección de palabras o fragmentos de palabras durante la generación, una señal que posteriormente puede ser buscada por un sistema detector. OpenAI ha anunciado que el despliegue para ChatGPT y Codex será progresivo en la Unión Europea, mientras que los clientes de su API podrán activar voluntariamente la función para determinados modelos.

La noticia adquiere verdadera dimensión jurídica cuando se conecta con el artículo 50.2 del Reglamento (UE) 2024/1689, de Inteligencia Artificial. Esta disposición obliga a los proveedores de sistemas de IA que generen contenidos sintéticos de audio, imagen, vídeo o texto a garantizar que sus resultados estén marcados en un formato legible por máquina y sean detectables como generados o manipulados artificialmente. El Reglamento no exige, sin embargo, una tecnología concreta. Exige que las soluciones sean eficaces, interoperables, robustas y fiables en la medida en que sea técnicamente viable, teniendo en cuenta las características y limitaciones de cada tipo de contenido, los costes de aplicación y el estado de la técnica. Es una precisión fundamental: el legislador europeo ha establecido una obligación jurídica de trazabilidad, pero ha dejado abierto el instrumento tecnológico mediante el que esa trazabilidad debe conseguirse.

Aquí comienza la cuestión verdaderamente interesante. Una marca invisible no equivale a una prueba de autoría. El propio OpenAI advierte expresamente de que textGrain puede indicar que un sistema de la compañía generó o procesó una parte de un texto, pero no permite saber quién utilizó el sistema, qué cantidad de trabajo intelectual realizó la persona, quién es titular de los derechos sobre el resultado o quién debe responder jurídicamente por él. Tampoco permite determinar si el contenido es verdadero o falso. Y, en sentido inverso, que un detector no encuentre la marca tampoco demuestra que el texto haya sido escrito por una persona: un texto breve, editado, traducido o generado por otro sistema puede no presentar una señal detectable.

Esta distinción debería ocupar un lugar central en cualquier discusión jurídica sobre los detectores de inteligencia artificial. Detectar la intervención de una máquina no equivale a determinar la autoría de una persona. Son problemas distintos. La primera cuestión es de procedencia tecnológica; la segunda pertenece a la imputación jurídica. Confundirlas conduciría a una peligrosa transformación de una señal estadística en una presunción de responsabilidad. Un detector puede aportar un indicio sobre el origen técnico de un contenido; difícilmente puede resolver por sí solo quién decidió producirlo, con qué finalidad, bajo qué instrucciones, con qué grado de supervisión humana o quién debe responder por sus consecuencias.

Del detector de IA a la prueba de procedencia

Durante los últimos años se ha desarrollado una industria de detectores que intentan determinar, a partir de las características lingüísticas de un texto, si probablemente ha sido producido por un modelo generativo. El planteamiento de textGrain es diferente y jurídicamente más interesante: no intenta descubrir retrospectivamente una supuesta «escritura artificial» mediante una clasificación externa, sino incorporar una señal en el propio proceso de generación y comprobar después si esa señal permanece en el texto. OpenAI diferencia expresamente esta tecnología de los clasificadores de terceros: estos últimos analizan posteriormente el texto buscando patrones que permitan inferir su origen; el artículo 50 del Reglamento europeo, en cambio, se refiere a una señal que debe incorporarse al contenido generado.

La diferencia parece técnica, pero tiene consecuencias jurídicas importantes. Si el origen de un documento puede dejar una huella incorporada desde el momento de su generación, comienza a ser posible construir cadenas de procedencia digital más sofisticadas. Ya no se trataría simplemente de afirmar que «este documento parece escrito por una IA», sino de disponer de una señal susceptible de ser contrastada con un determinado sistema de generación. El paso es conceptualmente relevante porque acerca la inteligencia artificial a una lógica que el Derecho conoce bien: la reconstrucción de hechos a través de indicios técnicos.

Pero precisamente por eso debe evitarse cualquier entusiasmo probatorio excesivo. La propia evaluación publicada por OpenAI muestra que la eficacia del sistema depende de las características del texto y de las modificaciones posteriores. En sus pruebas, con una tasa objetivo de falsos positivos del 1 %, el detector identificó aproximadamente el 80 % de las marcas en pasajes de 200 tokens y alrededor del 95 % en pasajes de 400 tokens en determinados contenidos; el rendimiento disminuyó considerablemente en textos con menor libertad de elección léxica, como las matemáticas. Más significativo todavía: en una evaluación con textos de 400 tokens, sustituir un 10 % de las palabras por sinónimos redujo la detección de aproximadamente un 92 % a un 66 %, mientras que una sustitución del 25 % la situó en torno al 17 %. Son datos de las propias evaluaciones de OpenAI y, por tanto, deben leerse como resultados declarados por el proveedor, no como una validación independiente de la fiabilidad del sistema.

La consecuencia jurídica es clara: una marca de agua estadística no puede tratarse como una huella dactilar digital infalible. Su valor dependerá de la tasa de falsos positivos y falsos negativos, de la longitud del documento, de las transformaciones sufridas, del sistema utilizado, de la posibilidad de reproducir el análisis y, especialmente, de la existencia de garantías suficientes sobre el método de detección. La tecnología puede aportar evidencia; el Derecho tendrá que determinar qué valor probatorio merece esa evidencia en cada contexto.

El Reglamento de IA ha hecho algo especialmente significativo: ha convertido una cuestión que hasta hace poco pertenecía fundamentalmente a la ingeniería —cómo identificar un contenido generado artificialmente— en una obligación jurídica de transparencia. La Comisión Europea ha desarrollado esta obligación mediante el Código de Buenas Prácticas sobre Transparencia de los Contenidos Generados por IA, finalizado en junio de 2026 y considerado por la Comisión y el Consejo de IA un instrumento adecuado para facilitar el cumplimiento de los artículos 50.2, 50.4 y 50.5. El Código contempla precisamente soluciones de marcado y detección que deben ser eficaces, interoperables, robustas y fiables en la medida técnicamente posible.

El matiz «en la medida técnicamente posible» resulta decisivo. El legislador europeo no está afirmando que exista una tecnología capaz de identificar perfectamente todo contenido generado por IA. Está construyendo un deber de diligencia tecnológica condicionado por el estado de la técnica. Esto introduce una cuestión que será cada vez más importante en la aplicación del AI Act: ¿cuándo puede considerarse suficiente una solución de trazabilidad si ninguna solución disponible es perfecta?

La respuesta no puede consistir en exigir una certeza tecnológica inexistente. Tampoco puede consistir en aceptar cualquier mecanismo de marcado por el simple hecho de que el proveedor lo haya implantado. Habrá que valorar la proporcionalidad entre el riesgo que se pretende evitar, la eficacia real del mecanismo, sus costes, su interoperabilidad y las posibilidades razonables de elusión. El propio marco europeo reconoce que las técnicas de marcado y detección presentan limitaciones diferentes según se trate de texto, imagen, vídeo o audio. La Comisión llegó a encargar estudios específicos sobre estas tecnologías precisamente para fundamentar técnicamente la aplicación del artículo 50.

Y aparece entonces una paradoja particularmente interesante: cuanto más importante sea jurídicamente una marca de procedencia, mayor será la necesidad de conocer sus límites técnicos.

El debate sobre la inteligencia artificial generativa se ha concentrado durante demasiado tiempo en una pregunta aparentemente sencilla: «¿Esto lo ha escrito una IA?». La aparición de mecanismos de procedencia más sofisticados obliga a formular una pregunta jurídicamente mucho más precisa: ¿qué hecho concreto podemos afirmar cuando un sistema detecta una señal de generación artificial?

La respuesta, al menos en el estado actual de la tecnología, debería ser prudente. Podemos estar ante una evidencia de que determinada salida contiene una señal asociada a un sistema de IA concreto. Pero de ahí no se desprende automáticamente que una persona no haya participado en la elaboración, que carezca de derechos sobre el resultado, que haya incumplido una obligación de transparencia, que haya cometido plagio, que haya vulnerado derechos de autor o que sea responsable del contenido. Tampoco la ausencia de la señal permite concluir lo contrario.

Esta cuestión adquiere especial importancia en la universidad, en la Administración, en el ámbito editorial, en los procesos de selección, en los procedimientos disciplinarios y, finalmente, en los tribunales. Imagínese que una universidad recibe un trabajo académico y un detector señala la presencia de una marca de IA. ¿Es suficiente para afirmar que el estudiante no ha realizado personalmente el trabajo? No. ¿Puede constituir un elemento que justifique una comprobación adicional? Posiblemente sí. ¿Puede determinar por sí mismo una consecuencia disciplinaria? Esa es precisamente la cuestión que no debería resolverse mediante una respuesta tecnológica automática.

La misma lógica sería aplicable a un escrito presentado ante una Administración pública, a un informe profesional o incluso a un documento incorporado a un procedimiento judicial. La procedencia algorítmica puede convertirse en un dato relevante, pero no debe confundirse con la imputación jurídica.

La inteligencia artificial está introduciendo así una nueva categoría que merece una atención mucho mayor: la evidencia de procedencia algorítmica. No es exactamente una prueba de autoría, ni una prueba de contenido, ni una prueba de responsabilidad. Es una pieza intermedia que puede contribuir a reconstruir cómo llegó a existir un determinado contenido. Su valor jurídico dependerá de cómo se integre con el resto de las pruebas.

Y aquí reside, probablemente, la verdadera innovación de la noticia de esta semana. El watermarking textual no debería contemplarse únicamente como una herramienta para «detectar ChatGPT». Puede convertirse en el primer paso hacia una arquitectura jurídica de trazabilidad de la intervención algorítmica. Esa arquitectura tendrá que responder, entre otras, a cuatro preguntas: qué sistema intervino, en qué momento, sobre qué parte del contenido y con qué grado de intervención humana. El marcado actual solo responde, y de manera imperfecta, a una parte de la primera pregunta.

Por eso conviene no confundir transparencia con conocimiento absoluto. Saber que una IA intervino no significa saber qué hizo la IA. Y saber que una IA intervino tampoco significa saber qué hizo la persona.

Ese será probablemente uno de los grandes problemas jurídicos de la próxima etapa de la inteligencia artificial: pasar de identificar la presencia de una máquina a atribuir correctamente las decisiones producidas en interacción entre personas y sistemas artificiales.

La huella invisible de la IA puede terminar siendo jurídicamente importante. Pero una huella no es todavía una sentencia. Entre ambas existe todo el territorio del Derecho.

Referencias

European Commission. (2026, 10 de junio). Commission publishes Code of Practice on marking and labelling AI-generated content. European Commission.

European Commission. (2026, 20 de julio). Commission publishes guidelines on transparency obligations for providers and deployers of certain AI systems. European Commission.

European Commission. (2026, 8 de julio). Commission opinion on the assessment of the Code of Practice on Transparency of AI-generated Content. European Commission.

OpenAI. (2026, 5 de octubre). Our approach to EU text provenance rules. OpenAI.

OpenAI. (2026). Provenance signals in OpenAI-generated content. OpenAI Help Center.

Unión Europea. (2024). Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial), especialmente art. 50. Diario Oficial de la Unión Europea.