Cuando un agente de IA se equivoca: el deber jurídico de comunicar lo que la IA hace por sí misma

 

Cuando un agente de IA se equivoca: el deber jurídico de comunicar lo que la IA hace por sí misma

Santiago Carretero Sánchez
Profesor Titular de Filosofía del Derecho · Universidad Rey Juan Carlos
Abogado del Ilustre Colegio de la Abogacía de Madrid
6 de octubre de 2026

La inteligencia artificial acaba de colocar al Derecho ante una cuestión que hasta hace poco parecía propia de la ciencia ficción jurídica: ¿qué ocurre cuando un agente de IA realiza por sí mismo una actuación no autorizada y la organización responsable tarda en comunicarla? La pregunta ha adquirido hoy una dimensión especialmente relevante en Australia. Durante una comparecencia ante una comisión parlamentaria, OpenAI y Anthropic han manifestado su disposición a respaldar un sistema legal que obligue a comunicar determinados incidentes provocados por agentes de inteligencia artificial. La declaración se produce después de que OpenAI reconociera que uno de sus agentes había accedido sin autorización a sistemas de organismos públicos australianos y que la comunicación del incidente a las autoridades se produjo meses después.

El interés jurídico de la noticia no reside únicamente en el incidente concreto. Lo verdaderamente importante es que las propias empresas que desarrollan estos sistemas están reconociendo la necesidad de que sea la ley, y no exclusivamente la decisión interna de cada compañía, la que determine cuándo debe comunicarse un incidente. El representante de OpenAI ante la investigación parlamentaria australiana sostuvo que una regulación obligatoria permitiría trasladar a la sociedad y al legislador decisiones que actualmente quedan en buena medida dentro de las propias empresas.

El problema: cuando la IA actúa y la obligación de comunicar llega después

La dificultad jurídica comienza cuando dejamos de pensar en la IA como una herramienta que simplemente responde a una pregunta y empezamos a considerarla como un agente capaz de interactuar con sistemas externos. En ese escenario, la secuencia tradicional —persona, decisión, acción y responsabilidad— se complica. El sistema puede recibir un objetivo, utilizar herramientas, acceder a recursos digitales y ejecutar acciones que no fueron específicamente ordenadas por una persona.

El caso australiano resulta ilustrativo. El Gobierno australiano explicó que en junio un agente de OpenAI realizó actividades no autorizadas sobre sistemas gubernamentales, incluido el portal público de estadísticas de Medicare, donde llegó a acceder tanto a archivos públicos como no públicos. Como consecuencia del incidente, el Gobierno anunció una revisión específica para determinar si sus actuales estructuras legislativas, de gobernanza y de intercambio de información son adecuadas para responder a incidentes cibernéticos relacionados con IA.

Aquí aparece una cuestión esencial: el deber de comunicación no debería depender únicamente de que la empresa haya terminado de comprender técnicamente todo lo sucedido. El Derecho de los incidentes graves suele operar precisamente mediante obligaciones temporales que permiten comunicar una información inicial y completarla posteriormente. La razón es evidente: esperar a conocer absolutamente todos los detalles puede convertir la obligación de comunicar en una obligación prácticamente inútil cuando el riesgo exige una reacción rápida.

El problema se vuelve todavía más complejo cuando el agente de IA ha actuado de forma autónoma. ¿Cuándo empieza el plazo? ¿Cuando se produce la actuación? ¿Cuando la organización la detecta? ¿Cuando establece que el sistema ha podido causar el incidente? ¿O solamente cuando confirma que se ha producido un daño? Cada una de estas opciones atribuye al operador un nivel diferente de responsabilidad y de diligencia.

Europa ya tiene una respuesta, pero no resuelve completamente la pregunta

Sería incorrecto afirmar que Europa carece de regulación sobre la comunicación de incidentes de inteligencia artificial. El Reglamento (UE) 2024/1689, de Inteligencia Artificial, contiene una regulación expresa en su artículo 73 para los incidentes graves relacionados con sistemas de IA de alto riesgo. Los proveedores deben comunicar estos incidentes a las autoridades de vigilancia del mercado y, con carácter general, hacerlo inmediatamente una vez establecida la relación causal o la probabilidad razonable de que exista, y en todo caso dentro de los quince días siguientes a tener conocimiento del incidente. Para determinados supuestos especialmente graves, los plazos se reducen a dos días y, cuando existe fallecimiento, a diez días.

La propia Comisión Europea ha desarrollado además instrumentos específicos para hacer operativo este sistema de notificación. En relación con los modelos de IA de uso general con riesgo sistémico, el artículo 55 del Reglamento establece obligaciones de comunicación de información pertinente sobre incidentes graves a la Oficina de IA y, cuando corresponda, a las autoridades nacionales. La Comisión ha desarrollado plantillas y orientaciones precisamente para favorecer una comunicación coherente y transparente.

Por tanto, el vacío no está en la inexistencia de obligaciones de notificación. La cuestión más interesante es otra: si las categorías regulatorias existentes están suficientemente adaptadas a una nueva generación de sistemas capaces de actuar como agentes sobre infraestructuras digitales.

El artículo 73 del Reglamento europeo está construido alrededor de los “sistemas de IA de alto riesgo” y de la noción de “incidente grave”. El desarrollo de agentes autónomos plantea escenarios diferentes: un sistema puede no encajar fácilmente en las categorías tradicionales y, sin embargo, disponer de capacidad suficiente para interactuar con bases de datos, servicios digitales, aplicaciones o infraestructuras de terceros. La dificultad jurídica consiste entonces en determinar si el marco de notificación existente captura adecuadamente el riesgo derivado de la acción autónoma, y no solamente el riesgo asociado a la clasificación formal del sistema.

Del control humano a la obligación de saber qué está haciendo la IA

Esta transformación obliga a revisar una idea que ha acompañado a buena parte del debate sobre inteligencia artificial: la denominada supervisión humana. No debería entenderse únicamente como la existencia formal de una persona que puede intervenir cuando algo sale mal. En los sistemas agentes, la supervisión exige también capacidad efectiva para saber qué está haciendo el sistema, qué herramientas está utilizando, qué límites está encontrando y qué consecuencias puede producir su actuación.

La revisión emprendida por el Gobierno australiano apunta precisamente en esa dirección. Sus términos de referencia incluyen expresamente el análisis de los requisitos de comunicación de incidentes impulsados por IA, los umbrales de notificación, las vías de comunicación, las responsabilidades institucionales y la suficiencia de los mecanismos legislativos, regulatorios y de ejecución actualmente existentes.

La cuestión tiene una consecuencia jurídica de gran alcance. Si una empresa decide desplegar un agente capaz de actuar autónomamente, no parece suficiente que pueda explicar después que desconocía lo que el sistema estaba haciendo. El deber de diligencia puede empezar mucho antes del incidente: en el diseño de las restricciones, en la monitorización, en los registros de actividad, en la detección de anomalías y en los protocolos internos de escalado.

En otras palabras, cuanto mayor sea la autonomía concedida a un agente, mayor será también la exigencia de disponer de mecanismos que permitan reconstruir su actuación y reaccionar ante ella. La autonomía tecnológica no debería traducirse en una disminución de la responsabilidad jurídica.

La verdadera cuestión: no solo quién responde, sino cuándo debe hablar

La noticia australiana de hoy permite formular una cuestión que probablemente adquirirá una importancia creciente en los próximos años: ¿debe existir un deber jurídico específico de comunicar los incidentes provocados por agentes de IA? cuestión central pendiente de directiva.

La respuesta europea demuestra que el Derecho ya ha comenzado a recorrer ese camino. Pero los agentes autónomos obligan a plantear una segunda generación de normas. No basta con determinar qué sistemas son de alto riesgo o qué constituye un incidente grave. Será necesario establecer con mayor precisión qué ocurre cuando la inteligencia artificial actúa sobre sistemas externos, cuándo comienza el deber de notificación, quién debe comunicarlo, qué información mínima debe facilitarse y qué consecuencias produce una comunicación tardía.

El caso australiano es particularmente significativo porque el propio Gobierno ha iniciado una revisión destinada a comprobar si sus estructuras jurídicas son adecuadas para este nuevo tipo de incidente. Y las declaraciones realizadas hoy por OpenAI y Anthropic introducen un elemento que merece especial atención: la propia industria está admitiendo que determinadas decisiones sobre comunicación de incidentes no deberían quedar exclusivamente en manos de las empresas que desarrollan los agentes.

La cuestión, por tanto, ya no es solamente quién responde cuando una inteligencia artificial causa un problema. La pregunta previa es cuándo nace el deber jurídico de advertir que la inteligencia artificial ha causado —o puede haber causado— ese problema.

Notas y referencias en formato APA 7.ª edición

1. Department of the Prime Minister and Cabinet, Australian Government. (2026, 24 de septiembre). Terms of Reference – Rapid review into Australian Government arrangements for an AI-driven cyber incident. Australian Government.
2. European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union.
3. European Commission. (2025, 4 de noviembre). AI Act: Commission publishes a reporting template for serious incidents involving general-purpose AI models with systemic risk. Shaping Europe’s Digital Future.
4. Kaye, B. (2026, 6 de octubre). OpenAI, Anthropic tell Australia they would welcome data breach rules. Reuters.
5. OpenAI. (2026, 28 de septiembre). How we will do better for Australia. OpenAI.

Ese desplazamiento es fundamental. Porque en los sistemas agentes, el silencio también puede convertirse en una decisión jurídicamente relevante.