La IA ante su deber de cuidado: cuando prevenir el daño empieza a ser una obligación jurídica

 

La IA ante su deber de cuidado: cuando prevenir el daño empieza a ser una obligación jurídica

Santiago Carretero Sánchez, Profesor Titular de Filosofía del Derecho, Universidad Rey Juan Carlos, Abogado del Ilustre Colegio de Abogados de Madrid

De la innovación tecnológica a la responsabilidad preventiva

La regulación de la inteligencia artificial está entrando en una fase especialmente relevante para el Derecho: ya no se discute únicamente qué usos de la IA deben estar permitidos o prohibidos, sino quién debe responder cuando un sistema avanzado presenta riesgos graves que podían haber sido identificados antes de su puesta en circulación. La actualidad jurídica estadounidense ofrece estos días un ejemplo especialmente significativo. Según la información publicada el 11 de septiembre de 2026, negociadores del Senado de Estados Unidos están trabajando sobre una propuesta que podría imponer a determinadas empresas desarrolladoras de inteligencia artificial un auténtico “deber de cuidado” respecto de los riesgos graves asociados a sus modelos más avanzados. La propuesta contemplaría obligaciones dirigidas a evitar que estos sistemas puedan facilitar determinados daños catastróficos y permitiría incluso al Gobierno federal intervenir ante modelos considerados inseguros, aunque las empresas conservarían la posibilidad de impugnar judicialmente esas decisiones.

La importancia jurídica de este planteamiento reside precisamente en el desplazamiento del centro de gravedad de la responsabilidad. Tradicionalmente, buena parte del Derecho de daños ha operado a partir de una lógica retrospectiva: producido el daño, se determina quién lo causó, qué conducta resultó jurídicamente relevante y si concurren los presupuestos de responsabilidad. La inteligencia artificial avanzada introduce una dificultad distinta. El riesgo puede aparecer antes de que exista un daño concreto, puede ser difícilmente predecible y, además, puede amplificarse por la autonomía, la velocidad y la capacidad de actuación de determinados sistemas. De ahí que esté adquiriendo importancia una concepción preventiva de la responsabilidad: no esperar a que se produzca el perjuicio, sino exigir a quien desarrolla o despliega una tecnología especialmente potente que identifique, evalúe y reduzca los riesgos previsibles antes de ponerla a disposición del mercado.

Esta transformación resulta particularmente significativa porque coincide con una evolución de los propios sistemas de inteligencia artificial. Un informe publicado en septiembre por Anthropic documenta casos en los que actores maliciosos utilizaron sus modelos para operaciones de ciberseguridad ofensiva, vigilancia, fraude, influencia y desarrollo de armas. El informe destaca, además, una progresiva utilización de sistemas de IA como elementos de coordinación y automatización de operaciones que anteriormente requerían equipos humanos especializados. No significa que la IA sea jurídicamente responsable de esas actuaciones, pero sí evidencia una cuestión esencial para el Derecho: cuanto mayor sea la capacidad del sistema y cuanto mayor sea su potencial de autonomía, más difícil resulta sostener que la prevención del riesgo pueda quedar reducida a recomendaciones voluntarias de buena conducta empresarial.

¿Quién responde cuando el riesgo nace antes del daño?

Aquí aparece una cuestión que interesa directamente a la teoría jurídica de la responsabilidad. Un sistema de inteligencia artificial no surge espontáneamente: existe una cadena de sujetos que intervienen en su creación, entrenamiento, evaluación, comercialización, integración y utilización. El desarrollador del modelo, el proveedor de infraestructura, la empresa que integra el sistema en una aplicación concreta y el usuario final pueden desempeñar funciones diferentes. Por ello, atribuir jurídicamente las consecuencias de una actuación de la IA exige abandonar las explicaciones excesivamente simplificadoras que identifican tecnología y responsabilidad.

La noción de “deber de cuidado” puede convertirse en este contexto en una herramienta particularmente interesante. No implicaría necesariamente que el desarrollador responda de cualquier utilización ilícita realizada por un tercero. Su significado sería más preciso: quien desarrolla un sistema con determinadas capacidades debería adoptar medidas razonables y proporcionadas para identificar riesgos previsibles, realizar evaluaciones de seguridad, establecer mecanismos de supervisión, documentar los resultados y reaccionar ante incidentes relevantes. El debate jurídico se desplazaría así desde la pregunta “¿quién provocó materialmente el daño?” hacia otra anterior: “¿quién estaba en posición de prevenir razonablemente que ese riesgo llegara a producirse?”.

La cuestión tiene además una dimensión constitucional y filosófico-jurídica evidente. La prevención no puede convertirse en una autorización ilimitada para que los poderes públicos controlen cualquier innovación tecnológica. También debe someterse a los principios de legalidad, seguridad jurídica, proporcionalidad y tutela judicial efectiva. Precisamente por ello resulta relevante que la propuesta estadounidense contemple la posibilidad de impugnar ante los tribunales las decisiones administrativas que impidan la puesta en circulación de determinados modelos. El verdadero problema jurídico no consiste, por tanto, en elegir entre innovación y regulación, sino en construir un sistema en el que la innovación tecnológica pueda desarrollarse sin trasladar a la sociedad riesgos que el propio desarrollador estaba en condiciones de conocer y reducir.

Hacia una nueva arquitectura de la responsabilidad algorítmica

Lo verdaderamente novedoso de este debate es que comienza a dibujarse una arquitectura jurídica de la IA basada en una idea muy distinta de la mera prohibición. La responsabilidad empieza a situarse también en las fases de diseño, evaluación y despliegue. Estados Unidos está explorando ahora un modelo federal de seguridad para determinados sistemas avanzados, mientras algunas empresas tecnológicas están reclamando igualmente reglas nacionales obligatorias. OpenAI, por ejemplo, ha defendido recientemente la necesidad de requisitos nacionales vinculantes de seguridad, evaluaciones independientes, medidas de ciberseguridad y comunicación de incidentes, abandonando la idea de que los compromisos voluntarios sean suficientes para afrontar determinados riesgos.

Para los juristas, este cambio tiene una consecuencia docente de primer orden. La inteligencia artificial no debería estudiarse solamente desde la perspectiva de la protección de datos, la propiedad intelectual o la discriminación algorítmica. Está apareciendo un nuevo campo de análisis relacionado con la responsabilidad por diseño: la obligación de incorporar la prevención del riesgo en la propia arquitectura tecnológica. El Derecho comienza así a aproximarse a una cuestión clásica de la Filosofía del Derecho: cuánto riesgo puede legítimamente trasladarse a los demás cuando quien crea una determinada actividad dispone de conocimientos y medios suficientes para reducirlo.

La cuestión será especialmente importante en Europa. El modelo europeo de regulación de la inteligencia artificial ya parte de una lógica basada en el riesgo y en obligaciones diferenciadas según las características y utilización de los sistemas. El debate estadounidense sobre un “deber de cuidado” puede contribuir, sin embargo, a ampliar la discusión hacia una cuestión todavía más profunda: si determinados sistemas de IA alcanzan capacidades capaces de generar riesgos extraordinarios, ¿debe el Derecho exigir a sus desarrolladores una obligación jurídica reforzada de prevención?

La respuesta probablemente no será un simple sí o no. El reto consiste en determinar qué riesgos son jurídicamente previsibles, qué nivel de diligencia resulta exigible, qué sujetos se encuentran en mejor posición para prevenirlos y qué mecanismos de control permiten equilibrar seguridad e innovación. Pero el cambio conceptual ya está produciéndose. La responsabilidad jurídica de la inteligencia artificial comienza a desplazarse desde el momento del daño hacia el momento anterior en que el riesgo puede ser conocido y prevenido.

Y esa puede ser una de las grandes cuestiones jurídicas de la próxima etapa de la inteligencia artificial: no preguntarnos solamente quién responde cuando una IA causa un daño, sino si el Derecho debe exigir responsabilidad a quien pudo evitar que ese riesgo llegara a existir.

Referencias APA 7

Anthropic. (2026, 10 de septiembre). Detecting and countering misuse of AI: September 2026. Anthropic.

Anthropic. (2026, 10 de septiembre). Measuring tactical intelligence targeting and conventional weapons capabilities of AI models. Anthropic.

Reuters. (2026, 11 de septiembre). US Senate negotiators consider requiring AI firms to mitigate known major risks. Reuters.

Reuters. (2026, 9 de septiembre). OpenAI pushes for mandatory national AI safety rules. Reuters