La hora de la verdad para la Inteligencia Artificial en Europa: los sistemas de alto riesgo ante el desafío de los derechos fundamentales

Santiago Carretero Sánchez
Profesor Titular de Filosofía del Derecho. Universidad Rey Juan Carlos 

La regulación de la Inteligencia Artificial en Europa está entrando en una fase decisiva. Tras la aprobación del Reglamento Europeo de Inteligencia Artificial (AI Act), el debate jurídico ya no se centra únicamente en los principios generales de la norma, sino en su aplicación efectiva. En este contexto, las recientes directrices impulsadas por la Comisión Europea para concretar la identificación de los sistemas de Inteligencia Artificial considerados de alto riesgo representan uno de los desarrollos más relevantes de los últimos meses. De la correcta interpretación de este concepto dependerá buena parte de la eficacia futura del modelo regulatorio europeo.

El AI Act constituye una de las iniciativas normativas más ambiciosas desarrolladas por la Unión Europea en el ámbito tecnológico. Su principal innovación consiste en adoptar un enfoque basado en el riesgo, abandonando la idea de que todas las aplicaciones de Inteligencia Artificial deban recibir el mismo tratamiento jurídico. El legislador europeo parte de una premisa razonable: cuanto mayor sea la capacidad de un sistema para afectar a los derechos de las personas, mayores deberán ser las garantías exigidas a quienes lo desarrollan o utilizan. Esta filosofía regulatoria pretende encontrar un equilibrio entre dos objetivos que con frecuencia parecen contrapuestos: fomentar la innovación tecnológica y garantizar una protección efectiva de los derechos fundamentales.

La cuestión central radica en determinar qué debe entenderse exactamente por un sistema de alto riesgo. Aunque el Reglamento establece diversas categorías y sectores especialmente sensibles, la realidad tecnológica evoluciona con una rapidez muy superior a la de los procesos legislativos. Por ello, las directrices interpretativas promovidas por la Comisión Europea adquieren una importancia extraordinaria. No se trata simplemente de aclaraciones técnicas, sino de criterios que influirán directamente en la actuación de empresas, administraciones públicas, tribunales y organismos supervisores de toda la Unión Europea.

La clasificación de un sistema como de alto riesgo implica importantes consecuencias jurídicas. Los operadores afectados deberán cumplir exigencias específicas relativas a la gestión de riesgos, calidad de los datos utilizados para el entrenamiento de los modelos, documentación técnica, trazabilidad de las operaciones realizadas por el sistema, supervisión humana y mecanismos de control permanente. Además, en determinados supuestos será necesaria la realización de evaluaciones previas destinadas a verificar que la tecnología cumple los estándares exigidos por la normativa europea. Nos encontramos, por tanto, ante obligaciones que trascienden el mero cumplimiento formal y que afectan directamente al diseño y funcionamiento de los sistemas inteligentes.

La preocupación del legislador europeo resulta especialmente comprensible cuando se analizan algunos de los ámbitos en los que la Inteligencia Artificial está comenzando a desplegar sus efectos. Los algoritmos son utilizados cada vez con mayor frecuencia para seleccionar candidatos en procesos de contratación laboral, evaluar riesgos crediticios, gestionar recursos educativos, asistir decisiones sanitarias o intervenir en procedimientos administrativos. En todos estos casos, una decisión automatizada puede influir de forma significativa en la vida de las personas. Un error en el diseño del sistema, la utilización de datos sesgados o la ausencia de mecanismos adecuados de supervisión pueden generar situaciones de discriminación incompatibles con los valores fundamentales del ordenamiento jurídico europeo.

Precisamente por esta razón, el AI Act incorpora una visión preventiva inspirada en el principio de precaución. Tradicionalmente, este principio ha desempeñado un papel relevante en ámbitos como la protección ambiental o la salud pública. Sin embargo, su proyección sobre las nuevas tecnologías constituye una de las novedades más interesantes del Derecho contemporáneo. La idea subyacente es sencilla: cuando una innovación tecnológica puede generar riesgos significativos para derechos fundamentales, el ordenamiento jurídico no debe limitarse a reaccionar una vez producido el daño, sino que debe establecer mecanismos preventivos destinados a evitarlo.

Desde una perspectiva académica, estamos asistiendo al nacimiento de una nueva etapa en la relación entre Derecho y tecnología. Conceptos como transparencia algorítmica, explicabilidad, auditoría de sistemas inteligentes, supervisión humana significativa o gobernanza algorítmica han dejado de ser expresiones propias de especialistas para convertirse en categorías jurídicas de creciente relevancia práctica. Esta transformación obliga a revisar muchas de las construcciones doctrinales tradicionales y plantea interrogantes que afectan a disciplinas tan diversas como el Derecho constitucional, administrativo, mercantil, laboral o incluso penal.

Igualmente relevante resulta la cuestión de la responsabilidad jurídica. A medida que los sistemas de Inteligencia Artificial adquieren mayores niveles de autonomía funcional, surgen nuevas preguntas acerca de quién debe responder cuando una decisión automatizada provoca un daño. Las futuras discusiones doctrinales deberán abordar aspectos relacionados con la responsabilidad de los desarrolladores, de los proveedores de servicios tecnológicos, de las organizaciones usuarias y de los responsables de supervisión. La delimitación de estas responsabilidades constituirá uno de los grandes retos jurídicos de los próximos años.

Las recientes actuaciones de la Comisión Europea ponen de manifiesto que la regulación de la Inteligencia Artificial ha abandonado definitivamente el terreno de las declaraciones programáticas para adentrarse en la práctica jurídica cotidiana. El desafío ya no consiste únicamente en aprobar normas, sino en lograr que dichas normas sean capaces de gobernar tecnologías extraordinariamente complejas sin obstaculizar el progreso científico y económico. Europa aspira a convertirse en una referencia internacional en este ámbito y la correcta aplicación del AI Act será una prueba decisiva para comprobar si resulta posible compatibilizar innovación, competitividad y protección de los derechos fundamentales.

En definitiva, la concreción del concepto de sistema de alto riesgo constituye mucho más que una cuestión técnica. Nos encontramos ante uno de los elementos clave para determinar el futuro de la gobernanza jurídica de la Inteligencia Artificial. El éxito de esta experiencia regulatoria dependerá de la capacidad de las instituciones europeas para proporcionar seguridad jurídica, garantizar una tutela efectiva de los derechos fundamentales y ofrecer un marco de confianza que favorezca el desarrollo responsable de la innovación tecnológica. La forma en que se resuelva este desafío será observada con atención por numerosos países y organizaciones internacionales que contemplan a la Unión Europea como un laboratorio jurídico de referencia en la construcción del Derecho de la Inteligencia Artificial.

---

Referencias (APA 7.ª edición)

European Commission. (2026). Draft Guidelines on High-Risk AI Systems under Regulation (EU) 2024/1689 (Artificial Intelligence Act). European Commission.

Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y se modifican determinados actos legislativos de la Unión. Diario Oficial de la Unión Europea, L 1689/2024.