La vigilancia humana en los sistemas de IA de alto riesgo: lectura jurídica de la Guía de AESIA

 

La vigilancia humana en los sistemas de IA de alto riesgo: lectura jurídica de la Guía de AESIA

 

Santiago Carretero

Profesor Titular  de la  Universidad Rey Juan Carlos

 

1. Introducción

 

La Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) ha publicado recientemente una Guía de implementación sobre la vigilancia humana en los sistemas de Inteligencia Artificial de alto riesgo, elaborada en el marco del sandbox regulatorio español y concebida como instrumento de apoyo interpretativo del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (AI Act).

 

Aunque dicho documento carece de carácter jurídicamente vinculante, su relevancia normativa resulta indiscutible, en la medida en que constituye un ejemplo paradigmático de soft law administrativo con vocación de orientar la actuación de los proveedores de sistemas de IA, de los responsables de su despliegue y de las propias autoridades de supervisión. Desde una perspectiva jurídica, la Guía traduce el contenido abstracto del artículo 14 del Reglamento en criterios técnicos, organizativos y procedimentales que permiten una aplicación práctica del principio de supervisión humana.

 

La vigilancia humana se erige así en uno de los pilares fundamentales del nuevo Derecho europeo de la inteligencia artificial, configurándose como garantía estructural frente a la automatización decisoria y como mecanismo de protección de los derechos fundamentales.

 

2. La vigilancia humana como principio jurídico del Reglamento de IA

 

El concepto de vigilancia humana no puede interpretarse como un mero requisito técnico, sino como un auténtico principio jurídico estructural del AI Act. Su finalidad es asegurar que los sistemas de IA de alto riesgo no sustituyan la responsabilidad humana ni erosionen los derechos fundamentales reconocidos en la Carta de Derechos Fundamentales de la Unión Europea.

 

La vigilancia humana se proyecta sobre toda la arquitectura normativa del Reglamento, conectando con otros principios esenciales como la transparencia (artículo 13), la gestión de riesgos (artículo 9) y la precisión, solidez y ciberseguridad (artículo 15). Se configura como una garantía frente a la automatización absoluta y como expresión normativa del principio de dignidad humana en contextos algorítmicos.

 

Desde esta perspectiva, el Reglamento no prohíbe la automatización, pero sí exige que exista siempre la posibilidad real y efectiva de intervención humana cualificada, especialmente cuando están en juego la salud, la seguridad o los derechos fundamentales de las personas.

 

3. Análisis jurídico del artículo 14 del Reglamento de IA

3.1. Diseño y desarrollo para una vigilancia efectiva

 

El artículo 14.1 dispone que los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de modo que puedan ser vigilados de manera efectiva durante su período de uso. Esta exigencia implica una obligación jurídica de incorporar desde el diseño mecanismos que permitan comprender, controlar y, en su caso, corregir el funcionamiento del sistema.

 

La referencia expresa a la necesidad de interfaces humano-máquina adecuadas revela que la vigilancia humana no puede quedar reducida a una mera previsión organizativa, sino que debe materializarse en herramientas técnicas que permitan una supervisión real por parte de personas físicas competentes.

 

En este punto, la Guía de AESIA subraya la importancia de diseñar sistemas que faciliten la interpretación de los resultados, evitando configuraciones opacas o excesivamente complejas que dificulten el control humano.

 

3.2. Gestión de riesgos sobre salud, seguridad y derechos fundamentales

 

El artículo 14.2 vincula directamente la vigilancia humana con la prevención o reducción de los riesgos para la salud, la seguridad y los derechos fundamentales. Esta previsión conecta sistemáticamente con el artículo 9 del Reglamento, que impone un sistema de gestión de riesgos continuo a lo largo del ciclo de vida del sistema de IA.

 

La Guía de AESIA enfatiza que dicha gestión debe abarcar tanto la finalidad prevista del sistema como los usos indebidos razonablemente previsibles, reforzando un enfoque preventivo y proactivo en materia de protección jurídica.

 

Desde esta óptica, la vigilancia humana se convierte en una herramienta esencial de control ex ante y ex post de los efectos jurídicos y sociales de la inteligencia artificial.

 

3.3. Distribución de responsabilidades entre proveedor y responsable del despliegue

 

El Reglamento establece una clara distribución funcional de obligaciones. El proveedor debe integrar las medidas técnicas necesarias que permitan la vigilancia humana antes de la comercialización o puesta en servicio del sistema, mientras que el responsable del despliegue debe aplicarlas de manera efectiva en el contexto concreto de uso.

 

Este esquema normativo consagra un modelo de corresponsabilidad jurídica, en el que el cumplimiento no se agota en la fase de diseño, sino que se proyecta sobre la fase de explotación del sistema.

 

La Guía insiste en la necesidad de una cooperación activa entre ambos sujetos, especialmente en lo relativo a la formación de los operadores humanos y a la adaptación del sistema a los entornos reales de utilización.

 

3.4. Autonomía humana frente al sistema

 

El artículo 14.4 reconoce expresamente que las personas responsables de la supervisión deben poder comprender las capacidades y limitaciones del sistema, interpretar sus resultados, ser conscientes del sesgo de automatización, descartar o revertir decisiones y, en su caso, interrumpir su funcionamiento.

 

Se consagra así un principio de supremacía decisoria humana, incompatible con modelos de delegación algorítmica absoluta en ámbitos jurídicamente sensibles. La intervención humana no es simbólica, sino sustantiva, y debe ser ejercida por personal cualificado y debidamente formado.

 

3.5. Sistemas de identificación biométrica

 

Para los sistemas de identificación biométrica remota se establece una exigencia reforzada de doble verificación humana independiente, salvo excepciones justificadas por razones de proporcionalidad en contextos de seguridad pública o control fronterizo.

 

Esta previsión evidencia el especial riesgo que estos sistemas presentan para derechos fundamentales como la privacidad, la libertad personal y la no discriminación, justificando un nivel superior de control jurídico y humano.

 

4. Aportaciones principales de la Guía de AESIA

 

La Guía de AESIA traduce el mandato normativo del artículo 14 en un conjunto coherente de medidas prácticas. Entre sus principales aportaciones destacan la implantación de modelos de gobernanza multidisciplinar, la exigencia de interfaces humano-máquina adecuadas, la formación continua de los operadores humanos y la prevención del sesgo de automatización.

 

Especial relevancia adquiere la introducción del denominado error forzado, concebido como mecanismo pedagógico y de evaluación de la capacidad crítica de los supervisores humanos frente a los resultados algorítmicos.

 

La vigilancia humana deja así de ser un concepto abstracto para convertirse en una arquitectura organizativa y técnica integrada en el ciclo de vida del sistema de inteligencia artificial.

 

5. Vigilancia humana y derechos fundamentales

 

La vigilancia humana se configura como una garantía jurídica frente al riesgo de despersonalización de las decisiones administrativas o privadas adoptadas con apoyo de sistemas algorítmicos. Protege el derecho a la salud, a la igualdad, a la dignidad humana y a la tutela judicial efectiva, evitando que el algoritmo se convierta en un sujeto decisor autónomo.

 

Desde esta óptica, la supervisión humana no constituye un obstáculo a la innovación tecnológica, sino una condición de legitimidad democrática del uso de la inteligencia artificial en contextos jurídicamente relevantes.

 

6. Valoración doctrinal

 

La Guía de AESIA constituye un avance significativo en la concreción práctica del Reglamento europeo de inteligencia artificial. No obstante, su eficacia dependerá de que la vigilancia humana no se convierta en un mero formalismo organizativo sin capacidad real de intervención.

 

Será imprescindible garantizar una formación jurídica y técnica adecuada de los operadores humanos, así como integrar la supervisión en los procesos decisorios reales. Asimismo, resulta necesario que jueces, juristas y autoridades administrativas incorporen estos criterios en la interpretación futura del Derecho de la IA, consolidando un modelo europeo basado en la primacía de la persona frente a la automatización.

 

7. Conclusión

 

La vigilancia humana se erige en uno de los pilares esenciales del Reglamento de Inteligencia Artificial. La Guía de AESIA convierte este principio jurídico en un conjunto estructurado de prácticas operativas, contribuyendo a una inteligencia artificial jurídicamente controlada y socialmente legítima.

 

Su correcta aplicación permitirá avanzar hacia un modelo de innovación tecnológica compatible con la protección efectiva de los derechos fundamentales y con la preservación de la responsabilidad humana en la toma de decisiones.