La decisión administrativa asistida por inteligencia artificial y la responsabilidad jurídica

 

La decisión administrativa asistida por inteligencia artificial y la responsabilidad jurídica

Santiago Carretero Sánchez, Profesor Titular de Filosofía del Derecho, Universidad Rey Juan Carlos

La incorporación de sistemas de inteligencia artificial a la Administración pública está dejando de ser una cuestión puramente tecnológica para convertirse en un problema jurídico de primera magnitud. Durante años, la discusión se ha centrado en si las Administraciones podían utilizar algoritmos para gestionar expedientes, detectar irregularidades, clasificar solicitudes o establecer prioridades. La cuestión verdaderamente importante empieza ahora, cuando esos sistemas dejan de ser una herramienta interna y sus resultados pueden influir de manera directa en decisiones que afectan a los ciudadanos. Una ayuda tecnológica puede mejorar la gestión administrativa, pero no modifica por sí misma las reglas que determinan quién tiene competencia para decidir, cómo debe justificarse una decisión y quién responde cuando esa decisión produce un perjuicio.

Aquí aparece una distinción que conviene mantener con claridad. No es lo mismo que un sistema de IA facilite información a un empleado público, que recomiende una determinada actuación o que intervenga en un procedimiento automatizado. Tampoco es equivalente que la Administración utilice un algoritmo para ordenar miles de expedientes que para valorar circunstancias personales que pueden determinar el reconocimiento o la denegación de un derecho. Cuanto mayor sea la capacidad del sistema para condicionar el resultado final, mayor es también la exigencia jurídica de control, trazabilidad y explicación. El problema no consiste, por tanto, en decidir si la Administración puede utilizar inteligencia artificial, sino en establecer hasta dónde puede llegar esa utilización sin diluir las garantías propias del procedimiento administrativo.

La IA puede intervenir en la decisión, pero no puede convertirse en una zona de irresponsabilidad

El principio fundamental es bastante sencillo: la introducción de una tecnología nueva no crea una nueva categoría de responsabilidad administrativa. Si un órgano público adopta una decisión utilizando un sistema de IA, el hecho de que una parte del razonamiento haya sido realizada o sugerida por un sistema algorítmico no desplaza automáticamente la responsabilidad hacia el proveedor tecnológico. La Administración sigue sometida a las reglas de competencia, procedimiento, motivación, transparencia y control jurisdiccional que correspondan al acto o actuación de que se trate.

El Reglamento europeo de inteligencia artificial resulta especialmente significativo en este punto. Para los sistemas de alto riesgo establece obligaciones de supervisión humana y exige que las personas encargadas de esa supervisión dispongan de la competencia, formación y autoridad necesarias. Además, la normativa advierte expresamente del denominado sesgo de automatización, es decir, la tendencia de una persona a aceptar de manera excesiva el resultado proporcionado por un sistema simplemente porque procede de una herramienta tecnológica. La supervisión humana, por tanto, no puede reducirse a que un empleado público pulse un botón de aceptación después de que el sistema haya producido su resultado. Debe existir una capacidad real para comprenderlo, cuestionarlo, apartarse de él y, cuando sea necesario, revertirlo.

Esta cuestión tiene una consecuencia jurídica importante. Si la Administración pretende utilizar la inteligencia artificial como apoyo a sus decisiones, debe conservar el dominio efectivo sobre el procedimiento. No parece suficiente afirmar que «la decisión final la tomó una persona» si esa persona carecía de información suficiente para comprender cómo se había obtenido el resultado, no podía comprobar los datos utilizados o no disponía de capacidad efectiva para apartarse de la recomendación algorítmica. En esos casos, la intervención humana podría convertirse en una mera formalidad, precisamente lo contrario de lo que pretende la exigencia de supervisión humana.

La regulación europea incorpora además una obligación particularmente relevante para el sector público: cuando determinados organismos públicos despliegan sistemas de IA de alto riesgo, deben realizar una evaluación de impacto sobre los derechos fundamentales antes de su utilización. Esa evaluación debe identificar, entre otros elementos, las personas o colectivos afectados, los riesgos previsibles, las medidas de supervisión humana y los mecanismos de actuación ante la materialización de esos riesgos. No se trata solamente de comprobar si el sistema funciona técnicamente; se trata de preguntarse qué consecuencias jurídicas puede producir su utilización sobre personas concretas.

La motivación adquiere una nueva dimensión cuando interviene un algoritmo

La segunda cuestión es todavía más delicada: ¿cómo se motiva una decisión administrativa cuando en su elaboración ha intervenido un sistema de inteligencia artificial?

La motivación no consiste en afirmar que un programa ha producido determinado resultado. La Administración debe explicar las razones jurídicas y fácticas que justifican su decisión, de modo que el interesado pueda conocerlas y, si lo considera necesario, discutirlas ante la propia Administración o ante los tribunales. La utilización de un sistema algorítmico no puede convertir esa explicación en una especie de caja negra inaccesible para el ciudadano.

La doctrina administrativa reciente ha señalado precisamente la tensión existente entre la explicabilidad de los sistemas de IA y las exigencias tradicionales de motivación del procedimiento administrativo. Patricia Mendilibar Navarro ha estudiado esta cuestión a partir del Reglamento europeo de IA y advierte de las dificultades que plantea trasladar las exigencias de explicabilidad al procedimiento administrativo, especialmente cuando el funcionamiento técnico del sistema resulta difícil de traducir a una explicación comprensible para quien recibe la decisión.

El problema se aprecia mejor con un ejemplo sencillo. Imaginemos que una Administración utiliza un sistema para analizar solicitudes de una prestación pública y que el sistema identifica determinados expedientes como susceptibles de denegación. El ciudadano no debería encontrarse con una resolución que se limite a indicar que «el sistema ha determinado que no concurren los requisitos». Esa formulación trasladaría al algoritmo una función que corresponde jurídicamente a la Administración. Lo relevante sería conocer qué datos fueron considerados, qué criterios jurídicos resultaban aplicables, qué intervención tuvo el sistema y, sobre todo, cuáles fueron las razones por las que el órgano competente hizo suyo el resultado.

La normativa española ofrece ya ejemplos especialmente interesantes de esta dirección. La Ley 4/2025 de Simplificación, Agilización y Digitalización Administrativa de Castilla-La Mancha establece que, cuando se utiliza IA en un procedimiento administrativo, debe informarse a la persona interesada, entre otros extremos, sobre los trámites automatizados, la incidencia del sistema en la resolución, los datos empleados, los criterios de automatización y la lógica de funcionamiento. La misma norma exige que las decisiones sean adoptadas por el órgano competente y contempla mecanismos de supervisión, trazabilidad, auditabilidad y rendición de cuentas.

La importancia de estas previsiones va más allá de una regulación autonómica concreta. Muestran hacia dónde se dirige el Derecho administrativo contemporáneo: la utilización de IA comienza a exigir una explicación adicional sobre el propio proceso de decisión. Ya no basta necesariamente con explicar por qué se concede o deniega algo; cuando un sistema algorítmico ha tenido una intervención relevante, también puede ser necesario explicar qué papel desempeñó ese sistema en la formación de la decisión.

El verdadero problema jurídico: que la máquina no sustituya la responsabilidad

La cuestión final es quizá la más importante. Una Administración que utiliza inteligencia artificial debe poder responder a tres preguntas muy concretas: quién decidió, con qué información decidió y por qué decidió de esa manera. Si alguna de estas preguntas queda sin respuesta, el problema ya no es tecnológico. Es jurídico.

La inteligencia artificial puede proporcionar una extraordinaria capacidad de tratamiento de información y puede resultar especialmente útil en procedimientos masivos, repetitivos o técnicamente complejos. Pero una Administración no puede utilizar esa capacidad para hacer desaparecer la responsabilidad que acompaña al ejercicio del poder público. La tecnología puede ayudar a decidir; lo que no debería hacer es convertirse en el sujeto implícito de la decisión.

Esto obliga también a revisar una idea que durante mucho tiempo ha acompañado al debate sobre la automatización administrativa: que cuanto más objetiva sea una decisión, menos problemática resulta su automatización. En realidad, una decisión aparentemente objetiva puede contener elecciones jurídicas previas: qué datos se consideran relevantes, qué variables se utilizan, qué umbrales se establecen, qué errores se toleran y qué consecuencias se atribuyen a determinados resultados. La automatización no elimina esas elecciones; simplemente puede hacerlas menos visibles.

Por eso la cuestión central no es si debemos confiar o desconfiar de la inteligencia artificial. La pregunta jurídicamente útil es otra: qué controles deben existir para que una decisión administrativa siga siendo jurídicamente imputable a quien tiene la competencia para adoptarla. El futuro de la Administración digital no debería construirse sobre la sustitución de la responsabilidad humana por una pretendida neutralidad algorítmica, sino sobre una mejor combinación entre capacidad tecnológica y garantías jurídicas.

En última instancia, el ciudadano no recurre contra un algoritmo. Recurre contra una decisión administrativa. Y detrás de esa decisión debe seguir existiendo una autoridad competente capaz de explicar sus razones, asumir sus consecuencias y someterse al control del Derecho. Esa es probablemente la frontera más importante que debe preservar el Derecho administrativo ante la expansión de la inteligencia artificial.

Notas APA

1. Berning Prieto, A. D. (2023). El uso de sistemas basados en inteligencia artificial por las Administraciones públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable. Revista de Estudios de la Administración Local y Autonómica, 20, 165–182. https://doi.org/10.24965/reala.11247

2. Mendilibar Navarro, P. (2025). La proyección del Reglamento de IA sobre la Administración Pública: El principio de explicabilidad aplicado al procedimiento administrativo. IUS ET VERITAS, 71, 1–16. https://doi.org/10.18800/iusetveritas.202502.006

3. Unión Europea. (2024). Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial). Diario Oficial de la Unión Europea.

4. Junta de Comunidades de Castilla-La Mancha. (2025). Ley 4/2025, de 11 de julio, de Simplificación, Agilización y Digitalización Administrativa. Boletín Oficial del Estado.