CUANDO EL ALGORITMO DAÑA: RESPONSABILIDAD JURÍDICA POR CHATBOTS DE IA

 CUANDO EL ALGORITMO DAÑA: RESPONSABILIDAD JURÍDICA POR CHATBOTS DE IA

Santiago Carretero
Profesor Titular de Derecho
Universidad Rey Juan Carlos

El comienzo de 2026 ha venido marcado por la aparición de litigios y acuerdos judiciales de enorme trascendencia contra proveedores de chatbots de inteligencia artificial, tras la producción de daños personales extremadamente graves, incluidos fallecimientos de menores, presuntamente vinculados a interacciones prolongadas con sistemas conversacionales avanzados. La cuestión deja de situarse en el plano de la hipótesis académica para instalarse, con toda claridad, en el centro del debate jurídico contemporáneo.

Estos supuestos ponen de relieve una problemática que el Derecho ya no puede eludir: la capacidad de determinados sistemas de IA conversacional para generar vínculos emocionales intensos, influir en la conducta del usuario y ofrecer respuestas que, aun careciendo de intencionalidad propia, pueden resultar objetivamente dañinas. Desde la perspectiva jurídica, el riesgo tecnológico se transforma aquí en un daño personal jurídicamente relevante, evaluable conforme a los parámetros clásicos del Derecho de daños, sin que la mediación algorítmica pueda operar como causa automática de exoneración de responsabilidad.

Desde el punto de vista de la responsabilidad civil, el encuadre más relevante oscila entre la responsabilidad por productos defectuosos y la responsabilidad por culpa. La cuestión central reside en determinar si un chatbot carece de la seguridad que legítimamente cabe esperar cuando interactúa con colectivos vulnerables, en particular menores de edad. El análisis no puede limitarse al resultado dañoso, sino que debe proyectarse sobre el conjunto del ciclo de vida del sistema: diseño, entrenamiento, despliegue y supervisión. Resulta especialmente relevante valorar si el proveedor adoptó medidas razonables de prevención del daño, tales como límites funcionales claros, advertencias comprensibles, sistemas eficaces de moderación de contenidos y mecanismos reales de detección de conductas de riesgo.

La dimensión penal, aunque más restrictiva, no puede descartarse de forma apriorística. Estos casos reabren el debate sobre la imputación por imprudencia grave cuando concurren decisiones empresariales u omisiones relevantes en el diseño o control del sistema. No se trata, evidentemente, de atribuir responsabilidad penal a la máquina, sino de analizar la conducta humana subyacente: la previsibilidad del riesgo, el grado de control efectivo sobre el sistema y la eventual desatención consciente de señales de peligro objetivamente apreciables.

La relevancia de estos litigios se intensifica en el contexto europeo, a la luz del Reglamento (UE) 2024/1689 de Inteligencia Artificial. Los sistemas conversacionales dirigidos al público general, y especialmente cuando pueden afectar a la salud mental o emocional de las personas, se aproximan peligrosamente al perímetro de los sistemas de alto riesgo. En este marco, las obligaciones de evaluación previa, gestión continua de riesgos, supervisión humana y documentación técnica dejan de ser exigencias formales para convertirse en instrumentos esenciales de protección jurídica efectiva.

La enseñanza que se desprende de estos casos es inequívoca. La inteligencia artificial ya no plantea únicamente desafíos teóricos o prospectivos, sino responsabilidades concretas derivadas de daños reales. El Derecho se ve obligado a reaccionar frente a sistemas que operan con autonomía funcional, pero bajo control humano último. El horizonte inmediato apunta hacia un modelo de responsabilidad preventiva, en el que la innovación tecnológica no pueda desligarse de la protección efectiva de las personas ni de la exigencia de una diligencia reforzada cuando están en juego bienes jurídicos fundamentales.