Chatbots de IA en el punto de mira: seguridad, responsabilidad y el impulso normativo de California

Autor: Santiago Carretero Sánchez

Área de Filosofía del Derecho, Universidad Rey Juan Carlos

Resumen: El 28 de septiembre de 2025 la prensa informó que la Legislatura de California aprobó varios proyectos de ley orientados a regular la seguridad de los chatbots de inteligencia artificial; correspondiendo ahora al gobernador decidir su promulgación. Las iniciativas se centran en obligaciones de filtrado de contenido, transparencia sobre la naturaleza artificial del interlocutor y posibles regímenes de responsabilidad para proveedores. Este texto ofrece una exposición técnica y crítica destinada a juristas y operadores del sector.

1. Hechos y alcance normativo

Según informa Los Angeles Times (28.09.2025), la Asamblea legislativa de California ha dado luz verde a proyectos dirigidos a instalar requisitos específicos sobre los sistemas conversacionales basados en IA. 

Aunque en esta fase el lenguaje final puede variar, los elementos centrales que han aparecido en el debate público son:

• obligaciones de content moderation y detección de respuestas nocivas;
• divulgación clara al usuario de la condición de "agente artificial";
• medidas de seguridad adicionales para la protección de menores;
• mecanismos de responsabilidad civil y administrativa frente a daños derivados del uso del chatbot.

2. Normativa de referencia

Las iniciativas californianas se inscriben en un entramado jurídico compuesto por normas y principios previos:

• Derecho federal y órdenes ejecutivas: A nivel federal se han impulsado marcos no vinculantes (por ejemplo, directrices y órdenes ejecutivas para promover estándares de seguridad, transparencia y evaluación de riesgos en modelos de IA).

• Legislación estatal previa (California): La California Consumer Privacy Act (CCPA) y la California Privacy Rights Act (CPRA) establecen obligaciones de transparencia y derechos de los interesados que afectan al tratamiento de datos personales por sistemas de IA, lo que puede articularse con exigencias específicas sobre chatbots que procesan información sensible.

• Derecho internacional comparado: En la Unión Europea, el AI Act (Reglamento 2024/1689) introduce obligaciones de transparencia —incluyendo la obligación de informar cuando se interactúa con sistemas de generación de contenidos— y regímenes de cumplimiento reforzado para sistemas de alto riesgo. Aunque su alcance técnico y normativa difiere del modelo estadounidense, sirve como referencia normativa de gran influencia.

3. Problemas jurídicos esenciales

Las propuestas legislativas californianas plantean, entre otros, los siguientes desafíos jurídicos:

1. Determinación del estándar de responsabilidad: ¿se exigirá responsabilidad objetiva (sin necesidad de culpa) a los proveedores por daños causados por sus chatbots, o solo responsabilidad por negligencia/dolo? La opción determinante afectará tanto a la innovación como al coste de cumplimiento.
2. Pruebas y peritaje técnico: La valoración probatoria de errores, sesgos o comportamientos nocivos exige formación técnica del órgano jurisdiccional y la incorporación de peritos especializados; surge la cuestión sobre la inadmisibilidad o no de pruebas “de caja negra”.
3. Compatibilidad con derechos fundamentales: Los límites al contenido y los sistemas de filtrado deben conciliarse con la libertad de expresión y el principio de proporcionalidad.
4. Coordinación interjurisdiccional: La proliferación de normas estatales en EE. UU. puede provocar incertidumbre normativa para operadores transnacionales; la armonización o, al menos, la interoperabilidad de reglas será un reto.

4. Impacto práctico para operadores y usuarios

Para proveedores de chatbots y organizaciones que los integran, las consecuencias más relevantes serán:

• obligación de diseñar e implementar safeguards (controles técnicos y humanos) que reduzcan respuestas peligrosas;
• documentación de procesos (logs, registros de entrenamiento y evaluaciones de seguridad) que permitan auditorías;
• posibles aumentos de coste por cumplimiento normativo y seguros de responsabilidad tecnológica;
• necesidad de actualizar avisos y cláusulas de consentimiento para encajar con CCPA/CPRA y disposiciones emergentes.

5. Propuesta de lectura crítica

La regulación anticipatoria de chatbots puede proteger colectivos vulnerables y reducir daños; sin embargo, si se configura con estándares excesivamente rígidos o fragmentados, podría obstaculizar la innovación y generar discriminación regulatoria entre operadores. Una aproximación equilibrada exige reglas basadas en riesgo, exigencias de transparencia efectivas y mecanismos sancionadores proporcionados.

6. Referencias normativas y bibliográficas (selección)

Los Angeles Times, "California lawmakers passed bills to regulate AI chatbots; will Newsom sign them?", 28 de septiembre de 2025. (LA Times)

Reglamento (UE) 2024/1689 sobre Inteligencia Artificial (AI Act). (Texto consolidado y artículos sobre obligaciones de transparencia).

California Consumer Privacy Act (CCPA) y California Privacy Rights Act (CPRA). Documentación y texto consolidado.

Executive Order on Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (White House, 2023). Orientaciones y estándares federales.