Cuando los algoritmos afrontan la ley: protección de la infancia frente a chatbots de IA

Autor: Santiago Carretero — Fecha de publicación: 5 de septiembre de 2025 — Entrada especializada: Derecho & Inteligencia Artificial

Resumen. El 5 de septiembre de 2025 se produjeron dos desarrollos institucionales de alto impacto en la intersección entre derecho e inteligencia artificial: (i) la Comisión Federal de Comercio de los Estados Unidos (FTC) inició solicitudes formales de documentación a empresas proveedoras de chatbots —incluyendo proveedores de modelos conversacionales— para examinar el impacto de estos sistemas en la salud mental y el bienestar de menores; y (ii) un grupo de fiscales generales en EE. UU. reclamó medidas regulatorias y protocolos de protección específicos para los menores que interactúan con asistentes de IA. Esta entrada ofrece una lectura jurídica normativa y jurisprudencial de ambos hechos, explora las bases competenciales, las hipótesis de responsabilidad y propone líneas de intervención normativa y de cumplimiento interno que las empresas deberían adoptar con carácter urgente.

Hechos esenciales

Según las informaciones públicas del 5‑IX‑2025, la FTC ha requerido a proveedores de tecnologías conversacionales documentación interna relativa a diseño, pruebas, mitigaciones y protocolos de seguridad destinados a proteger a menores que usan o puedan acceder a chatbots. Paralelamente, fiscales generales estatales han solicitado la implantación de medidas de protección, advirtiendo sobre riesgos –documentados en parte por informes periodísticos y reclamaciones ciudadanas– que incluyen dependencias afectivas y riesgos auto‑lesivos derivados de interacciones prolongadas y mal gestionadas con agentes conversacionales.

Contexto jurídico inmediato. La iniciativa de la FTC se enmarca en sus facultades para investigar prácticas comerciales potencialmente injustas o engañosas (sección 5 y otras facultades de protección al consumidor), mientras que los fiscales estatales actúan sobre la base de su competencia en defensa del consumidor y protección de menores. Ambos procesos pueden converger en reclamaciones administrativas, procesos sancionadores y, eventualmente, litigios civiles por daños.

Fundamentos normativos y vías de responsabilidad

Competencia y herramientas administrativas. La FTC puede utilizar sus poderes investigadores para requerir documentación y evaluar si las prácticas comerciales de las empresas son unfair o deceptive en el sentido del derecho administrativo estadounidense. Además, la normativa sectorial aplicable a menores —como la Children's Online Privacy Protection Act (COPPA) cuando corresponda— y otras obligaciones de transparencia y vigilancia podrían servir de base a exigencias adicionales.

Responsabilidad civil y estándar de cuidado. Desde una óptica civil, la actuación empresarial frente al riesgo para menores puede valorarse conforme a estándares de diligencia razonable y obligaciones de seguridad. En supuestos de daño psicológico o conductas autolesivas imputables a la interacción con un sistema de IA, pueden plantearse reclamaciones por negligencia, responsabilidad por producto defectuoso (si procede) o vulneración de deberes de información y seguridad, conforme a la legislación estatal competente.

Responsabilidad penal y obligaciones de prevención. Aunque la vía penal será excepcional, no puede descartarse la intervención cuando exista conducta dolosa, omisión grave o graves fallos en la implementación de medidas de protección frente a riesgos previsibles para menores. Los fiscales generales, en su papel coadyuvante, pueden impulsar medidas cautelares o procesos que obliguen a la adopción de protocolos inmediatos.

Implicaciones regulatorias y jurisprudenciales

La actuación de la FTC y de los fiscales estatales abre un nuevo frente regulatorio que combina: (i) supervisión preventiva administrativa; (ii) presión normativa por vías jurisdiccionales indirectas; y (iii) posibles litigios civiles. Jurisprudencialmente, cabe esperar en el medio plazo decisiones que definan el alcance de la diligencia exigible a los proveedores de IA, la valoración probatoria de algoritmos como elementos causantes del daño y la admisibilidad de pruebas técnicas (logs, prompt‑histories, registros de moderación y evaluaciones de riesgo).

«Resulta esencial fijar la diligencia debida que la tecnología debe incorporar cuando su uso previsible alcanza a menores: desde mitigaciones técnicas hasta políticas de diseño, verificación de edad, y protocolos de respuesta ante señales de riesgo.»

Recomendaciones prácticas para el cumplimiento empresarial

Para atender tanto el riesgo regulatorio como el riesgo litigioso, las entidades que desarrollan o despliegan chatbots deben articular un programa de cumplimiento integrado que incluya: evaluación de impacto sobre derechos y salud mental de menores; mecanismos de detección precoz de conductas de riesgo; límites técnicos de interacción y escalado humano; protocolos de verificación de edad y consentimiento; documentación exhaustiva de decisiones de diseño; auditorías externas periódicas; y políticas claras de transparencia y reparación.

Análisis crítico y cuestiones abiertas

Las medidas anunciadas por la FTC y los fiscales plantean cuestiones doctrinales y prácticas: ¿qué grado de control regulatorio preventivo es compatible con la innovación tecnológica? ¿Cómo integrar evidencia técnica compleja en procesos administrativos y judiciales sin sacrificar garantías procesales? ¿Cuál debe ser la frontera entre responsabilidad del proveedor y la responsabilidad de los cuidadores o plataformas intermedias? Son interrogantes que reclamarán una respuesta integradora: normativa, técnica, sanitaria y educativa.

En términos normativos y doctrinales propongo que la respuesta pública combine obligaciones de transparencia y trazabilidad (logs de interacción y evaluaciones de impacto sobre menores) con estándares mínimos de diseño seguro (por ejemplo, limites de interacción nocturna o mecanismos automáticos de derivación ante expresiones de riesgo), junto a la exigencia de planes de mitigación y reparación para usuarios y familias afectados. Estas obligaciones deberían articularse mediante guías técnicas vinculantes emitidas por las autoridades de protección al consumidor y, cuando proceda, por órganos sanitarios, sin perjuicio de que la Ley federal y la normativa estatal adapten su corpus sancionador para permitir medidas provisionales rápidas. Por último, la formación obligatoria en protección infantil para equipos de producto y la inclusión de representantes de salud mental en los comités de seguridad técnica contribuirían a una gobernanza más prudente y respetuosa de derechos.

Fuentes y documentación consultada

- «FTC Prepares to Question AI Companies Over Impact on Children», The Wall Street Journal, 5‑IX‑2025.
- Cobertura sobre la exigencia de medidas por parte de fiscales generales, reportada en medios jurídicos y de actualidad (noticia del 5‑IX‑2025).
(Enlaces de referencia: https://www.wsj.com/tech/ai/ftc-prepares-to-grill-ai-companies-over-impact-on-children-a1931640 ; https://www.diarioconstitucional.cl/2025/09/05/fiscales-generales-de-ee-uu-exigen-a-empresas-tecnologicas-adoptar-medidas-para-proteger-a-menores-que-interactuan-con-asistentes-de-inteligencia-artificial/).

Créditos: elaboración y autoría: TU NOMBRE. Entrada redactada con enfoque docente, riguroso y normativo para el blog.