Entre la ley y el sesgo: proteger a las personas frente a la discriminación algorítmica
Entre la ley y el sesgo: proteger a las personas frente a la discriminación algorítmica
La proliferación de sistemas algorítmicos en decisiones de alto impacto —selección de personal, concesión de crédito, perfiles de riesgo— plantea una pregunta elemental para juristas y profesionales: ¿están nuestras leyes preparadas para prevenir y reparar discriminaciones causadas, no por intenciones humanas expresas, sino por correlaciones, proxies y efectos emergentes de modelos estadísticos?
Resumen del diagnóstico principal
En su trabajo reciente, Frederik J. Zuiderveen Borgesius examina con detalle cómo el Derecho europeo —especialmente el derecho antidiscriminatorio y la protección de datos— sostiene la protección frente a decisiones algorítmicas discriminatorias y dónde exhibe debilidades relevantes. El autor identifica que la figura de la discriminación indirecta (equivalente al disparate impact anglosajón) es una pieza jurídicamente potente: permite reprochar prácticas aparentemente neutrales que, de hecho, producen efectos desproporcionados sobre grupos protegidos. No obstante, la aplicación práctica de esta doctrina enfrenta obstáculos probatorios, costos procesales y vacíos en la vigilancia administrativa que dificultan su eficacia frente a tecnologías opacas.
Principales problemas prácticos que señala el estudio
El trabajo destaca varias limitaciones: la dificultad para identificar el nexo causal entre variable protegida y resultado algorítmico cuando el sesgo surge por proxies; la opacidad de modelos comerciales que impide auditar procedimientos; la ausencia de datos históricos adecuados para demostrar el efecto desproporcionado; y la fragmentación institucional entre autoridades de igualdad, protección de datos y reguladores sectoriales.
«Los instrumentos jurídicos existentes contienen herramientas útiles, pero su despliegue efectivo exige mejores mecanismos probatorios, auditorías independientes y, en muchos casos, regulación sectorial específica», observa el autor.
Implicaciones para la práctica forense y la docencia
Para el abogado litigante y el profesional de cumplimiento, la consecuencia inmediata es que debe incorporarse al arsenal probatorio la evaluación técnica de modelos: métricas de equidad, pruebas de disparate impact, análisis de proxies y registros que documenten los datos y las decisiones. En la formación de juristas es imprescindible combinar el aprendizaje doctrinal con ejercicios prácticos —revisión de casos simulados, lectura crítica de auditorías algorítmicas y colaboración interdisciplinar con estadísticos o ingenieros—, para que el futuro abogado no solo conozca la norma, sino que pueda identificar y explicar el funcionamiento de un sesgo algorítmico ante un juez o autoridad administrativa.
¿Basta con reforzar la aplicación de las normas existentes?
Borgesius plantea que, aunque el derecho antidiscriminatorio y la normativa de protección de datos (p. ej. el RGPD) contienen elementos que pueden ser movilizados para proteger a las víctimas, en la práctica esas normas no siempre alcanzan. Por ejemplo, el régimen de responsabilidades y la carga de la prueba pueden dejar al demandante en una posición desfavorable. El autor sugiere que la mejora de la eficacia exige una doble vía: fortalecer la aplicación y vigilancia (recursos, capacidades técnicas de los órganos de control) y desarrollar normas sectoriales que fijen estándares mínimos de transparencia, evaluación de impacto algorítmico y obligaciones de mitigación.
Propuestas operativas (síntesis docente)
Las propuestas convergen en tres ejes: (1)> Priorizar la creación de protocolos de auditoría obligatoria para sistemas de alto riesgo, que incluyan métricas cuantitativas de equidad y pruebas de robustez; (2) dotar a los órganos de control —tanto autoridades de igualdad como autoridades de protección de datos— de competencias y recursos técnicos efectivos para auditar y sancionar; (3) promover reglas sectoriales ajustadas a contextos sensibles (empleo, finanzas, justicia penal) que especifiquen estándares de modelado, pruebas de validación y requisitos de documentación y trazabilidad.
Preguntas de debate para estudiantes y profesionales
¿Debería exigirse transparencia completa de los modelos comerciales cuando se usan en decisiones laborales o crediticias? ¿Cómo equilibrar el secreto empresarial con el derecho a la explicación y la tutela frente a resultados discriminatorios? ¿Es viable una regulación horizontal (general) o son necesarias normas por sector? ¿Qué carga de la prueba debería incumbir a la víctima en casos de disparate impact algorítmico?
Comentarios
Publicar un comentario