La Inteligencia Artificial llegó con la promesa de optimizar la contratación empresarial y gubernamental, mejorando la gestión financiera, administrativa, policial y sanitaria. Pero tras su fachada eficiente se esconde un fallo colosal: el sesgo humano. Los sistemas IA, entrenados con datos históricos, a menudo heredan y magnifican los prejuicios sociales, reactivando situaciones de discriminación que ya se consideraban superadas o en vías de solución. Este problema genera debates éticos urgentes sobre la equidad, la regulación tecnológica y la toma de decisiones automatizada.
Casos auténticos de discriminación IA empresarial
- Amazon. En 2018 la multinacional del comercio electrónico descartó una herramienta de reclutamiento de IA tras descubrir que penalizaba los currículos que contenían palabras como «mujeres» (por ejemplo, «club de ajedrez femenino») y rebajaba la calificación de las graduadas de universidades exclusivamente femeninas. El algoritmo se había entrenado con una década de currículos de la industria tecnológica dominados por hombres, lo que le enseñó a equiparar masculinidad con calidad profesional. De igual manera, los sistemas de reconocimiento facial, utilizados por las fuerzas del orden en todo el mundo, han mostrado tasas de discriminación IA alarmantes con las personas de color.
- IBM y Microsoft. Un estudio del MIT de 2019 reveló que los sistemas de estos dos colosos tecnológicos no identificaban correctamente a las mujeres de piel oscura hasta en un 34 % de los casos, en comparación con una precisión casi perfecta para los hombres blancos. Este sesgo ha provocado arrestos injustificados, como el caso de Robert Williams, un hombre negro detenido en Michigan después de que una IA defectuosa lo identificara erróneamente en un video de seguridad.
- Apple. Un caso real de discriminación por inteligencia artificial ocurrió con el sistema de evaluación de solicitudes de tarjetas de crédito de Apple Card en 2019. Numerosos usuarios, incluyendo al programador David Heinemeier Hansson, denunciaron que el algoritmo otorgaba límites de crédito significativamente más bajos a mujeres que a hombres, incluso cuando compartían cuentas y tenían historiales financieros similares. Esto llevó a una investigación por parte del Departamento de Servicios Financieros del estado de Nueva York. El incidente evidenció cómo los algoritmos, al ser entrenados con datos históricos sesgados, pueden imitar y agravar las desigualdades existentes, subrayando la necesidad urgente de transparencia y regulación en el uso de IA en decisiones sensibles.
Casos de gobiernos con IA sesgada en Europa
- Gobierno de Suecia. Un caso relevante tuvo lugar a finales de 2024, cuando una investigación reveló que el sistema de Inteligencia Artificial que usaba la Agencia de Seguridad Social (Försäkringskassan) discriminaba a grupos marginados al seleccionarlos injustamente para inspecciones de fraude en prestaciones sociales. Organizaciones como Amnistía Internacional exigieron la suspensión inmediata de este sistema, destacando la falta de transparencia y el sesgo sistémico en su funcionamiento.
- Gobierno de Francia. En otoño de 2024 una coalición de organizaciones de derechos humanos presentó una demanda contra el uso de algoritmos por parte del gobierno para detectar errores en pagos de asistencia social. Argumentaron que estos algoritmos discriminaban a personas con discapacidad y madres solteras, al asignarles puntuaciones de riesgo basadas en datos personales, lo que resultaba en investigaciones intrusivas y sesgadas.
Estos casos reflejan la creciente preocupación en la Unión Europea sobre el hecho de que los sistemas de IA puedan mantener o incluso agravar las discriminaciones existentes. En consecuencia, la UE ha implementado la Ley de Inteligencia Artificial, que establece normas para garantizar que los sistemas de IA sean transparentes, justos y respeten los derechos humanos fundamentales
¿Por qué la IA discrimina igual o más que las personas?
La IA no piensa realmente, sino que aprende patrones de los datos que ha usado durante su proceso de aprendizaje automático. Si estos reflejan desigualdades históricas (por ejemplo, brechas de género en tecnología, disparidades raciales en la policía), la IA las replica. Para agravar el problema, muchos algoritmos son desarrollados por equipos homogéneos que carecen de perspectivas diversas para detectar los «puntos ciegos».
El debate en torno al sesgo de la Inteligencia Artificial
Los críticos argumentan que la IA sesgada consolida la discriminación sistémica bajo una apariencia de objetividad y de avance tecnológico puntero. Los defensores argumentan que una IA bien diseñada podría reducir el sesgo humano si se entrena con datos inclusivos y se monitoriza rigurosamente. La tensión radica en equilibrar la innovación con la regulación: ¿Deben ser los gobiernos los que optimicen la IA o corresponde a las empresas tecnológicas autocontrolarse? La respuesta adecuada probablemente incluya ambas opciones.
Medidas para solucionar el problema
Las soluciones requieren cambios técnicos y sociales. Los desarrolladores de Inteligencia Artificial están empezando a usar algoritmos que priorizan la equidad y detectan resultados sesgados, mientras que los responsables políticos impulsan leyes de transparencia como la Ley de IA de la UE, que prohíbe los usos de alto riesgo de la IA opaca. Empresas como IBM ya han lanzado herramientas para revisar las series de datos en busca de sesgos, pero además habría que formar equipos humanos que hayan superado las correspondientes «pruebas de diversidad».
Archivado en:
