Las herramientas de Inteligencia Artificial a menudo se promueven como una oportunidad para mejorar la diversidad y la inclusión. Sin embargo, las noticias están llenas de historias sobre sistemas de inteligencia artificial que funcionan terriblemente mal y tienen el efecto contrario.
Algunos aspectos de la IA -como su gran escala, sus procesos automatizados y sus decisiones basadas en datos- podrían, en principio, ampliar el acceso a los recursos y fomentar un trato más justo. Sin embargo, estas mismas características también corren el riesgo de crear sólo la ilusión de objetividad, mientras codifican la desigualdad y la injusticia a gran escala, o se utilizan para oprimir aún más a los grupos desfavorecidos.
Si bien las herramientas de IA tienen el potencial de mejorar la diversidad y la inclusión, ese poder no proviene de la IA en sí, sino de sus creadores. La IA actual no es capaz de realizar razonamientos abstractos ni puede predecir los impactos de cambios importantes, por lo que se necesitan creadores humanos que entiendan por qué un sistema actual puede ser problemático y cómo la IA podría mejorarlo.
De manera similar, los impactos problemáticos de la IA en la diversidad y la inclusión surgen no solo de cuestiones relacionadas con el diseño de datos y algoritmos, sino también de que sus creadores malinterpretaron y simplificaron excesivamente los sistemas sociales, y no anticiparon consecuencias no deseadas.