Cuando le pedí a ChatGPT un chiste sobre los sicilianos el otro día, dio a entender que los sicilianos apestan.
Como alguien nacido y criado en Sicilia, reaccioné a la broma de ChatGPT con disgusto. Pero al mismo tiempo, mi cerebro de informático comenzó a girar en torno a una pregunta aparentemente simple: ¿Se debe permitir que ChatGPT y otros sistemas de inteligencia artificial estén sesgados?
Podrías decir “¡Por supuesto que no!” Y esa sería una respuesta razonable. Pero hay algunos investigadores, como yo, que argumentan lo contrario: los sistemas de IA como ChatGPT de hecho debe ser parcial – pero no de la manera que podrías pensar.
Eliminar el sesgo de la IA es un objetivo loable, pero eliminarlo a ciegas puede tener consecuencias no deseadas. En cambio, el sesgo en la IA puede ser controlado para lograr un objetivo superior: la equidad.
Descubriendo el sesgo en la IA
Como la IA es cada vez más integrado en tecnología cotidianamuchas personas están de acuerdo en que abordar el sesgo en la IA es un asunto importante. Pero, ¿qué significa realmente “sesgo de IA”?
Los informáticos dicen que un modelo de IA está sesgado si inesperadamente produce resultados sesgados. Estos resultados podrían exhibir prejuicios contra individuos o grupos, o no estar en línea con los valores humanos positivos como la justicia y la verdad. Incluso las pequeñas divergencias del comportamiento esperado pueden tener un “efecto mariposa”, en el que los sesgos aparentemente menores pueden ser amplificados por la IA generativa y tener consecuencias de largo alcance.
Sesgo en los sistemas de IA generativa puede provenir de una variedad de fuentes. Problemático datos de entrenamiento poder asociar ciertas ocupaciones con géneros específicos o perpetuar los prejuicios raciales. Los propios algoritmos de aprendizaje puede ser parcial y luego amplificar los sesgos existentes en los datos.
Pero los sistemas también podría estar sesgado por el diseño. Por ejemplo, una empresa puede diseñar su sistema de IA generativa para priorizar la escritura formal sobre la creativa, o para servir específicamente a las industrias gubernamentales, lo que refuerza inadvertidamente los sesgos existentes y excluye los diferentes puntos de vista. Otros factores sociales, como la falta de regulaciones o incentivos financieros desalineados, también pueden conducir a sesgos de IA.
Los desafíos de eliminar el sesgo
No está claro si el sesgo puede, o incluso debe, eliminarse por completo de los sistemas de IA.
Imagina que eres un ingeniero de inteligencia artificial y notas que tu modelo produce una respuesta estereotipada, como si los sicilianos fueran “apestosos”. Puede pensar que la solución es eliminar algunos malos ejemplos en los datos de entrenamiento, tal vez bromas sobre el olor de la comida siciliana. Investigación reciente ha identificado cómo realizar este tipo de “neurocirugía de IA” para restar importancia a las asociaciones entre ciertos conceptos.
Pero estos cambios bien intencionados pueden tener efectos impredecibles y posiblemente negativos. Incluso pequeñas variaciones en los datos de entrenamiento o en la configuración de un modelo de IA pueden conducir a resultados del sistema significativamente diferentes, y estos cambios son imposibles de predecir por adelantado. No sabe qué otras asociaciones ha aprendido su sistema de IA como consecuencia de “desaprender” el sesgo que acaba de abordar.
Otros intentos de mitigar el sesgo corren riesgos similares. Un sistema de IA que esté entrenado para evitar por completo ciertos temas delicados podría producir respuestas incompletas o engañosas. Las regulaciones equivocadas pueden empeorar, en lugar de mejorar, los problemas de sesgo y seguridad de la IA. malos actores podría evadir las salvaguardas para provocar comportamientos maliciosos de IA, lo que hace estafas de phishing más convincentes o usando deepfakes para manipular elecciones.
Con estos desafíos en mente, los investigadores están trabajando para mejorar las técnicas de muestreo de datos y equidad algorítmicaespecialmente en la configuración de dónde ciertos datos confidenciales no está disponible. Algunas compañías, como OpenAIhan optado por tener los trabajadores humanos anotan los datos.
Por un lado, estas estrategias pueden ayudar a que el modelo se alinee mejor con los valores humanos. Sin embargo, al implementar cualquiera de estos enfoques, los desarrolladores también corren el riesgo de introducir nuevos sesgos culturales, ideológicos o políticos.
Sesgos de control
Existe una compensación entre reducir el sesgo y asegurarse de que el sistema de IA siga siendo útil y preciso. Algunos investigadores, incluyéndome a mí, piensan que se debe permitir que los sistemas de IA generativa estén sesgados, pero de una manera cuidadosamente controlada.
Por ejemplo, mis colaboradores y yo desarrollamos técnicas que dejar que los usuarios especifiquen qué nivel de sesgo debe tolerar un sistema de IA. Este modelo puede detectar la toxicidad en el texto escrito teniendo en cuenta las normas lingüísticas culturales o del grupo. Si bien los enfoques tradicionales pueden marcar incorrectamente algunas publicaciones o comentarios escritos en Inglés afroamericano como ofensivo y por Las comunidades LGBTQ+ como tóxicaseste modelo de IA “controlable” proporciona una clasificación mucho más justa.
La IA generativa controlable y segura es importante para garantizar que los modelos de IA produzcan resultados que se alineen con los valores humanos, al tiempo que permiten matices y flexibilidad.
Hacia la equidad
Incluso si los investigadores pudieran lograr una IA generativa libre de sesgos, eso sería solo un paso hacia la objetivo más amplio de equidad. La búsqueda de la equidad en la IA generativa requiere un enfoque holístico, no solo mejores algoritmos de procesamiento de datos, anotación y eliminación de sesgos, sino también colaboración humana entre desarrolladores, usuarios y comunidades afectadas.
A medida que la tecnología de IA continúa proliferando, es importante recordar que la eliminación de sesgos no es una solución única. Más bien, es un proceso continuo que exige monitoreo, refinamiento y adaptación constantes. Aunque es posible que los desarrolladores no puedan anticipar o contener fácilmente la efecto mariposapueden seguir estando atentos y reflexivos en su enfoque del sesgo de la IA.
Este artículo se vuelve a publicar de La conversación bajo una licencia Creative Commons. Leer el artículo original escrito por emilio ferraraProfesor de Informática y de la Comunicación, Universidad del Sur de California.