En un mundo cada vez más globalizado, la diversidad lingüística es una realidad innegable. Sin embargo, los detectores de texto generados por inteligencia artificial (IA) parecen tener dificultades para adaptarse a esta realidad. Un estudio reciente revela que estos sistemas suelen marcar erróneamente los textos escritos por hablantes no nativos de inglés como si fueran generados por IA.
El estudio y sus hallazgos
Un equipo de investigación liderado por James Zou, de la Universidad de Stanford, puso a prueba siete detectores de texto generados por IA, conocidos como detectores GPT. Utilizaron 91 ensayos en inglés escritos por hablantes no nativos para la prueba de competencia en inglés TOEFL. El resultado fue sorprendente: más de la mitad de estos ensayos fueron etiquetados incorrectamente como generados por IA.
Es decir, que si le acusas a tu alumno de que su trabajo fue generado por ChatGPY porque un detector te lo ha dicho, es posible que el detector te esté mintiendo.
¿Cómo funcionan los detectores GPT?
Los detectores GPT evalúan la «perplejidad» de un texto, es decir, cuán inesperada es la elección de palabras. Si un texto utiliza palabras comunes y sencillas, es más probable que sea marcado como generado por IA. Esto se debe a que los modelos de lenguaje de gran tamaño, como ChatGPT, están entrenados para generar textos con baja perplejidad, imitando así la forma en que habla un humano promedio.
Por otro lado los detectores usan siempre palabras que se repiten mucho en ChatGPT, como «además», «en resumen» y otros, aunque con un buen prompt es fácil evitar eso.
Implicaciones y advertencias
El uso de palabras más simples, común entre los hablantes no nativos de inglés, hace que estos textos sean más propensos a ser etiquetados como generados por IA. Esto plantea serias preocupaciones sobre el uso de estos detectores en entornos como las aulas o las solicitudes de empleo, donde podrían generar sesgos y ser fácilmente engañados.
Hacia una solución
Para mejorar la precisión de estos detectores, los investigadores sugieren entrenarlos con tipos de escritura más diversos. Sin embargo, queda claro que aún queda mucho por hacer para garantizar que la IA no discrimine a los escritores no nativos de inglés.
La tecnología tiene el potencial de ser una gran igualadora, pero solo si se diseñan y utilizan las herramientas de manera justa y equitativa. Los hallazgos de este estudio subrayan la importancia de considerar la diversidad lingüística en el desarrollo de la IA.
Lo que está claro es que dentro de muy poco será completamente imposible identificar estos textos generador por ChatGPT. Un estudiante puede poner textos creados por él mismo para enseñar a ChatGPT a escribir usando su estilo, y los resultados serán prácticamente perfectos.
