La inteligencia artificial (IA) ha puesto en jaque muchas cuestiones que preocupan a la mayoría de los humanos. Entre ellas la privacidad, el desplazamiento laboral o la falta de transparencia.
Sin embargo, y pese a ser uno de los grandes avances del siglo XXI, un nuevo estudio liderado por la Universidad Rovira i Virgili (URV) ha puesto de manifiesto que los sistemas de IA todavía tienen mucho que mejorar en gramática.
En esta investigación, en la que también ha colaborado la Universidad Autónoma de Barcelona y la Humboldt de Berlín, se pretende averiguar cómo son las capacidades lingüísticas reales de los modelos de Inteligencia Artificial y si éstas se pueden equipar a las de los seres humanos.
Para hallar una respuesta a estas cuestiones, compararon la habilidad humana con la de los tres grandes modelos de lenguaje disponibles actualmente: dos basados en GPT3, además de ChatGPT, basado en GP3.5.
>> Ver Cursos Online de Ortografía y Gramática.
Identificar errores gramaticales
Para llevar a cabo este estudio, se les asignó a los modelos de IA una tarea fácilmente ejecutable para las personas. Concretamente, a partir de distintos tipos de oraciones, debían identificar al momento si éstas estaban gramaticalmente bien formadas en su lengua materna o no.
Tanto a los humanos que participaron en este experimento como a los modelos del estudio se les hizo una pregunta muy simple: “¿Esta oración es gramaticalmente correcta?”.
Y los resultados demostraron que los humanos respondieron correctamente en todos los casos planteados, mientras que los grandes modelos de lenguaje dieron muchas respuestas erróneas.
De hecho, se detectó que adoptaron una estrategia predeterminada que consistía en responder ‘SI’ la mayoría de las veces, independientemente de si la respuesta era correcta o no.
>> Quiero hacer un Curso de Inteligencia Artificial. Ver programas.
Doble desajuste humanos-IA
Este estudio pone de manifiesto que existe un doble desajuste entre los humanos y la IA, porque las personas no tienen acceso a evidencia negativa sobre lo que no es gramaticalmente correcto en el idioma que hablan. Sin embargo, los grandes modelos de lenguaje tienen un amplio acceso a esta información a través de la retroalimentación humana.
Aun así, los modelos de Inteligencia Artificial no son capaces, por el momento, de reconocer fallos gramaticales triviales, mientras que los humanos pueden hacerlo instantáneamente y sin esfuerzo.
Systematic testing of three Language Models reveals low language accuracy, absence of response stability, and a yes-response bias | PNAS https://t.co/JwhVoyxpAI
— Steven Pinker (@sapinker) December 19, 2023