Tarragona, 6 feb (EFE).- Un estudio de la Universitat Rovira i Virgili (URV) de Tarragona evidencia las limitaciones de la Inteligencia Artificial (IA) en la comprensión del lenguaje tras comparar las capacidades de siete modelos de esta tecnología con las de los humanos y revelar su falta de precisión en las respuestas.
Según informa este jueves la URV, los resultados muestran que, a pesar de su éxito en algunas tareas específicas, los modelos de IA no alcanzan un nivel comparable al de las personas en pruebas sencillas de comprensión de textos.
«Su capacidad para llevar a cabo tareas complejas no garantiza que sean competentes en tareas sencillas», señalan los autores del estudio.
Con el fin de comparar el rendimiento en la comprensión de textos de humanos y modelos extensos de lenguaje (MEL) —diseñados para generar textos de manera autónoma a partir de un requerimiento del usuario—, los investigadores formularon 40 preguntas a siete modelos de IA —Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 y Mixtral—, utilizando estructuras gramaticales simples y verbos de uso frecuente.
Por otro lado, sometieron a un grupo de 400 personas, todos hablantes nativos de inglés, a las mismas preguntas y compararon la precisión de sus respuestas con las de los MEL.
La media de aciertos de los humanos fue del 89 %, superior a la de los modelos de IA, entre los que destacó ChatGPT-4, con un 83 % de respuestas correctas.
«Los resultados evidencian una gran diferencia en el rendimiento de las tecnologías de comprensión de textos: excepto ChatGPT-4, ninguno de los MLE alcanzó una precisión superior al 70 %», explican los investigadores.
«Aunque los MLE pueden generar textos gramaticalmente correctos y aparentemente coherentes, los resultados de este estudio sugieren que, en el fondo, no entienden el significado del lenguaje de la forma en que lo hace un humano», afirma Vittoria Dentella, del grupo de investigación en Lengua y Lingüística de la URV.
Según el estudio, los modelos de lenguaje extensos no interpretan el significado como lo hace una persona, que integra elementos semánticos, gramaticales, pragmáticos y contextuales, sino que funcionan identificando patrones en los textos y comparándolos con los que presenta la información con la que han sido entrenados y mediante algoritmos predictivos basados en estadísticas. EFE
dpj/pll/cc
