ChatGPT, de OpenAI, es un chatbot que utiliza el aprendizaje automático y que se ha convertido en la plataforma tecnológica de más rápido crecimiento hasta la fecha, alcanzando más de 100 millones de usuarios en menos de dos meses. La universidad de Brigham Young, en Estados Unidos, ha querido probarla en el ámbito de la contabilidad, y el estudio ha ofrecido interesantes resultados.
>> Ver Cursos de Inteligencia Artificial.
Estudiantes vs. ChatGPT
En la investigación han participado 327 personas de 186 instituciones educativas en 14 países. Contribuyeron con más de 25.000 preguntas de exámenes de contabilidad relacionadas con, entre otros temas, auditoría, contabilidad financiera y fiscal, e información contable. Las cuestiones eran de diferente tipo “verdadero/falso opción múltiple, respuesta corta…) y variaban en dificultad.
Aunque el desempeño de ChatGPT fue notorio a la hora de resolver las cuestiones, lo cierto es que los estudiantes lo hicieron mejor, obteniendo un porcentaje de acierto ante las cuestiones del 76% frente al 47% del chatbot. En un 11% de las preguntas, sin embargo, ChatGPT tuvo una puntuación más alta que el promedio de los estudiantes, especialmente en auditoría. Pero al chatbot le fue peor en las preguntas fiscales, financieras y de gestión, teniendo problemas con los procedimientos matemáticos necesarios para dar una respuesta correcta.
>> Ver Cursos de Dirección Contable.
Tipos de preguntas
En cuanto a los tipos de pregunta, ChatGPT tuvo mejores resultados en las preguntas de verdadero/falso y las de opción múltiple, al contrario de lo que le ocurrió con las preguntas de respuesta corta. De hecho, ChatGPT respondió en varias ocasiones la misma pregunta de diferentes maneras.
Estos resultados invitan a los estudiantes a pensar que no resulta conveniente tratar de aprender usando únicamente ChatGPT. Los investigadores, por su parte, resaltan que ChatGPT no siempre reconoce cuándo se están haciendo operaciones matemáticas, lo que le lleva a realizar graves errores como sumar dos números en un problema de restas, por ejemplo.
Además, la investigación revela que el chatbot a menudo proporciona explicaciones de sus respuestas, aunque sean incorrectas. En otras ocasiones, hace descripciones precisas pero selecciona una respuesta incorrecta. Y, por último, los investigadores han constatado que ChatGPT a menudo inventa hechos, llegando a citar obras de autores que ni siquiera existen.
Por el contrario, los investigadores consideran prometedor la forma en que el chatbot puede ayudar a mejorar la enseñanza y el aprendizaje dentro de su función para diseñar o evaluar tareas, o redactar partes de un proyecto. Esto obliga a una reflexión acerca de hacia dónde se dirige la enseñanza.
ChatGPT is still no match for humans when it comes to accounting – https://t.co/DoUW9ATMiU https://t.co/NcNsyVtfg6
— BYU News (@BYU_News) April 22, 2023