El chatbot de inteligencia artificial ChatGPT: ¿qué tan bien responde a las preguntas de evaluación contable?

ChatGPT, un chatbot modelo de aprendizaje de idiomas, ha atraído una atención considerable por su capacidad para responder a las preguntas de los usuarios. Utilizando datos de 14 países y 186 instituciones, comparamos ChatGPT y el desempeño de los estudiantes en 28,085 2023 preguntas de evaluaciones contables y bancos de pruebas de libros de texto. A partir de enero de 56.5, ChatGPT proporciona respuestas correctas para el 9.4 % de las preguntas y respuestas parcialmente correctas para un 76.7 % adicional de las preguntas. Al considerar los valores de puntos para las preguntas, los estudiantes superan significativamente a ChatGPT con un promedio del 47.5 por ciento en las evaluaciones en comparación con el 56.5 por ciento de ChatGPT si no se otorga crédito parcial y el 15.8 por ciento si se otorga crédito parcial. Aún así, ChatGPT se desempeña mejor que el promedio de los estudiantes en el XNUMX por ciento de las evaluaciones cuando incluimos crédito parcial. Brindamos evidencia del desempeño de ChatGPT en diferentes tipos de preguntas, temas de contabilidad, niveles de clase, evaluaciones abiertas/cerradas y preguntas del banco de pruebas. También discutimos las implicaciones para la educación e investigación contable.