Un experimento reciente en una escuela secundaria proporciona una historia de advertencia.
Investigadores de la Universidad de Pensilvania descubrieron que los estudiantes turcos de secundaria que tenían acceso a ChatGPT mientras hacían problemas de práctica de matemáticas les fue peor en un examen de matemáticas en comparación con los estudiantes que no tenían acceso a ChatGPT. Aquellos con ChatGPT resolvieron un 48 % más de los problemas de práctica correctamente, pero finalmente obtuvieron un 17 % peor en una prueba del tema que los estudiantes estaban aprendiendo.
Un tercer grupo de estudiantes tuvo acceso a una versión revisada de ChatGPT que funcionaba más como un tutor. Este chatbot fue programado para proporcionar pistas sin divulgar directamente la respuesta. A los estudiantes que los usaron les fue espectacularmente mejor en los problemas de práctica, resolviendo un 127 % más de ellos correctamente en comparación con los estudiantes que hicieron su trabajo de práctica sin ninguna ayuda de alta tecnología. Pero en una prueba posterior, estos estudiantes tutorizados por IA no lo hicieron mejor. Los estudiantes que simplemente hicieron sus problemas de práctica a la antigua usanza, por su cuenta, igualaron sus puntuaciones en los exámenes.
Los investigadores titularon su artículo, «La IA generativa puede dañar el aprendizaje», para dejar claro a los padres y educadores que la cosecha actual de chatbots de IA disponibles gratuitamente puede «inhibir sustancialmente el aprendizaje». Incluso una versión afinada de ChatGPT diseñada para imitar a un tutor no necesariamente ayuda.
Los investigadores creen que el problema es que los estudiantes están usando el chatbot como una «muleta». Cuando analizaban las preguntas que los estudiantes escribían en ChatGPT, los estudiantes a menudo simplemente pedían la respuesta. Los estudiantes no estaban construyendo las habilidades que vienen de resolver los problemas por sí mismos.
Los errores de ChatGPT también pueden haber sido un factor contribuyente. El chatbot solo respondió a los problemas matemáticos correctamente la mitad del tiempo. Sus cálculos aritméticos estaban equivocados el 8% de las veces, pero el mayor problema era que su enfoque paso a paso para cómo resolver un problema estaba equivocado el 42% del tiempo. La versión de tutoría de ChatGPT se alimentó directamente con las soluciones correctas y estos errores se minimizaron.
En julio de 2024 se publicó un borrador de artículo sobre el experimento en el sitio web de SSRN, anteriormente conocido como la Red de Investigación en Ciencias Sociales. El artículo aún no se ha publicado en una revista revisada por pares y aún podría ser revisado.
Este es solo un experimento en otro país, y se necesitarán más estudios para confirmar sus hallazgos. Pero este experimento fue grande, involucrando a casi mil estudiantes de los grados nueve a 11 durante el otoño de 2023. Los maestros primero revisaron una lección previamente enseñada con toda el aula, y luego sus aulas fueron asignadas aleatoriamente para practicar las matemáticas de una de tres maneras: con acceso a ChatGPT, con acceso a un tutor de IA impulsado por ChatGPT o sin ayudas de alta tecnología en absoluto. A los estudiantes de cada grado se les asignaron los mismos problemas de práctica con o sin IA. Después, hicieron una prueba para ver qué tan bien aprendieron el concepto. Los investigadores realizaron cuatro ciclos de esto, dando a los estudiantes cuatro sesiones de 90 minutos de tiempo de práctica en cuatro temas matemáticos diferentes para entender si la IA tiende a ayudar, dañar o no hacer nada.
ChatGPT también parece producir un exceso de confianza. En las encuestas que acompañaron al experimento, los estudiantes dijeron que no creían que ChatGPT les hiciera aprender menos a pesar de que lo habían hecho. Los estudiantes con el tutor de IA pensaron que les había ido significativamente mejor en el examen, aunque no lo hicieron. (También es otro buen recordatorio para todos nosotros de que nuestras percepciones de cuánto hemos aprendido a menudo están equivocadas).
Los autores compararon el problema de aprender con ChatGPT en piloto automático. Contaron cómo una dependencia excesiva del piloto automático llevó a la Administración Federal de Aviación a recomendar que los pilotos minimicen su uso de esta tecnología. Los reguladores querían asegurarse de que los pilotos aún supieran cómo volar cuando el piloto automático no funciona correctamente.
ChatGPT no es la primera tecnología que presenta una compensación en la educación. Las máquinas de escribir y los ordenadores reducen la necesidad de escritura a mano. Las calculadoras reducen la necesidad de aritmética. Cuando los estudiantes tienen acceso a ChatGPT, pueden responder a más problemas correctamente, pero aprenden menos. Obtener el resultado correcto para un problema no les ayudará con el siguiente.
Esta historia sobre el uso de ChatGPT para practicar matemáticas fue escrita por Jill Barshay y producida por The Hechinger Report, una organización de noticias independiente y sin fines de lucro centrada en la desigualdad y la innovación en la educación.
