ChatGPT en el ámbito educativo: ¿revolución y modernización de la educación o control social e inequidad?
ChatGPT en el ámbito educativo: ¿revolución y modernización de la educación o control social e inequidad?
En esta entrada del blog, Mauro Jarquín Ramírez y Enrique Díez Gutiérrez resumen las principales posturas sobre el papel de la IA generativa en las escuelas, las cuales han surgido de una revisión sistemática de la literatura.
El interés generado por la aparición de la IA generativa ha provocado un prolífico debate en torno a sus posibles efectos en la educación. Tras hacer una Revisión Sistemática de la Literatura (SLR) de la investigación científica reciente sobre el papel de ChatGPT en las escuelas, vemos que tienden a predominar las siguientes posiciones:
IA desarrolla un sistema educativo más efectivo y moderno
Una parte de las investigaciones apuntan que el uso de IA generativa, particularmente el sistemas GPT, pueden ayudar a mejorar el trabajo docente y la eficiencia del proceso educativo, así como las posibilidades educativas de creación y creatividad. Proporcionan al profesorado información personalizada de las necesidades de los estudiantes y permiten adaptar el proceso educativo a cada estilo de aprendizaje, generando un sistema de aprendizaje más eficiente.
También se resalta que los sistemas de GPT pueden resultar útiles en una diversidad de actividades vinculadas a la docencia: desarrollar juegos, videos, aplicaciones, recursos multimedia y de gamificación que hagan más divertidas y motivantes las aulas. Además, consideran que ChatGPT puede resultar útil como agente de conversación para niños y niñas pequeños y asistente y guía para el profesorado de cara a su cuidado y atención.
Por último, consideran que la utilización de dicha tecnología puede impulsar en los estudiantes la “innovación personal” para ser capaces por sí mismos de adaptar el uso del chatbot e integrar su uso a diversas temáticas, contextos y disciplinas.
Este enfoque comparte un posicionamiento político-pedagógico de defensa de los sistemas GPT en educación y afirman que ignorar el uso de la IA en educación no es el camino, sino capacitar a los y las docentes en su uso.
Es una amenaza potencial que constriñe el desarrollo educativo
Frente al tecno-optimismo de las investigaciones anteriores, otros trabajos resaltan preocupaciones asociadas al uso de ChatGPT y en general al uso de la tecnología IA en educación.
Uno de los riesgos más señalados es su posible uso no ético, lo cual puede conducir a un falseamiento de resultados académicos y a la quiebra de la ética y los valores educativos, e incluso al fraude. “Las trampas van en aumento, no podemos confiar en los estudiantes y la mejor estrategia para proteger la integridad académica es invertir en sistemas de vigilancia masivos”, aseguran algunos. Esta visión es el exponente de una cultura y mentalidad punitiva propia del capitalismo de vigilancia en la educación.
Además, algunos autores consideran que la IA y particularmente ChatGPT pueden reducir la capacidad de expresión, razonamiento y ética de las personas dado que los algoritmos que le dan sentido no tienen relación sustancial con el lenguaje humano auténtico. De esta forma se construiría un conocimiento social y educativo que puede ser teóricamente viable, pero contextualmente dudoso o incluso falso; información plausible científicamente, pero objetivamente inexacta.
Otro de los riesgos señalados es la posible falsificación de las fuentes, lo cual conlleva un posible sesgo en los resultados en el ámbito educativo y de investigación académica, generando una continua necesidad de supervisión humana y del potencial uso indebido.
Además, surge el temor de que los algoritmos y programas acaben por realizar buena parte de las funciones humanas, hasta el punto de que las personas se vuelvan prescindibles en algunos trabajos, como el docente, la tutorización, la orientación educativa o la formación.
También aparece el riesgo respecto al uso de los datos extraídos en los centros educativos, convirtiéndolos en macrogranjas extractivistas de información del alumnado y de la comunidad educativa, traduciendo los comportamientos en datos para realizar predicciones y orientar acciones y patrones de consumo.
No obstante, estas investigaciones afirman que los riesgos están asociados al uso de la IA y no a la IA por sí misma.
Cuestiona la visión humanista en educación
Un tercer grupo de trabajos de investigación consideran que la IA y los GPTs supondrán un riesgo de cambio importante no solo por su uso, sino por su capacidad para transformar el trabajo y el sistema educativo e incluso también el propio derecho a la educación.
En este sentido alertan sobre determinados riesgos de mercantilización de la educación y sus consecuencias en términos de exclusión; la evolución de la gobernanza hacia formas gerenciales; y el riesgo de la reconfiguración de la educación desde la inequidad, el racismo, el machismo y el control, vinculados a la cultura de quienes diseñan y configuran estos sistemas. Pues la limitación de base de la IA es que son los seres humanos quienes la programan a partir de conjuntos de datos proporcionados por otros seres humanos.
Resaltan aspectos críticos de la IA y los GPT: desde el incremento en la dependencia respecto a ella o la pérdida de privacidad de los usuarios que la utilizan hasta que la IA se ha convertido en una “máquina de cultura ideológica”. En el actual capitalismo tecnológico, la IA está interviniendo directamente en el proceso social de creación de significado. De hecho, los sistemas GPT son máquinas de ideología, los primeros productores cuantitativos de ideología. Algunos autores afirman taxativamente que la retórica neoliberal libertariana centrada en el capitalismo global está presente en la programación y el ADN de la IA.
IA implica sesgos ideológicos
Otro aspecto general, particularmente extendido entre las investigaciones que abordan la IA generativa, es el contexto político-ideológico subyacente a la IA. Persiste un consenso en que los algoritmos que dan vida a la IA no son neutrales e implican distintos sesgos: a) El sesgo del aprendizaje automático, tendencia de los algoritmos a reflejar los sesgos y prejuicios humanos; b) sesgo de reproducción, referido a que lo que producen los sistemas GPT es un lenguaje promediado en torno a una selección de palabras; c) el sesgo de automatización, que apunta a que los humanos tendemos a favorecer las decisiones tomadas por las máquinas, atribuyéndoles neutralidad y objetividad; d) el sesgo político, con el cual los modelos de lenguaje extenso (LLM) imitan los estereotipos y las preferencias de los datos extraídos de sitios de Internet; e) sesgo de entrenamiento, dado que ChatGPT ha sido moldeado por el aprendizaje reforzado con retroalimentación humana (RLHF) esto puede implicar la reproducción de los puntos de vista de las personas que brindan retroalimentación y f) sesgo de burbuja: los algoritmos personalizados facilitan aquellos contenidos que refuerzan nuestra visión del mundo.
La IA y la equidad
Más allá de las posibles mejoras en el rendimiento educativo, los estudios críticos sobre la incorporación de IA generativa en educación han dado cuenta de la cantidad de riesgos que conlleva la tecnología producida en un contexto de desigualdades e inequidades que la nutren y condicionan. Así, es posible plantear un conjunto de potenciales efectos negativos respecto a la equidad en la educación.
Una primera preocupación se refiere a los potenciales efectos de suponer que no solo la IA puede expresarse como un humano, sino que el lenguaje humano funciona como lo presenta la tecnología, “plano”, potencialmente ausente de consideraciones contextuales y criterios de solidaridad o empatía, lo cual afectaría un desarrollo educativo integral.
La incorporación de IA puede, además, representar un escenario preocupante para la profesión docente, al fomentar su desprofesionalización y hacer de este un gestor tecnológico en lugar de un actor protagonista, junto a estudiantes y familias, del proceso educativo.
Por otro lado, el hecho de que la innovación tecnológica corra esencialmente de la mano de actores privados, permite cuestionar sus potenciales efectos en torno a nuevos procesos de mercantilización, privatización e incluso dependencia de los sistemas educativos respecto a empresas privadas.
Finalmente, el uso de IA generativa en educación, puede ser un enclave de reproducción del racismo, capacitismo, sexismo y del modelo neoliberal en educación, particularmente cuando se utiliza sin un sentido crítico. Es posible que un uso mecánico de sus resultados -condicionados potencialmente por diversidad de sesgos- favorezca la consolidación de prejuicios sociales respecto a determinados grupos étnicos, identitarios o políticos. También es posible que actores económicos que pagan por visibilidad y posicionamiento puedan resultar favorecidos en la producción de contenido, lo cual crearía nuevas brechas en torno al acceso de una educación democrática.
Por ello, resulta importante el desarrollo y consolidación de una agenda global, con participación de distintos actores educativos, de estudios críticos sobre la IA en educación que permita esbozar, desde los contextos nacionales, regionales y locales, alternativas democráticas y equitativas de uso de tecnología.
Los autores
Mauro Jarquín Ramírez (UNAM-México)
Enrique Díez Gutiérrez (Universidad de León-España)
ChatGPT in Education: Modernisation of Education or Social Control and Inequality?
In this blogpost, Mauro Jarquín Ramírez and Enrique Díez Gutiérrez summarize the main positions that emerged from a systematic literature review on the role of generative AI in schools.
The interest generated by the emergence of generative AI has sparked a prolific debate about its potential effects on education. After doing a Systematic Literature Review of recent scientific research on the role of ChatGPT in schools, we see that the following positions tend to predominate:
AI develops a more effective and modern education system
Some research points out that the use of generative AI, particularly GPT systems, can help to improve the work of teachers and the efficiency of the educational process, as well as the educational possibilities of creation and creativity. They provide teachers with personalized information on the needs of students and allow the educational process to be adapted to each learning style, generating a more efficient learning system. It is also highlighted that GPT systems can be useful in a variety of activities related to teaching: developing games, videos, applications, multimedia and gamification resources that make classrooms more fun and motivating. In addition, they consider that ChatGPT can be useful as a conversational agent for young children and an assistant and guide for teachers in their care and attention.
Finally, they consider that the use of this technology can boost “personal innovation” in students. Thus, they become able to adapt the use of the chatbot on their own and integrate its use to various topics, contexts and disciplines. This approach shares a political-pedagogical position in defence of GPT systems in education and affirms that ignoring the use of AI in education is not the correct way, but that teachers need to be trained to use it.
It is a potential threat that constrains educational development
In contrast to the techno-optimism of previous research, other studies highlight concerns associated with the use of ChatGPT and in general the use of AI technology in education. One of the most pointed out risks is its possible unethical use, which can lead to a falsification of academic results and the bankruptcy of ethics and educational values, and even fraud. “Cheating is on the rise, we cannot trust students and the best strategy to protect academic integrity is to invest in massive surveillance systems,” some say. This vision represents a culture and punitive mentality typical of surveillance capitalism in education.
In addition, some authors consider that AI and particularly ChatGPT can reduce people’s ability to express and reason, as well as the people’s ethics, given that the algorithms that make sense of it have no substantial relationship with authentic human language. In this way, social and educational knowledge would be constructed that may be theoretically viable, but contextually doubtful or even false; scientifically plausible information, but objectively inaccurate. Another risk pointed out is the possible falsification of sources, which leads to a possible bias in the results in the educational and academic research field, generating a continuous need for human supervision and potential misuse.
In addition, there is a fear that algorithms and programs will end up performing a large part of human functions, to the point that people become expendable in some jobs, such as teaching, tutoring, educational guidance or training. There is also a risk regarding the use of data extracted in schools, turning them into extractive macro-farms of data from students and the educational community, translating behaviours into data to make predictions and guide actions and consumption patterns. However, this research affirms that the risks are associated with the use of AI and not with AI itself.
AI challenges the humanist vision of education
A third group of researchers considers that AI and GPT will pose a significant risk not only because of their use, but also because of their ability to transform work and the education system and even the right to education itself. In this sense, these researchers warn about certain risks of commodification of education and its consequences in terms of exclusion; the evolution of governance towards managerial forms; and the risk of the reconfiguration of education in line with the elitism, racism and misogyny of those who configure these systems. Ultimately, the basic limitation of AI is that it is humans who programme it from datasets provided by other human beings.
They highlight critical aspects of AI and GPTs: from the increase in dependence on it or the loss of privacy of the users who use it to the fact that AI has become an “ideological culture machine”. In today’s technological capitalism, AI is directly intervening in the social process of meaning-making. In fact, GPT systems are ideology machines, the first quantitative producers of ideology. Some authors categorically state that the libertarian neoliberal rhetoric focused on global capitalism is present in the programming and DNA of AI.
AI implies ideological biases
Another general aspect, particularly widespread among research addressing generative AI, is the political-ideological context underlying AI. There is still a consensus that the algorithms that give life to AI are not neutral and involve different biases: a) The bias of machine learning, the tendency of algorithms to reflect human biases and prejudices; b) reproduction bias, referring to the fact that what GPT systems produce is a language averaged around a selection of words; c) the automation bias, which suggests that humans tend to favour the decisions made by machines, attributing neutrality and objectivity to them; (d) political bias, whereby long language models (LLMs) mimic stereotypes and preferences in data extracted from websites; e) training bias, since ChatGPT has been shaped by human feedback reinforcement learning this can involve the reproduction of the points of view of the people who provide feedback and f) bubble bias: personalized algorithms facilitate content that reinforces our view of the world.
AI and equity
Beyond the possible improvements in educational performance, critical studies on the incorporation of generative AI in education have shown the number of risks involved in the technology produced in a context of inequalities and inequities that nourish and condition it. Thus, it is possible to propose a set of potential negative effects regarding equity in education.
A first concern refers to the potential effects of assuming that not only AI can express itself as a human, but that human language functions as technology presents it, “flat”, potentially absent of contextual considerations and criteria of solidarity or empathy, which would affect comprehensive educational development. The incorporation of AI can also represent a worrying scenario for the teaching profession, by promoting its deprofessionalization and making it a technological manager instead of a leading actor, together with students and families, in the educational process.
On the other hand, the fact that technological innovation is essentially carried out by private actors allows us to question its potential effects around new processes of commodification, privatization and even dependence of education systems on private companies. Finally, the use of generative AI in education can be an enclave of reproduction of racism, ableism, sexism and the neoliberal model in education, particularly when it is used without a critical sense. It is possible that a mechanical use of its results – potentially conditioned by a diversity of biases – favours the consolidation of social prejudices with respect to certain ethnic, identity or political groups. It is also possible that economic actors who pay for visibility and positioning could be favoured in the production of content, which would create new gaps around access to democratic education.
Therefore, it is important to develop and consolidate a global agenda, with the participation of different educational actors, of critical studies on AI in education that allows for democratic and equitable alternatives for the use of technology, from a national, regional and local perspective.
The Authors
Mauro Jarquín Ramírez, UNAM, Mexico
Enrique Díez Gutiérrez, Universidad de León, Spain