Mejora en el descubrimiento de modelos de minería de procesos en educación mediante agrupación de datos de interacción con la plataforma Moodle

Abstract

El desarrollo de la integración entre tecnología y sistemas de aprendizaje, nos permiten capturar todos las acciones que realizan los estudiantes cuando interactúan con los entornos de aprendizaje virtuales. Estas plataformas virtuales de enseñanza almacenan todas las actividades en ficheros o bases de datos que, procesados correctamente, pueden ofrecer información muy útil para la toma de decisiones y responder cuestiones del profesorado en aras de mejorar la calidad del proceso de enseñanza-aprendizaje. Con el objetivo de entender los patrones o rutas seguidas por los estudiantes durante el proceso de aprendizaje, las técnicas de minería de datos en educación están siendo utilizadas de manera exponencial sobre los registro de eventos de estas plataformas. En esta tesis utilizamos técnicas de minería de procesos en educación en sistemas de gestión de aprendizaje, en concreto Moodle, una disciplina emergente y fuertemente relacionada con la minería de datos en educación. Actualmente, Moodle no proporciona herramientas de visualización específicas de los datos generados por los estudiantes que permitan a los educadores entender esta gran cantidad de información, y tomar consciencia de lo que está pasando durante el proceso de aprendizaje. Por tanto, el objetivo general de esta tesis ha sido descubrir modelos de procesos sobre la interacción de los estudiantes, a partir de los registros de eventos generados por los estudiantes en la plataforma Moodle y que sean generales, visuales, fiables y fáciles de interpretar. Para lograr esta meta, en primer lugar, realizamos un estudio de búsqueda bibliografía sobre minería de procesos en educación. Una vez realizado un estado del arte, propusimos una codificación de alto nivel de los eventos de bajo nivel que proporciona la plataforma Moodle acerca de la interacción de los estudiantes. Además, agrupamos y dividimos los datos de los estudiantes en base a diferentes criterios (nota final y temas). Finalmente, comparamos los diferentes algoritmos de minería de procesos utilizados en educación en base a medidas de calidad. Los conjuntos de datos utilizados proceden de estudiantes de grado de una universidad del norte de España, a los cuales se les han aplicado varios algoritmos de descubrimiento de minería de procesos junto con diferentes metodologías basadas en técnicas de agrupamiento. Los algoritmos de descubrimiento utilizados son el Alpha Miner, Heuristic Miner, Evolutionary Tree Miner e Indutive Miner. Las metodologías de agrupamiento usadas se hacen de forma manual (por nota y por temas) y automática (variables relacionadas con la interacción de los estudiantes en Moodle). Asimismo, realizamos experimentos agrupando por temas para poder analizar más exhaustivamente el comportamiento de los estudiantes y utilizamos una codificación de alto nivel con cinco etiquetas con el objetivo de conseguir modelos más comprensibles de acuerdo con los principios teóricos de aprendizaje autoregulado. La herramienta de investigación utilizada para nuestras investigaciones ha sido ProM. Al realizar el estado del arte sobre la minería de procesos en educación conseguimos conocer cuáles eran los algoritmos y herramientas más utilizadas y con mejores resultados. Se observó que los algoritmos Alpha Miner, Heuristic Miner y Fuzzy Miner eran los algoritmos más utilizados para descubrir modelos de aprendizaje, concretamente Heurisitc Miner era el que mejores resultados mostraba. Posteriormente, descubrimos que con el nuevo algoritmo Inductive Miner se podían obtener mejores resultados que con estos algoritmos tradicionales, incluido Heurisitc Miner. Asimismo, en nuestras investigaciones propusimos, con éxito, diferentes tipos de agrupamientos (manual y automático) para mejorar los modelos de minería de procesos en educación y, al mismo tiempo, optimizar el rendimiento (métricas) y la comprensibilidad (tamaño) de los modelos. Además, se realizaron las pruebas por temas, y conseguimos analizar en mayor profundidad el comportamiento de los estudiantes. Con esta forma de dividir nuestros conjuntos de datos hemos obtenido modelos más específicos. Por otro lado, utilizamos una codificación de alto nivel con cinco etiquetas y obtuvimos un nivel de abstracción mayor y modelos más comprensibles y sencillos desde el punto de vista de los supuestos de la teoría de aprendizaje autoregulado. Finalmente, la utilización de diferentes métricas de evaluación de los modelos obtenidos nos sirvió para contrastar de manera empírica tres importantes conclusiones: en primer lugar, con el algoritmo Inductive Miner obtenemos los mejores resultados en la medida del ajuste. En segundo lugar, los resultados obtenidos en el balanceo de las métricas de calidad (overall) son mejores en el Inductive Miner que en otros algoritmos tradicionales de minería de procesos en educación. Por último, los resultados obtenidos en las métricas, analizadas en conjunto o individualmente, son aún mejores en los conjunto de datos que estaban agrupados.

The development of the integration between technology and learning systems allows us to trace all the actions that students perform when they interact with virtual learning environments. These virtual teaching platforms store all the activities in files or databases that, correctly processed, can provide very useful information for decision making and answer questions from teachers in order to improve the quality of the teaching-learning process. In order to understand the patterns or routes followed by students during the learning process, educational data mining techniques are being implemented exponentially on the event logs of these platforms. In this thesis we use educational process mining techniques on learning management systems, particularly Moodle, an emerging discipline strongly related to educational data mining. Currently, Moodle does not provide specific visualization tools for the data generated by students that allow educators to understand this large amount of information, and become aware of what is happening during the learning process. Therefore, the general objective of this thesis has been to discover models of processes about students’ interactions; going from the records of events generated by students in the Moodle platform to general, visual, reliable, and easily readable models. In order to achieve this goal, firstly, we carried out a bibliography search study on educational process mining. Once a state of the art was carried out, we proposed a high level coding of the low level events that the Moodle platform provides about student interaction. In addition, we grouped and divided student data based on different criteria (final marks and units of knowledge). Finally, we compare the different process mining algorithms used in education based on their quality measures. Our datasets come from graduate students from a university in the north of Spain, where several process mining discovery algorithms have been applied along with different methodologies based on grouping techniques. The discovery algorithms used are Alpha Miner, Heuristic Miner, Evolutionary Tree Miner, and Inductive Miner. The grouping methodologies used are done manually (by marks and by units of knowledge) and automatically (variables related to the interaction of students in Moodle). Likewise, we carry out experiments grouping by units to be able to analyze more exhaustively the behavior of the students and we used high level coding with five action labels in order to produce more easily understandable models in accordance with assumptions of self-regulated learning. The research tool used for our research has been ProM. After developing the state of the art about educational process mining we concluded which algorithms and tools were most used and with the best results. It was observed that the algorithms Alpha Miner, Heuristic Miner, and Fuzzy Miner were the algorithms most used to discover learning models, and specifically Heuristic Miner was the one that showed the best results. Later, we discovered that with the new Inductive Miner algorithm, better results could be obtained than with these traditional algorithms, including Heuristic Miner. Furthermore, we successfully proposed different types of groupings (manual and automatic) to improve educational process mining models and, at the same time, optimize the performance (metrics) and the comprehensibility (size) of the models. In addition, the tests were conducted by units of knowledge, and we managed to analyze in deeper the behavior of the students. With this way of dividing our data sets we have obtained more specific models. On the other hand, we used a high level coding with five labels, and we obtained a higher level of abstraction and more understandable and simple models from the point of view of the self-regulated learning theory. Finally, the use of different evaluation metrics of the models obtained let us to empirically contrast three important conclusions: Firstly, with the Inductive Miner algorithm we obtain the best results in the adjustment measure; secondly, the results obtained in the balancing of the quality metrics (overall) are better in the Inductive Miner than in other traditional educational process mining algorithms; finally, the results obtained in the metrics, analyzed together or individually, are even better in the data set that were grouped.