Modelos genéricos para la predicción de las notas finales en cursos a partir de la información de interacción de los estudiantes con el sistema Moodle

Abstract

Esta tesis propone el desarrollo de modelos genéricos de predicción del rendimiento académico de los estudiantes en Sistemas de Aprendizaje en Línea que puedan ser portados o transferidos a otros cursos o asignaturas diferentes de los cursos origen a partir de los cuales se obtuvieron dichos modelos, pero de contexto similar y así no tener una pérdida de precisión excesiva en las predicciones y que pueda ser aceptable. El problema de los modelos actuales de predicción es que son específicos a cada curso o asignatura y no pueden ser replicados en otros contextos con atributos diferentes. Se pretende buscar un balance entre el aumento de la generalidad de los modelos y disminuir la pérdida de la precisión de la predicción. Para resolver este problema primero se realizó una revisión sistemática del estado del arte, y conocer las anteriores y principales investigaciones en este campo desde el punto de vista de la precisión de los modelos de predicción, las técnicas y algoritmos utilizados, atributos utilizados en la generación de los modelos, y determinar si estos modelos podían ser replicados, transferidos, generalizados manteniendo una precisión aceptable en cursos diferentes a los que habían sido originalmente generados. A continuación, se planteó una primera propuesta o aproximación para el desarrollo de modelos genéricos en base a los eventos de bajo nivel directamente proporcionados por los logs o registros de Moodle. Para ello se construyeron dos tipos de conjuntos de datos (numéricos y discretizados) a partir de 24 asignaturas diferentes de cursos Universitarios y se realizaron dos experimentos de portabilidad de los modelos generados en cada curso, el primero consistió en agrupar los cursos por su titulación, y el segundo por niveles similares de uso de recursos/actividades en Moodle. En ambos experimentos se consiguieron resultados relativamente similares, y los mejores valores con menor pérdida de AUC (área bajo la curva ROC) se obtuvieron con conjuntos de datos discretizados, lo que nos indicó que la discretización de los atributos mejoraba la portabilidad de los modelos genéricos. Finalmente, se propuso la utilización de ontologías de alto nivel definidas a partir de los eventos de bajo nivel para comprobar si podían mejorar la portabilidad de dichos modelos de predicción genéricos. Para este segundo experimento se utilizaron 16 asignaturas diferentes de cursos Universitarios, se mantuvo la lógica de agrupación de asignaturas por niveles similares de uso de recursos/actividades de Moodle, nuevamente se generaron dos conjuntos de datos (numéricos y discretizados) para cada asignatura. Los resultados obtenidos mostraron que la utilización de atributos discretos de más alto nivel aplicando una ontología mejora significativamente la portabilidad de los modelos de predicción.

This thesis proposes the development of generic models for predicting students’ final marks in Learning Management Systems (LMSs). These models must be portable or transferable to different courses from the source/initial course which the model was obtained and so, the context of the courses should be similar in order to obtain a lower loss of accuracy. The problem is that current prediction models are specifics for each course or subject and so, they can not be replicated in different contexts due to the attributes are different and the loss of accuracy. In this thesis, we try to do a balance between the increase of generality of the prediction models and the loss of accuracy in the transferability. In order to resolve this problem, we started by doing a systematic review of the state of art about the prediction models in order to know all the research in this topic, the most used techniques and algorithms, the most used attributes for generating the models, and to know if some other researchers have tried previously to replicate or transfer a generic prediction model to different courses/subjects from the original generated. Then, we proposed a first approximation for developing generic models based on the low level event provided directly from the Moodle’s logs files. We developed two different datasets (numeric and discretized) starting from 24 subjects of University courses. We carried out two experiments to test the transferability of the generated models for each course by grouping the data in two ways. The first by grouping by the same subject or grade and the second by grouping by the same level of usage of resources and activities in Moodle. In both cases, we obtained similar results, and the best results with lower loss AUC (Area Under the ROC Curve) was obtained with the discretized data, and so, the transferability of generic prediction models was improved by using discretized data. Finally, we proposed to use an ontology by defining high level attributes based on the previous low level Moodle’s events in order to test if we can improve the portability/transferability of the generated prediction models. In this second experiment we used 16 subjects of University courses, and we also grouped the data by the same subject or grade and by the same level of usage of resources and activities in Moodle. The results obtained shown us that the discretized high level attributes using the ontology improved significatively the portability/transferability of the prediction models.