Modelo difuso para la evaluación por pares

Abstract

Dentro del proceso de enseñanza-aprendizaje se tiene la evaluación que implica diversos mecanismos generados por el docente para su ejecución, como identificar los elementos a evaluar, definir el proceso donde se va a llevar a cabo, recopilar la información y finalmente obtener la valoración de los elementos. El uso de rúbricas en el proceso de evaluación por pares, permite valorar los logros alcanzados por los estudiantes en las diferentes actividades planteadas, pero éstas deben garantizar su validez y fiabilidad para poder ser consideradas como herramientas de apoyo al docente. Esta investigación abordó el tema de un “Modelo difuso para la evaluación por pares”, con el objetivo principal de desarrollar un modelo de clasificación difuso de validación de rúbricas en el proceso de evaluación por pares; a fin de facilitar la toma de decisiones en la selección adecuada de rúbricas en los procesos de enseñanza aprendizaje de la Educación Superior, mediante la utilización de técnicas avanzadas de minería de datos. Se planteo una metodología con el enfoque investigación-acción (ADR), la cual se realizó en tres iteraciones. En la primera iteración se analizó las tendencias en la selección de rúbricas en el contexto de evaluación por pares, participantes, dominios de aplicación y ambientes de aprendizaje con el fin de analizar el uso de las rúbricas en la evaluación de pares dentro del proceso de aprendizaje. En la segunda iteración se diseñaron los artefactos del modelo de clasificación difuso en la evaluación por pares, para lo cual se analizaron los pasos para el diseño de rúbricas, con el proceso de validez y fiabilidad de la rúbrica. Obteniendo una rúbrica evaluada que reúne los criterios que sustentan la validez de su contenido, la validez de comprensión y la fiabilidad de su consistencia interna. En la tercera iteración se diseñó el modelo de clasificación difuso utilizando minería de datos educativa y aprendizaje automático, mediante la metodología de agrupamiento para definir los clústeres. Luego, mediante la lógica difusa C-means, se determina la selección de rúbrica para evaluación por pares, ayudando al docente en su selección. Para validar la metodología difusa se utilizó datos generados en laboratorio con valores aleatorios, se aplicaron los algoritmos C-means, K-means y Jerárquico. Para comprobar la selección adecuada de los clústeres y la validación del algoritmo difuso, se lo realizó mediante la evaluación interna de los clústeres con el Coeficiente de Silueta (0.2904) y el Coeficiente de Dunn (0.24127). Mediante el índice de Dunn se demostró que el mejor algoritmo es C-means y con el índice de Silueta, que el mejor es K-means. Finalmente, en la aplicación de los tres algoritmos se obtuvieron resultados de similitud estadísticamente significativos para la selección de rúbricas. De acuerdo con el análisis realizado, se concluye que es una herramienta muy importante en la toma de decisiones el uso de las rúbricas en el proceso de evaluación por pares mediante la utilización de la tecnología y TIC. Las rúbricas deben ser de calidad demostrando su validez a través de la correspondencia entre las categorías que la conforman y demostrando su confiabilidad mediante la concordancia entre las calificaciones de los estudiantes y del docente (alfa de Cronbach>0.8). El modelo difuso desarrollado permitió la selección adecuada de los agrupamientos, la selección del clúster donde se encuentran las rúbricas recomendadas, quedando en evidencia que la lógica difusa resulta adecuada en los procesos de selección de rúbricas para evaluación por pares, de igual manera que los algoritmos K-means y Jeráquica. Se espera que este estudio contribuya a la selección de la rúbrica adecuada en el proceso de evaluación por pares, que realiza el docente universitario dentro de su proceso de enseñanza aprendizaje.

Within the teaching-learning process there is the evaluation that implies various mechanisms generated by the teacher for its execution, such as identifying the elements to be evaluated, the process where it is going to be carried out, collecting the information and finally obtaining the evaluation of the results items. The use of rubrics in the peer assessment process allows the assessment of the achievements of the students in the different activities proposed, but they must guarantee their validity and reliability in order to be considered as support tools for the teacher. This research addressed the issue of a "Fuzzy Model for Peer Assessment", with the main objective of developing a fuzzy classification model for rubric validation in the peer assessment process; in order to facilitate decision-making in the appropriate selection of rubrics in the teaching-learning processes of Higher Education, through the use of advanced data mining techniques. A methodology was proposed with the action research (ADR) approach, which was carried out in three iterations. In the first iteration, trends in the selection of rubrics were analyzed in the context of peer assessment, participants, application domains, and learning environments in order to analyze the use of rubrics in peer assessment within the learning process. . In the second iteration, the artifacts of the fuzzy classification model in the peer evaluation were designed, for which the steps for the design of rubrics were analyzed, with the process of validity and reliability of the rubric. Obtaining an evaluated rubric that meets the criteria that support the validity of its content, the validity of comprehension and the reliability of its internal consistency. In the third iteration, the fuzzy classification model was designed using educational data mining and machine learning, using the clustering methodology to define the clusters. Then, using C-means fuzzy logic, the selection of the rubric for peer evaluation is determined, helping the teacher in their selection. To validate the fuzzy methodology, data generated in the laboratory with random values was used, the C-means, K-means and Hierarchical algorithms were applied. In order to verify the adequate selection of the clusters and the validation of the fuzzy algorithm, it was carried out through the internal evaluation of the clusters with the Silhouette Coefficient (0.2904) and the Dunn Coefficient (0.24127). Using the Dunn index, it was shown that the best algorithm is C-means and with the Silhouette index, that the best is K-means. Finally, in the application of the three algorithms, statistically significant similarity results were obtained for the selection of rubrics. According to the analysis carried out, it is concluded that the use of rubrics in the peer evaluation process through the use of technology and ICT is a very important tool in decisión making. The rubrics must be of quality, demonstrating their validity through the correspondence between the categories that comprise them and demonstrating their reliability through the concordance between the student's and the teacher's qualifications (Cronbach's alpha>0.8). The fuzzy model developed allowed the adequate selection of the groupings, the selection of the cluster where the recommended rubrics are located, making it evident that the fuzzy logic is adequate in the rubric selection processes for peer evaluation, in the same way that the algorithms K-means and Hierarchical. It is expected that this study contributes to the selection of the appropriate rubric in the peer assessment process carried out by the university professor within his teaching-learning process.