Minería de datos sobre objetos de aprendizaje

Abstract

La reutilización es uno de los conceptos clave dentro de ingeniería del software, ya que permite racionalizar y agilizar el desarrollo de sistemas basándose en el aprovechamiento de componentes ya desarrollados y probados. Es natural extender este enfoque a otros campos de la informática, y es una de las bases sobre las que se asienta la idea del desarrollo de repositorios de objetos de aprendizaje (ROA, learning object repository - LOR), gracias a los cuales cualquier docente puede aprovechar objetos de aprendizaje (OA, learning objetcs - LO) desarrollados por algún otro colega. El potencial de los ROA se maximiza gracias a Internet, que permite que estos repositorios estén disponibles de manera global. No obstante, aunque la idea básica resulta simple y evidente, tal como suele ser habitual, la dificultad radica en los detalles. Uno de los problemas a abordar es el de la búsqueda de OA. Los OA son de naturaleza variopinta y heterogénea, y no resulta obvio cuál es la mejor manera de describir un OA y hacer referencia al mismo, por lo que, cuando un usuario desea buscar un OA que pueda serle de utilidad para sus propósitos docentes, lo difícil suele ser cómo encontrar dicho OA entre todos los del repositorio. Para poder hacer este proceso de búsqueda lo más manejable posible es muy importante cuidar al máximo el trabajo previo de etiquetado de los OA, es decir, cómo caracterizamos cada OA en el momento en que lo añadimos a un repositorio. En este trabajo proponemos un método novedoso que recomienda de manera automática las categorías a las que pertenece un OA cuando un usuario lo añade al repositorio. Se utiliza un enfoque de aprendizaje multietiqueta, ya que cada OA puede estar asociado a diferentes categorías. Para poder satisfacer nuestro objetivo de la mejor manera posible se ha desarrollado una metodología con tres fases, de manera que primero se selecciona el conjunto de características de texto más adecuadas de entre los metadatos que describen a los OA; en segundo lugar se decide la cantidad de información histórica relativa a OA similares al nuevo OA a insertar en el repositorio que permita mejorar la calidad de la clasificación; finalmente se elige el algoritmo de aprendizaje multietiqueta que mejor resultado ofrece. Se ha llevado a cabo un trabajo experimental sobre un conjunto de 519 OA que se han recogido en el repositorio AGORA a lo largo de 8 años. Se han comparado 13 algoritmos de clasificación multietiqueta utilizando 16 medidas de evaluación. Los resultados obtenidos muestran que la selección de características permite reducir el tiempo de ejecución sin perder precisión. También se ha podido comprobar que la utilización de información histórica acerca de OA similares al que se está añadiendo permite mejorar la calidad de la clasificación. Finalmente ha sido posible identificar un conjunto de algoritmos de aprendizaje multietiqueta que son los que mejor calidad de clasificación ofrecen sobre nuestros datos. Todo esto permite recomendar de manera automática las categorías a las que pertenece un nuevo OA añadido al repositorio.

Reuse is a cornestone concept for software engineering, because it allows to rationalize an speed up system development by leveraging on the utilization of already developed and tested components. It's logical to extend this approach to other computing fields beyond software engineering, and so, reuse is one of the rationales behind learning object repositories (LOR), which allow a teacher to use learning objects (LO) developed by some other colleague. The potential of LOR can be fully exploited thanks to the Internet, which allows repositories to be globally available. Although the basic idea of LOR is simple an evident, as usual, the complexity hides in the details. One of the issues to be tackled is LO search. LOs are diverse and heterogeneous, and it is not obvious at all what is the better way for categorizing and referencing LOs. When a user wants to look for a LO that could be suitable for his teaching purposes, it can be really difficult to find such a LO between the contents of the repository. In order to make easier the search process it is pivotal to do a good previous work when labeling LOs, that is, the categorization of the LO when it is inserted into the repository. In this work, we propose a novel approach for automatically recommending the categories that learning object belongs to when a user adds it to a repository. We use a multi-label learning approach since each learning object might be associated with multiple categories. In order to improve this goal, we have developed a methodology with three main stages allowing us to firstly select the most suitable set of text features from learning objects’ metadata, secondly selecting how much historical usage information about the most similar LO can enhance classification performance, and finally selecting the best multi-label classification algorithms with our data. We have carried out an experimental work using 519 learning objects gathered from the AGORA repository for 8 years. We have compared 13 multi-label classification algorithms over 16 evaluation measures. The results obtained show that a reduction in the number of text attributes can improve time performance without losing precision. Another finding is that usage information about the most similar learning object can improve the classification. Finally, a set of algorithms which obtained the best performance in our data has been identified, so, they can be used for automatically recommending learning object categorization.