Modelos de redes neuronales artificiales, como sustento evaluativo al crecimiento
pedagógico virtual en Educación Superior

Models of artificial neural networks, as an evaluative support to virtual
Pedagogical Growth in Higher Education

Mendoza Jurado, Helmer Fellman ]]> Docente de la Carrera de Sistemas, Universidad Privada Domingo Savio – Sede Tarija
tj.helmer.mendoza.j@upds.net.bo Tarija, Bolivia
Fecha de Recepción: 02 de junio de 2020    Fecha de Aprobación: 28 de agosto de 2020 en reunión de Comité Editorial

Resumen

La presente investigación tiene el objetivo de implementar un modelo tecnológico basado en una Red Neuronal Artificial y un algoritmo de Procesamiento de Lenguaje Natural, que proporcione un proceso automático como apoyo a revisiones críticas en evaluaciones virtuales a los estudiantes en pregrado (7mo y 8vo semestre respectivamente, en la asignatura de Programación II y Seguridad Informática I), buscando ayudar al proceso educativo que fue implementado como contingencia ante la presencia de una pandemia mundial asociada al virus COVID-19, las mencionadas evaluaciones fueron presentadas bajo la plataforma virtual Moodle que actualmente es recurso fundamental para el proceso de enseñanza y aprendizaje de la Universidad Privada Domingo Savio en todas sus carreras. Esta plataforma hace posible transferir una forma de estudio y evaluación que, por su naturaleza innovadora, sustenta de mejor manera el proceso educativo a distancia actualmente instituido. Una función adicional de esta red neuronal es evaluar a los estudiantes buscando identificar individuos con un tipo psicológico que sea apropiado para llegar a una especialización en asignaturas de alto nivel académico.

Palabras Clave: Red Neuronal Artificial, Procesamiento de Lenguaje Natural, Educación Virtual, Motivación.

Abstract

The present research aims to implement a technological model based on an Artificial Neural Network and a Natural Language Processing algorithm, which provides an automatic process to support critical reviews in virtual assessments to undergraduate students (7th and 8th semester respectively, in the subject of Programming II and Computer Security I). Thus it seeks to support the educational process that was implemented as a contingency because of the global pandemic COVID-19. The above assessments were taken through Moodle which is currently a fundamental resource for the teaching and learning process at the Domingo Savio Private University in all the departments. This platform makes possible a way of study and evaluation that, due to its innovative nature, better supports the currently instituted distance education process. An additional function of this neural network is to evaluate students by identifying individuals with an appropriate psychological profile to reach a specialization in subjects of high academic level.

1. Introducción

Actualmente en Bolivia existe una clara sobreoferta de instituciones en educación superior. Al comienzo del año académico 2020, aproximadamente 55 instituciones de educación superior operaban en el país, con una población aproximada de 680.224 (con una universidad para un poco más de 56 mil estudiantes) (Webometrics, 2020). A modo de comparación, en países que son líderes reconocidos en el campo de la educación superior, existe entre 650 y 700 mil estudiantes por universidad (Instituto Nacional de Estadística, 2020; Webometrics, 2020). Por ejemplo, en el Reino Unido hay 89 universidades para 62,5 millones de personas y en Finlandia para 6,2 millones - 20 universidades (Statista, 2020). El exceso de instituciones de educación superior en Bolivia, cómo  en  algunos países de América Latina, se debe en parte a razones estructurales, dado que estas  condiciones orientan a mostrar a la educación superior como una opción de movilidad social (Peters, 2019).

Tácitamente, es innegable que muchas entidades de educación superior constantemente estén a la búsqueda de poder mejorar la calidad del proceso de enseñanza y aprendizaje, indagando en la actualización curricular de algunos criterios, que permitan en la actualidad emerger hacia cambios significativos desde un enfoque social y profesional, un ejemplo de esta afirmación es la necesidad de ingresar en ámbitos de la industria 4.0, y por ende actualizar el proceso de profesionalización del estudiante acorde a las condiciones actuales, lo cual implica una tarea muy importante y urgente (Mendoza, 2019), es en esta línea que se oferta una gran oportunidad dentro de entornos virtuales para el aprendizaje, es decir, se puede ofrecer una solución viable a la sobreoferta de universidades que existen en el país. Se puede trabajar fundamentalmente bajo un principio sustentado en indicadores formales, no solo porque éstos permiten un incremento exponencial en el número de futuros profesionales sino que éstos sean formados de manera  íntegra,  competente  e  inclusiva,  así también basado en la calidad y relevancia del uso de materiales educativos (Crisol-Moya, Herrera-Nieves y Montes-Soldado, 2020).

Así mismo mencionar un factor fundamental Titov (2005) donde cita en su tesis doctoral un análisis de Gumilev (historiador y el padre de la etnología soviética) referida a la teoría de la pasionaridad y la etnogénesis como un dominante caracterológico, un deseo interno inalterable (consciente o, más a menudo, inconsciente) de actividades que están destinadas a la realización de un objetivo (a menudo ilusorio) y como lo demuestra la experiencia, el estudiantado en las condiciones modernas, tiende a variar sus índices de aprovechamiento puesto de que la pasión con la que puede llevar adelante una asignatura es a menudo más significativa que los contenidos y las competencias formales que pueda tener en si misma (por ejemplo, hay muchos antecedentes que afirman que un estudiante puede abandonar el proceso educativo de cierta asignatura ante la presencia de factores negativos significativos u obstáculos que pueda llegar a enfrentar), o en su defecto  pueden  intervenir  factores  vinculados a la pasión para lograr el “éxito” en cualquier asignatura.

Así mismo, hoy encontramos que existen numerosos trabajos científicos que representan la implementación exitosa de un modelo educativo a distancia bajo estándares tecnológicos (García, Armenta, Lozano y Román, 2020), mismos que fueron y son presentados  en  la  literatura  actual  y  pueden ser considerados como fundamento de ciertas bases metodológicas, incluso, como un recurso bien definido para desarrollar habilidades de pensamiento crítico bajo ciertas circunstancias establecidas y excepcionales. Por otro lado, y en busca de la calidad académica, la revisión crítica es una forma prometedora de trabajo académico, especialmente si se tiene en cuenta que, en las condiciones actuales, escribir ensayos, generar producción académica de calidad y su posterior evaluación, siguen siendo una parte importante del proceso educativo. (Lorenzano, Rheinberger y Galles, 2010).

En tal sentido, el objetivo e indagación principal de la presente investigación es evaluar la implementación de una red neuronal artificial (ANN, por sus siglas en inglés) y un algoritmo de Procesamiento de Lenguaje Natural (NLP) que proporcione un proceso automático como apoyo a revisiones críticas en evaluaciones virtuales sobre estudiantes en pregrado, todo este proceso bajo las siguientes actividades: descripción del desarrollo del pensamiento crítico entre los estudiantes, y por ende, la contrastación del desarrollo de sus actividades evaluativas en el proceso de enseñanza para estudiantes que han sido sometidos a la indagación, y que están inscritos en la Universidad Domingo Savio.

El prototipo tecnológico implementado en el proceso de investigación permite identificar positivamente las cualidades personales y la marcada pasión que pueda  presentar el estudiantado  al  momento de desarrollar sus  actividades  evaluativas  dentro  del proceso de enseñanza y aprendizaje, dichas preferencias y motivaciones son necesarias para la implementación de actividades de especialización científica bajo las condiciones modernas, y han sido rescatadas por la investigación.

2. Materiales y Métodos

Por lo que se refiere al proceso de investigación se enmarca en el enfoque cuantitativo, considerando que fue realizado principalmente el análisis de cuestionarios en 3 tipos de evaluaciones en cada una de las materias que son objeto de estudio, esto siendo de forma remota a través de la herramienta de Moodle, estableciendo como condición en el entorno de trabajo, que se trata de un análisis automático basado en el tipo de preguntas abiertas (En Moodle se identifica cómo ensayo). En segunda instancia se desarrolló una encuesta que también permitió establecer la ingeniería del conocimiento basada en la información de los  estudiantes  matriculados  como  conjunto o base de entrenamiento de la red neuronal, puesto de que permite confirmar y validar los valores establecidos por los cuestionarios. El análisis de información en lo que respecta a los cuestionarios y la encuesta, permitieron elegir un banco o bolsa de palabras (Bag of Words), frases y giros argumentales, expresando el grado de pensamiento crítico sobre las respuestas analizadas.

En consecuencia es necesario afirmar que, la metodología es el factor fundamental para poder estructurar la lógica de la investigación científica, esto puede evidenciarse en el presente trabajo  de  investigación, que se fundamenta en un paradigma positivista bajo un enfoque metodológico cuantitativo, así mismo se infiere un tipo de investigación observacional descriptivo, el cual es desarrollado y sustentado en el muestreo probabilístico estratificado, llevándose a cabo con dos grupos de evidencia, uno de control y otro de verificación bajo una cantidad estudiantes o “población dividida” en varias subpoblaciones, también llamadas estratos.

Es necesario agregar que por una parte, se aplicó a un grupo la red ANN, la cual va a buscar específicamente análisis del contenido de las evaluaciones realizadas por los estudiantes universitarios y que han sido recolectadas bajo el análisis de los resultados de la evaluación académica de la asignatura designada previamente. En el desarrollo de las actividades académicas, se hizo hincapié en valorizar bajo un enfoque de retroalimentación los trabajos presentados en la plataforma   Moodle en base al recurso de cuestionario con el tipo de pregunta de “ensayo”, sin embargo, las redes neuronales basadas en este principio también se pueden usar para analizar las revisiones críticas de publicaciones de cualquier tipo (es decir, trabajos de investigación en alto nivel bajo enfoques científicos, algunos pueden contener errores de cálculo o elementos sobre delirios de conciencia), así mismo se aplicó a otro grupo el modelo o algoritmo NLP éste modelo le permite al estudiante  gestionar el contenido textual de cada respuesta en el proceso evaluativo, de ésta manera es posible puntualizar con la ayuda de la Matriz de confusión, los indicadores que permiten la certificación y validación de los resultados obtenidos en el proceso de predicción. Los valores obtenidos por la métrica resumen el valor estadístico más relevante al momento de evaluar el rendimiento o  efectividad  de un modelo matemático y predictivo. Como puede verse la metodología cuantitativa permite facilitar la investigación una vez que se ha identificado un problema a evaluar, y los  resultados  van  a  ser  un  conjunto  de datos o modelos matemáticos que, el trabajo de investigación en lo que respecta al procesamiento y certificación de los datos gestionados ha arrojado a partir de la aplicación del  modelo  propuesto.  La  metodología  es seria y correlaciona a cada tipo de algoritmo (Sarkar, 2019; Singh y Manure, 2019), a partir de esto, se resume lo siguiente:

•   Pre-procesado del conjunto de datos abstraídos del conjunto de evaluaciones trabajadas en la plataforma Moodle en base a la muestra correspondiente.

ο   Procesado  de valores faltantes o desconocidos (Tratamiento de NAs).

ο   Codificación de datos Categóricos y tratamiento de variables Dummy.

]]> ο   Escalado de variables numéricos.

•   Método de trabajo para el algoritmo de Procesamiento de Lenguaje Natural.

ο   Limpieza de Datos textuales

ο   Tratamiento de Stopwords (Palabras que son categorizadas como no significativas) y eliminado de caracteres no significativos.

ο   Estandarización del contenido textual en minúsculas.

o   Implementación de una bolsa de palabras (bag of words) y su posterior categorización como datos de entrada para implementar una red neuronal.

•   Método de trabajo para el algoritmo de una red neuronal artificial.

ο   Implementar los valores de entrada para la red neuronal.

]]> ο   Generación de una capa oculta con 256 neuronas.

ο   Implementación de una capa de salida que consta de 5 neuronas que establecen una sola respuesta o salida (Optimización de Adam).

ο   Predicción de resultados de acuerdo al conjunto de entrenamiento y pruebas y generación de la matriz de confusión.

Para implementar la ANN se utilizó el lenguaje de programación Python (3.7) bajo su framework Anaconda (2020), con la implementación de librerías esenciales para la gestión de redes neuronales dentro del aprendizaje profundo (Deep Learning) de Keras. Es una superestructura categorizada como un enfoque Deeplearning4j, TensorFlow y Theano.

3. Resultados

El sistema desarrollado tiene fundamentalmente implícito el proceso y análisis de muestras textuales (Ingeniería del conocimiento), para luego realizar un procesamiento preliminar (pre-procesado) en la muestra de entrenamiento para la ANN creada y estructurada en un enfoque  conveniente.  La  muestra  disponible de revisiones se dividió en 5 grupos de acuerdo a un grado de comprensión sobre el material a evaluar de acuerdo a criterios de clasificación reflejados en la Tabla 1.

La evaluación realizada permite la construcción y entrenamiento de una ANN (Singh y Manure, 2019), considerando que paralelamente, y para fines de control de calidad, se realizó una encuesta al estudiantado que fue objeto de estudio del proceso de investigación, lo cual facilitó una confirmación adicional  de  su  capacidad  para desarrollar evaluaciones virtuales.

En la Tabla 2 y su posterior ilustración en la Figura 1, se presenta un ejemplo de algunas evaluaciones. En el preámbulo del cuestionario, a los encuestados se les proporcionó la siguiente información, que se aclaró durante los ejercicios prácticos.

Una ANN que fue entrenada, permite clasificar al estudiantado de acuerdo a indicadores en la Tabla 2, que determinan su preparación para el trabajo académico. Se hace hincapié en que una de las condiciones contemporáneas en el estudiantado es la voluntad de superar los y otros rasgos de psicológicos en la personalidad (Russell y Loughran, 2002).

De igual modo las revisiones que fueron evaluadas fueron estandarizadas en un conjunto de datos (dataset) con un formato csv. La estructura de un archivo csv (Valores separados por comas), es una cadena que consta de dos columnas separadas por un signo “@”. La primera columna contiene la revisión en sí en una línea, la segunda indica el grupo al que pertenece esta revisión.

Más tarde, la librería de Keras fue implementada para  pre-procesar la información obtenida de la  evaluación: usando la función Tokenizer (el módulo tokenize es un escáner léxico para el código fuente implementado en Python), estableciendo por esta razón un algoritmo basado al enfoque NLP. El escáner de este módulo devuelve comentarios como tokens. Las palabras en la muestra fueron reemplazadas por dígitos que podrían ser utilizados por la red neuronal artificial, esto como implementación de una fase de limpieza de información que sea irrelevante. Siendo que la red implementada es una ANN, categorizada como secuencial y recurrente, que generalmente consta de tres capas. Esquemáticamente, dicha red neuronal se muestra en la Figura 2.

Los instrumentos técnicos utilizados para el presente trabajo de investigación permiten subyacer   la   estructura matemática que es base fundamental de la concepción de una red neuronal en cualquiera de sus tipologías, por tanto, la primera capa contiene valores y pesos de entrada, la cual está completamente conectada a una capa oculta que consta de 256 neuronas, con el tipo de activación basada en la unidad lineal rectificada (ReLU, por sus siglas en inglés). Esta función de activación tiene el nombre  de  “rectificador” (bajo  una  analogía que representa un rectificador de medio período en ingeniería eléctrica). Las neuronas con esta función de activación se denominan ReLU que son representadas en un ámbito matemático con la siguiente fórmula general:

f(x) = max (0,x)

Su representación denominada como función “simple suave” o “soft” es la siguiente:

f(x) = ln(1 + e^x)

Especificando  que  son  implementadas  bajo una transición de umbral simple en cero, y considerando las ventajas y desventajas que por naturaleza presenta la función ReLU.

La segunda capa de la red es considerada como una etapa de regulación, con una probabilidad de procesamiento neuronal del 50%. La capa de salida que denominaremos tercera capa, consta de 5 neuronas correspondientes al número de categorías definidas. El tipo de activación para la capa de salida es Softmax (función máxima suave), estableciendo que la suma total de las salidas de las 5 neuronas de la capa de salida es 1, que corresponde al procedimiento de clasificación, por consiguiente, se afirma que es adecuado para el caso de estudio. La función Softmax se define por la siguiente fórmula:

En  función  del  margen  de  error  aceptable al compilar el modelo de una red neuronal artificial, se eligió la entropía cruzada, debido a que infiere un modelo matemático adecuado para  el  caso  de  estudio,  puesto  de  que  al tratarse  de  la  salida  resultante  de  una ANN hay  probabilidades  de  la  aparición  de  una clase (Zhang y Sabuncu, 2018). El modelo se optimiza utilizando el método de estimación de momento adaptativo (Adam), la precisión se elige como la métrica del modelo bajo una matriz de confusión.

Conviene subrayar que se realizó 40 revisiones en el conjunto de entrenamiento (244 evaluaciones realizadas en Moodle). El tamaño de la muestra para cada periodo de aprendizaje fue de 18 revisiones, el número de periodos de aprendizaje fue de 15. También se eligió la opción de separación automática de la muestra en capacitación y verificación. El tamaño de la muestra de prueba fue del 10% del principal, este proceso de investigación es ilustrado en la Figura 3.

En consecuencia, a lo expresado en la Figura 3, los resultados de 15 etapas de aprendizaje, la precisión fue del 94.4% (según la información otorgada por la matriz de confianza, 231 datos correctos y 13 errores o falsos positivos del modelo predictivo) para determinar la clase de revisiones en los datos de las pruebas, por tanto, la muestra de capacitación es del 50%. Este valor es el esperado, a causa del tamaño que se tiene de la muestra original, sin embargo, utilizando como fuentes de afirmación en lo que infiere a los resultados, se utilizó una matriz de confusión ilustrada en la Tabla 3 y la verificación de 3 docentes pares que dictan la materia que es objeto de estudio, y es congruente la afirmación de eficiente al modelo desarrollado, y puede llevarse a un más alto nivel de uso práctico real, obviamente incrementando la muestra de entrenamiento.

4. Discusión

5. Conclusiones

Se resalta la importancia del uso de nuevas tecnologías emergentes de la información y comunicación enfocadas en un ambiente educativo, como lo es la bien llamada “Inteligencia Artificial”, siendo  que  su verdadero potencial ya por los tiempos actuales sigue creciendo exponencialmente en las potencialidades que brinda a nuestra sociedad en todas las necesidades que por su naturaleza ésta tiene, pero que de manera progresiva muchas instituciones académicas vienen desarrollando proyectos de investigación que profundizan su utilización desde el ámbito científico en todo el sentido de la palabra, uno de los campos considerados relativamente nuevos de  esta  rama  de  las  ciencias  computacionales es el Aprendizaje Profundo o Deep Learning, específicamente enfocado al proceso de enseñanza y aprendizaje, que es la temática principal sobre la cual se fundamenta el presente trabajo de investigación, las denominadas Redes Neuronales Artificiales (ANN) que sirven como herramienta clasificatoria y predictiva en el proceso educativo virtual que es objeto de estudio, en relación con el proceso de enseñanza y aprendizaje (PEA), siendo que este proceso es replicable y adaptable a casi cualquier campo de la educación superior, puesto de que sustenta sus bases de procesamiento, modelado, pruebas y validación en la estadística, la probabilidad y la matemática pura.

Por tanto, es congruente inferir que los resultados obtenidos por el presente trabajo de investigación son muy prometedores y alentadores, a su vez es importante puntualizar que el estado del objetivo propuesto para este proceso investigativo, fue cumplido con rigurosidad, de acuerdo a las materias que fueron objeto de estudio, y los procedimientos implementados están validados exitosamente, basado en la precisión de un proceso iterativo de 18 revisiones concretas al 94,4% (Tabla 1, Figura 2 y 3), de acuerdo a las evaluaciones trabajadas por  el  estudiantado,  del  proceso  investigativo y al modelo implementado, valor que fue confirmado por la matriz de confusión (Tabla 3), y docentes pares que dictan las asignaturas que son objeto de estudio (Programación II y Seguridad  Informática),  llegando  a  fortalecer con los resultados obtenidos al proceso educativo personalizado y optimizado para cada estudiante, los resultados buscan fundamentar la presente herramienta  tecnológica  como  la  primera  en su naturaleza y tipología que es implementada exitosamente en la Universidad Privada Domingo Savio, quien facilita este proceso de reingeniería curricular, basado en el bien de los educadores pero fundamentalmente de los educandos.

Finalmente,  es  significativo  puntualizar  que esta herramienta tecnológica genera una garantía para las actividades evaluativas del proyecto académico en el marco del concepto del “triángulo del conocimiento”, siendo que las TIC´s permiten fomentar características desde la interculturalidad e interdisciplinaridad, constituyéndose en uno de los grandes aportes de las TIC´s en la democratización de la educación en todo el mundo.

6. Bibliografía

Anaconda Inc. (2020). Individual Edition. Recuperado de https://www.anaconda.com/products/individual        [ Links ]

Crisol-Moya, E., Herrera-Nieves, L. y Montes- Soldado, R. (2020). Educación virtual para todos: una revisión sistemática. Education in the Knowledge Society (EKS), 21, 1-15. doi: https://doi.org/10.14201/eks.20327        [ Links ]

García, I., Armenta, J.A., Lozano Rodríguez, A. y Román, Ó.C. (2020). Investigaciones sobre ambientes educativos mediados por tecnología. Recuperado de https://www.researchgate.net/publication/340875893        [ Links ]

Instituto Nacional de Estadística. (2020). Educación Superior Universitaria. Recuperado de https://www.ine.gob.bo/index.php/educacion/educacion-superior-universitaria        [ Links ]

Lorenzano, P., Rheinberger, H. J. y Galles, C.D. (Ed.). (2010). History and Philosophy of Science and Technology. Oxforf, United Kingdom: Eolss Publishers. Recuperado de https://books.google.com.bo/books?id=fqTEDAAAQBAJ        [ Links ]

Matich, D.J. (2001). Redes Neuronales: Conceptos básicos y aplicaciones. Rosario: Universidad Tecnológica Nacional. Recuperado de https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf        [ Links ]

Mendoza Jurado, H.F. (2019). Digitalización de la educación en Ingeniería: Del aprendizaje con base  tecnológica a la educación inteligente. Educación Superior, 6(1), 40-49. Recuperado de http://www.scielo.org.bo/pdf/escepies/v6n1/v6n1_a09.pdf        [ Links ]

Peters, S. (2019.). Educación y desigualdades sociales    en América Latina: los límites de las reformas educativas del inicio del siglo XXI. Recuperado de https://www.academia.edu/42382058/Educaci%C3%B3n_y_desigualdades_sociales_en_Am%C3%A9rica_Latina_los_l%C3%ADmites_de_las_reformas_educativas_del_inicio_del_ siglo_XXI        [ Links ]

Russell,  T. y  Loughran,  J.  (Ed.). (2002). Teaching about Teaching: Purpose, Passion and Pedagogy in Teacher Education. London - Washington, D.C.: The Falmer Press. Recuperado de https://books.google.com.bo/ books?id=n9yQAgAAQBAJ        [ Links ]

Sarkar, D. (2019). Text Analytics with Python: A Practitioner’s Guide to Natural Language Processing. Berkeley, CA: Apress. Recuperado de https://books.google.com.bo/books?id=arWZDwAAQBAJ        [ Links ]

Singh, P. y Manure, A. (2019). Learn TensorFlow 2.0: Implement Machine Learning and Deep Learning Models with Python. Berkeley, CA: Apress. Recuperado de https://books.google.com.bo/books?id=3_rEDwAAQBAJ        [ Links ]

Statista. (2020). Number of universities worldwide by country 2020. Recuperado de  https://www.statista.com/statistics/918403/number-of-universities-worldwide-by-country/        [ Links ]

Titov, A. S. (2005). Lev Gumilev, ethnogenesis and Eurasianism   (Tesis   Doctoral). University College London. Recuperado de https://discovery.ucl.ac.uk/id/eprint/1446515/1/U602440.pdf        [ Links ]

Webometrics. (2020). Ranking Web de Universidades. Recuperado de https://www.webometrics.info/es/Latin_ America_es/Bolivia        [ Links ]

Zhang, Z. y Sabuncu, M. (2018). Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels. Neural Information Processing Systems 2018. Conferencia. Montreal, Canada. Recuperado de http://papers.nips.cc/paper/8094-generalized-cross-entropy-loss-for-training-deep-neural-networks-with-noisy-labels.pdf        [ Links ]