“Evalúate y aprende”: un proyecto educativo digital de comprensión de lectura en inglés del DELEFyL por Gerardo López Lozada y Karla García Montalvo
Desde su fundación en 1979, el Departamento de Lenguas de la Facultad de Filosofía y Letras ha tenido dos tareas sustanciales: la aplicación de exámenes de comprensión de lectura en inglés, francés e italiano que son requisito de titulación y la oferta de cursos de comprensión de lectura en las mismas lenguas. Para evaluar a los alumnos en dichos cursos, el Departamento cuenta con un banco de exámenes parciales elaborados a partir de los programas institucionales de los dos niveles.
En el caso específico del área de inglés, ésta contaba, en ese entonces, con un manual con seis exámenes de práctica para prepararse para los exámenes parciales de curso; todos sin clave de respuesta y sin ningún tipo de retroalimentación. La pandemia causada por el virus SARS-CoV 2 hizo notorio un problema: la falta de material en línea de autoevaluación dirigido al área de las humanidades con el que los alumnos pudieran complementar y poner en práctica la estrategias vistas en clase y, así, prepararse para los exámenes parciales. El proyecto PROINV_21_22 sobre el cual versa este artículo, titulado “Evalúate y aprende: Compendio en línea de exámenes de práctica para los cursos de comprensión de lectura del DELEFyL”, surgió a partir de esta coyuntura del Departamento con la propuesta de elaboración de una serie de exámenes de práctica en línea dirigidos al área de las humanidades. La idea base fue que estos exámenes permitieran a los alumnos recibir una retroalimentación completa de los elementos lingüísticos y discursivos vistos en clase sin la necesidad de que un tutor los guiara durante el proceso. El objetivo de este artículo es ofrecer un recorrido panorámico del proyecto y su estructura ––marco teórico, marco metodológico y su impacto hasta la fecha. Para ello, se procederá a presentar las fases del proyecto.
Tipo de evaluación
Antes de describir cada fase, resulta clave mencionar que el tipo de evaluación que se maneja en el DELEFyl es de tipo objetivo. Es decir, las pruebas constan de reactivos de opción múltiple con el fin de que se cuente con una clave de respuestas que habilite la calificación automatizada o, si es de manera presencial, sea algo que no lleve mucho tiempo y pueda ser calificada por alguien no necesariamente calificado en el área. A la luz de esto, la idea de una plataforma con retroalimentación automatizada fue viable desde un comienzo. Para ello, se creó un convenio de trabajo con el área de recursos abiertos de la Coordinación de Universidad Abierta, Innovación y Educación a Distancia (CUAIEED), con quien se había estado trabajando antes en el Departamento y quienes se encargan de hospedar y echar a andar el material en la AVI (Ambiente Virtual de Idiomas), una plataforma de acceso libre en la que se oferta material relacionado con la enseñanza-aprendizaje de lenguas extranjeras. El objetivo del proyecto es diseñar y elaborar 18 exámenes en línea dirigidos al área de las humanidades y, así, cubrir la falta de material de evaluación de práctica en línea. Hasta ahora se han montado 12 exámenes en la página cuyo enlace es el siguiente: https://avi.cuaieed.unam.mx/examen-practica_ffyl.html
Selección de textos
Uno de los primeros pasos a realizar fue la selección de textos para los exámenes. Esto significó emprender una búsqueda de textos que fueran pertinentes a nivel lingüístico y cultural. Uno de los criterios utilizados fue la autenticidad, concepto que es muy debatido en el área. Según Harmer (2008, p. 273), el material auténtico es aquél escrito con “un lenguaje natural usado por hablantes nativos o hablantes competentes de la lengua, lo que nuestros estudiantes encuentran (o van a encontrar) en la vida”. Si bien tomar en cuenta la naturalidad del lenguaje resulta importante, la autenticidad no es algo intrínseco a los textos, sino algo que depende del contexto en el que fue publicado. Wallace (1992, en Ortíz, 2014, p. 62), por ejemplo, entiende por autenticidad que el texto se mantenga tal y cómo fue publicado y que provenga de una fuente no didactizada, ni graduada. Es este último sentido el que se siguió en este proyecto, debido a que consideramos importante extraer textos que pueden ser fuentes de consulta reales para los alumnos.
Otro factor a tomar en cuenta fue readability, es decir, el nivel o grado en el que un texto puede ser comprensible para un determinado grupo de gente (Davies, 1987, en Ortíz, 2014, p. 62). Para determinar este concepto con alta variabilidad, recurrimos a instrumentos para medir el nivel de vocabulario, así como a fechas pre-pedagógicas de elaboración interna para analizar lingüística y discursivamente los textos y, de esta manera, saber si los textos son apropiados para ser parte de una evaluación.
El tercer factor de peso es el interés que pueda despertar un texto en los alumnos en cuanto a la familiaridad con el tema. Si bien esta variable es difícil de determinar de manera objetiva, se analizaron los programas de algunas materias de diversas licenciaturas y posgrados de la Facultad. Se eligió material que fuera relevante a las áreas de estudio de la Facultad sin que los textos fueran demasiado especializados como para obstaculizar la fluidez de lectura de alumnos sin experiencia en el tema. Un ejemplo de esto es el texto que se presenta en la siguiente figura
El texto está dirigido no sólo al área de historia, sino también a filosofía, geografía y filosofía de la ciencia, puesto que se trata de un filósofo que, además de ser consejero político de la reina Isabel, también fue un investigador que dedicó gran parte de sus estudios a las matemáticas y a la navegación. A pesar de tratarse de un personaje relativamente oscuro en el contexto local, el texto bien puede ser apropiado para alumnos de las demás licenciaturas y posgrados, pues hace alusión a un personaje que es comúnmente relacionado con Shakespeare y el agente 007 de Ian Fleming por mencionar dos ejemplos. Por otro lado, el texto carece de tecnicismos o referencias que puedan resultar difíciles para los estudiantes. Salvo algunas palabras contadas, el texto cuenta con muchas palabras similares al español y su estructura es esencialmente expositiva-explicativa. Otro factor clave es la extensión: con 525 palabras una lectura rápida y también una minuciosa pueden ser alcanzadas en 120 minutos, lo cual se asemeja a la resolución de los exámenes parciales de los cursos de comprensión de lectura.
Diseño de reactivos
El diseño de los reactivos tuvo como base los programas de los dos niveles del Curso Comprensión de Lectura en Inglés con el fin de que exista una transparencia de contenidos para los alumnos de curso y también para los interesados en presentar los exámenes de requisito que ofrece el DELEFyL. Como ya se comentó anteriormente, el tipo de evaluación es objetivo y el formato que se usa es el de opción múltiple, ya que permite la evaluación integra de las diversas estrategias y elementos lingüísticos que conforman los programas ya mencionados. Un ejemplo de esto puede apreciarse en la siguiente figura.
El reactivo evalúa la capacidad de lectura minuciosa en las opciones A y D. En la opción A se presenta un superlativo que no aparece en el texto y en la D los alumnos deben reconocer que el sujeto, la reina, está en tercera persona del singular, por lo que “los cortesanos” no figuran más que como un distractor. La opción B incluye un cognado falso (fabric) que los alumnos deben identificar a partir del contexto. Para elegir la opción correcta, la C, hay que leer a detalle la descripción que se hace de John Dee e identificarlo como referente a partir de la primera oración del segundo párrafo.
Para que este examen y el resto pudieran ser considerados para ser parte del compendio se tuvo que comprobar su validez, lo cual se hizo a través de un análisis estadístico de cada reactivo con el propósito de conocer su dificultad. Se analizó cada distractor, lo cual resulta crucial para saber si se comportaron como se esperaba o si simplemente no eran tomados en cuenta. De ahí se procedió a revisar la consistencia de las pruebas en varias aplicaciones para verificar que el instrumento fuera confiable. Estos procesos implicaron la modificación de opciones e incluso de reactivos.
Retroalimentación
La retroalimentación puede entenderse como un proceso por el cual los aprendientes reciben información extra que complementa su formación y desarrollo en determinada área. El proyecto que se ha descrito en el presente texto partió de la idea de que, en la comprensión de lectura en inglés, la retroalimentación automatizada es un recurso que puede potenciar el desarrollo y aprendizaje de las estrategias y elementos lingüísticos. Si bien es cierto que “[e]l diseño de entornos digitales de aprendizaje permite proporcionar retroalimentación formativa en tiempo real”, se debe considerar que “hay muy poca investigación sobre el uso que los estudiantes hacen de esta información” (Mañez, 2020, p. 57). Por ello, nos dimos a la tarea de elegir un tipo de retroalimentación que fuera apropiada para aquellos que decidieran trabajar sin el apoyo de un tutor.
Dentro de la retroalimentación correctiva existen tres principales tipos de retroalimentación qur pueden entenderse de la siguiente manera:
- Retroalimentación de valor de respuesta (RVR): ésta “consiste en solamente dar a conocer al alumno el valor de verdad de la respuesta que ha dado, con la finalidad de informar si es correcta o incorrecta, si es buena o mala, pero sin ir más allá de ello” (Hernández-Islas, 2016, p. 148). Se suele usar en entornos virtuales a los que el alumno accede de manera autónoma.
- Retroalimentación de respuesta correcta (RRC): En ésta se da al alumno la “respuesta correcta deseada, una vez que ha respondido […]solamente se le da a conocer la respuesta deseada [e indirectamente] se le pide que realice una comparación entre ésta y la que él previamente ha proporcionado” (Hernández-Islas, 2016, p. 148).
- Retroalimentación elaborativa explicativa (REE): Ésta es más elaborada que otros tipos de retroalimentación, ya que “ofrece explicaciones adicionales como, por ejemplo, la razón por la cual la respuesta errónea del estudiante es incorrecta, o la razón por la que la respuesta acertada es correcta” (Hernández-Islas, 2016, p. 148).
Si bien la retroalimentación de respuesta correcta obliga a comparar las respuestas de los alumnos con una clave, la retroalimentación elaborativa explicativa va más allá al ofrecer recomendaciones y tips que incidan directamente en la formación de los alumnos, principalmente de aquellos que se encuentran tomando un curso y que tienen frescos los contenidos de éste y que cuentan con el apoyo de un tutor. Decidimos emplear la retroalimentación elaborativa explicativa debido a que ofrece la posibilidad de conocer el razonamiento y los procesos cognitivos detrás de cada opción de los reactivos. No por nada ha resultado ser, por más limitadas que sean las investigaciones, la más eficaz en entornos en línea (Máñez, 2000; van der Kleij, Feskens y Eggen, 2015).
En 2020, justo a principios de la pandemia, el área de inglés del Departamento lanzó, también en la plataforma AVI, una serie de exámenes de preparación para el examen de requisito con retroalimentación elaborativa explicativa (López & García, 2020). El objetivo fue que las pruebas funcionaran como modelos para aquellos que nunca han tomado cursos del DELEFyL. En el caso de este proyecto la idea es que los exámenes sirvan como base de estudio tanto para alumnos de curso como para los que no conocen a fondo los programas del curso de comprensión de lectura en inglés y desean reforzar su lectura de textos en inglés del área de las humanidades. Para ello, antes de inciar cada examen se explica brevemente el procedimiento que deben seguir con el fin de que la prueba sea un ejercicio de simulación de examen.
Algunas de estas recomendaciones parecen ser demasiado evidentes, pero resulta de vital importancia enfatizar que los alumnos no deben de recibir el apoyo de otra persona durante la realización de la prueba, pues lo que se busca es que, al final, reciban una valoración a partir de su puntaje; es decir, si, por ejemplo, en una prueba de 6 reactivos, un sustentante responde sólo a 2 reactivos de manera correcta, una leyenda se desplegará en la que se diga que cuenta con un nivel insuficiente de comprensión de lectura, por lo que se sugiere que continúe tomando el curso.
Una de las particularidades de este material es que la retroalimentación se brinda de manera inmediata, lo cual si bien de manera aislada podría verse como un obstáculo a la fluidez de la lectura, es información concreta que vincula al lector con el texto. La inclusión de referencias directas y de sus traducciones tiene el fin de mantener al lector apegado al texto y evitar distracciones. De hecho se incluye el renglón y el párrafo con el fin de que los usuarios tengan una noción clara de la estructura del texto y puedan alcanzar una lectura minuciosa de los pasajes a evaluar en los reactivos. Cabe recordar que la plataforma ha sido optimizada para que se pueda ocupar en tabletas e incluso en teléfonos celulares, lo cual demanda una referencia transcrita del texto mismo. En el siguiente ejemplo se ofrece una breve explicación sobre los cognados falsos sin caer en detalles que puedan romper con el ritmo de lectura de los alumnos.
El supuesto detrás de este tipo de implementación de sugerencias es que el sustentante a estos exámenes investigará por su cuenta más detalles acerca de los cognados falsos y/o utilizará el contexto para poder descartarlos. En este sentido, el proyecto cumple con lo que sugieren Lefevre y Cox (2016), en Máñez, 2020, p. 59: 2emplear “EF de tipo explicativo en las preguntas que evalúan la aplicación del material estudiado” y “permitir a los estudiantes revisar las preguntas”.
Ahora bien, cuando los alumnos obtienen un acierto, la plataforma también despliega un mensaje con fondo verde ––como se aprecia a continuación–– en el que se explica la razón por la que una opción es correcta. El hecho de que se incluya una explicación contribuye no sólo a que quien este desarrollando estrategias de comprensión lectora verifique su progreso de manera satisfactoria, sino también resulta útil para aquel que no tiene mucha experiencia leyendo en esta lengua en el área de las humanidades. Finalmente el objetivo del requisito de titulación –––la constancia de comprensión de lectura–– es que el alumnado alcance cierto nivel y cierta familiaridad con textos en otra lengua para que pueda incorporarlos a su vida académica y su formación se vea impactada directamente por éstos. En el siguiente ejemplo, tomado del mismo examen que se ha venido citando, se ofrece una razón concisa.
La traducción confrontada obliga al lector a identificar la funcion de algunos elementos; en este caso el referente figure (figura). Cabe agregar que los alumnos pueden tomar los exámenes cuantas veces quieran, ya que, si bien los reactivos no cambian de orden para respetar la linealidad del texto, las opciones van cambiando aleatoriamente para evitar memorizar una clave de respuestas que influya en una segunda resolución de la prueba.
Estudio bajo un enfoque cualitativo
La hipótesis que dio arranque al proyecto es la siguiente: la retroalimentación automatizada de tipo elaborativo explicativo potenciará el desarrollo de la comprensión de lectura en inglés. Para ello se necesitó hacer un estudio en el que se evaluara el impacto del material. La retroalimentación es un proceso que suele entenderse como un complemento benéfico debido a la información adicional que enriquece el desempeño de los aprendientes. No obstante, éste no siempre es el caso. Según un metaanálisis elaborado por Kluger & DeNisi (1996) en entornos educativos, la retroalimentación sólo es útil en una tercera parte de los casos. Por ello decidimos explorar el impacto de este tratamiento por medio de un instrumento de recolección de datos que nos diera un panorama general del sentir del alumnado respecto a su desarrollo de la comprensión de lectura a la luz del proyecto “Evalúate y aprende”. Se optó por un muestreo no probabilístico por conveniencia en el que participaron 85 alumnos inscritos al curso 9201 y 9202 del DELEFyL durante el 2023-1 (en línea y presencial). El instrumento fue un cuestionario en línea que contenía nueve preguntas de encuesta de tipo escala Likert y una pregunta abierta. A continuación se presentan las preguntas que constituyen el cuestionario para recabar información.
Cuestionario de opinión sobre los exámenes de práctica del DELEFyL con retroalimentación automatizada A partir de tu experiencia en los exámenes de comprensión de lectura en inglés en línea de la plataforma AVI, responde lo siguiente. La valoración de la escala es:
¿Consideras que haber tenido a exámenes de práctica con retroalimentación detallada contribuyó a tu aprendizaje? Detalla tu respuesta
________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________
|
El cuestionario se rige, principalmente, por dos ejes: el desarrollo de estrategias y la reflexión de la retroalimentación como experiencia de aprendizaje. Más allá de que el proyecto cubra una laguna importante que había afectado al Departamento, el propósito del estudio es valorar el alcance a partir de una investigación, si bien breve, también exploratoria. A continuación presento algunos de los hallazgos más relevantes con su respectiva discusión. El primero justo tiene que ver con lo que los participantes pensaron acerca del proceso de aprendizaje que se llevó a cabo durante la resolución de los exámenes.
La idea de explicar de manera concreta el por qué de cada una de las opciones tiene como finalidad que los alumnos reflexionen acerca del cómo de los aprendizajes y no vean las respuestas o los aciertos sólo como una cuestión de resultados. La metacognición es parte de la comprensión, en cierta forma, pues se trata del entendimiento del proceso que se gesta al aplicar estrategias e interactuar con el texto. Anderson (1999, en Marrón Orozco, 2014, p. 96) también considera que el plano metacognitivo es importante; según él, el desarrollo de la comprensión de lectura se da a partir de la palabra active en la que cada una de las letras indica una estrategia: activar conocimientos previos (A), cultivar vocabulario (C), enseñar el proceso para comprender el texto (T.- Teach), incrementar el ritmo de lectura por medio de la autenticidad y la fluidez (I), verificar estrategias de lectura (V) y evaluar el progreso (E).
El proyecto busca apegarse a estos principios a pesar de que la plataforma no sea tan interactiva en cuanto a la verificación del progreso de los alumnos en niveles de lengua. En este sentido, no sorprende que poco más de una tercera parte de los participantes hayan considerado con seguridad que los exámenes contribuyeron a hacerlos reflexionar sobre su aprendizaje. Un factor clave detrás de todo proceso de enseñanza-aprendizaje es la motivación, puesto que, como ya se ha comentado, para que se logre una metacognición debe haber una exposición constante a procesos de aprendizaje, la cual, a su vez, debe provenir de un interés genuino propio. En la siguiente gráfica se aprecia que la mitad de los participantes quedaron convencidos con el sentimiento de motivación provocado por el tratamiento.
En cada una de las preguntas del cuestionario más del 50% de los alumnos eligieron la escala 5, por lo que en términos generalizados la retroalimentación creó un sentir favorable entre el alumnado. Por otro lado, una de las fases de este estudio más complejas fue la creación de categorías y temas a partir de las respuestas a la pregunta abierta del cuestionario arriba presentado. Para este estudio se analizaron las diversas opiniones de los alumnos y se sistematizó la información de acuerdo a palabras clave e ideas recurrentes. Esto arrojó una serie de categorías y temas. Por cuestiones de espacio, presentaremos las categorías más relevantes a nuestro juicio:
- La retroalimentación como complemento: casi un 25% de los alumnos se refirieron al apartado de retroalimentación como un complemento de los cursos. La alumna #52 reportó que los exámenes “son una buena manera de retroalimentación y nos van señalando con argumentos cuál fue el acierto o error de nuestra respuesta, lo que implica visualizar aspectos que en algún momento consideramos o no para estas respuestas. Muy recomendable, gracias fue de gran apoyo, complementando lo visto en clase”. Por otro lado, el alumno #3 dijo percibir la plataforma como “un centro de aprendizaje en el que se complementan las estrategias que nos enseñan en el salón”. En este sentido, la plataforma funciona como un recurso de gran importancia para que los alumnos puedan darle continuidad a su desarrollo, algo que es muy necesario si consideramos que la mayoría de los cursos son de sólo 5 horas a la semana.
- Reconocimiento de errores a través de la retroalimentación: Algo que coincidió con las expectativas del proyecto fue que aproximadamente una tercera parte de los participantes dieron señales de haber alcanzado al menos cierto grado de metacognición. La alumna #8 declaró que “las clases presenciales fueron muy completas, impulsando en todo momento la reflexión frente al texto en inglés; a su vez, el material «Windows to culture» fue de gran utilidad, acorde a los exámenes de práctica y todo el material adicional fue bastante integral con las clases, pues los ejercicios, que fueron muchos, contribuyeron en gran medida a mi proceso de aprendizaje”. Por su parte, el alumno #47 dijo haberse sentido “apoyado por los exámenes en línea a la hora de reconocer sus errores y buscar los procesos adecuados para entender qué es la comprensión de lectura”. El mero reconocimiento del acto de leer como un proceso y no sólo como un resultado es sintomático de un impacto en desarrollo.
- Obstáculos: Cerca del 15% de los estudiantes dijo haber encontrado un inconveniente con el formato de los exámenes; esto es, si bien el material cumplía su función, algunos alumnos dieron sugerencias de mejora muy particulares. La alumna #33 comentó que le gustaría que se pudiera tener acceso a preguntas anteriores contestadas, ya que una vez puesta la respuesta no te deja regresar a ver la pregunta”. Este comentario arroja mucha luz respecto a la fluidez de lectura. Las preguntas ya respondidas pueden revisarse sólo en un segundo intento de examen, lo cual, si bien impulsa la resolución en el tiempo estipulado de simulación, puede resultar incómodo para algunos alumnos. Otra sugerencias respecto al formato fueron, según la alumna #20 que “la letra fuera más grande” y, de acuerdo con la alumna #26 que “los textos son muy largos y que es cansado leerlos en computadora”. En este sentido, se debe enfatizar que los textos y los reactivos, como ya se comentó, fueron optimizados para que resulten accesibles en términos de lectura desde dispositivos móviles. El texto incluso puede desplegarse de manera independiente para ofrecer una simultaneidad de lectura con el reactivo.
Conclusiones
El proyecto, hasta la fecha, ha constituido una experiencia fructífera para nosotros en cuanto a que hemos notado que ha sido benéfico para exponer a los alumnos a lecturas que difícilmente consultan en sus ratos de ocio. Hasta la fecha podemos decir que, desde la óptica de docentes de comprensión de lectura en inglés, el mero hecho de cubrir una laguna en cuanto al aprendizaje autorregulado, ha incrementado la sensación de autoconfianza y seguridad de nuestros alumnos. Nuestros resultados, si bien encontrados bajo un enfoque solamente cualitativo y de tipo exploratorio, empatan con lo que se ha investigado respecto a la retroalimentación elaborativa explicativa: “la retroalimentación que incluya información correctiva y elaborada puede ejercer una influencia positiva en el aprendizaje de los estudiantes cuando contestan preguntas de comprensión en entornos digitales” (Llorens, A. C, Vidal-Abarca, E. y Cerdán, R., 2016 en Máñez, 2020, p. 63). El panorama luce prometedor, pero se requieren más estudios contrastivos que valoren la eficacia de los distintos tipos de retroalimentación en el área de comprensión de lectura en lengua extranjera.
REFERENCIAS
Harmer, J. (2008). The Practice of English Language Teaching. Londres: Pearson.
Hernández-Islas, M. (2016). La retroalimentación automatizada en la enseñanza del Inglés como segunda lengua. Revista Iberoamericana de Ciencias, 3 (7), 146-157. Recuperado de http://www.reibci.org/publicados/2016/dic/2000108.pdf
Kluger, A. N. & DeNisi, A. (1996). The effects of feedback intervention on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119 (2)
López, G. & García, K. (2020). Compendio de exámenes diagnóstico de comprensión de lectura de preparación para el examen de requisito. México: CUAIEED/DELEFyL, UNAM.
Máñez, I. (2020). ¿Influye la Retroalimentación Correctiva en el Uso de la Retroalimentación Elaborada en un Entorno Digital? Psicología Educativa, 26(1), 57 – 65. https://doi.org/10.5093/psed2019a14
Marrón, M. A. (2014). Papel del profesor de lectura en lengua extranjera. En Contijoch, M. C. (Ed.). Comprensión de lectura en lengua extranjera: bases para su enseñanza (pp. 95-99). ENALLT- UNAM.
Ortíz Provenzal, A. (2014). Selección de textos. En Contijoch, M. C. (Coord.). Comprensión de lectura en lengua extranjera: bases para su enseñanza (pp. 59-65). México: UNAM.
Van der Kleij, F. M., Feskens, R. C. y Eggen, T. J. H. M. (2015). Effects of feedback in a computer-based learning environment on students’ learning outcomes: A meta-analysis. Review of Educational Research, 85, 475-511. https://doi.org/10.3102/0034654314564881