La prueba
Proceso de creación de la prueba
Aplicación de la prueba
Corrección y análisis de resultados
Entrega de resultados y retroalimentación
Banco de preguntas
La Fundación Domingo Matte Mesías aplica dos veces al año (julio y diciembre) una evaluación externa a los alumnos de 1º a 8º básico de su establecimiento, con la finalidad de medir la cobertura curricular. Las pruebas son de matemática y lenguaje, esta última dividida en lectura y escritura.
La prueba de lectura consta de tres textos con preguntas abiertas; la de escritura varía dependiendo del semestre, en el primero se evalúan ortografía y gramática, mientras que en el segundo semestre se solicita a los alumnos realizar un ensayo, donde se evalúan además de forma transversal ortografía y gramática nuevamente.
En el caso de la prueba de matemática, las preguntas son abiertas y buscan evaluar las distintas tareas exigidas en los objetivos de aprendizaje por nivel.
El instrumento tiene un total de entre 15 y 22 preguntas. Esta cantidad varía con el fin de cubrir todos los objetivos de aprendizaje propuestos según la planificación.
El objetivo de este instrumento es tener una herramienta que permita diagnosticar la cobertura curricular y los aprendizajes que logran los estudiantes, para remediar a tiempo aquellas áreas que están débiles o no cubiertas, y trabajar tanto con profesores como alumnos. Esta evaluación entrega un panorama general, el detalle por curso y por alumno.
Objetivos específicos
La prueba está a cargo de la entidad sostenedora del establecimiento. Existe una persona responsable de este proceso, quien coordina la creación, implementación, corrección y análisis de ésta.
En marzo y agosto, se reúne el equipo directivo para definir los detalles como fechas y hora de aplicación de las tres pruebas (lenguaje: escritura y lectura; y matemática) para cada semestre.
Luego se comienza con la creación de un borrador, para lo cual se contrata a profesores externos para que desarrollen una batería de preguntas que evalúan los objetivos de aprendizajes (OA) y tareas que se esperan por área, basándose en la planificación de cada nivel (el conjunto de preguntas obtenidas se denomina banco de preguntas). Los profesionales cuentan con un plazo de dos meses para entregar las preguntas, las que son luego revisadas por el asesor pedagógico de la fundación.
Durante mayo (en el caso de la aplicación del primer semestre), se solicita a los profesores del establecimiento las planificaciones de cada curso, donde deben destacar los OA que debiesen estar cubiertos para el primer semestre. A partir de esta información, se seleccionan entre 15 y 22 preguntas del banco por prueba, una por OA, para armar el instrumento de cada curso.
Las pruebas con las preguntas ya corregidas y seleccionadas son enviadas a un diseñador para su diagramación. Una vez lista la prueba, se envía de vuelta el encargado, quien con la colaboración de cuatro voluntarios testean cada una de las pruebas con el fin de identificar y corregir errores en el caso de que aparezcan, los que son posteriormente revisados por el equipo directivo del colegio, ajustando los detalles necesarios.
Una vez finalizada esta última revisión, la prueba está lista para ser impresa.
Las pruebas se aplican en tres días: uno para escritura, uno para lectura y otro para matemática.
Las fechas son establecidas en una reunión organizada para la coordinación de este proceso, éstas se desarrollan en marzo y agosto
Todos los alumnos realizan la misma prueba (de acuerdo a su nivel) en un mismo día y hora, y el profesor a cargo del módulo correspondiente es el encargado de su aplicación.
Es de suma importancia que para su aplicación, la prueba sea entregada el mismo día al docente a cargo, idealmente solo unos minutos antes de ingresar a la sala, ya que los profesores no deben conocer el contenido para que el instrumento no pierda validez.
La prueba está pensada para una duración de un módulo, sin embargo, el CDMM asigna dos módulos (1 hora y media) para su aplicación.
El mismo día que son aplicadas las pruebas, éstas son enviadas a la Fundación para ser ordenadas, corregidas y tabuladas. Este proceso dura dos semanas.
Para estas tareas se contrata a un grupo de estudiantes universitarios para que ordenen las pruebas por lista y marquen los ausentes. Otros para que corrijan las pruebas y tabulen los resultados en las planillas. Para la corrección se les entrega a los estudiantes una pauta donde se especifica N° de pregunta, OA, clave y puntaje.
La corrección se hace en parejas y después entre los dos tabulan los resultados. Esto con la finalidad de poder comentar durante la corrección las dudas y tener una mirada más objetiva.
La persona encargada de la prueba externa revisa los comentarios y observaciones de los correctores para comenzar luego con el análisis de las planillas e información recopilada. Una vez realizado este proceso, se crea un informe para cada profesor con un resumen de los resultados de su curso, con los objetivos de aprendizaje logrados y no logrados, y niveles de logro por alumno.
Planillas de tabulación
En paralelo al proceso de creación inicial de la prueba, se contrata a una persona con manejo de Excel para que elabore planillas de tabulación automatizadas, que permitan obtener de forma automática el nivel de logro del curso completo además del detalle por alumno al ingresar el puntaje
Estas planillas arrojan automáticamente la siguiente información de análisis:
Es importante destacar que estas pruebas sirven para completar las planillas exigidas por SEP para ser reportados al Mineduc, ya que se logran calzar las habilidades de tal forma que cumplan los requisitos solicitados.
Para cerrar el proceso, se cita a los profesores agrupándolos por nivel de 1° a 4° básico, y por asignaturas de 5° a 8° básico. El objetivo de esta reunión es entregar un informe de resultados a los profesores y presentarles aspectos relevantes a destacar y recomendaciones de aquellos puntos que deben trabajarse para seguir mejorando el resto del semestre y año escolar.
La idea es que esta reunión sea una instancia de retroalimentación y acompañamiento, donde los profesores perciban la información entregada como un beneficio y apoyo a su quehacer docente y logro de aprendizajes de sus estudiantes. Es importante también reforzar positivamente, de forma individual y grupal, a aquellos profesores que hayan obtenido buenos resultados.
Se debe considerar que la prueba está diseñada para la evaluación de los objetivos de aprendizaje pero también para implementar remediales en caso de ser necesario, que serán desarrollados y trabajos en conjunto por directivos y docentes.
El banco de preguntas es un documento Excel por asignatura que contiene dos pestañas por nivel, una con todos los objetivos de aprendizajes (OA) de un nivel y otra donde se encuentran las preguntas y/o ejercicios asociados a un OA.
Objetivos:
Metodología para la creación del banco
4. Se agrega una pestaña por nivel (1° a 8° básico) para la tabla con las preguntas y/o ejercicios.
5. Esta tabla tiene 15 columnas (a excepción de lectura que tiene una columna extra para el “texto”). Ver documento “Especificaciones banco de preguntas”.
6.Se agregan las preguntas elaboradas por los profesores externos contratados para este fin y que fueron aprobadas por el asesor pedagógico. A cada pregunta se le asigna un código.
Codificación de las preguntas
M 1 E5 OA2 V0 *
M: asignatura, en este ejemplo es Matemática
1: número del nivel, en este ejemplo es 1° básico
E5: eje de aprendizaje, en este ejemplo es eje 5.
OA2: objetivo de aprendizaje, en este ejemplo es el 2.
V0: número de viñeta, en este ejemplo es 0 porque ese OA no tiene viñeta.
*Dígito diferenciador: se ocupa para diferenciar en caso de que haya dos preguntas con el mismo OA.
Este es un mecanismo para sistematizar creado y utilizado por el colegio Domingo Matte Mesías para facilitar la búsqueda de preguntas a partir de los OAs para diseñar y armar las futuras pruebas.