Se termina el semestre: reflexiones preliminares (final)

¿timberos los ingenieros?

Con este post damos por terminadas nuestras reflexiones sobre el semestre académico que, ahora sí, hemos terminado en la UNI. En el primer post  analizamos el comportamiento de la asistencia a clases y llegamos a la conclusión que:

las notas más altas corresponden a los estudiantes con mayor asistencia a clases; las notas más bajas corresponden a los estudiantes con menor asistencia a clases. El secreto para aprobar el curso no existe. Basta ir a clases.

Y en el siguiente post hicimos un analisis un tanto más preciso sobre la relación entre la asistencia a clases y las notas obtenidas, :

Un resultado interesante: los alumnos asisten, todos, a sus evaluaciones , y un 70% a sus clases, y un 73%,  aprueba el curso.

De tal manera que se confirma esta verdad que debiera ser obvia, el que asiste a clases termina por aprobar el curso. Pero recordemos que asistir a clases significa cumplir con las obligaciones del curso, leer los materiales de soporte, estudiar, resolver problemas y participar.

Y ahora nos interesa alejarnos un tanto del tema de la asistencia y analizar el comportamiento de las notas resultantes de las evaluaciones. El cuadro que inicia este post trae los resultados obtenidos.

Se ha medido para cada evaluación: la nota promedio, la mediana, la desviación estandar, el coeficiente de variabilidad y el porcentaje de aprobados y desaprobados. Para obtener la nota final del curso, se pondera cada examen con un peso de un tercio de la nota total y el promedio de prácticas es el tercio restante. El promedio de práctica se estima sobre las tres mejores notas (eliminando la peor nota). El resultado obtenido es el que aprecia aquí. en el cuadro de la derecha.  La nota promedio es 12, el 72% de los estudiantes fueron aprobados. El coeficiente de variabilidad es casi el 25%. Una población homogénea al 75%. Hay que recordar que el universo considerado es igual a la matrícula total menos la deserción. 43 alumnos matriculados menos 7 alumnos que desertaron del curso (todos los que tuvieron, a lo sumo, una sola evaluación).

Vamos ahora a considerar el comportamiento de los exámenes. El coeficiente de variabilidad es prácticamente el mismo. Es decir, la población se mantuvo homogénea en notas en los exámenes parciales y finales. Sin embargo en el examen final el porcentaje de aprobados fue de 78% contra 64% en el examen parcial. Aquí se podría concluir que los estudiantes hicieron un mayor esfuerzo para rendir el examen final. Y esto se confirma apreciando la nota promedio. Fue de 13 en el examen final y de 11 en el examen parcial.

Se pueden hacer comparaciones entre los exámenes parcial y final, porque la metodología de ambos es idéntica. El examen parcial y el examen final presentan preguntas de alternativas múltiples, de verdadero falso y de desarrollo. El examen parcial tiene 10 preguntas de alternativas múltiples, 5 de verdadero falso, 2 de párrafos incompletos y 3 de desarrollo. El examen final tiene 10 preguntas de alternativas múltiples, 5 de verdadero falso y 5 de desarrollo. Pueden apreciar AQUÍ el Examen Parcial, y AQUÍ el examen final. Cada examen tiene un total de 20 preguntas que se deben responder en un período de 90 minutos.

Considerando que ambos exámenes tienen el mismo peso, la probabilidad de aprobarlo es del 70% (promedio del porcentaje de aprobados en cada examen). Y como la nota promedio entre el examen parcial y el examen final es 12, el alumno promedio requiere de una nota mínima de 9 en el promedio de prácticas para aprobar el curso. Recuerde que en este análisis consideramos 11 como nota aprobatoria, y no 10 como ocurre efectivamente en la UNI. 12 en el parcial, 12 en el final, y 9 en el promedio de prácticas, permiten obtener los 33 puntos que representan el puntaje mínimo aprobatorio.

¿Y qué ocurre con las notas en las prácticas calificadas?

Eliminando la nota más baja de las cuatro prácticas calificadas, se puede concluir que la probabilidad de obtener nota aprobatoria es del 69%, casi la misma cifra para el caso de obtener una nota aprobatoria en uno de los exámenes, 70%. Y la nota promedio en prácticas es también la nota promedio en los exámenes, 12.  Pero las semejanzas desaparecen cuando comparamos el coeficiente de variabilidad (CV). El CV promedio para los exámenes es 22.39%. Y el CV del promedio de prácticas es 28,27%. Pero hay que considerar que este CV se calcula sobre 3 notas y no sobre 4. Si calculamos el CV sobre las cuatro notas, se obtiene 56.96%. Algo está ocurriendo aquí.

Al eliminar la nota más baja y quedarnos con las tres mejores notas, el CV se reduce pero sigue siendo alto. Y al considerar todas las notas el CV resulta muy elevado. Más de la mitad de las notas obtenidas se separan de la media aritmética. Pero veamos qué ocurre en cada una de las notas de práctica. En la práctica calificada 1, el CV es 27.41%.; en la práctica calificada 2, el CV es 119.42%; en la práctica calificada 3, el CV es 11.46% y, finalmente, en la práctica calificada 4, el CV es 69.55%. Las notas son más o menos homogéneas en la primera y la tercera práctica,. Y también son más o menos homogéneas en la segunda y la cuarta práctica. Pero estas notas, de la segunda y cuarta, son muy diferentes a las notas de la primera y la tercer. ¿Qué es lo que ocurre en la primera y la tercera práctica, y qué en la segunda y la cuarta, para que se generen estos resultados?

Pueden ver las prácticas AQUÍ, AQUÍ, AQUÍ y AQUÍ. Las prácticas se resuelven en 60 minutos. Las preguntas en las prácticas 1 y 3 son de alternativas múltiples, y las preguntas de las prácticas 2 y 4, son de desarrollo. En las prácticas 1 y 3 el alumno debe marcar en la tabla de respuestas la opción correcta y no necesita sustentar su respuesta. En las prácticas 2 y 4 el alumno debe resolver los problemas, mostrando el procedimiento, es decir, sustentando su respuesta.

La tasa de aprobación en la práctica 1 fue de 78%, y en la práctica 3 del 100% (estimados siempre sobre la matrícula menos la deserción). Y la nota promedio en la práctica 1 fue 13 y en la práctica 3, 19.

En contraste con estos resultados, la tasa de aprobación en la práctica 2 fue del 8%, y en la práctica 4 también del 8%. Y la nota promedio en la práctica 2 fue 3 y en la práctica 4, 5.

En breve: los resultados en las prácticas 1 y 3 fueron muy buenos, y en las prácticas 2 y 4 muy malos. ¿Qué hace la diferencia? Luego de presentar los resultados obtenidos, les entregamos a los alumnos el solucionario y les consultamos por la intensidad de la prueba. Y, como siempre sucede en estos casos, los estudiantes admiten que la prueba no fue difícil. Lo que ha ocurrido en este caso es lo que viene ocurriendo desde hace varios años atrás en que empleo este sistema. En las pruebas de tipo objetivo los estudiantes alcanzan buenos resultados, y en las pruebas de desarrollo, malos.

Una hipótesis explicativa es la que preside este post: los ingenieros son timberos. Frente a una pregunta donde tienen que elegir la alternativa de solución a, b, c o d, tienden a acertar la respuesta. Si luego les pedimos que sustenten su respuesta, no lo pueden hacer. El estudiante de ingeniería tiene serios problemas para redactar, además de problemas de sintaxis y ortografía, lo que es consecuencia de su dificultad para exponer su pensamiento. Tiene, sin embargo, una profunda intuición. Es capaz de conectar los conceptos aprehendidos y optar por la respuesta correcta.

Lamentablemente, la vida no es una timba y los problemas reales no se presentan con opciones para descartar y para seleccionar. Es muy raro encontrar estas situaciones. Es mucho más frecuente enfrentarnos a problemas sobre cuya solución hay que construir alternativas. Y por eso es conveniente que los estudiantes se entrenen más en el desarrollo de problemas.

¿Qué hubiera ocurrido si todas las prácticas hubieran sido de tipo objetivo? Asumiendo como nota promedio de cada práctica, la nota promedio obtenida en las prácticas 1 y 3, la tasa de aprobación subiría al 89% y la nota promedio 16. Con  esta nota bastaría obener un promedio de 9 en cada examen para aprobar el curso.

¿Y qué hubiera ocurrido si todas las prácticas hubieran sido de tipo desarrollo? Asumiendo como nota promedio de cada práctica, la nota promedio obtenida en las prácticas 2 y 4, la tasa de aprobación bajaría al 8% y la nota promedio 4. Con  esta nota se necesitaría obener un promedio de 15 en cada examen para aprobar el curso. La conclusión con esta simulación es que ninguna de las alternativas es la más aconsejable. Debemos, pienso, potenciar esa fuerza intituiva de los estudiantes con el desarrollo de su capacidad de análisis.

Y se me ocurre una alternativa: Que las prácticas combinen por igual, las preguntas de tipo alternativo con las de desarrollo. Creo que es una alternativa que puede ayudar a que se abandone la timba como método.