Creo no equivocarme si aseguro que, para quienes trabajamos con datos, la reciente publicación de la edición 2015 del Informe del Programa Internacional para la Evaluación de Estudiantes, o «PISA 2015», nos ha dejado bastante preocupación.

Reaccioné así no sólo por los bajísimos resultados para República Dominicana, sino también por el ingente volumen de datos liberados. Si como profesor universitario pudiera ignorar una base de datos de más de 500,000 registros sobre habilidades de adolescentes de 15 años a nivel mundial, supongo que sería un poco más feliz, pero no, no puedo. He puesto en pausa todo lo que tengo pendiente para prestar atención a esto.

Para contextualizar, recomiendo la entrada de Wikipedia sobre el Informe PISA, así como la de la propia OCDE. Es importante señalar que existe mucha crítica bien fundada a esta evaluación, pero el tratamiento de estos datos nos puede dar pistas para mejorar el sistema educativo. También destacar que existen otros métodos de evaluación, como TIMMS y PIRLS.

Inspirado en esta entrada de R-bloggers, me emburujé con el archivo de 1.5 GB que contiene los resultados de las pruebas a estudiantes (recordando que tengo una PC normalita de 5 años de antigüedad funcionando bajo Xubuntu). Supongo que adivinarán con qué lenguaje de programación abordé este asunto. Sin embargo, lo mejor fue saber que hay un paquete de R denominado intsvy para análisis de datos de evaluaciones internacionales de gran escala, el cual cuenta con un buen tutorial.

Las posibilidades de análisis son muchas, y quizá los ¿think tank dominicanos? podrían aportar recomendaciones más específicas. Intento aportar en este sentido, aunque soy consciente de que se trata de una mínima contribución. Pero reitero: es mucho, mucho, mucho lo que se puede extraer de las base de datos.

Siguiendo la entrada de R-bloggers comentada, seleccioné como tema «brecha de genero en indicadores de matemáticas, lectura comprensiva y ciencias«, y los crucé con el tipo de enseñanza pública/privada y el ámbito urbano/rural para República Dominicana. Existen 7 estratos de estudiantes según tales atributos: «semioficial/urbano», «privado/urbano», «público/urbano», «semioficial/rural», «público/rural», «privado/rural» y un conjunto del cual no se especifica ninguno de estos atributos (IND/IND).

Paralelamente comparé los indicadores para RD (combinados) con los de los restantes países de América Latina evaluados, que son: Brasil, Chile, Colombia, Costa Rica, México, Perú, Trinidad y Tobago y Uruguay.

El método de análisis es un gráfico de dispersión cuadrado (escalas igualadas en ambos ejes), en el que se representan los estratos (para RD) o países (para América Latina), según las medias de valores plausibles para hombres/mujeres.

El gráfico cuenta con una diagonal de 45° que separa dos triángulos rectángulos: el superior izquierdo y el inferior derecho. Los puntos que caen en el triángulo inferior derecho, se consideran aquellos tipos donde existe una brecha a favor de la mujer, en el superior izquierdo a favor del hombre, y los próximos a la línea de 45° donde no existe brecha o es muy baja.

Matemáticas

En el análisis para RD, estudiantes de centros urbanos, semioficiales y privados, obtienen las mayores puntuaciones conjuntas, mientras que en el ámbito rural se registran las más bajas. La brecha de género no es muy marcada para el ámbito urbano, aunque favorece ligeramente a la mujer en el centro semioficial y al hombre en el privado. En el ámbito rural la brecha es más marcada y en favor de la mujer, especialmente en la enseñanza privada.

En Latinoamérica, la brecha favorece al hombre de manera casi unánime, salvo en Trinidad y Tobago que obtiene casi la misma puntuación para mujeres que la que obtiene Chile para hombres. La última posición la ocupa RD, a una distancia considerable del penúltimo puesto (Brasil). Se trata de datos regionales a tener en cuenta y que se resumen bien en este gráfico:

Lectura comprensiva

En este caso la brecha favorece de manera sistemática a la mujeres, con puntuaciones que superan en 20 puntos a las de hombres. La mayor puntuación la reciben estudiantes de centros semioficiales urbanos seguidos de los privados urbanos, mientras que la menor corresponde a estudiantes de centros públicos rurales.

En el análisis regional, las mujeres presentan mejor rendimiento en todos los países. Las puntuaciones conjuntas están encabezadas por Chile y Uruguay, mientras que República Dominicana ocupa la última posición, nuevamente a una distancia considerable del penúltimo, que es Perú. El país con menor brecha es Perú, mientras que Trinidad y Tobago es el más desigual.

Ciencia

En cuanto a estratos se mantiene el mismo patrón: estudiantes de centros urbanos, tanto semioficiales como privados, presentan las mayores puntuaciones conjuntas, y en este caso la brecha favorece a hombres, aunque no de manera significativa.

La menor puntuación proviene de estudiantes del ámbito rural en cualquiera de los tres tipos de centros, siendo el público el que menor valor presenta. Destaca que en este ámbito la brecha se acentúa en favor de las mujeres de centros privados y semioficiales.

En Latinoamérica las máximas puntuaciones nuevamente provienen de Chile y Uruguay, y la menor de República Dominicana muy separada de la penúltima posición que ocupa Perú. La brecha en este caso favorece a los hombres en casi todos los países, salvo en Trinidad y Tobago donde favorece a mujeres por más de 20 puntos.

Conclusión

En términos absolutos, en los países latinoamericanos estudiados, Chile ocupa siempre la primera posición en las tres competencias estudiadas, mientras que República Dominicana ocupa la última, estando siempre muy distanciada del penúltimo país, que suele ser Perú o Brasil.

En cuanto a la brecha de género, ésta es desfavorable para las mujeres en ciencias y matemáticas, y favorable en lectura comprensiva. En RD la brecha no es muy acentuada. Destaca el caso de Trinidad y Tobago, donde la brecha de género en todas las competencias favorece a las mujeres.

A nivel de RD, las puntuaciones obtenidas sugieren que estudiantes de centros urbanos, especialmente de los semioficiales, presentan más altos rendimientos. En los rurales, especialmente en los públicos, se producen los rendimientos más bajos. La brecha género en ciencias favorece ligeramente a hombres, y en lectura comprensiva y matemáticas favorece a mujeres. En el ámbito rural, la brecha favorece generalmente a las mujeres.

Reflexión, las vestiduras

Toda evaluación siempre supone la exclusión de múltiples variables. Igualmente, todo «examen» contiene siempre una critica implícita al evaluador. Es criticable el Informe PISA, porque responde a unos intereses muy claros de países de tradición capitalista, donde interesan determinadas competencias para el bien del sistema. No obstante, reconociendo estas realidades, al menos deberíamos tomar medidas sobre las variables que sí se están midiendo.

Se han alcanzado conquistas en educación durante los últimos años, pero las realidades tan desastrosas reveladas en los campos evaluados nos indican que, a la hora de implementar acciones, el contenido temático y el fondo de las cosas nos importan poco. En mi propia universidad, la UASD, he argumentado muchas veces sobre la necesidad de que relevemos el contenido, y que a lo administrativo se le considere como un medio (digo esto a propósito de lo que señaló EDUCA recientemente en relación al gasto del 4% en el sector oficial). Pero ya sabemos que priorizar lo administrativo deja margen al clientelismo, el cual a su vez termina por impedir que se avance en lo temático.

Mi sentir: jarto (sí, con «j») estoy de tener que pelearme con personas que no quieren ver estas cosas, pero que toman decisiones en el tema. Las políticas sobre el sistema educativo relevan escasamente el contenido, y últimamente se han centrado más en el cómo.

A mi aula llega el producto y, aunque he visto estudiantes haciendo cosas impensables con los pocos recursos de que disponen, todavía hay muchos vacíos que no se llenarán en el nivel universitario. Nos invade un altísimo grado de «innumerismo», que está afectando seriamente cualquier análisis a nivel de grado, y eso se refleja claramente en los datos presentados.

Habitualmente escucho a personas decir el típico «deja eso así», las mismas que luego se rasgan las vestiduras con aquello de «qué mal andamos». Por otra parte, nos llegan mensajes que nos anuncien fantasías vendidas como realidades, tanto desde el oficialismo, como desde las escuelas, colegios y universidades. Pero la evidencia muestra que estamos muy rezagados, aun cuando no la queramos ver. Necesitamos menos mensajes y más fondo, menos decir qué se ha hecho o qué se va a hacer, e igualmente demandamos más compromiso con los resultados finales.

Para fines de replicabilidad, críticas y/o mejoras, transcribo a continuación el script de R con el que realicé los gráficos, además de que se encuentra alojado en el GitHub. Lo suyo habría sido crear una función y evaluarla por cada competencia, pero preferí mantenerlo redundante para fines didácticos.

Menos mal que siempre nos quedará el son y la montaña.

Dr. José Ramón Martínez Batlle (Ph.D)