sábado, 22 de noviembre de 2008

LA INFORMACIÓN SOBRE FACTORES SOCIALES E INSTITUCIONALES ASOCIADOS A LOS RESULTADOS

El siguiente trabajo fue redactado por Pedro Ravela

¿Es necesario incluir cuestionarios de familia y encuestas a maestros en las mediciones de aprendizaje o alcanza con la aplicación de pruebas? ¿Para qué puede resultar útil la información sobre los contextos sociales e institucionales? ¿Es adecuadamente aprovechada la información que en el presente muchos países recogen junto con la aplicación de pruebas? ¿Es posible mejorar la calidad de los instrumentos de recolección de este tipo de información?

En la mayor parte de los países latinoamericanos se aplica, junto con las pruebas de logro, cuestionarios dirigidos a recoger información acerca una enorme gama de variables relacionadas con las características de las familias y hogares en que viven los alumnos, así como acerca de las características de las escuelas a las que asisten y los maestros que los atienden.

Sin embargo, generalmente esta información está siendo muy poco aprovechada y no forma parte de los reportes nacionales. En casos excepcionales, se suele ofrecer información sobre las variables relativas a las familias, es decir, externas a los sistemas educativos, más que sobre las variables escolares sobre las cuales los Ministerios pueden tomar decisiones. Pocos países han desarrollado trabajos sistemáticos de investigación acerca de los factores escolares que explican, generan o están asociados con las diferencias de resultados de aprendizaje entre las escuelas.

La mayor parte de los países suele limitarse a informar los resultados bajo la forma de porcentajes de respuestas correctas para las pruebas en su conjunto o para partes de ellas, por lo general desagregados por jurisdicción político/geográfica (provincia, región, estado, departamento) y tipo de escuela (urbano/rural, público/privado). Ello permite una primera identificación de las disparidades de logro educativo dentro de un país y brindar información a quienes, en distintos niveles, son responsables de la conducción del sistema educativo.

La no utilización de la información “de contexto” plantea al menos dos grandes problemas:
1. la ausencia de información sobre las características socioculturales de las poblaciones a las que enseñan los distintos sectores del sistema educativo puede llevar a conclusiones erróneas respecto a la eficacia educativa de dichos sectores;
2. la ausencia de información sobre factores estrictamente escolares puede llevar a la conclusión, también errónea, de que finalmente los resultados educativos dependen exclusivamente del entorno social y el sistema educativo no tiene nada que hacer al respecto.

a. El problema de la falta de contextualización sociocultural de la información sobre resultados de las pruebas
En relación al primer aspecto, es preciso señalar que la ausencia de caracterización sociocultural de las poblaciones a las que “enseñan” los distintos sectores del sistema educativo impide extraer conclusiones válidas acerca de la eficacia de dicha enseñanza. Normalmente aparecerán como menos eficaces aquellos sectores del sistema educativo que atienden a la población con mayores carencias, al tiempo que aparecerán como “mejores” los sistemas educativos de las provincias o regiones cuya población está más alfabetizada y vive en mejores condiciones. Del mismo modo, normalmente se reportan mejores resultados en la educación privada en relación a la educación pública, pero no se analiza el tipo de selección social que uno y otro sector hacen del alumnado que atienden.

En un país la comparación de resultados entre el conjunto de las escuelas públicas y el conjunto de las privadas muestra diferencias de 25 puntos porcentuales en la proporción de alumnos que logra un nivel satisfactorio en la prueba de Matemática. Sin embargo, el análisis de los datos socioculturales indica que diferencias similares existen entre ambos tipos de escuelas, en variables tales como los niveles de educación alcanzados por los padres y madres de los niños, la existencia de libros en los hogares, el nivel general de equipamiento de los mismos y las condiciones de las viviendas. Cuando las diferencias de logro entre escuelas públicas se analizan controlando las variables socioculturales, es decir, cuando se analizan las diferencias entre escuelas públicas y privadas que atienden al mismo tipo de población, las diferencias en la proporción de alumnos que logran un nivel satisfactorio en el conjunto de la prueba se reducen al entorno de 5 puntos porcentuales y, en algunos sectores sociales, son favorables a las escuelas públicas.

Algo similar a lo ejemplificado en el párrafo anterior ocurre con la presentación de los datos en función de agregaciones político/geográficas. Cuando se presentan los resultados desagregados por provincia, estado, región o departamento, sin ningún tipo de información adicional, la conclusión inmediata para el lector no especializado es que sin duda las escuelas y los maestros deben estar trabajando mejor en aquellas regiones en que los resultados son más “altos”. Sin embargo, normalmente éstas serán las regiones con mayores tasas de alfabetización y con mejores indicadores de desarrollo en general.

Asimismo, los reportes nacionales suelen entregar la información desagregada en función del carácter urbano o rural de la escuela. Sin embargo, es preciso señalar que esta opción desconoce la enorme disparidad y heterogeneidad que normalmente existe al interior del mundo urbano. En dicha categoría quedan incluidas las escuelas pertenecientes a pequeños poblados del interior –probablemente muy similares a las rurales-, las escuelas ubicadas en zonas marginales de la periferia de las grandes ciudades y las escuelas ubicadas en los barrios acomodados y altamente educados de esas mismas ciudades. Es discutible pues, la relevancia de comparar al conjunto de escuelas urbanas en relación a las rurales e ignorar la diversidad de situaciones existentes al interior del mundo urbano. Del mismo modo, es discutible en muchos países tratar a las escuelas rurales como una categoría homogénea ignorando las diferencias culturales y lingüísticas que en algunos casos existen en su interior.

A partir de lo antedicho, parece necesario dedicar tiempo a la reflexión acerca de cómo establecer formas relevantes de caracterización sociocultural de los niveles de desagregación de la información, de modo que la información brindada por el sistema de evaluación permita hacer comparaciones entre establecimientos, departa mentos o provincias que atienden poblaciones con algún grado de similitud.

En este sentido, parece recomendable intentar utilizar la información social que suele recogerse en los operativos de evaluación, u otra información sociocultural disponible a partir de los Censos o Encuestas Nacionales de Hogares, para caracterizar a los niveles de desagregación elegidos. Ello permitiría, junto con la comparación global, ofrecer comparaciones y generar “competencia” al interior de ciertos segmentos del sistema educativo que atiende a sectores de la población en cierto modo similares.

En los casos en que la información se entrega desagregada a nivel de escuela, esto es aun más importante. La “efectividad” de una escuela no puede medirse únicamente en términos absolutos sino en relación al tipo de alumnado con que trabaja, ya que éste que implica restricciones o ventajas en relación a los resultados posibles.

En ese sentido, parece necesario adoptar una metodología de “valor agregado” cuando se desea emitir un juicio sobre la calidad de una escuela o de una jurisdicción del sistema educativo. Se denomina enfoque de “valor agregado” a aquellas evaluaciones en las que se intenta medir la calidad de una escuela o jurisdicción no sólo en función de sus “resultados absolutos”, sino principalmente en función de sus “resultados ajustados” por el tipo de alumnado que la escuela atiende: lo que logra por encima o por debajo de lo anticipable de acuerdo a la población con la que trabaja. En Francia por ejemplo uno de los ind icadores de efectividad de los liceos es la comparación entre la tasa de aprobación de la prueba de Bachillerato y la tasa anticipada de acuerdo a la relación existente a nivel nacional entre origen social y aprobación.

El principal supuesto de este enfoque es que al trabajar con resultados absolutos se confunden los efectos propios de las escuelas o jurisdicciones con los efectos de la selección de alumnos con que cada una de ellas trabaja. Los mejores niveles de logro en ciertas escuelas o jurisdicciones pueden no obedecer a que la enseñanza sea mejor en las mismas, sino simplemente a que enseñan a los mejores estudiantes.

Finalmente, es preciso señalar que en algunos países es necesario aún trabajar mucho en el diseño de instrumentos que recojan información sociocultural de base que sea relevante, dado que sus cuestionarios están dirigidos principalmente a recoger opiniones de las familias sobre el sistema educativo y la escuela, pero no relevan datos “duros” que permitan caracterizar a esas familias. Ello implica la necesidad de mejorar los instrumentos y procedimientos que se emplean para medir los aspectos relativos al contexto social.

b. Los problemas relacionados con la información sobre las características de las escuelas y la enseñanza
En relación al segundo de los problemas seleccionados es preciso señalar que por lo general todos los sistemas nacionales aplican en sus operativos encuestas a maestros y directores en las que se recoge información sobre materiales didácticos empleados, clima escola r, años de experiencia del maestro, etc. Sin embargo, en los Informes Nacionales se reporta muy poco sobre estos aspectos y su relación con los resultados de aprendizaje.

La ausencia de difusión de información respecto a las variables estrictamente escolares que están asociadas con los resultados de las pruebas, implica desaprovechar información sumamente valiosa para la adopción de decisiones de intervención y mejoramiento. Los aspectos estrictamente escolares y pedagógicos son los únicos, en el corto plazo, susceptibles de ser modificados desde la política educativa y desde las decisiones que cotidianamente maestros y directivos toman al interior de las escuelas.

Su ausencia en los reportes nacionales puede contribuir a generar la imagen de que el sistema educativo nada puede hacer ante la fatalidad de las diferencias sociales. Sin embargo, una vez que los niños ingresan a la escuela, lo que allí ocurre cuenta en términos de aprendizaje. De hecho, en distintas partes del mundo y en algunos países de la región se ha mostrado que, al interior de una misma categoría social, existen diferencias en los niveles de logro de las escuelas, que son atribuibles a lo que éstas hacen o dejan de hacer.

Dos dificultades principales parecen plantearse en relación a la información sobre factores escolares. Una primera dificultad parece ser la sobreabundancia de información que al respecto se recoge, que dificulta la selección de una estrategia para su presentación. Se recoge información sobre una gran cantidad de variables, por lo general sin un plan de análisis y difusión previo, que luego hace sumamente difícil decidir cómo organizar la información y cómo vincularla con los datos sobre aprendizaje. Una segunda dificultad, que en cierto modo explica la anterior, radica en el proceso en cierto modo a-sistemático a través del cual se construyen estos instrumentos.

Mientras en el proceso de construcción de pruebas en todos los países se sigue algún tipo de proceso de validación, se establece un referente conceptual, se pilotean las pruebas y se realiza una selección de los reactivos a aplicar, en el caso de los instrumentos complementarios casi nada de ello parece ocurrir. El diseño de este tipo de instrumentos se realiza en parte en base a la intuición, en parte para satisfacer requerimientos de información de distintas unidades de los Ministerios, en parte en base a la acumulación de conocimiento respecto a factores de efectividad y en parte en base a los modelos utilizados por otros países, pero sin que se desarrolle un proceso de pilotaje y análisis de lo que los instrumentos pueden rendir y lo que no.

Por ejemplo, normalmente se formula un conjunto de preguntas relacionadas con el clima institucional o con la existencia de objetivos compartidos en la escuela. Recién una vez recogidos los datos se intenta construir un índice o factor a partir de los mismos La construcción de índices mediante procedimientos estadísticos no debiera sustituir el proceso de construcción de un modelo conceptual que permita definir y otorgar sentido a un conjunto de variables básicas.

En este sentido, parece necesario avanzar en el desarrollo de una metodología para el diseño de los instrumentos de relevamiento de “factores escolares” que incluya:

a. el desarrollo de un marco conceptual explícito respecto al papel de los factores escolares que sistematice y organice la investigación existente sobre escuelas y prácticas de enseñanza eficaces;

b. la identificación más precisa de las variables escolares que es relevante y posible medir en el marco de un operativo nacional de evaluación -teniendo en cuenta, por un lado, aquellos aspectos sobre los cuales es posible la toma de decisiones tanto desde la política educativa como desde el interior de los establecimientos y, por otro lado, las limitaciones propias de los cuestionarios autoadministrados-;

c. el mejoramiento de los modos de formular las preguntas, así como el desarrollo
ex ante de escalas dirigidas a medir aspectos específicos tales como el clima institucional, el empleo del tiempo en el aula, el curriculum implementado, los enfoques didácticos, los tipos de actividades realizadas por los niños, la utilización de los materiales y textos además de su mera existencia, etc.-;

d. el pilotaje y validación previa de los instrumentos.

En particular, parece necesario avanzar en la recolección de información acerca de lo que realmente se enseña en las escuelas. Muchas veces los niveles de logro insatisfactorios en ciertas áreas no reflejan una enseñanza “no efectiva” sino, sencillamente, ausencia de enseñanza de ciertos temas y dominios.

Simultáneamente, sería interesante dedicar cierta energía a la publicación de la información existente en cada país sobre factores escolares, incluso simplemente bajo la forma de tablas descriptivas de la distribución de las diferentes variables. Ello sería de enorme utilidad porque normalmente este tipo de información no existe en los países, contribuiría al conocimiento sobre lo que está ocurriendo al interior de los sistemas educativos, permitiría comenzar a realizar comparaciones entre sistemas educativos y, hacia el futuro, podría constituirse en una forma de preparar el terreno para la construcción regional de indicadores educacionales comparables. Asimismo, permitiría ir acumulando conocimiento que permita afinar el tipo de preguntas que es útil formular, aligerar los cuestionarios o ir pasando en evaluaciones sucesivas a indagar nuevos aspectos.

Finalmente, otra tarea a encarar sería el diseño de mejores formas de reportar los resultados de las pruebas, junto con la información sobre contextos sociales y factores escolares. ¿Cómo ofrecer a los diferentes destinatarios –autoridades, otras unidades ministeriales, maestros, opinión pública- información que permita una lectura más compleja de los datos, sin abrumar a los eventuales lectores?. ¿Cómo diversificar los tipos de informes que se producen?. ¿Es posible avanzar hacia ciertos formatos “tipo” más sofisticados que los existentes hasta el momento -porcentaje de respuestas correctas por jurisdicción político/geográfica y por tipo de escuela-?.

c. Los problemas relacionados con la investigación sistemática acerca de factores escolares asociados con el aprendizaje
Además de introducir mejoras en las formas de reportar los resultados de las evaluaciones nacionales, parece necesario mejorar el aprovechamiento de la información generada por los sistemas nacionales de medición con fines de investigación propiamente dicha sobre el modo en que los diversos factores inciden sobre los aprendizajes. Si bien existe abundante investigación en este terreno en los países desarrollados, el modo en que estos factores afectan el aprendizaje está íntimamente relacionado con los contextos nacionales y, aun al interior de un país, seguramente se producen variaciones en función del tipo de escuela y el tipo de población a la que atiende. Es por ello que tiene sentido realizar esfuerzos para acumular conocimiento a nivel nacional sobre los factores escolares que están asociados con los aprendizajes de los niños.

Sin embargo, un primer problema central en este terreno es que normalmente los países han estado evaluando niveles de logro al final de ciertos grados o niveles de enseñanza, pero no necesariamente aprendizaje en un cierto período de tiempo. El nivel de logro de un estudiante al final de cierto grado escolar depende de múltiples factores ajenos a lo que ocurrió durante ese año en su aula. Tiene relación, por ejemplo, con la historia escolar anterior de los integrantes del grupo y con la acumulación de conocimiento con la que llegaron.

En rigor, una evaluación de aprendizaje cuyo objetivo es investigar acerca de los factores que explican esos aprendizajes, exige contar con mediciones de conocimientos y competencias al inicio del año escolar y al final del mismo. Sólo por esta vía es posible contar con información sobre lo que efectivamente los alumnos de un grupo aprendieron durante el año, lo que potenciaría la posibilidad de establecer relaciones entre lo que ocurrió en la escuela y el aula ese año y el avance de los alumnos en términos de aprendizaje. Nuevamente, éste es un claro ejemplo de cómo el diseño del sistema de evaluación puede servir para ciertos fines más que para otros.

Probablemente la realización de operativos de evaluación al inicio y al final de un mismo año esté fuera del alcance de las posibilidades logísticas y económicas de los países de la región. Sin embargo existen caminos intermedios a explorar. Uno de ellos sería realizar la medición inicial en muestras más pequeñas. Para un trabajo con fines de investigación no es necesario realizar las mediciones en grandes muestras, que por lo general tienen como finalidad permitir la devolución de información a diversos niveles de desagregación. Otro camino posible es, en países que evalúan grados sucesivos –por ejemplo, 5to. y 6to. grados de Primaria- considerar como medida de aprendizaje de los alumnos del grado superior a la diferencia de logro con relación a los alumnos del grado inferior.

Un segundo problema central radica en que la investigación sobre factores asociados implica la utilización de técnicas estadísticas sofisticadas de carácter multivariado y plantea severas exigencias en cuanto a la conformación y calidad de las bases de datos. Normalmente será necesario contar con información completa sobre todas las variables incluidas en el modelo para todos los alumnos, lo que no siempre es posible cuando los relevamientos se efectúan a través de cuestionarios autoadministrados y se trabaja con muestras muy grandes.

Un tercer aspecto o problema que resulta relevante señalar es el relativo a las limitaciones propias de este tipo de estudios, dado que muchas veces existe un exceso de expectativas respecto a la validez del conocimiento construido. A través de la investigación de corte estadístico, aun la más sofisticada, se puede construir ciertos tipos de conocimiento y de información, pero muchas veces, para avanzar en nuestra comprensión de los fenómenos, es necesario desarrollar también otro tipo de estrategias de investigación, de carácter cualitativo o “estudios de casos”, que permitan una mirada distinta sobre aspectos que los instrumentos usualmente utilizados no pueden captar. En estos casos, el hecho de contar con una medición de logros educativos y contextos sociales e institucionales, constituye un formidable “mapa” sobre el cual efectuar la selección de casos relevantes para un estudio en profundidad. Asimismo, la acumulación de conocimiento en el área parece requerir también de investigaciones de corte “cuasi-experimental”, que permitan medir y controlar un conjunto de variables – por ejemplo, las relativas a las prácticas de enseñanza- de manera adecuada y rigurosa, lo que no puede hacerse cuando se trabaja a escala masiva.

Una de las principales limitaciones de los modelos estadísticos multivariados es que la posibilidad de que una variable “ingrese” al modelo depende del grado en que la misma varía en la realidad. Aquellas variables con menor variabilidad difícilmente ingresan al mismo, lo que no implica que no sean relevantes en la producción de los resultados.

Por ejemplo, la formación de los maestros se mide normalmente a través de la cantidad de años de estudio. Ésta puede tener escasa variación al interior de un país. Como normalmente será difícil medir la calidad de esa formación, el investigador utilizará la cantidad de años como medida de la formación. Dado que el comportamiento de la variable es homogéneo, no ingresará al modelo, y la conclusión será que no es un factor relevante para la efectividad de la enseñanza. Algo similar, pero en sentido inverso, puede ocurrir con el material didáctico. Como las dotaciones del mismo presentan una amplia variación –que además normalmente estará vinculada al nivel socioeconómico del alumnado de las escuelas- y son fácilmente medibles, está variable será más proclive a ingresar a los modelos. Por tanto, el investigador recomendará al Ministro invertir en material didáctico y no en formación de maestros.

El ejemplo anterior pretende alertar respecto al uso poco reflexivo de los resultados de los análisis estadísticos y recordar que la sofisticación de los métodos no garantiza por sí misma la validez de las conclusiones.

Asimismo, es necesario preguntarse acerca de qué tipo de decisiones de política educativa es posible tomar a partir de los resultados de un análisis estadístico. Muchas veces parecen existir expectativas excesivas al respecto. Difícilmente podrá o deberá establecerse una relación directa entre los resultados de un trabajo de investigación y la toma de decisiones de política educativa. Para decirlo en forma caricaturizada, normalmente un Ministro no está esperando los resultados del análisis multivariado para decidir si compra libros o dicta una resolución para que los maestros dediquen más tiempo a enseñar quebrados. Es necesario un proceso de acumulación de conocimiento previo a la toma de decisiones, más allá de que ésta está regida además por otro tipo de consideraciones y restricciones.

Lo expresado en los párrafos anteriores no debe ser leído en el sentido de descalificar este tipo de investigación, sino en el de tener modestia respecto a lo que pueden aportar. Sin duda las mediciones de aprendizajes y factores asociados contribuyen a iluminar zonas del escenario educativo, a generar conciencia sobre ciertos problemas, a desmitificar soluciones mágicas, a percibir elementos que están presentes en las escuelas con mejores resultados, en fin, a una acumulación de conocimiento que juega un rol fundamental en el momento de delinear las políticas educativas.

En este sentido la realización de “estudios de casos” relevantes, a través de los cuales se observe en detalle y se describa el modo de enseñar de escuelas y maestros cuyos alumnos alcanzan elevados niveles de logro, parece un camino complementario que es necesario recorrer. Probablemente este tipo de estudios permita construir un conocimiento más fácilmente comunicable a los maestros y a otros usuarios en términos que les sean significativos y útiles y que pueda tener impactos importantes en el mejoramiento de las prácticas de enseñanza. Por otra parte, hay áreas específicas de las prácticas de enseñanza y de la vida escolar cuyo análisis requiere de la observación directa de lo que allí acontece.

Con tal finalidad, las bases de datos generadas por los sistemas nacionales de medición constituyen una fuente de información formidable para identificar instituciones relevantes para la realización de este tipo de estudios.

En virtud de todo lo antedicho, parece pertinente plantearse la necesidad de propiciar el establecimiento de asociaciones y convenios de colaboración entre las Unidades de Medición y centros de investigación especializados, de modo de potenciar el aprovechamiento de las bases de datos existentes mediante la realización de trabajos que las Unidades no logran llevar adelante. En principio parece difícil que las Unidades de Evaluación puedan desarrollar efectivamente todas las tareas: diseño de instrumentos, organización de operativos de evaluación, procesamiento de datos y producción de informes, capacitación a partir de los resultados e investigación sistemática. Al mismo tiempo, no parece razonable subutilizar la información disponible y las posibilidades que brinda a la investigación el hecho de contar con sistemas regulares de medición en funcionamiento.

En este sentido, el establecimiento de asociaciones con institutos de investigación, que aprovechen las bases de datos existentes para la realización de trabajos más sofisticados y que, simultáneamente colaboren en el mejoramiento de los instrumentos de medición y de la calidad de las bases de datos, parece un camino que es necesario empezar a recorrer. Ello requiere, en primer término, voluntad política de parte de los Estados para facilitar el acceso a las bases de datos y, en segundo término, apoyar el desarrollo de las capacidades de investigación en estos temas, sobre los que en la región existe escasa acumulación de experiencia, aún en las instituciones dedicadas a la investigación educativa. En ese sentido, será necesario apoyar la capacitación de recursos humanos y la acumulación de conocimiento y experiencia en materia de investigación educativa no sólo al interior de los Ministerios de Educación sino inclusive al interior de las universidades y centros no estatales.



Este trabajo se desarrolló colaborativamente en un taller realizado en GRADE, en Lima, en agosto de
1999, a iniciativa de la coordinadora del Grupo de Trabajo, Patricia Arregui. El Grupo de Trabajo sobre Estándares y Evaluación de GRADE/PREAL es una de las actividades del Programa de Promoción de la Reforma Educativa en América Latina que lideran el Diálogo Interamericano de Washington, D.C. y CINDE, de Santiago de Chile. Cuenta con apoyo financiero del BID, de USAID, de IDRC, del GEFund y obtiene recursos para actividades puntuales de una diversidad de fuentes

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs