sábado, 18 de octubre de 2008

Calidad de las evaluaciones

A continuación transcribo unos párrafos de la obra “La evaluación de los aprendizajes en el debate didáctico contemporáneo” Ed PAIDÓS Buenos Aires Barcelona México la. edición, 1998 ISBN 950-12-2129-6
LA CALIDAD DE LOS PROGRAMAS DE EVALUACIÓN Y DE LOS INSTRUMENTOS QUE LOS INTEGRAN Alicia R. W. de Camilloni

LOS DETERMINANTES DE LA CALIDAD DE LA EVALUACIÓN
Un programa de evaluación y cada uno de los instrumentos de evaluación que lo integran deben cumplir con ciertas condiciones. Mencionaremos aquí algunas de ellas: debe permitir evaluar los aprendizajes que la institución y el o los docentes esperan que los alumnos desarrollen. Las consignas de trabajo que integran el instrumento deben ser seleccionadas, en consecuencia, de modo de permitir que tanto la presencia de una respuesta como su ausencia sean significativas en relación con los aprendizajes que se ha buscado promover. En términos generales, las consignas no deben producir respuestas que resulten irrelevantes para la evaluación de los aprendizajes previstos. Esto no significa, sin embargo, que se descarten las respuestas irrelevantes de los alumnos cuando aparecen, ya que a través de esos resultados en apariencia disfuncionales, a veces incomprensibles, el docente puede advertir errores que sí pueden ser altamente significativos y que requieren especial atención. El instrumento, aunque siempre haga una lectura parcial de lo aprendido por los alumnos, debe proponerse registrar no sólo los éxitos y fracasos sino también el origen de esos fracasos. El instrumento debe presentar el grado de organización suficiente para que la apreciación que efectúa del aprendizaje permita desprender algunas conclusiones acerca del desempeño presente y futuro del alumno, en cuestiones específicas pero también con visión integral.

Cada uno de los instrumentos de evaluación resuelve estos problemas de diversas maneras. Actúa como un reflector que en el escenario ilumina a algunos personajes y deja en la penumbra a otros, que sin embargo están allí, presentes, pero con una clase diferente de presencia. Por esta razón, la elección de los instrumentos de evaluación adecuados a la hora de diseñar el programa de evaluación de un curso, por ejemplo, constituye una de las decisiones más importantes para garantizar el valor didáctico de la evaluación en relación con los procesos de enseñanza y de aprendizaje.

Existe una variedad de modelos de instrumentos de evaluación. Cada uno de ellos, tomado aisladamente, es insuficiente para obtener información sobre el aprendizaje de los alumnos. EL diseño del programa exige, pues, la combinación de instrumentos diversos para obtener una cobertura adecuada. La eficacia de la evaluación depende, entonces, de la pertinencia de la combinación de diferentes instrumentos, de la oportunidad en que se administran y de la inteligencia y propiedad del análisis e interpretación de sus resultados.
Veamos, entonces, los criterios o requisitos que deben tenerse en cuenta en el momento de tomar decisiones acerca del programa de evaluación de un curso, por ejemplo, y sobre cada uno de los instrumentos de evaluación que lo integran. Las características generales que los instrumentos de evaluación deben reunir, aunque con distinto grado de relevancia, son cuatro: validez, confiabilidad, practicidad y utilidad.

VALIDEZ
Se dice que un instrumento de evaluación es válido cuando evalúa lo que se pretende evaluar con él. Como un instrumento es utilizado para apreciar ciertos logros de aprendizaje de un cierto grupo de alumnos en una cierta circunstancia y en un cierto momento de su proceso de aprendizaje (al inicio, en el transcurso o al final), la validez de un instrumento no puede ser determinada de manera absoluta, sino siempre en relación con su adecuación a los propósitos y situación específica de su aplicación. Como lo señala Henry E. Garrett (1966), "un test es válido para un propósito particular o en una situación especial; no es universalmente válido". Cuando se quiere determinar si un instrumento es válido se requiere, entonces, información acerca de los criterios que han presidido su construcción y su administración. Los criterios son, entonces, externos a la evaluación misma. Esta cuestión sería relativamente simple de resolver si todos los propósitos de la enseñanza, en todos los niveles de decisión y para todos los actores, fueran coincidentes. Pero rara vez ocurre esto. A veces los objetivos del docente coinciden plenamente con los de la escuela y los de ésta con los de la jurisdicción y los de esta última con los de la nación. Pero la plena armonía de todos esos niveles parece más improbable que posible de alcanzar y, más aún, ni siquiera se puede afirmar que, en lo pormenorizado de los aprendizajes escolares, sea absoluta y efectivamente deseable.

Las diferencias en la educación surgen de la acción y la resolución de cada docente y de cada alumno. Se podrán encontrar, en consecuencia, criterios generales, pero también criterios diferentes. Y no tiene sentido hablar de la validez de un instrumento si no se ha validado el criterio. Para lo cual se requiere, a su vez, una validación mediante criterios más amplios. Según Robert L. Ebel (1963), "esto requiere un criterio para validar el otro criterio y así sucesivamente ad infinitum .

En la Didáctica, ese proceso de validación al infinito podría ser reemplazado por una teoría de bases firmes, tanto desde un punto de vista científico como filosófico. De otra manera, y ante la obligación ineludible de evaluar a sus alumnos, los docentes se encontrarían en la situación de ser incorporados como nuevos personajes, junto a Aquiles, la tortuga y la flecha, de las aporías de Zenón de Elea.

No se trata, en consecuencia, de validar instrumentos y criterios como en un juego de permanente retroceso hacia los principios, sino de apoyarse en principios didácticos fuertes, con cierto grado de generalidad y que permitan fundamentar racionalmente las decisiones de diseño del programa y de los instrumentos. Veámoslo en algunos ejemplos.

Si para un docente el propósito principal de su enseñanza ha sido procurar que sus alumnos aprendan a resolver un cierto tipo de problemas, el instrumento de evaluación válido será aquel que introduzca problemas al alumno para que éste los resuelva. Deberá tener presente, sin embargo, que no obtendrá la misma información acerca de lo que sus alumnos saben cuando en el instrumento se plantean problemas que corresponden sólo al tipo de problema cuya solución los alumnos deben hallar, que si también incluyen otros problemas de tipos diferentes, de modo que los estudiantes deban reconocer a qué tipo de problema corresponde cada uno de los planteados por el docente. Se podría afirmar que, en tanto el propósito didáctico no habría de ser que el alumno resuelva sólo una clase de problemas, la capacidad de discriminar clases de problemas debería estar presente en la formulación de los propósitos de un programa de enseñanza, por lo que esa segunda alternativa, que incluye diversos tipos de problemas en el instrumento, es más válida que la primera, que presenta solamente un único tipo de problema. Así, pues, para lograr que la construcción del programa o de un instrumento de evaluación sean válidos, es menester poner en juego no sólo una lectura fragmentada de los propósitos de la enseñanza sino principios didácticos más generales.

En otro sentido y refiriéndonos a otro ejemplo, veamos el papel que tiene el tipo de instrumento: si se trata de construir un examen oral o un coloquio válidos, hay que definir previamente preguntas centrales. Éstas deben referirse a cuestiones fundamentales del dominio de conocimiento que el alumno debe aprender. Pero la validez no llega a estar asegurada de este modo ya que en estos tipos de instrumentos de evaluación, el examen oral y el coloquio, la característica que les es propia y que hay que desarrollar adecuadamente es la elaboración de preguntas o comentarios del docente a partir de las respuestas del alumno. Si ellas no le permiten al alumno corregir sus respuestas anteriores, por ejemplo, o no lo animan a profundizar respuestas que inicialmente eran superficiales, o si no lo inducen a la elaboración de asociaciones y conclusiones reuniendo respuestas fragmentarias, la técnica del examen oral o del coloquio están mal empleadas y podrían ser reemplazadas por un instrumento de respuesta escrita. Como se ve, la validez de los instrumentos también depende de su apropiada construcción en relación con las características específicas que los definen.

Se puede observar, a través de lo expuesto hasta aquí, que la validez nunca es absoluta. En primer lugar, porque siempre debe ser referida a un criterio externo. En segundo lugar, porque sólo se puede hablar de validez mayor o menor, ya que un instrumento nunca es "completamente" válido pues sólo permite hacer inferencias acerca de los saberes de los alumnos. Y finalmente, porque la validez está condicionada a un ajuste que nunca puede ser perfecto entre el saber aprendido que se quiere evaluar y los medios técnicos, esto es, los instrumentos disponibles para evaluarlo. Con frecuencia se obtiene mayor validez a través de la combinación feliz de distintos tipos de instrumentos.

Se diferencian diversas clases de validez. Desarrollaremos sintéticamente sus principales modalidades.

Validez de contenido
Se dice que un instrumento tiene validez de contenido cuando representa una muestra significativa del universo de contenido cubierto por el curso o la unidad didáctica, la clase o una serie de clases. La validez de contenido, por lo tanto, requiere que la selección de contenidos que se ha efectuado para construir el instrumento sea equivalente a la de cualquier otro conjunto de contenidos que se hubiera podido seleccionar con ese fin. Se trata, por supuesto, en todos los casos de contenidos importantes por su significación en el aprendizaje de los alumnos.
La dificultad que la construcción de un instrumento debe superar es la necesaria distancia que existe entre la gran cantidad y variedad de los contenidos de toda enseñanza y la brevedad exigida también para los tiempos destinados a una evaluación de los aprendizajes, si no se quiere fatigar a los alumnos, lo cual conduciría a desvirtuar el significado cognitivo de sus respuestas.

Esa distancia obliga al docente a elegir los temas, informaciones, competencias, habilidades, destrezas, procedimientos u otros que incluirá en el instrumento de evaluación. Cuanto mayor es la diferencia entre tiempos destinados a la enseñanza y al estudio y tiempos destinados a la evaluación, más difícil es lograr una validez de contenido aceptable, es decir, que permita asegurar que los resultados obtenidos por el alumno en una instancia de evaluación serían semejantes a los que obtendría en otra distinta. La justicia de la evaluación se pone en juego, entonces, cuando se efectúa el muestreo de los contenidos que se incluirán en el instrumento a través de las consignas de trabajo (por ejemplo, las preguntas) que éste presenta.

La validez de contenido es también llamada "validez curricular" porque el criterio externo que se emplea para garantizar esta clase de validez es el diseño curricular, ya que en éste se expresan los propósitos y los niveles de aprendizaje, las secuencias y las sugerencias sobre estrategias e incluso, en ocasiones, sobre actividades de aprendizaje y modalidades de evaluación. Con la libertad que debe caracterizar al manejo del diseño curricular por parte del docente, es indudable que este diseño es un recurso fundamental sobre el que se apoyará la estimación acerca de la validez de contenido de un instrumento de evaluación, así como la fuente en la que el docente encontrará la principal inspiración para realizar una selección adecuada y representativa de los contenidos de su curso. Es preciso recordar que cuando se habla de "contenido" se hace referencia a un concepto amplio que comprende todo lo que se quiere enseñar. Se incluyen, por tanto, informaciones, conceptos, principios, procedimientos, valores, actitudes, hábitos, destrezas motrices y todo aquello que se tiene el propósito de que los alumnos aprendan.

En virtud de que lo que se enseña varía de clase en clase, de docente a docente y de región a región, la validez de los instrumentos también es limitada en relación con sus alcances.

Validez predictiva
Esta clase de validez se refiere a la correlación existente entre los resultados obtenidos en una o varias pruebas combinadas y el desempeño posterior del alumno en aquellos aspectos que corresponden al área evaluada por esas pruebas. Los instrumentos de evaluación que se emplean en la escuela deben tener validez predictiva escolar y extraescolar y deben contribuir a pronosticar los éxitos y dificultades de los sujetos del aprendizaje tanto en los aprendizajes posteriores de las asignaturas escolares cuanto en sus desempeños ocupacionales o en su actuación social en general.

Un nivel significativo en la validez predictiva es una condición para un buen instrumento de evaluación. Y esto es así por cuanto no hay aprendizaje escolar cuyo único fin consista en procurar una única ejecución exitosa en un espacio escolar y un tiempo muy limitados. El mismo fin de la educación se define por la voluntad expresa de quien enseña de que los aprendizajes trasciendan el espacio y el tiempo escolares. Es el destino mismo de la educación buscar la perdurabilidad de los aprendizajes. De ahí que, aunque haya algunos instrumentos cuyo propósito específico es la predicción -como es el caso de las pruebas de admisión-, todo instrumento de evaluación empleado con fines pedagógicos tenga, entre otras, la función de predecir. Como antes dijimos, la validez de un instrumento no es absoluta, siempre es limitada. Pero el seguimiento de los alumnos para comprobar la capacidad del instrumento para efectuar predicciones adecuadas es una operación de medición relativamente sencilla, al alcance de todos los docentes que deben encararla como parte constituyente de sus programas de evaluación. Comparar los resultados obtenidos por cada alumno en pruebas diferentes, separadas en el tiempo y en las que el docente asume que hay relación entre los contenidos, es una tarea interesante a la hora de evaluar la enseñanza impartida. Si en una prueba se han detectado errores en las repuestas y se ha brindado atención especial a los alumnos que tenían esas dificultades específicas, el seguimiento de los resultados en una prueba posterior demostrará, a la vez, la validez de la prueba anterior y la adecuación del tratamiento didáctico de los errores que se ha encarado en la acción de enseñanza.

Debemos señalar, sin embargo -aunque esto no exima al docente de hacer el esfuerzo de evaluar la validez predictiva de los instrumentos que utiliza- que los aprendizajes que la escuela promueve tienen plazos más o menos prolongados para su logro pleno. Se han de diferenciar aquellos logros que el alumno puede demostrar en un plazo muy corto, casi contemporáneo con el período de su enseñanza en la escuela, con los aprendizajes que requieren un período algo más prolongado de procesamiento, trabajo y elaboración para una apropiación profunda y aquellos otros aprendizajes que, por el alcance temporal que tiene la maduración personal que requieren, no podrían ser evaluados durante la permanencia del alumno en la institución educativa y ni siquiera en un lapso próximo a su egreso. En estos últimos casos la apreciación de la validez predictiva de los instrumentos se ve limitada por razones técnicas difíciles de superar por el docente y por la institución. Queda en pie, empero, la necesidad de poner atención constante en la capacidad de predicción que tienen los instrumentos de evaluación que se emplean en la educación formal.

Validez de construcción
El programa de evaluación y cada uno de los instrumentos que lo integran deben estar construidos de acuerdo con los principios de la o las teorías didácticas que sostienen el proyecto pedagógico. Debe haber coherencia entre las teorías y las estrategias de enseñanza que se han de emplear o que se han utilizado, las teorías generales y específicas que describen y explican los procesos de aprendizaje que el programa de enseñanza se propone que los alumnos desarrollen y las teorías que fundamentan las elecciones de los tipos de instrumento, la secuencia empleada, la articulación de la enseñanza y de las instancias de evaluación que conforman el programa de evaluación diseñado. Lo mismo ocurre con las normas técnicas que deben respetarse cuando se construye cada tipo de instrumento de evaluación. De la coherencia de las teorías y el buen uso de las normas técnicas depende la validez de construcción del programa y de los instrumentos de e valuación.

Es éste un aspecto que debe ser particularmente cuidado por los docentes porque si la evaluación no tiene un fundamento teórico válido, las decisiones que se tomen a partir de la información recogida por esa vía y de las interpretaciones que se hagan de ella carecerán de legitimidad.
Puede comprenderse, por lo tanto, la importancia de esta clase de validez ya que ella condiciona las otras que antes hemos mencionado.

Validez de convergencia
Esta modalidad de la validez concierne a la relación que existe entre un programa de evaluación o un instrumento y otros programas o instrumentos de validez ya conocida. Cuando un programa o una prueba de evaluación son reemplazados por otros, por ejemplo, debe demostrarse que son, por lo menos, tan buenos o mejores que los empleados anteriormente. La validez de convergencia puede tener gran importancia, pues, cuando se modifican prácticas establecidas en la evaluación para mejorar su validez, su confiabilidad o su practicidad, o cuando se busca mejorarla ampliando el campo de los aspectos evaluados.

Tomemos, por ejemplo, una situación en la que es necesario encontrar una nueva modalidad de evaluación que permita trabajar adecuadamente con un número muy superior de alumnos al que se acostumbraba atender en la institución. En ese caso, se trata de encontrar un programa e instrumentos más prácticos pero igualmente válidos que los que se empleaban con anterioridad. Los resultados obtenidos con los nuevos programas deberán ser contrastados, en consecuencia, con los obtenidos por medio de la aplicación de los usados antes. La validez de convergencia se apreciará analizando las coincidencias entre ambas series de resultados de la evaluación. Pero si, en cambio, se procura obtener mayor información acerca de un aspecto significativo del aprendizaje, profundizando el examen de los logros obtenidos por los alumnos en competencias o ejecuciones específicas que hasta ese momento se evaluaban de manera más general, en situaciones diferentes o en tipos de expresión distintos, la elección de los nuevos instrumentos deberá ser sometida a un análisis de convergencia para establecer si los resultados de unas y otras series son coincidentes o contradictorios. Si ocurriera esto último, habría que reexaminar tanto los instrumentos empleados previamente como los nuevos, antes de adoptarlos y dar estabilidad al nuevo programa de evaluación.

Validez manifiesta
Esta modalidad de la validez no se refiere a la validez intrínseca del programa o del conjunto de las pruebas o de cada prueba, sino al modo en que ellos se presentan, aparecen, ante el público.

Su significatividad deriva de que los programas y los instrumentos de evaluación deben ser percibidos por los alumnos, sus padres y el público como instancias adecuadas para la evaluación. No pueden ser vistos como absurdas carreras de obstáculos ni como simples o complejos filtros que tienen el único fin de producir una selección, más o menos azarosa y más o menos injusta, entre los alumnos. La razonabilidad de los instrumentos debe ser visible y explicable. Los instrumentos deben ser vistos como formas capaces de dar cuenta de los aprendizajes necesarios de los alumnos, tanto en lo que respecta a la forma como a los contenidos evaluados.

La validez manifiesta exige, entonces, que los instrumentos evalúen de manera verosímil los aprendizajes. Sin esto la evaluación pierde transparencia y no puede convertirse en autoevaluación. Al perderse la confianza en ella, pierde de este modo su sentido pedagógico y se requiere efectuar las correcciones y operaciones que resulten necesarias para lograr restablecerlo.

Validez de significado
Dietel, Herman y Knuth (1991) añaden a los distintos tipos de validez que se describen habitualmente, la validez de significado, que se mide en respuesta a la siguiente pregunta: ¿las tareas de evaluación tienen significado para los estudiantes y los motivan para alcanzar su mejor rendimiento?

Semejante a la modalidad de validez manifiesta que hemos descrito, la validez de significado se centra, en particular, en la relación que se establece desde la perspectiva de los estudiantes, entre el programa y los instrumentos de evaluación, por un lado, y los procesos de enseñanza y de aprendizaje, por el otro. La evaluación tiene diversos efectos sobre el aprendizaje. Entre los efectos deseados se encuentra el de proveer información al alumno sobre los progresos y los obstáculos que encuentra en el proceso de su aprendizaje y sobre los errores que debe superar, dándole indicios claros acerca de cuál puede ser el origen de sus dificultades. Pero la evaluación también tiene el efecto de incentivar la motivación del alumno por aprender. La superación de dificultades constituye un aliciente para el aprendizaje, así como la reiteración de los fracasos disminuye el interés, si se perciben las dificultades como insuperables. En ese espacio de dimensiones variables para cada alumno, y que se establece entre los problemas demasiado difíciles para ser resueltos y los problemas demasiado fáciles en los que no se puede fallar, se encuentra el punto adecuado en el que debe ubicarse la dificultad que presenta la prueba de evaluación para que tenga significado para el estudiante y constituya un desafío en el que éste ponga su mejor esfuerzo de producción.

Validez de retroacción
La evaluación tiene un efecto de retroacción sobre la enseñanza. Un caso clásico es el que se presenta en las evaluaciones externas, que ejercen una influencia normativa sobre lo que se enseña. Conocidos los contenidos y las técnicas empleadas en las evaluaciones, ellas se convierten para los docentes en los modelos de lo que se debe enseñar y aprender. Lo mismo ocurre, con frecuencia, con los aprendizajes encarados por los alumnos, que se conforman a las pautas establecidas por los docentes en las evaluaciones que administran. Es un efecto, en este caso no deseado, de la evaluación, por cuanto, en vez de ocupar el lugar de un apoyo para el mejoramiento del aprendizaje y de la enseñanza, la evaluación se convierte en la verdadera reguladora de esos procesos. Cuando esto ocurre, el peligro es grande, ya que, como dijimos antes, el dominio de los aprendizajes en la educación es mucho más amplio que el que se puede cubrir mediante la evaluación.
La validez de retroacción, que debe ser medida al igual que los otros tipos de validez, impone la realización de acciones de corrección con el fin de restablecer el verdadero sentido didáctico de los procesos de evaluación.

CONFIABILIDAD
Se dice que un instrumento de evaluación es confiable cuando une exactitud en la medición y sensibilidad para la apreciación de la presencia y las diferencias de magnitud de los rasgos que mide.

Para que los resultados obtenidos mediante la administración de un instrumento de evaluación puedan ser considerados dignos de confianza, deben ser estables, permaneciendo semejantes en todas las ocasiones en que se administre ese instrumento u otro similar. Si, por ejemplo, se administra una prueba o se emplea algún otro tipo de instrumento de evaluación y se obtienen ciertos resultados, el instrumento es confiable si, unas semanas después, administrado nuevamente se obtienen resultados similares. Esa constancia de los resultados demostraría, primero, que el papel del azar es muy pequeño y no distorsiona de modo significativo los resultados obtenidos. Y, además, que la administración del instrumento ha podido dejar de lado la influencia de factores transitorios que no deberían tener relevancia en la consideración de los resultados del aprendizaje que se quieren evaluar.

Un instrumento confiable permite aislar los aspectos que mide de otros que para el caso se consideren irrelevantes. Así, por ejemplo, una lámpara colgante puede servir para detectar un sismo cercano, pero no puede ser considerada un instrumento confiable pues, al no encontrarse aislada de otros factores, el viento o una mano, por ejemplo, podría ser accionada por otras fuerzas que falsearían la interpretación de su movimiento pendular.

De la misma manera, un instrumento utilizado en la escuela con fines de evaluación de los aprendizajes alcanzados por los alumnos debe permitir la consideración de estos aprendizajes separándolos de otros factores que pueden incidir en las respuestas de los alumnos, tales como el azar, la fatiga o los estados de tensión nerviosa de los alumnos o de los docentes.

La confiabilidad depende, también, de la exactitud y precisión con que mide el instrumento. En primer lugar, debe detectar si el aprendizaje o el rasgo que es evaluado está presente o ausente (¿saben o no saben x?, ¿tienen y destreza o no la tienen?, ¿quieren z o no la quieren?, etcétera). Pero debe hacerlo con sensibilidad y sin ambigüedad ante las variaciones de intensidad, profundidad y calidad de las conductas observadas o inferidas.

La confiabilidad de un instrumento depende, pues, de su estabilidad, su exactitud y su sensibilidad. Agregamos a estas condiciones la objetividad, que supone que la evaluación es independiente de la persona que evalúa, esto es, que los resultados reciben una interpretación similar tanto de diferentes docentes como de un mismo docente en distintos momentos.

Entre los factores que afectan la confiabilidad se encuentran los siguientes: la longitud y duración de la prueba, ya que cuando es excesivamente breve su capacidad de cobertura de contenido es escasa y puede estar muy distorsionada por factores de azar. "La muestra limitada de conducta puede dar como resultado una puntuación inestable y poco confiable" (Thorndike y Hagen, 1989). Pero cuando la prueba es excesivamente larga, la duración prolongada puede proporcionar información afectada por la fatiga del alumno. Sin embargo, señala Gronlund (1973) que es preferible el riesgo de diseñar pruebas más largas para que tengan mayor validez de contenido, siempre que se añadan contenidos diferentes y que no se superpongan con los que ya presenta la prueba. Cuando no se trata de instrumentos para medir velocidad sino de pruebas de competencia o capacidad, el tiempo debe ser suficiente para la realización del trabajo, incluso para estudiantes lentos.

Otro factor que incide sobre la confiabilidad son las condiciones de administración del instrumento. En situaciones puntuales de evaluación formal, la tensión de los alumnos suele ser mayor que en las informales, y la manera en que son tratados por el examinador puede favorecer o perjudicar su desempeño. También tienen influencia sobre los rendimientos las condiciones materiales y físicas de administración de las evaluaciones tales como iluminación, silencio, mobiliario, equipamiento adecuado y comodidad en general de alumnos y docentes.

Alcances de la confiabilidad
La confiabilidad de un instrumento debe permitir cubrir apropiadamente las necesidades planteadas por el programa de evaluación. No todos los instrumentos tienen la misma exactitud y sensibilidad, ya que ella depende de la forma técnica que adoptan y de las características propias que les otorga su construcción específica. Así, en otro orden de mediciones, por ejemplo, un barómetro doméstico puede ser aceptablemente confiable porque las lecturas que permite efectuar brindan la información que, con márgenes de error adecuados a ese uso doméstico, le permiten cumplir con la función a la que está destinado. En una estación meteorológica, en cambio, esas mediciones serían consideradas insuficientemente confiables, pues la sensibilidad y exactitud requeridas para cumplir su función son mucho mayores. Los instrumentos de medición de precisión son los que tienen mayor estabilidad, exactitud, sensibilidad y objetividad. Pero se debe recordar siempre que todas las mediciones no son absolutas, sino que son relativas a los instrumentos de medición que se emplean.

En cada caso, en consecuencia, habrá de determinarse cuáles son los grados de confiabilidad que resultan necesarios para cumplir con los propósitos que el programa de evaluación asigna a cada instrumento.
No se puede confundir confiabilidad con validez. Es frecuente que los autores de libros sobre este tema afirmen que la confiabilidad es condición necesaria, aunque no suficiente, de la validez (Karmel, 1986; Gronlund, 1973; Popham, 1983; Ebel, 1963; Sachs Adams, 1970; Pidgeon y Yates, 1979). Veamos algunas de estas afirmaciones.

Popham (1983): "Un test carente de (con)fiabilidad no puede ser válido para fin alguno". Ebel (1963): "Para que una prueba sea válida debe ser confiable". Pidgeon y Yates (1979): "Un examen no puede ser válido a menos que sea (con)fiable; pero puede ser (con)fiable sin ser válido". Karmel (1986): "Recuerde que ningún test será válido a menos que sea confiable. Por otra parte, un test puede ser confiable y carecer de validez". Esta exigencia de confiabilidad como condición para hacer posible la validez ha tenido mucha influencia en la teoría y la práctica de la evaluación. Consideramos, sin embargo, que es un principio que debe ser examinado y modificado.

La validez y la confiabilidad de un instrumento de evaluación nunca son absolutas. Hemos visto que para la validez los criterios son los que sirven de pauta y, del mismo modo, que la confiabilidad presenta márgenes de aceptabilidad según el uso que se le quiera dar al instrumento.

Pero por otra parte, en los instrumentos de evaluación de los aprendizajes, cuando se exige confiabilidad como primera condición para lograr cumplir con la exigencia de validez del instrumento, se privilegia un cierto tipo de instrumentos en los que el peso de la subjetividad desaparece. Esos instrumentos de alta confiabilidad son aptos para evaluar un cierto tipo de aprendizajes o rasgos pero no para evaluar todos. Las llamadas "pruebas subjetivas" o "tradicionales" (exámenes o cuestionarios orales, pruebas escritas de ensayo o disertación o de respuesta extensa; pruebas de respuesta restringida o de cuestionario; monografías, tesinas y tesis; evaluación de portafolio; estudios de casos, entre otras) están destinadas a evaluar la producción del alumno sin pautas totalmente estructuradas ya que le dan libertad para escoger la información, organizarla, expresarla y presentarla. En estos casos la validez aumenta a expensas de la confiabilidad. Esta última no es, entonces, condición necesaria de la validez sino, por el contrario, una limitación de la validez en ciertas circunstancias, aquellas en las que se busca que la respuesta del alumno sea original y permita demostrar competencias que no pueden ser evaluadas por medio de instrumentos cuyas respuestas están previamente estructuradas por los evaluadores.

Conviene señalar, sin embargo, que según se trate de propósitos de alcance e impacto muy importante en las vidas de las personas (exámenes de admisión o de selección, por ejemplo) o de las instituciones, la transparencia de las situaciones de evaluación constituye una exigencia ineludible para la evaluación y que, para ello, se requiere una alta confiabilidad además de validez predictiva.

La confiabilidad es, por lo tanto, una característica importante, difícil de aplicar adecuadamente y que exige un manejo técnico muy correcto de las técnicas de la evaluación puestas al servicio de los propósitos que ésta tiene asignados en los procesos de enseñanza.

PRACTICIDAD
Además de las características mencionadas -validez y confiabilidad- hay que considerar una tercera, de mucha importancia en los programas de evaluación.
La practicidad de un programa o un instrumento resulta de la conjunción de tres aspectos: su administrabilidad, la facilidad de análisis e interpretación de sus resultados y elaboración de conclusiones y, por último, de la evaluación de la economía de tiempo, esfuerzo y costo de su utilización.

Administrabilidad
La administrabilidad de un programa o un instrumento es un producto de varias características:
1. el tiempo de trabajo de los docentes que insume su diseño y construcción;
2. el tiempo que exige su puesta en práctica;
3. la claridad de la/las consigna/s, es decir, de las directivas que se dan a los estudiantes;
4. los materiales, equipos y lugares especiales necesarios para su administración;
5. la cantidad y preparación de las personas indispensables para la administración, cómputo, análisis e interpretación de los resultados y elaboración de las evaluaciones.

Cuanto menor sea el tiempo necesario para el diseño y la elaboración de las conclusiones y menos especializado el personal necesario para la puesta en práctica y el cómputo, mayor será la administrabilidad del programa o instrumento.

ANÁLISIS E INTERPRETACIÓN DE LOS RESULTADOS
Y ELABORACIÓN DE CONCLUSIONES

Se puede advertir que hay una correlación inversa entre el tiempo que demanda la construcción de un instrumento y el que exige el análisis e interpretación de sus resultados. Es necesario señalar, sin embargo, que el diseño de programas e instrumentos de evaluación siempre requiere mucho tiempo, también cuando se trata de pruebas "subjetivas". EL tiempo de "corrección" de las pruebas o de registro de observaciones suele ser prolongado pero la tarea puede ser facilitada por la construcción de claves o grillas de corrección elaboradas previamente a la administración de la prueba, sea escrita, oral o de evaluación de procesos o productos a través de la observación. Ellas permiten disminuir el tiempo y los problemas que se les plantean a los docentes en el momento de la corrección, les dan mayor seguridad y contribuyen a mejorar la confiabilidad de los resultados de la evaluación. Se deben emplear con precaución para no destruir el espíritu de estas pruebas que es la libertad de presentación y organización que se le brinda al alumno. De otro modo sería preferible utilizar instrumentos de tipo objetivo, esto es, instrumentos que admiten una y sólo una respuesta correcta y no diferentes calidades de respuesta que son más difíciles de analizar.

Economía
Es importante, como hemos dicho antes, que el programa de evaluación sea económico en tiempo, trabajo y costo. Es conveniente examinar previamente estas características para determinar la conveniencia de su empleo.

INTEGRACIÓN DE LOS TRES ASPECTOS
Los tres aspectos relativos a la practicidad del programa o de cada instrumento deben considerarse conjuntamente para lograr una evaluación integral de este rasgo.
Cada aspecto presenta ventajas y desventajas que se compensan o equilibran cuando se analizan los otros dos. Un costo relativamente elevado, por ejemplo, podría ser compensado por un alto grado de administrabilidad, o un tiempo prolongado dedicado a la construcción de un instrumento puede ser equilibrado por un tiempo menor destinado a la corrección e interpretación de los resultados. Del mismo modo, un tiempo extenso de construcción puede compensarse por la facilidad de administración simultánea a un grupo muy numeroso de alumnos.
La practicidad no es, seguramente, la característica más importante de un programa o de un instrumento de evaluación. Pero sí adquiere relevancia cuando de ella depende la frecuencia de la evaluación. Se observa que, por lo general, cuando el programa es práctico o cuando el instrumento es de fácil administración e interpretación se evalúa más frecuentemente y ello contribuye a estructurar mejor los procesos de enseñanza y los procesos de aprendizaje de los alumnos por parte del docente y de los mismos alumnos.

UTILIDAD
Íntimamente asociada a las otras tres características que mencionamos -validez, confiabilidad y practicidad-, la utilidad de una prueba resulta de su capacidad para satisfacer las necesidades específicas relacionadas con los procesos de enseñanza y aprendizaje. Si los resultados de la evaluación no son útiles para la orientación de los alumnos, del docente, de la escuela como institución, de los padres de los alumnos, de los sectores interesados en la calidad de la educación, poco importa que, en un marco restringido, el programa y cada instrumento sean confiables y prácticos. En lo que respecta a la validez, ya hemos dicho que es relativa a los criterios y, tratándose de públicos diferentes, dichos criterios pueden ser heterogéneos. Para que la evaluación sea útil, la validez para alguno o algunos de esos públicos es indispensable. La pregunta esencial en el diseño de un programa de evaluación es, por lo tanto, ¿qué usos se les dará a los resultados obtenidos? Son los implicados en los procesos de evaluación quienes deben dar las respuestas.

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs