EVALUACIÓN CENTRADA EN EL CLIENTE DE ROBERT STAKE El evaluador debe trabajar con y para ayudar a aquellos educadores que desarrollan e imparten servicios de educación. La condición de la figura de la evaluación Pocos educadores que contemplan la educación al completo, las evaluaciones formales se centran sólo en unas pocas variables de un programa (como por ejemplo la relación entre resultados y objetivos) y que las evaluaciones informales reflejan a menudo las opiniones de un grupo de gente reducido (pero no datos empíricos cuidadosamente recopilados). Urge a los educadores y a los evaluadores a reconocer la estrechez de sus prácticas evaluativas y a prestar más atención a todo el conjunto de la evaluación, 1. 2. 3. 4. 5. la descripción y el juicio de un programa distintas fuentes de datos análisis de la congruencia y las contingencias identificación de las normas pertinentes y a menudo opuestas las múltiples utilizaciones de la evaluación La descripción Stake argumenta que la preocupación tradicional de los especialistas en evaluación educativa por la precisión en las calificaciones y la validez pronosticada es un enfoque cuestionable. En la evaluación curricular, se debe considerar que la atención a las diferencias individuales entre los estudiantes debería desplazarse hacia las contingencias del contexto, las actividades en clase y los resultados educativos. Además, recomienda que los educadores describen detalladamente los antecedentes, las actividades didácticas y los resultados, y examinen su congruencia y contingencias. El juicio La evaluación no tiene sentido hasta que se emite un juicio los educadores, intuyendo que los evaluadores pueden convertirse en únicos jueces de sus programas, pueden resistirse a cooperar en sus trabajos de recopilación de datos, ya que estos pueden ser censurados o criticados por ciertos colegas Afirma que muy pocos evaluadores pueden sentirse cualificados para discutir que es lo mejor para una escuela o comunidad. Por lo que era necesario un compromiso a la hora de evaluar. Recomendaba que las evaluaciones de programas escolares debían reflejar el mérito y los defectos percibidos por grupos bien identificados. ● ● ● ● ● portavoces de la sociedad en general expertos en el tema profesores padres estudiantes. La recomendación de este compromiso elimina las preocupaciones de Stake con respecto al modelo de Scriven según el cual los evaluadores ejercen el juicio final 1. que un programa que sea juzgado el mejor puede resultar ser el mejor para todos los estudiantes. 2. que una opción local no es válida si es contraria al bien común. Esquema para la recopilación de datos Los conceptos de antecedentes, transacciones y resultados son de importancia primordial. Stake comenta que, si los evaluadores pueden recoger, analizar y presentar información acerca de todo eso basándose en diversas fuentes, podrán aproximarse con éxito al objetivo de abordar la totalidad de la evaluación. ● ● ● Los antecedentes se refieren a la información más relevantes sobre el historial. En concreto, Stake consideraba este tipo de información como algo que incluía alguna condición ya existente antes de la enseñanza o del aprendizaje. y quizá relacionada con los resultados, ejemplo; si un estudiante ha comido antes de ir a la escuela. Transacciones, incluye los innumerables encuentros de los estudiantes con otras personas, como los profesores, los padres, los miembros del consejo, los tutores y Otros. Resultados, lo que se consigue a través de un programa, esto incluye las capacidades, los logros, las actitudes y las aspiraciones. Incluye también el impacto que causa en todos los participantes (profesores, padres, estudiantes) Stake utilizaba los antecedentes, las transacciones y los resultados como conceptos centrales para estructurar su concepción de lo que debe hacerse al describir y juzgar un programa. ● ● Intenciones, hace referencia a como los evaluadores pretenden enseñar, Stake recomienda que estudien tanto lo que los educadores excluyen como lo que incluyen, todo bajo la denominación de «intención», y que expresen los propósitos de los educadores en un lenguaje que ellos entiendan Las observaciones se refieren a qué antecedentes, transacciones y resultados han sido observados y anotados, a través del estudio de los antecedentes propuestos y de los reales, de las transacciones y de los resultados, debe estimularse a los evaluadores para que describan los programas de una forma más completa que si se limitaran a relacionar los objetivos con los resultados. El análisis de la congruencia se dedica a averiguar si los propósitos se han cumplido. ● ● ● ● ¿Son congruentes los antecedentes observados con los pronosticados? ¿Los profesores deben proporcionar las directrices del currículo? ¿Se han alcanzado los objetivos propuestos? ¿Existen efectos secundarios? El análisis de la congruencia es idéntico, en esencia, a la recomendación de Malcolm Provus acerca de que los evaluadores deben buscar discrepancias entre los propósitos y lo que realmente sucede Stake afirma que “dado que la evaluación es la búsqueda de relaciones que. Permitan el perfeccionamiento de la educación, la tarea del evaluador consiste en identificar los resultados contingentes a antecedentes concretos y transacciones didácticas”. Más adelante, explica que es importante investigar las contingencias existentes entre las intenciones y entre las observaciones Los análisis de la contingencia de las condiciones observadas, según Stake, deben estar basados en criterios de evidencia empírica. ● ● las normas como criterios explícitos para valorar la excelencia de una oferta educativa. Advierte que la calidad de las escuelas, las pruebas calificativas regularizadas y las opiniones de los profesores no son buenos indicadores de la excelencia de los estudiantes, afirma que las evaluaciones en boga no poseen amplios valores de referencia. o las mormas absolutas: convicciones personales acerca de lo que es bueno y deseable para un programa o las normas relativas: características de los programas alternativos que se creen satisfactorios El juicio racional en la evaluación educacional es una decisión sobre la atención que hay que prestar a las normas de cada grupo de referencia (punto de vista) a la hora de decidir si hay que emprender o no alguna acción administrativa. Stake subraya que las flechas no indican el paso del tiempo, sino que las distintas actividades son interactivas y contempla el proceso como algo inconsciente, simultáneo y no necesariamente racional. Evaluación respondente Al presentar la evaluación respondente advierte que su atención se centra en la evaluación de programas, que pueden ser estricta o libremente definidos, grandes o pequeños. Stake identifica la evaluación respondente como una alternativa frente a otros ocho métodos evaluativos: 1. el modelo pre-test y post-test (preferido por muchos investigadores) 2. el modelo acreditativo, que supone un autoestudio y la visita de expertos exteriores (les gusta a los educadores, según Stake, si pueden escoger los visitantes, pero no les gusta a los investigadores, puesto que confía en información de segunda mano) 3. la investigación aplicada al modelo didáctico (recomendada por Cronbach, 1963, 1980) 4. la evaluación orientada hacia el consumidor (recomendada por Scriven, 1967, 1974) 5. la evaluación orientada hacia la decisión (propuesta por Stufflebeam, 1966, 1971) 6. la metaevaluación (introducida por Scriven, 1976) 7. la evaluación sin metas (desarrollada por Scriven, 1974) 8. la evaluación contrapuesta (recomendada por Owens, 1973, y Wolf, 1973). la evaluación es un valor observado comparado con alguna norma. Stake afirma que las dos principales tarcas de la evaluación son la descripción y el juicio de un programa. Al comentar la evaluación respondente Stake no contempla al evaluador recopilando normas, clasificándolas según su importancia y reduciendo estas escalas a un juicio global. Por el contrario, el evaluador debe hacer referencia, simplemente a las opiniones de la gente acerca del programa y no juzgarlas, clasificarlas o sintetizarlas. Evaluación preordenada contra evaluación respondente Las planificaciones de las evaluaciones preordenadas deben ser preespecificadas tanto como sea posible, puesto que los objetivos del estudio deben establecerse y los controles, las definiciones y las estructuras comunes a este tipo de estudio deben quedar determinados al principio. Las planificaciones de las evaluaciones respondentes deben ser más abiertas y libres, tendiendo hacía la descripción narrativa, más que hacia la valoración de los casos, Los controles y las intervenciones en el programa rara vez se planifican. La evaluación preordenada refleja más un modelo de estímulo respuesta y la evaluación respondente invierta la secuencia en el sentido de que el evaluador responde primero observa el natural discurrir de un programa evitando cualquier tipo de intervención y luego lo estimula o interviene en él, de modo parecido a como lo hace el cliente. La metodología de la evaluación preordenada responde a la experimental mientras que la metodología de la evaluación respondente es naturalista Distinción Evaluación preordenada Evaluación respondente Propósito Determinar hasta qué punto han sido alcanzadas las metas Ayuda a los clientes a distinguir las virtudes y los defectos Alcance de los servicios Satisfacer los requisitos informativos tal como se había acordado al principio del estudio Responde a los requisitos informativos de la audiencia a lo largo de todo el estudio Contratos Las obligaciones de las partes formales de la evaluación se negocian y definen tan específicamente como sea posible al principio del estudio Los propósitos y procedimientos se esbozan de una manera muy general al principio y se desarrollan durante el estudio Orientación principal Propósitos del programa, indicación de las variables Problemas y actividades del programa Planificaciones Preespecificadas Se van haciendo a sí mismas Metodología Reflejo del «Modelo investigativo»: intervención y observación Reflejo de lo que la gente hace «naturalmente»: observa, interpreta y especifica Diseño experimental, objetivos de comportamiento, hipótesis, Técnicas preferidas muestreo al azar, tests objetivos, estadísticas de resumen e informes investigativos Estudio de casos concretos, objetivos expresivos, muestreo intencionado, observación, exámenes de programas opuestos e informes expresivos Comunicaciones entre el evaluador y Formales e infrecuentes el cliente Informales y continuas Bases para la interpretación de valores Referencias a los objetivos preestablecidos a los grupos de reglas y a los programes competitivos Referencias a las distintas perspectivas de valor de la gente que se tiene a mano Diferencias fundamentales Sacrifica el servicio directo a los que toman parte en el programa por la producción de informes investigativos objetivos Sacrifica cierto grado de precisión con la valoración para que pueda aumentar la utilidad Prevenciones para evitar la tendenciosidad Utiliza procedimiento objetivos y perspectivas independientes Reproducción y definición operacional de los términos ambiguos Stake dice que la evaluación respondente puede ser criticada por errores de muestreo, pero que la envergadura de estos errores resulta pequeña comparada con los progresos experimentados en el perfeccionamiento de las comunicaciones con la audiencia. Sin embargo, también reconoce que el método preordenado resulta a veces necesario y realiza un trabajo más efectivo. Estructura sustancial de la evaluación respondente La estructura se divide en cuatro partes, Problema, esquema de recopilación de datos, observadores humanos y validación. ● ● ● ● Stake dice que un problema es un organizador previo útil puesto que refleja una sensación de complejidad, urgencia y valoración. El esquema debe proporcionar una estructura adicional para la recopilación de datos. Donde el evaluador puede intentar identificar perspectivas múltiples e incluso contradictorias y examinar las congruencias y las contingencias. Stake identifica los observadores humanos y subraya su importancia y afirma que son los mejores instrumentos de investigación para muchos problemas evaluativos. En la validación el evaluador es el responsable de proporcionar la suficiente cantidad de información, procedente de numerosas fuentes independientes y creíbles para que pueda representar efectivamente el estado ya observado del programa. La evaluación reloj ● ● ● ● Las doce: hablar con los clientes el personal del programa y las audiencias, estos intercambios ocurren a menudo durante la evaluación y abordan una amplia gama de temas que pueden incluir si es necesario. La una: el evaluador, en colaboración con el cliente, examina el alcance del programa que va a ser evaluado. A menudo, lo que está dentro o fuera de un programa se discierne ambiguamente y de diversos modos. Las dos: el evaluador hace un panorama de las actividades del programa. Nosotros creemos que ésta es la actividad menos estructurada, más exploratoria y caracterizadora. Las tres: el evaluador pretende descubrir los propósitos de la evaluación y los intereses que tiene la gente acerca del programa. (Los propósitos fijados por ciertos grupos puede que no sean los propósitos que realmente tienen en la cabeza.) ● ● ● ● ● ● ● ● Las cuatro: el evaluador analiza las cuestiones y problemas, y los sintetiza con el fin de proporcionar una base para determinar los datos que se necesitan. Para realizar esta conceptualización, el evaluador puede recoger distintos puntos de vista acerca de lo que es o no es útil para el programa y lo que debe añadirse. Las cinco: el evaluador identifica los datos necesarios para investigar los problemas, se trata de una derivación mas interactiva de la conceptualización de los problemas, trabajando de una parte a otra, entre los datos potenciales a los contextos de los problemas Las seis: el evaluador planifica las actividades de recopilación de datos: traza un plan de observaciones, selecciona los observadores, identifica los informes que deben ser examinados, selecciona muestras y organiza las observaciones y otras actividades de recopilación de datos Las siete el evaluador observa los antecedentes, las transacciones y los resultados que el evaluador puede examinar también la base lógica del programa y recopilar las normas y juicios relativos a los antecedentes, las transacciones y los resultados del programa} Las ocho: el evaluador información obtenida desarrollado temas que haya localizado en esa información, utilizándolos para presentar descripciones del programa y quizá realizando estudios de casos concretos Las nueve: el evaluador comprueba la validez de los resultados y los análisis, se realizan diversas pruebas de calidad de los informes. Las diez: el evaluador esquematiza la información con el fin de que resulte de máxima utilidad para sus audiencias Las once: el evaluador prepara, si se los piden, los informes formales. deben escogerse los medios de comunicación que resulten más accesibles para las audiencias y que puedan intensificar la comunicación y asegurar la fidelidad del mensaje. Stake reconoce que la evaluación preordenada es el método preferido cuando se busca la valoración de la consecución de las metas, el cumplimiento de las promesas y la comprobación de las hipótesis También está de acuerdo en que las valoraciones de la evaluación preordenada son más objetivas y exactas. Sin embargo, Stake concluye diciendo que toda evaluación debe ser adaptable y, obviamente, cree que la evaluación respondente es claramente superior en el cumplimiento de esta norma,
