Plan de Seguimiento y Evaluación CEET Centro de Estudios Económicos Tomillo 1 Índice 1. Metodología para para el diseño del Plan de 1. Metodología el diseño del Plan Seguimiento y Evaluación de Seguimiento y Evaluación 2. Plan de Seguimiento y Evaluación a. b. 2.Introducción Plan de Seguimiento y Evaluación ¿Qué es evaluar un proyecto de intervención social? 2 Metodología para elaborar el Plan de Seguimiento y Evaluación Objetivos del Plan de Seguimiento y Evaluación 1) Diseñar un Plan de seguimiento y evaluación mixto 2) Desarrollar un sistema de indicadores del proyecto 3) Ejecutar el Plan de seguimiento y evaluación 4) Elaborar informes de seguimiento 5) Capacitar a las entidades para que puedan adquirir autonomía para realizar sus propios procesos de evaluación mediante dos sesiones formativas sobre el seguimiento y evaluación del proyecto a entidades del proyecto 3 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 1 Fase 2 Fase 3 Actualización de la información de base PLAN de Seguimiento y Evaluación Implementación del PLAN Sistema de indicadores Fichas de seguimiento Sesiones formativas (Redes-CEET) Documentos de debate (CEET) Grupo de Seguimiento y Evaluación Informes de seguimiento y de evaluación 4 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 1: actualización de la información de base del proyecto 1) Es conveniente contar con una información básica sobre las actuaciones desarrolladas y previstas para 2012 (y 2013) para elaborar un Plan adaptado a la realidad del proyecto 2) Proponemos completar una ficha básica de cada actuación en donde se recoja la siguiente información a) b) c) d) e) Nombre de la acción. Breve descripción. Objetivos Fecha de realización (y, en su caso, periodicidad) Entidad responsable de la acción (y formas de contacto) 3) Esta ficha se irá actualizando, con carácter semestral, para facilitar el proceso de evaluación de los avances de las acciones y, en su caso, las causas de los retrasos 5 acumulados Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 1: actualización de la información de base del proyecto 4) Como resultado de esta Fase de desarrollo del Plan, CEET elaborará un breve documento denominado “Guía del Proyecto Redes Interculturales 2011-2013”, y estará incluido en el PLAN de modo que formará parte fundamental de su contenido 5) Gracias a su permanente actualización será posible emitir un juicio válido sobre los distintos criterios sobre los que se asentarán las actuaciones de evaluación previstas por parte de la asistencia técnica y que serán objeto de consenso entre las entidades del proyecto (pertinencia, eficacia, sostenibilidad, entre otras). 6 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 2: elaboración del PLAN de Seguimiento y Evaluación 1) ¿Quién participará del seguimiento y evaluación? a) Se pretende la constitución de un Grupo de Seguimiento y Evaluación transversal a todo el proyecto y abierto a todas las entidades que deseen participar b) Quienes participen del comité deben guardar un grado de compromiso con el propósito que se desea alcanzar, así como una mínima capacidad de atender a los trabajos asociados c) Sería deseable que se otorgue un papel importante a entidades que, a priori, poseen menos capacidad para desarrollar estas tareas d) En el PLAN se establecerán unas orientaciones generales o líneas básicas de actuación del Comité en relación con el proceso de seguimiento y evaluación del proyecto 7 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 2: elaboración del PLAN de Seguimiento y Evaluación 2) ¿Cómo se va a elaborar el PLAN de Seguimiento y Evaluación? En tres etapas: a) Etapa 1: elaboración de un documento de debate para familiarizar a las entidades con la evaluación y presentar una versión preliminar del PLAN b) Etapa 2: sesiones formativas: i. Formación en evaluación de proyectos abierta a todas las entidades (especialmente al Comité de Evaluación) ii. Se debatirá la versión preliminar del PLAN c) Etapa 3: elaboración del PLAN (versión definitiva) 8 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 3: implementación del PLAN de Seguimiento y Evaluación A partir de las etapas anteriores, se dispondrá a: a) Recopilar la información necesaria b) Analizar la información c) Elaborar informe de 2012 9 Metodología para elaborar el Plan de Seguimiento y Evaluación Fase 1 Fase 2 Actualización de la información de base PLAN de Seguimiento y Evaluación Fase 3 Implementación del PLAN Sistema de indicadores Fichas de seguimiento Sesiones formativas (Redes-CEET) Documentos de debate (CEET) Grupo de Seguimiento y Evaluación Informes de seguimiento y de evaluación 10 Plan de Seguimiento y Evaluación Estructura del PLAN (líneas del documento de debate) 1) Introducción: breve descripción del proyecto y de la metodología para su evaluación 2) La evaluación de proyectos sociales: a) ¿Qué es evaluar un proyecto? b) Contenidos del proceso de evaluación: diseño, gestión, resultados e impacto c) Criterios y usos de la evaluación d) Seguimiento e indicadores 3) La metodología de evaluación participativa a) Definiciones y características b) Condiciones para su desarrollo: principios y obstáculos c) El rol del agente evaluador 4) Estructura del Plan de Seguimiento y Evaluación del Proyecto Redes Interculturales a) Objetivos, metodología y criterios de evaluación b) Documento guía del proyecto (actualizado) c) Propuesta de indicadores y recogida de información d) El Grupo de Seguimiento y Evaluación 11 Plan de Seguimiento y Evaluación 1. Introducción 1) Breve descripción del proyecto Redes Interculturales, estructura de trabajo y entidades que lo conforman 2) Reseña de las principales actividades desarrolladas y previstas 3) La evaluación del proyecto: objetivos y metodología 12 Plan de Seguimiento y Evaluación 2. La evaluación de proyectos sociales: ¿qué es evaluar un proyecto? Basándonos en las definiciones existentes: “Aplicación sistemática de los procedimientos de la investigación social para valorar la conceptualización y el diseño, la ejecución y la utilidad de los programas de intervención social” (Rossi y Freeman, 1993) Nuestro objetivo Desarrollar nuestra propia evaluación 13 Plan de Seguimiento y Evaluación 2. La evaluación de proyectos sociales: ¿qué es evaluar un proyecto? • Objetivos específicos • • • • Facilitar la toma de decisiones ofreciendo información relevante sobre objetivos, instrumentos de gestión y efectos de los proyectos Satisfacer las necesidades de información y transparencia de las entidades que gestionan y ejecutan el proyecto Posibilitar la participación de los agentes al proporcionar cauces para su implicación en su valoración Aumentar el conocimiento y la capacitación de quienes diseñan, gestionan y ejecutan los proyectos Incrementar la eficacia de los proyectos dado que permite detectar y corregir errores y conocer si los recursos se han utilizado adecuadamente 14 Plan de Seguimiento y Evaluación 2. 1 La evaluación de proyectos sociales: ¿qué vamos a evaluar? Evaluación del diseño • Vamos a evaluar en qué medida los objetivos planteados han sido coherentes con el diagnóstico efectuado y si los instrumentos (actuaciones) responden de forma coherente a esos objetivos. Evaluación de la gestión/proceso • Vamos a emitir un juicio sobre la programación de los plazos, competencias, asignación de responsabilidades, funcionamiento y participación de las entidades en la gestión del proyecto • Vamos a analizar las actividades desarrolladas y sus efectos directos (resultados) e indirectos (efectos o impactos) así como aproximarnos a su eficacia y sostenibilidad, apropiación, etc. Evaluación de resultados e impactos 15 Plan de Seguimiento y Evaluación 2.2 La evaluación de proyectos sociales: ¿qué criterios vamos a utilizar para evaluar? Problemas / necesidades Objetivos Instrumentos Resultados Eficacia Racionalidad Impactos Transferibilidad Coherencia Viabilidad Apropiación Sostenibilidad Los criterios se consensuarán con las entidades participantes del proyecto Género 16 Plan de Seguimiento y Evaluación 2.2 La evaluación de proyectos sociales: ¿qué criterios vamos a utilizar para evaluar? • • Criterios a utilizar para evaluar el proyecto • • • • • • • Racionalidad: analizar la relación entre las necesidades y problemas detectados y los objetivos establecidos para la mejora o solución de dichos problemas Coherencia: examinar que los objetivos se corresponden con las acciones (estrategia) planteadas Eficacia: Implica analizar el grado en que se han alcanzado los resultados previstos del proyecto Sostenibilidad o viabilidad: Va más allá del grado en que ha alcanzado sus objetivos y se relaciona con el grado en que sus resultados permanecen en el tiempo Transferibilidad: Implica evaluar el efecto demostrativo que muchos proyectos incorporan o que pueda demostrarse que han desarrollado Igualdad de género: estudio de los efectos diferenciales que ha tenido el proyecto para hombres y mujeres Apropiación: Se relaciona directamente con el grado en que se hayan podido o se pretendan instaurar procesos participativos en todo el ciclo de vida del proyecto Uso de NTIC 17 Otros criterios (¿menos tangibles? ¿cómo “medirlos”?) Plan de Seguimiento y Evaluación 2.2 La evaluación de proyectos sociales: ¿qué criterios vamos a utilizar para evaluar? Evaluación participativa • • ¿Qué metodologí a vamos a utilizar? Es aquella en la que las demandas e inquietudes de gestores, ejecutores y destinatarios se convierte en el eje de organización del proceso evaluativo Implica sumergirse en la realidad del proyecto y necesita la articulación de mecanismos que comprometan la participación de los agentes involucrados ¿Por qué evaluar de forma participativa? • • • • Porque es coherente con el “espíritu” del proyecto Porque contribuye a legitimar la toma de decisiones e incrementar la transparencia para mejorar la calidad de las intervenciones sociales Porque amplia el aprendizaje de las entidades para replicar lo aprendido en el funcionamiento de sus propias entidades Porque mejora la gestión al promover la participación y empoderar a las entidades y beneficiarios, implicándolos en su propio desarrollo 18 Plan de Seguimiento y Evaluación 2.3 La evaluación de proyectos sociales: el seguimiento y los indicadores Acción Desarrollo Objetivo Previsión Entidad Responsable (grupo) Boletín Informativo Idea: construir una ficha informativa Guía de recursos y banco de materiales Portal web del proyecto Formación en antidiscriminación Formación itinerante en planificación estratégica Formación en materia de legislación migratoria Aula de formación online y formación en NTIC Guía digital para uso del portal del proyecto Debe contener información básica y actualizada de cada actividad desarrollada y prevista Formación en técnicas de comunicación Sistema de indicadores para cada acción del proyecto 19 Plan de Seguimiento y Evaluación 2.3 La evaluación de proyectos sociales: el seguimiento y los indicadores Elaboración de fichas informativas de cada actividad Preguntas de la evaluación Grupo de Seguimiento y Evaluación Criterios de evaluación Sistema de indicadores Recogida de información 20 Plan de Seguimiento y Evaluación 2.3 La evaluación de proyectos sociales: el seguimiento y los indicadores Para llevar a cabo estas tareas, se constituye un Comité de Seguimiento y Evaluación cuyo papel sería: • • • • • Delimitar las necesidades informativas: las preguntas de la evaluación (qué queremos evaluar en los ámbitos estratégico, actuaciones, efectos y gestión). Definir los criterios que se van a utilizar para emitir los juicios de valor sobre el proyecto. Esto es clave ya que permite alcanzar acuerdos sobre los parámetros que van a servir para establecer los éxitos y fracasos del proyecto desde el punto de vista de sus propios protagonistas. Definir los indicadores que son los que nos permiten recoger la información relevante sobre el proyecto. Los indicadores para la medición y observación de los hechos (la evidencia empírica) y el posterior contraste con los criterios. Contrastar y discutir las conclusiones de la evaluación que se extraen del análisis de los datos y las informaciones recopiladas Llegar a acuerdos sobre las recomendaciones y las acciones de mejora que garanticen la aplicabilidad de las mismas y realizar el seguimiento sobre ellas. 21