Sesión 6A El escenario, los actores, el guión …y cuánto vale el show

Sesión 6A
El escenario, los actores, el guión
…y cuánto vale el show
Por favor,
conéctese al
Canal 50
Juan Muñoz, Sistemas Integrales
Santiago, 17 de abril de 2013
1
Calidad Total en encuestas
La integración de
el diseño muestral,
el cuestionario y los
instrumentos,
el trabajo de campo
y la gestión de los datos
instrumentos
Muestreo
Gestión
Recolección
de datos
de datos
con el fin de entegar a los
analistas
Una base de datos fiable
En tiempo oportuno
Los datos pierden valor si no
representan la realidad del momento
El producto final
2
El escenario y los actores
El ejecutor
Firma encuestadora
del programa de intervención
responsable de recoger los datos
El evaluador
(Agencia de evaluación, nacional
o internacional)
Equipo de
Finanzas
evaluación
Gerente
Equipo central
$
Jefe de
proyecto
Jefe
de operaciones
de campo
Jefe
de gestión
de datos
Brigadas de campo
Aseguramiento
Especialistas
de Calidad
en diseño y análisis de
Evaluación de Impacto
3
¿Quién debe ser responsable
de asegurar la calidad?
1. La firma
encuestadora
2. El investigador
principal
3. El equipo de
evaluación
4. El comité de ética
5. Otro
0%
1
0%
0%
2
3
0%
0%
4
5
El guión
• Grupos de actividades
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
del personal
– Trabajo de campo y
Aseguramiento de Calidad
– Análisis y documentación
–
–
–
–
• Fases
– Diseño
– Recolección de datos
– Análisis
Evaluación de Impacto –
Un drama en tres actos
Diseño
Recolección de datos
Análisis
Mes  |●●●●●●●●●●●●|●●●●●●
●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Análisis y documentación
Línea
basal
Seguimiento
Evaluación de Impacto –
Un drama en tres actos
Diseño
Gestión, logística y finanzas
Recolección de datos
• Acuerdos institucionales, MdEs
Análisis
• Procedimientos de desembolso
• Firma encuestadora
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• TdRs
Diseño de la evaluación
• Selección
Gestión, logística y finanzas
• Contrato
Desarrollo del cuestionario
• Adquisición
Muestreo
• Vehículos
• Computadores
Selección y capacitación
• OtrosLíneaequipos
Trabajo de campo y
basal
Aseguramiento de Calidad
• Publicidad
Seguimiento
Análisis y documentación
¿Cómo podemos asegurar que los
hogares acepten ser entrevistados?
1. Usando medios de
comunicación masiva
2. Pidiendo a la policía
que recuerde a los
hogares la obligación
de responder
3. Entregando folletos,
cartas del Ministerio,
etc.
4. Usando incentivos
monetarios
0%
1
0%
2
0%
3
0%
4
Evaluación de Impacto –
Un drama en tres actos
Diseño
Desarrollo del cuestionario
Recolección de datos
• Identificar los indicadores de Evaluación
de Impacto
• Identificar otros temas Análisis
relevantes
• Cuestionario de hogares
Primer borrador
Mes  |●●●●●●●●●●●●|●●●●●●
• Preparación ●●●●●●|●●●●●●●●●●●●|
• Formateo
Diseño de la evaluación
• Solicitud de comentarios
Gestión, logística y finanzas
• Seminario
• Re-diseño
Desarrollo del cuestionario
• Traducción
Muestreo
• Pre-test
• Impresión
Selección y capacitación
• Cuestionario de establecimientos
Trabajo de campo y
Línea •
Cuestionario comunitario
basal
Aseguramiento de Calidad
Análisis y documentación
Seguimiento
¿Quién debe desarrollar el
cuestionario?
1. El equipo de
evaluación
2. La firma
encuestadora
3. El jefe de gestión de
datos
4. Encuestadores
experimentados
5. Todos los anteriores
0%
1
0%
0%
2
3
0%
0%
4
5
Evaluación de Impacto –
Un drama en tres actos
Diseño
Muestreo
Recolección de datos
• Diseño muestral
• Desarrollo de los marcos
de 1ra etapa
Análisis
• Lista de Áreas Censales
• Cartografía
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• Listado de establecimientos
• Selección de las UPMs
Diseño de la evaluación
• Aleatorización Tratamiento / Control
Gestión, logística y finanzas
• Desarrollo de los marcos de 2da etapa
Desarrollo del cuestionario
• Listado de hogares
• Listado de proveedores
Muestreo
• Selección de hogares / proveedores
Selección y capacitación
• Aleatorización Tratamiento / Control
Trabajo de campo y
• Cálculo deLíneaponderadores
basal
Aseguramiento de Calidad
• Cálculo de errores muestrales
Seguimiento
Análisis y documentación
¿Qué unidades de muestreo se
eligen primero?
1. Los hogares que
serán entrevistados
2. Las Unidades
Primarias de
Muestreo
3. La cartografía
4. Los indicadores de
evaluación de
impacto
0%
1
0%
2
0%
3
0%
4
Evaluación de Impacto –
Un drama en tres actos
Diseño
Selección y capacitación
Recolección de datos
• Selección y capacitación para el ensayo
de campo
Análisis
• Preparación de manuales
• Supervisor
• Encuestador
Mes  |●●●●●●●●●●●●|●●●●●●
• Operador de●●●●●●|●●●●●●●●●●●●|
ingreso de datos
• Selección del personal de campo
Diseño de la evaluación
• Preparación de la capacitación
Gestión, logística y finanzas
• Local/es, logística, etc.
• Capacitación del personal de campo
Desarrollo del cuestionario
• Semanas, no días
Muestreo
• Plenarias, ejercicios en clase
prácticas en campo
Selección y capacitación
• Capacitar más personal que lo
Trabajo de campo y
Línea
estrictamente
necesario, después elegir
basal
Aseguramiento de Calidad
Análisis y documentación
Seguimiento
¿Quiénes se eligen primero?
1. Los encuestadores
2. Los miembros del
Equipo Central
3. Los supervisores de
campo
4. El equipo de
Aseguramiento de
Calidad
5. Los operadores de
ingreso de datos
0%
1
0%
0%
2
3
0%
0%
4
5
Evaluación de Impacto –
Un drama en tres actos
Diseño
Trabajo de campo y
Aseguramiento
de Calidad
Recolección de datos
• Ensayo de campo
• Desarrollo de programaAnálisis
de ingreso de
datos
Puede o no ser CAPI !
Mes  |●●●●●●●●●●●●|●●●●●● •●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Análisis y documentación
• Preparar los procedimientos de
supervisión humana
• Preparar los protocolos de trasmisión de
datos
• Preparar los protocolos de
consolidación de datos
• Definir los indicadores de calidad de
campo
Línea
• Monitoreo
basaldel trabajo de campo
Seguimiento
¿Cuáles son los tres pilares del
Aseguramiento de Calidad?
1. Incentivos monetarios
adecuados
2. Monitoreo central de
indicadores de calidad
3. Adquisición oportuna de
los equipos e insumos
4. Aleatorización efectiva
5. Ingreso de datos
inteligente en campo
6. Vehículos adecuados
7. Supervisión humana en el
campo
0%
0%
0%
0%
0%
0%
0%
1
2
3
4
5
6
7
Evaluación de Impacto –
Un drama en tres actos
Diseño
Análisis y documentación
Recolección de datos
• Después de la encuesta de línea basal
Análisis
• Informe de línea basal
• Comparación tratamiento / control
• Después de la encuesta
de seguimiento
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• ¿Hubo impacto?
Diseño de la evaluación
• Otros temas relevantes (derrame,
Gestión, logística y finanzas
focalización, costo-efectividad, etc.)
Desarrollo del cuestionario
• Entonces
Muestreo
• Monografías académicas
• Siempre
Selección y capacitación
• Documentar
todo
Trabajo de campo y
Línea
basal
• Diseminar
las bases de datos
Aseguramiento de Calidad
Seguimiento
Análisis y documentación
¿Qué es lo más urgente?
1. Documentar
2. Publicar en revistas
académicas
3. Recomendaciones
de política pública
0%
1
0%
2
0%
3
Documentación
Microdatos
Documentación
Metadatos
19
• Los Microdatos son
– Los datos recogidos en la encuesta
– Los diccionarios de datos (etiquetas, códigos, etc.)
• Los Metadatos son
– El marco conceptual de la investigación
– Documentos administrativos (TdRs, propuestas, contratos,
aprobaciones éticas, etc.)
– Diseño muestral, cálculos de potencia, marcos muestales,
cartografía, listados de hogares, etc.
– Informes técnicos (calendario, plan de trabajo, encuesta
piloto y ensayos de campo, informes de avance, etc.)
– Cuestionarios, manuales y otro material de encuesta
– Informes fundamentales (Línea basal, Seguimiento,
Evaluación de Impacto y recomendaciones)
– Publicaciones académicas
– Etc.
¿Por qué es importante
documentar?
• El archivado correcto es esencial para
– Diseminar los datos entre los evaluadores, investigadores y el público
– Preservar los datos para el futuro
• Los metadatos (datos sobre los datos) ayudan a los usuarios a
–
–
–
–
Encontrar los datos de interés
Entender lo que se está midiendo
Saber de dónde vienen los datos
Apreciar la calidad de los datos
• La documentación es una actividad permanente, que
comienza mucho antes de recoger los datos
• Alguien debe ser responsable
21
Metadata Editor,
un estándar de documentación
22
www.ihsn.org
Evaluación de Impacto –
Un drama en tres actos
Escenas culminantes (actividades críticas)
Elección del
Equipo Central
Prueba
piloto
Capacitación
del personal
Mes  |●●●●●●●●●●●●|●●●●●●
Evaluación
de Impacto
●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Análisis y documentación
Línea
basal
Seguimiento
¿A qué grupo de actividades
pertenece la “limpieza de datos”?
1.
2.
3.
4.
Muestreo
Gestión de datos
Trabajo de campo
Aseguramiento de
Calidad
5. Análisis de datos
6. Ninguno de los
anteriores
0%
0%
0%
0%
0%
0%
1
2
3
4
5
6
Viajes internacionales
Per diems internacionales
Equipo de QA
(Aseguramiento de
Calidad)
Equipo de
Evaluación
Distribución del
presupuesto
Diseño,
Análisis y
QA
Recolección
de datos
Overhead
Equipo Central
Remuneración del
personal de campo
Viáticos
Transporte
Otros
Listado de hogares
Presupuestos típicos
• Es difícil hablar de un “presupuesto típico”, porque los
presupuestos no siempre incluyen rubros importantes:
– Tiempo y viajes del personal de agencias
internacionales
– Asistencia Técnica (Equipo de Evaluación, Equipo de
Aseguramiento de Calidad)
• Algunos presupuestos consideran gastos no vinculados a
la evaluación
– Viajes de estudio
• Algunos presupuestos incluyen bienes de capital que
perduran después de la evaluación (computadores,
vehículos)
• Hoy día, las encuestas de Evaluación de Impacto suelen
fluctuar entre $100 y $300 por hogar
26