Anexo IV. Instrumentos de recolección de información

Anexo IV. Instrumentos de recolección de información
Diseño
Pregunta de la evaluación
2. ¿Existe un diagnóstico
actualizado y adecuado, elaborado
por el Programa, la dependencia o
entidad, sobre la problemática
detectada que sustente la razón de
ser del Programa?
5. ¿El Programa cuenta con
evidencia de estudios o
investigaciones nacionales y/o
internacionales que muestren que
el tipo de servicios o productos que
brinda el Programa es adecuado
para la consecución del Propósito
y Fin que persigue el Programa?
19. ¿De qué manera el Programa
valida la veracidad de la
información obtenida a través de
los medios de verificación?
23. ¿La población que presenta el
problema y/o necesidad (población
potencial), así como la población
objetivo están claramente
definidas?
•
•
•
•
•
•
•
•
•
•
•
•
Guía de entrevistas
¿Existen diagnósticos o información estadística distinta
a la integrada en el Plan Institucional de Trabajo?
¿Se han realizado trabajos de investigación que
permitan acotar y caracterizar de manera más precisa la
población objetivo del Programa y su problemática en
materia de vivienda en función del diseño del mismo?
¿Se conocen programas a nivel internacional que sean
similares a “TU CASA”?
¿En qué se basó el diseño inicial del Programa?
¿Se supervisa la información reportada por las
instancias ejecutoras?
¿Cómo se determinaron los medios de verificación?
¿Cómo se determina la fiabilidad de la información?
¿En qué eje estratégico del PND se incluye el
Programa: vivienda o pobreza, o ambos?
¿Cuál es la fuente de información para cuantificar la
población potencial?
¿Por qué se considera como población potencial al
conjunto de la población en situación de pobreza
patrimonial?
¿Se realizó un análisis de involucrados para la
elaboración de la MML?
Se menciona un “documento oficial del comité técnico
para la medición de la pobreza” de SEDESOL en la
matriz de marco lógico 2006. ¿Cuál es? ¿Está
disponible? ¿Es una fuente que permite cuantificar la
población objetivo o potencial?
En RO se menciona como población objetivo a “toda
persona en situación de pobreza patrimonial”. También
se considera a “familias” y en el diagnóstico del PIT se
mencionan hogares. ¿Cuál es la unidad que realmente
se utiliza? ¿Cómo se define?
145
Pregunta de la evaluación
24. ¿El Programa ha cuantificado y
caracterizado ambas poblaciones,
según los atributos que considere
pertinentes?
•
•
•
•
•
27. ¿Los criterios y mecanismos
que utiliza el Programa para
determinar las unidades de
atención (regiones, municipios,
localidades, hogares y/o
individuos, en su caso) son los
adecuados? (Señalar principales
mecanismos).
•
•
•
•
•
•
•
•
•
•
•
Guía de entrevistas
Conocer los insumos y funcionamiento del SIDI ya que
se establece como fuente para cuantificar la población
objetivo.
¿Se cuenta con información precisa sobre el número y
características de la población en situación de pobreza
patrimonial y sus requerimientos en materia de
vivienda?
¿Existe información para cuantificar la capacidad de
ahorro o de acceso a crédito para vivienda de la
población en situación de pobreza patrimonial?
¿Los cuadros del documento MATRIZ DE
INDICADORES TU CASA_2006_efl_kce.xls se
actualizan cada año?
¿A qué año corresponde la población objetivo que se
indica en el cuadro 1A?
¿Es posible obtener un formato del convenio mediante
el cual se establecen condiciones con entidades
federativas (un ejemplo real)?
¿Cuál es el mecanismo para la selección de solicitudes?
¿Qué criterios son condiciones necesarias para recibir
un subsidio?
¿De qué manera se determina la veracidad de los
ingresos reportados en la CIS? ¿Cuál es la instancia
responsable de esto?
¿Existen diagnósticos de necesidades de vivienda y
pobreza a nivel estatal?
¿De qué manera se operativizan los criterios de
priorización establecidos en las RO del Programa?
¿Las instancias ejecutoras establecen criterios
adicionales de priorización? ¿FONHAPO los conoce?
¿Promueve esta práctica? ¿Le da seguimiento?
¿Qué porcentaje de las solicitudes se verifican en
campo previo al otorgamiento de un subsidio? ¿Con qué
recursos se cuentan para tal efecto?
¿Cuáles son los criterios adicionales de priorización de
solicitudes establecidos por las instancias ejecutoras?
¿Se realizan acciones de monitoreo y seguimiento a
nivel central de lo establecido en el punto anterior?
¿Existen mecanismos para el seguimiento y monitoreo
del cumplimiento en tiempo y forma de la edificación de
viviendas, provisión de servicios y otros aspectos
cualitativos del a entrega de los subsidios?
146
Pregunta de la evaluación
28. ¿Existe información
sistematizada y actualizada que
permita conocer quiénes reciben
los apoyos del Programa (padrón
de beneficiarios), cuáles son las
características socio-económicas
de la población incluida en el
padrón de beneficiarios y con qué
frecuencia se levanta la
información?
•
•
•
•
•
•
•
•
•
32. ¿Con cuáles programas
federales podría existir
complementariedad y/o sinergia?*
33. ¿Con cuáles programas
federales podría existir duplicidad?
34. ¿El programa cuenta con
información en la que se hayan
detectado dichas
complementariedades y/o posibles
duplicidades?
•
•
•
•
•
•
•
•
•
•
•
Guía de entrevistas
¿De qué manera se integra el padrón de beneficiarios?
¿Qué información contiene el sistema? ¿Incluye
información sobre región, localidad, nivel de
marginación?
¿Quién es responsable del a captura de la información?
¿Con qué frecuencia?
¿Cuál es el indicativo para reconocer a los beneficiarios
y evitar duplicidad en los apoyos?
Conocer contenidos, frecuencias de levantamiento del
SIDI
¿Qué acciones de supervisión se llevan a cabo para
garantizar que la información capturada en el sistema
corresponde a la CIS y a los subsidios efectivamente
entregados?
¿Se cuenta con información detallada sobre la fuente o
modalidad de financiamiento del aporte del beneficiario?
¿Se cuenta con información detallada sobre la fuente o
modalidad de financiamiento del aporte de estado?
¿Qué acciones son efectivamente realizadas para
confrontar la Relación de Solicitantes Calificados con el
Padrón de Beneficiarios de los programas de subsidio
federal para vivienda de años anteriores?
¿Los programas o acciones mencionados en Reglas de
Operación se coordinan de manera efectiva con “TU
CASA”? ¿Se comparten padrones realmente, ¿De qué
manera se identifica al beneficiario?
Habitat,
Vivienda Rural
(100 municipios)
Oportunidades
Adquisición de suelo apto para vivienda
¿De qué forma se evita duplicación con Vivienda Rural?
¿Qué otros programas u organismo realizan acciones
de vivienda?
¿En la operación se han detectado subsidios duplicados
entre programas?
¿De qué manera se detectan, cuáles son los
mecanismos previstos en el diseño?
¿Se ha coordinado el sistema de información de
FONHAPO con el de de CONAVI, SHF o INFONAVIT?
147
Pregunta de la evaluación
Preguntas generales
•
•
•
•
•
•
•
•
•
•
•
•
•
Guía de entrevistas
Más allá de lo establecido en el diseño ¿Cómo funciona
en la práctica el programa? ¿Es posible la auto
construcción? ¿Se limita a dar apoyo para casas nuevas
prefabricadas? ¿Se atiende en función de la demanda
libremente o el presupuesto va previamente etiquetado
para acciones específicas?
¿Existen documentos que precisen mecanismos de
seguimiento y control de obras para establecer
cumplimiento efectivo de metas físicas (casas
construidas, utilizadas, con servicios etc.)?
¿Existen documentos adicionales (oficios, addendas u
otros, a nivel estatal o municipal) a las RO y MO que
precisen o modifiquen aspectos del diseño?
¿De qué manera se llevan a cabo las acciones de
difusión del Programa? ¿Con qué presupuesto se
cuenta? ¿Cómo se mide el impacto de las acciones?
¿Con qué recursos se cuenta para el seguimiento y la
verificación ex post de los apoyos? ¿Cómo se
determinan? ¿Son suficientes?
¿De qué manera está integrada la fórmula de
distribución de recursos? ¿Cuáles son las fuentes de
información?, ¿Se aplica realmente? ¿Es de utilidad?
¿Qué variables se incluyen en el componente de
desempeño?
¿Por qué en una de las variables de la fórmula se
requiere información sobre población con menos de dos
salarios mínimos y no tres como corresponde con la
población objetivo del Programa?
¿De qué manera se formaliza anualmente la ejecución
federalizada? ¿Existen convenios de coordinación?
¿Por qué en la MML se omiten los componentes de
crédito y reconstrucción?
Preguntas dirigidas a todos los entrevistados:
¿Qué modificaciones haría usted al diseño del
Programa?
¿Cuáles son las fortalezas del Programa?
148
Pregunta de la evaluación
35. ¿El programa cuenta con
planes estratégicos actualizados
de corto, mediano y largo plazo?
Planeación estratégica
Guía de entrevistas
• ¿Se actualiza o realiza un plan institucional cada año?
38. ¿El programa tiene
mecanismos para establecer y
definir metas e indicadores?,
¿estos mecanismos son los
adecuados? Si no es así, ¿qué
modificaciones propondría?
39. ¿El programa recolecta
regularmente información oportuna
y veraz que le permita monitorear
su desempeño?
•
¿El Programa cuenta con un documento oficial o de
trabajo que defina los mecanismos para establecer y
definir metas e indicadores?
•
¿El programa recolecta regularmente información
oportuna y veraz que le permita monitorear su
desempeño?
¿Qué información es esta y cuáles los instrumentos
que aplica? (SIDI). Solo se mantiene la última
información lo anterior se pierde?
43. ¿Están los requerimientos de
presupuesto explícitamente ligados
al cumplimiento de las metas de
desempeño?
•
44. ¿Cuáles son las fuentes de
financiamiento del programa?*
•
49. ¿El programa cuenta con algún
método para cuantificar y
determinar la población potencial y
objetivo?
53. ¿El programa cuenta con una
estrategia de cobertura de corto,
mediano y largo plazo?
•
•
¿El Programa elabora su propuesta de presupuesto,
considerando las metas de desempeño propuestas por
el programa (¿para 2008?)?
¿Dónde podríamos verificar esto?
¿Existen excepciones en lo referente a las fuentes de
financiamiento?
Cobertura y Focalización
• ¿El programa cuenta con algún método (explícito y
adecuado) para cuantificar y determinar la población
potencial y objetivo? ¿Existe evidencia documental
sobre esto?
•
¿El programa cuenta con una estrategia de cobertura de
corto, mediano y largo plazo? ¿Existe un documento
oficial o de trabajo en el que definan la(s) estrategia(s)?
149
Pregunta de la evaluación
55. En relación con la información
de gabinete disponible se debe
evaluar si el programa ha logrado
llegar a la población que se
deseaba atender. Para esto es
necesario utilizar indicadores
consistentes con los criterios
analizados en la pregunta 27.*
56. ¿Se ha llegado a la población
que se desea atender?
•
•
•
•
•
57. ¿Existen procedimientos
estandarizados y adecuados para
la selección de proyectos y/o
beneficiarios?
•
61. ¿Los apoyos otorgados
(incluyendo obras y acciones)
cumplen con las características
establecidas en las ROP o
normatividad aplicable?
62. ¿Se respetaron los montos de
apoyos estipulados en las ROP o
normatividad aplicable?
63. ¿Se tiene información
sistematizada que permita dar
seguimiento oportuno a la
ejecución de obras y/o acciones?
•
•
¿Considera usted que el Programa ha llegado a la
población que se desea atender?
Es decir, ¿la población atendida coincida con la
población objetivo establecida por el Programa?
Operación
¿Existen procedimientos estandarizados y adecuados
para la selección de proyectos y/o beneficiarios?
¿Existe consistencia entre los criterios establecidos en
las ROP y normatividad aplicable con la documentación
que avale la selección de los proyectos y/o
beneficiarios?
¿Considera usted que los apoyos otorgados (incluyendo
obras y acciones) cumplen con las características
establecidas en las ROP o normatividad aplicable?
•
¿Se respetaron los montos de apoyos estipulados en
las ROP o normatividad aplicable?
•
¿Cómo se realiza el seguimiento oportuno a la
ejecución de obras?
¿El Programa cuenta con sistemas de información y/o
bases de datos con información actualizada para dar
seguimiento a la ejecución de obras?
¿Cómo se sabe del avance de obras, lo reportan los
estados?
¿El Programa cumple con los procesos de ejecución
establecidos en las ROP (avance físico-financiero, actas
de entrega-recepción, cierre de ejercicio, recursos no
devengados) conforme lo establece la normatividad?
¿Qué sucede con los recursos no devengados?
•
•
64.¿Existe evidencia documental
de que el programa cumple con los
procesos de ejecución
establecidos en las ROP (avance
físico-financiero, actas de entregarecepción, cierre de ejercicio,
recursos no devengados)?
Guía de entrevistas
¿El Programa tiene prioridad sobre algunas regiones,
municipios, localidades, hogares y/o individuos?
¿Los recursos se aplican a dicha población?
¿Qué otras bases de datos o documentos existen
•
•
150
Pregunta de la evaluación
65. ¿Dichos procesos de ejecución
funcionan de acuerdo a la
normatividad?
66. ¿Se han implementado o
modificado en los últimos tres años
normas internas, políticas,
acciones o estrategias
institucionales con el fin de lograr
una mejora y simplificación
regulatoria o de procesos en el
programa?
68. ¿El programa cuenta con una
estructura organizacional que le
permita entregar y/o producir los
Componentes y alcanzar el logro
del Propósito?
69. ¿Los mecanismos de
transferencias de recursos operan
eficaz y eficientemente?
•
Guía de entrevistas
¿Se han presentado observaciones de la contraloría?
¿Funciona la contraloría social?
•
¿Se han implementado o modificado en los últimos tres
años normas internas, políticas, acciones o estrategias
institucionales con el fin de lograr una mejora y
simplificación regulatoria o de procesos en el programa?
Describa las más importantes.
•
¿Considera usted que el Programa cuenta con una
estructura organizacional que le permita entregar y/o
producir los Componentes y alcanzar el logro del
Propósito?
¿Cómo funcionan los niveles estatal y municipal?
¿Los mecanismos de transferencias de recursos operan
eficaz y eficientemente?
Es decir, ¿las transferencias de recursos se hicieron en
tiempo y forma?
¿Las transferencias de recursos se realizaron al menor
costo posible?
•
•
•
•
70. Considerando las
complementariedades del
programa, ¿tiene una colaboración
y coordinación efectiva con los
programas federales con los cuales
se relaciona y se complementa?
•
71. ¿Existe evidencia de que el
programa utiliza prácticas de
administración financiera que
proporcionen información oportuna
y confiable para la toma de
decisiones de los responsables de
la administración política y
administrativa?
•
•
•
•
¿El Programa tiene una colaboración y coordinación
efectiva con los programas federales con los cuales se
relaciona y se complementa?
¿Existe documentación que demuestre colaboración y
coordinación efectiva con otros programas?
Se deberá mencionar con cuales programas federales el
programa tiene complementariedades y explicar cuál es
la colaboración de este programa con los demás
programas federales y como se coordina con ellos.
¿El Programa utiliza prácticas de administración
financiera que proporcionen información oportuna y
confiable para la toma de decisiones de los
responsables de la administración política y
administrativa?
¿Cuál es la evidencia de esto?
151
Pregunta de la evaluación
72. ¿Existe una integración entre
los distintos sistemas de
información que conforman la
administración financiera?
•
Guía de entrevistas
¿Existe una integración (vinculación) entre los distintos
sistemas de información que conforman la
administración financiera?
77. ¿El programa ha identificado y
cuantificado costos de operación y
costos unitarios dependiendo del
Propósito y de sus Componentes?
Si fuera el caso, presentar dichos
costos.
86. ¿Cuáles son los principales
sistemas de información utilizados
en la gestión del programa?*
•
•
¿Cuáles son los principales sistemas de información
utilizados en la gestión del programa?
87. En caso de que el programa
cuente con un padrón de
beneficiarios, ¿existen
mecanismos de actualización y
depuración del padrón de
beneficiarios o listado de
beneficiarios?
•
¿Cuáles son los mecanismos de actualización y
depuración del padrón de beneficiarios o listado de
beneficiarios?
90. ¿Existe un Sistema de
Rendición de Cuentas y
Transparencia para los
funcionarios que administran los
fondos públicos del programa?
•
¿Existe un Sistema de Rendición de Cuentas y
Transparencia para los funcionarios que administran los
fondos públicos del programa?
¿Existe un procedimiento por el cual se dé a conocer al
público los resultados alcanzados de la gestión,
procesos y operación del programa?
¿Cuáles son los documentos probatorios?
•
•
•
92. ¿El programa cuenta con
mecanismos para difundir interna y
externamente las evaluaciones y
sus resultados?
•
¿El programa ha identificado y cuantificado costos de
operación y costos unitarios dependiendo del Propósito
y de sus Componentes?
¿El programa tiene procedimientos para medir costoefectividad en su ejecución?
¿El programa cuenta con mecanismos para difundir
interna y externamente las evaluaciones y sus
resultados?
Percepción de la población objetivo
93. ¿El programa cuenta con
• ¿El programa cuenta con instrumentos que le permitan
instrumentos que le permitan medir
medir el grado de satisfacción de la población objetivo?
el grado de satisfacción de la
• ¿Se han realizado encuestas para ese fin específico por
población objetivo?
parte de los encargados del Programa?
96. ¿El programa recolecta
regularmente información veraz y
oportuna sobre sus indicadores de
Propósito y Fin?
•
•
•
Resultados
¿El programa recolecta regularmente información veraz
y oportuna sobre sus indicadores de Propósito y Fin?
¿Con que frecuencia?
¿Qué tipo de información?
152