INFORME DE AUDITORÍA DE GESTIÓN DIRECCIÓN NACIONAL DE INFORMACIÓN Y EVALUACIÓN DE LA CALIDAD EDUCATIVA MINISTERIO DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA - EJERCICIO 2.003 - INFORME DE AUDITORÍA AL SEÑOR MINISTRO DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA Lic. Daniel FILMUS En virtud de las funciones conferidas por el artículo 85 de la Constitución Nacional y en uso de las facultades establecidas por el artículo 118 de la Ley 24.156 la AUDITORÍA GENERAL DE LA NACIÓN procedió a efectuar un examen en el ámbito de la DIRECCIÓN NACIONAL DE INFORMACIÓN Y EVALUACIÓN DE LA CALIDAD EDUCATIVA del MINISTERIO DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA, (MECyT) con el objeto que se detalla en el apartado 1. 1. OBJETO DE LA AUDITORÍA El Programa 32 de Información y Evaluación de la Calidad Educativa, cuya Unidad Ejecutora es la Dirección Nacional de Información y Evaluación de la Calidad Educativa del MECyT, a efectos de evaluar la gestión del año 2.003. 2. ALCANCE DEL EXAMEN El trabajo fue realizado de conformidad con las normas de auditoría externa de la AUDITORÍA GENERAL DE LA NACIÓN, dictadas en virtud de las facultades conferidas por el artículo 119, inciso d) de la Ley 24.156. Debido a la carencia de información que se expone en el punto 4. COMENTARIOS Y OBSERVACIONES, la metodología aplicada para la recolección de la información se basó principalmente en entrevistas con los responsables de las distintas áreas del Organismo, y en el análisis de la legislación vigente, de los objetivos y metas establecidas, y de la información generada por las áreas operativas. Cabe aclarar que durante el período objeto de examen se produjeron cambios en la conducción de la Dirección Nacional de Información y Evaluación de la Calidad Educativa (DiNIECE). La conducción actual asumió en julio de 2.003, lo que produjo ciertas demoras en las tareas programadas. Las tareas propias del objeto de examen han sido desarrolladas entre el 22 de marzo y el 16 de julio de 2.004. 1 Oportunamente, se ha puesto en conocimiento del organismo auditado el resultado del examen efectuado a fin de que produzca los comentarios y aclaraciones que considere pertinentes. En dicha instancia, el responsable manifestó una serie de comentarios sobre el proyecto de informe, que fueron tenidos en cuenta al momento de la redacción final del mismo. 3. ACLARACIONES PREVIAS 3.1. Situación de la Educación en el país El sistema educativo argentino ha atravesado un proceso de descentralización de su gestión dejando atrás el sistema de gestión centralizada. Este proceso de transformación se inició con la transferencia de los servicios educativos a las provincias en el año 1.992; la promulgación de la Ley Federal de Educación en el año 1.993 (N° 24.195) y de la Ley de Educación Superior en el año 1.995 (N° 24.521). Los objetivos centrales de esta transformación giraron en torno a impulsar un sistema educativo de mayor calidad y equidad, a través de la inserción de los sectores más desfavorecidos, por lo que, una de las principales modificaciones devino de la Ley Federal de Educación que amplía la educación obligatoria a 10 años. Es decir que, actualmente, la obligatoriedad se extiende al nivel de enseñanza básica completo cuando, anteriormente, afectaba sólo al nivel primario. Establecimientos educativos por sector de gestión en todo el país Sector de gestión 1 División Político – territorial Total Estatal Privado 41.095 32.043 9.052 Total país Establecimientos por tipo de educación en todo el país Tipo de educación 1 División Político - territorial Total Común Adultos Especial 42.251 36.075 4.678 1.319 Total país Artística 179 Alumnos por tipo de educación en todo el país. Tipo de educación División Político - territorial Total Común Adultos Especial Artística 10.681.612 9.964.095 610.091 76.649 30.777 Total país Fuente: DiNIECE - Relevamiento Anual 2.002. 1 La diferencia entre los totales radica en que un mismo establecimiento por sector de gestión puede ofrecer más de un tipo de educación. 2 3.2. Ley Federal de Educación La ley 24.195 determina el marco normativo en cuanto a la educación, regulando el derecho a enseñar y aprender en todo el país, estableciendo principios, objetivos, e instituyendo normas para la organización y unidad del Sistema Nacional de Educación. Corresponde a la Jurisdicción Nacional, la responsabilidad principal e indelegable de controlar la política educativa y fijar los principales lineamientos de la misma. El sistema educativo está integrado por los servicios educativos en Jurisdicción Nacional, Provincial y Ciudad Autónoma de Buenos Aires, que incluye los de las entidades de gestión privada reconocidas, siendo el gobierno y administración del mencionado sistema una responsabilidad concurrente y concertada del Poder Ejecutivo Nacional (PEN) y de los Poderes Ejecutivos de todas las Jurisdicciones. 3.2.1. Estructura del Sistema Nacional de Educación La ley establece la estructura y fija los objetivos del Sistema Nacional de Educación que será implementado en forma gradual y progresiva y que estará integrado por: a) Educación Inicial (de 3 a 5 años, siendo el último año obligatorio), b) Educación General Básica (obligatoria de 9 años de duración) la cual se organiza en ciclos, c) Educación Polimodal (3 años de duración, como mínimo), d) Educación Superior, profesional y académica de grado (duración determinada por las Instituciones Universitarias y no Universitarias) y e) Educación Cuaternaria. La implementación de la mencionada estructura no se ha concluido. No se ha implementado en Neuquén y sólo parcialmente en la Ciudad Autónoma de Buenos Aires y en Córdoba. Dichas diferencias encuentran su justificación en distintas variables, como por ejemplo: problemas estructurales (infraestructura escolar), decisión política explícita, etc. Por lo tanto coexisten, a diez años de sancionada la ley, estructuras distintas del sistema educativo a nivel nacional, no habiendo a la fecha de cierre de las tareas de campo del presente informe un diagnóstico que permita determinar las ventajas o desventajas educativas de una estructura sobre otra. Cabe consignar que la jurisdicción mejor posicionada en cuanto a rendimiento académico (Ciudad Autónoma de Buenos Aires) no ha aplicado en gran parte las reformas estructurales que la ley prescribe. Sin embargo esta situación podría explicarse -entre otras causas- por la relación existente entre el rendimiento académico y el nivel socioeconómico de los alumnos o entre el primero y el capital físico, humano y social de las escuelas.2 2 Conf. “La inequidad estructural en la educación primaria en la Argentina” Lic. J.J. Llach y Lic. F.J. Schumacher, del Seminario ¿“Escuelas pobres para los pobres?” 3 3.2.2. Consejo Federal de Cultura y Educación De acuerdo a lo establecido en el artículo 54, el Consejo Federal de Cultura y Educación es el ámbito de coordinación y concertación del Sistema Nacional de Educación, teniendo como misión la unificación de criterios entre las Jurisdicciones, cooperar en la consolidación de la identidad nacional y en que a todos los habitantes del país se les garantice el derecho de enseñar y aprender en forma igualitaria y equitativa. Se encuentra compuesto por un órgano superior denominado Asamblea Federal, integrado por el Ministro del área del PEN como Presidente y por los Ministros o responsables del Área educativa de las Jurisdicciones y un representante del Consejo Interuniversitario Nacional; un Comité Ejecutivo y una Secretaría General. 3.2.3. Calidad y Evaluación de la Educación En lo referente a la calidad de la educación y su evaluación, corresponde a las máximas autoridades educativas de las distintas Jurisdicciones el deber de garantizar la calidad de la formación impartida en los distintos ciclos, niveles y regímenes especiales, mediante la evaluación permanente del sistema educativo controlando su adecuación a la ley, a las necesidades de la comunidad, a la política educativa de cada Jurisdicción y a las concertadas dentro del Consejo Federal. A estos efectos, se deberá convocar junto con el Consejo Federal de Cultura y Educación a especialistas con reconocida idoneidad e independencia de criterios para desarrollar las investigaciones pertinentes. Dicha evaluación verificará la adecuación de los contenidos curriculares de los distintos ciclos, niveles y regímenes especiales a las necesidades sociales y a los requerimientos educativos de la comunidad, así como el nivel de aprendizaje de los alumnos y la calidad de la formación docente. Al MECyT se le asignan por ley entre otras funciones las de evaluar el sistema educativo en todas las jurisdicciones, niveles, ciclos y regímenes especiales a partir del diseño de un sistema de evaluación y control periódico de la calidad, concertado en el ámbito del Consejo Federal. 3.3. Objetivos y funciones de la DiNIECE La Dirección Nacional de Información y Evaluación de la Calidad Educativa (DiNIECE) es la unidad responsable - dentro del MECyT - de llevar adelante las acciones de evaluación del Sistema Nacional de Educación, desarrollo y sustentabilidad del Sistema Federal de Información Educativa y del diseño y desarrollo de investigaciones vinculadas con la formulación de políticas educativas. 4 El objetivo de dicha Dirección es el de impulsar y fortalecer un Sistema Federal de Información que articule los componentes de información, evaluación e investigación educativa orientado hacia la construcción de un sistema educativo de calidad donde se conjuguen equidad y alto nivel académico. Las acciones llevadas a cabo por la DiNIECE están orientadas a monitorear los diferentes ámbitos del Sistema Educativo en general y, en particular, el rendimiento escolar de los alumnos para finalmente mejorar la calidad del sistema educativo. Dentro de sus líneas de acción, la DiNIECE busca jerarquizar la relación con el Consejo Federal de Educación y, de esta manera, generar pautas para la elaboración de políticas educativas que tiendan a dar unidad al Sistema Educativo, respetando sus características federales y las condiciones particulares de cada jurisdicción. En el ámbito nacional, la Dirección lleva a cabo distintos tipos de relevamiento que se realizan en forma continua, algunos de estos relevamientos son de carácter censal y otros muestrales y de periodicidad anual o bianual. 3.4. Estructura orgánica de la DiNIECE Por Decisión Administrativa N° 20 del 08/04/02 del Jefe de Gabinete de Ministros se aprueba la estructura organizativa de primer y segundo nivel operativo del Ministerio de Educación, Ciencia y Tecnología. De acuerdo a dicha normativa, la DiNIECE depende de la Secretaría de Educación a través de la Subsecretaría de Equidad y Calidad. Por medio de la Resolución N° 234 del 21/02/03 del MECyT se aprueban las aperturas inferiores de Unidades Organizativas dependientes del Ministerio. De acuerdo a lo establecido por dicha Resolución, de la DiNIECE dependen los Departamentos de Evaluación de la Calidad Educativa y Red Federal de Información. 3.4.1. Departamento de Evaluación de la Calidad Educativa El Departamento de Evaluación de la Calidad Educativa lleva adelante la organización e implementación de un sistema nacional de evaluación que brinde información válida y confiable sobre el rendimiento escolar, los docentes y los establecimientos educativos. Los datos utilizados surgen del Operativo Nacional de Evaluación (ONE) realizado por la DiNIECE -a través del Departamento en cuestión- mediante la utilización de pruebas estandarizadas y cuestionarios complementarios cuya elaboración se basa en las Tablas de Especificaciones. Dichas Tablas son instrumentos elaborados a partir de un consenso logrado en el Consejo Federal de Educación y cuyas fuentes son los Contenidos Básicos Comunes, los diseños curriculares jurisdiccionales y la opinión de expertos que, una vez 5 analizados, permiten conocer logros y dificultades de los alumnos en el aprendizaje, así como las condiciones bajo las cuales se desarrolla. El objetivo principal del área es aportar información relevante que permita fundamentar la toma de decisiones curriculares, de capacitación y mejoramiento de las prácticas educativas, para contribuir a la construcción de un sistema educativo de calidad. Éste debe ser llevado a cabo por medio de las siguientes acciones, definidas para el área en la estructura aprobada por el Ministerio: § Identificar y seleccionar indicadores homogéneos para la medición de la calidad educativa. § Establecer un sistema de evaluación que permita medir la calidad de la enseñanza impartida por el Sistema Nacional de Educación en todas las jurisdicciones, ciclos, niveles y regímenes. § Evaluar el funcionamiento del Sistema Nacional de Educación en todas las jurisdicciones, ciclos, niveles y regímenes. § Evaluar la formulación de los programas nacionales, particularmente en cuanto a objetivos, metas previstas y la coherencia entre éstas y el presupuesto comprometido en los programas nacionales. En cuanto al concepto de calidad utilizado para evaluar, se basa en un criterio que consiste en la medición del porcentaje de respuestas correctas surgidas de las pruebas que los alumnos realizan en el Operativo Nacional de Evaluación cuya finalidad es reflejar su rendimiento académico. 3.4.2. Departamento Red Federal de Información La Red Federal de Información Educativa está integrada por las unidades de estadística educativa de las 23 Provincias y de la Ciudad Autónoma de Buenos Aires y coordinada por el Departamento Red Federal de Información, cuyo objetivo consiste en la producción y difusión de información educativa integrada, confiable y oportuna. La producción de información se realiza mediante los Relevamientos Anuales de Estadística Educativa (RA), con la finalidad de registrar datos acerca de la matrícula, los establecimientos educativos y su personal3. También se realizan relevamientos especiales en aquellos casos donde se requiere obtener datos sobre algún tema específico (Censo Nacional de Infraestructura Escolar 1.998, Módulo de Educación en la Encuesta Permanente de Hogares, etc.). 3 Los datos relacionados con personal corresponden a cargos docentes, módulos y horas cátedras. 6 3.4.3. Área de Investigación Educativa De acuerdo a lo informado en el Anexo I a la Nota DINIECE Nº 7676/04, el área de Investigación se propone generar investigaciones que permitan mejorar la calidad y eficacia de las políticas educativas, así como lograr el fortalecimiento del Sistema Educativo. En este sentido, realizan un relevamiento anual4 para sistematizar y difundir las investigaciones educativas -en curso o finalizadas- que se realizan en el ámbito del Ministerio Nacional, los Ministerios provinciales, las Universidades, Centros e Institutos de Investigación en todo el país. A través de este Relevamiento Nacional de Investigaciones Educativas, se propone: sistematizar y difundir la producción científica sobre educación de todo el país, efectuar un estado de situación de la investigación educativa en la Argentina para estimular la producción de conocimiento en este campo y, por último, generar un espacio de comunicación e intercambio entre investigadores y profesionales en educación, decisores políticos y equipos de gestión educativa en sus distintos niveles. Asimismo, desarrolla investigaciones que se realizan en el marco de convenios, de asistencia a otras áreas de este Ministerio, o a temas que resultan relevantes para la DiNIECE, así como también las referidas a la organización de Seminarios de investigación. 3.4.3.1. Convenio MECyT - UNICEF En el mes de agosto de 2.003 el Ministerio firmó un Convenio Marco de Cooperación con el Fondo de las Naciones Unidas para la Infancia (UNICEF), acordándose diversos objetivos que debían ser plasmados en Planes Operativos elaborados conjuntamente entre UNICEF y los funcionarios competentes. Dentro del marco del Convenio citado (artículo QUINTO) y en lo concerniente a la DiNIECE, el 02/10/03 se suscribió un plan operativo con la finalidad de diseñar e implementar un Sistema de Monitoreo y Alerta Temprana en treinta escuelas que atienden población escolar en situación de pobreza de Nivel Inicial y EGB en cinco Provincias, tarea que le fue asignada desde el momento de la firma al área de Investigación Educativa. 3.5. Respecto del personal En el siguiente cuadro se expone la planta de personal permanente financiada para el ejercicio 2.003 en el Programa 32 “Información y Evaluación de la Calidad Educativa”. Actividad 4 Personal % A partir de junio 2003, con la nueva conducción, se ha establecido que la periodicidad sea cada dos años. 7 01 – Dirección y Coordinación 02 – Información Educativa 03 – Evaluación Educativa Total 5 24 14 11,63 55,81 32,56 43 100,00 Fuente: Ley de Presupuesto – Año 2.003 A continuación se detallan los cargos efectivamente ocupados, incluyendo planta de personal permanente y contratados correspondientes al ejercicio 2.003 en el Programa 32 “Información y Evaluación de la Calidad Educativa”. Area Dirección Información Evaluación Investigación Personal Biblioteca y Archivo Diseño Informática Administrativa Total Personal Permanente 1 21 12 6 2 2 2 7 4 (1) 57 % PP 1,75 36,84 21,05 10,53 3,51 3,51 3,51 12,28 7,02 100,00 Personal Contratado 7 20 23 5 2 4 61 % Total PC 11,47 8 32,79 41 37,70 35 8,20 11 2 2 3,28 4 7 6,56 8 100,00 118 % Total 6,78 34,74 29,66 9,32 1,70 1,70 3,39 5,93 6,78 100,00 Fuente: Área de Personal – DiNIECE – Al 31/12/03 Ref.: (1) Por Nota DINIECE Nº 7673/04, la Dirección informa que la inadecuación de la estructura de personal permanente está siendo analizada en el área de Presupuesto y en Recursos Humanos. 3.6. Aspectos Presupuestarios A continuación se expone la apertura por Incisos del Programa 32: N° Incisos Denominación 1 2 3 4 5 Gastos en Personal Bienes de Consumo Servicios No Personales Bienes de Uso Transferencias TOTAL Crédito Inicial $ Crédito Vigente $ Devengado $ Part. % s/Devengado % Dev./Cred.Vig 1.819.295 31.968 1.590.975 397.163 2.147.850 1.819.295 19.968 2.405.837 197.163 2.147.850 1.813.227 19.948 1.074.292 703 2.000.587 36,94 0,41 21,89 0,01 40,75 99,67 99,90 44,65 0,36 93,14 5.987.251 6.590.113 4.908.757 100,00 74,49 Fuente: Área de Contabilidad – DiNIECE – Al 31/12/03 Puede observarse que el mayor gasto se encuentra en el inciso 5 que incluye las transferencias dirigidas a las Provincias y Municipios, Universidades Nacionales y a Organismos Internacionales en tanto que la subejecución más significativa corresponde al Inciso 3, como consecuencia de contrataciones que no se concretaron (ver Punto 4.5.). 3.6.1. Metas Físicas 8 En la Ley de Presupuesto se han definido -como producción física para el año 2.003las metas que se exponen en el siguiente cuadro, habiendo informado el organismo la ejecución que en él se incluye: Denominación Capacitación a Directores, Supervisores y personal de Gestión Capacitación en Unidades Estadísticas Provinciales Divulgación de Información Educativa Elaboración y Distribución de Informes Analíticos de los Distintos Relevamientos Elaboración y Edición de Manuales con Estrategias de Mejoras Participación de Argentina en Estudios Internacionales Realización del Relevamiento Anual Unidad de Medida Cantidad Programada Cantidad Ejecutada Persona Capacitada 4.000 D.B. Técnico Capacitado 108 48 50.000 0 4.000 0 30 D.B. Alumno 60.000 60.000 Establecimiento Relevado 45.000 45.000 Folleto Publicación Manual Elaborado Fuente: Ley de Presupuesto 2.003 / DiNIECE Ref.: D.B.: las metas definidas presupuestariamente fueron dadas de baja 4. COMENTARIOS Y OBSERVACIONES 4.1. Aspectos relativos a la Organización de la DiNIECE 4.1.1. Respecto de la evaluación de la calidad Se solicitó a la DiNIECE que indicara cuáles informes o indicadores desarrollados por la Dirección permitieron alertar sobre la crisis en la calidad de la educación, a lo que la Dirección no adjuntó ningún informe y aclaró que “…el concepto de ‘calidad’ es en realidad un concepto polisémico detrás del cual se alojan diferentes posturas y abordajes, ninguno neutral, entre los cuales se involucran e interrelacionan diversas concepciones y posiciones respecto de cuestiones de fondo tales como el rol social adjudicado a la educación, los fines y objetivos del proceso educativo, de la gestión institucional, los métodos y las estrategias didácticas y pedagógicas, la evaluación del proceso de enseñanza aprendizaje y en particular el vínculo escuela/sociedad, escuela/ciudadanía, escuela/conocimiento científico - tecnológico. En ese marco, los resultados obtenidos desde las pruebas e incluso desde los cuestionarios complementarios no dan cuenta de la ‘calidad’ de un establecimiento, un año, o un alumno ya que para poder hablar de calidad se deben considerar muchas otras cuestiones.”. 4.1.2. Planificación operacional La DiNIECE no elaboró, para el año 2.003, “…un plan estratégico ni un plan operativo anual”5. El desarrollo de una planificación es fundamental ya que en ella se deben describir 5 Nota DINIECE N° 7676/04. 9 los objetivos y la metodología mediante la cual se establezcan las metas anuales y se determinen los medios para alcanzarlas (recursos físicos y financieros). Asimismo deben analizarse por anticipado los problemas y planear soluciones factibles, coordinando diversas actividades. En síntesis, la planificación es imprescindible porque la toma de decisiones en el presente afectará el futuro de la evaluación de la educación. Esta falta de planificación afectó el cumplimiento de las metas físicas, entre otras razones por la falta de coordinación para la realización de las contrataciones necesarias para el eficaz cumplimiento de los objetivos institucionales. A partir del mes de Julio de 2003 asume una nueva conducción en la Dirección que, a fin de subsanar la falta de planificación, desarrolla un Plan de Evaluación 2003-2007, así como las principales líneas de acción a desarrollar por la Red Federal de Información Educativa. 4.1.3. Control de Gestión No se han realizado en la DiNIECE informes de control de gestión durante el ejercicio 2.003, en donde se determinen desvíos a lo planificado y debilidades y fortalezas de las acciones desarrolladas por la Dirección. La ausencia de dichos informes no permitió la ejecución de un monitoreo de la gestión, no contándose con elementos de juicio precisos que alerten sobre diversos problemas que se plantean en la ejecución, y que son de utilidad para la toma de decisiones correctivas y también para ser tenidos en cuenta en futuras planificaciones. 4.1.4. Programación y ejecución presupuestaria 4.1.4.1. Definición de Metas Físicas Pudo observarse que en la programación de las metas físicas para el ejercicio 2.003 no quedaron reflejadas las principales tareas llevadas a cabo en la DiNIECE. Por ejemplo, no fueron consideradas en la definición de las mismas las tareas correspondientes a los distintos operativos de evaluación y las actividades relacionadas al área de investigaciones, siendo estas actividades importantes y que insumen gran parte de los recursos humanos y materiales de la Dirección. La DiNIECE propuso, en el presupuesto preliminar 2.003 como nuevas metas: Operativos Piloto de Evaluación 2.003, Evaluación Muestral de III Polimodal y Evaluación Muestral de III, VI y IX año EGB, las que no fueron incluidas por la Oficina Nacional de Presupuesto del Ministerio de Economía y Producción en el proyecto de ley de presupuesto. Asimismo informó un desvío en la ejecución de la meta “Capacitación en Unidades Estadísticas Provinciales”, por cambios en la estrategia de capacitación con relación al número de actores a capacitar y la falta de ejecución de las metas “Divulgación de Información Educativa” y “Elaboración y Distribución de Informes Analíticos de los Distintos Relevamientos” por problemas en el proceso de licitación. 10 Por último fueron dadas de baja las metas: “Capacitación a Directores, Supervisores y personal de Gestión” y “Elaboración y Edición de Manuales con Estrategias de Mejoras”. 4.1.4.2. Registración del cumplimiento de Metas Físicas La información sobre ejecución de metas no es confiable ya que el organismo no posee registros de las metas ejecutadas durante el año 2.003. Corresponde aclarar que gran parte de la producción definida por la DiNIECE está vinculada a la cantidad de “Establecimientos Relevados” o cantidad de “Alumnos” evaluados y, a la fecha de cierre de las tareas de campo del presente informe, la DiNIECE no cuenta con los datos finales de los operativos llevados a cabo respecto del ejercicio 2.003, lo que imposibilita verificar las metas físicas denunciadas como cumplidas a la Oficina Nacional de Presupuesto del Ministerio de Economía y Producción. 4.2. Estructura Orgánica De acuerdo al análisis efectuado, en relación a la estructura orgánica de la DiNIECE, pudo observarse que a la fecha de cierre de las tareas de campo del presente informe no han sido designados los respectivos Jefes de Departamento, según corresponde a la implementación de la apertura de la Dirección establecida por la Resolución N° 234 del 21/02/03 MECyT. Tal circunstancia genera una concentración de autoridad y responsabilidades en manos de la Dirección, lo que puede dar como resultado una pérdida de agilidad en los procedimientos y en la toma de decisiones y una sobrecarga de tareas en dicho nivel, al tener que intervenir en todos los temas la Dirección. Al efectuarse la apertura departamental mediante la referida Resolución N° 234/03, no se consideró como sector independiente de las otras dos áreas departamentales formalmente definidas (Red Federal de Información y Evaluación de la Calidad Educativa) al sector de Investigaciones que desarrolla su tarea con autonomía de objetivos, supervisión, criterios, procedimientos y recursos tanto humanos como materiales, aunque a solicitud de los otros sectores presta su debida colaboración. El Organismo en su descargo señala que no existiendo “…la posibilidad de designaciones o concurso de cargos, las jefaturas de departamentos recaen en personal de planta permanente o contratados con idoneidad para la función.” Al respecto, corresponde tener en cuenta lo establecido por la Ley 25.164 -Marco de Regulación del Empleo Público Nacional- y su reglamentación. 4.3. Manuales de Procedimientos La DiNIECE no posee manuales de procedimientos que permitan identificar, definir y organizar las tareas que se llevan a cabo tanto en el aspecto operativo como de apoyo de la 11 Dirección.6 Sin ellos, la organización carece de un instrumento que le permita a sus integrantes y usuarios un mayor conocimiento, agilidad y estandarización de las actividades que debe realizar, además de conocer los procedimientos que corresponde aplicar con el objeto de lograr mayor eficiencia en el cumplimiento de sus funciones y una continuidad en las tareas, independientemente de quién esté a cargo de las mismas. 4.4. Respecto de la factibilidad de evaluación de la gestión 4.4.1. Sistema de Información La DiNIECE no cuenta con un Sistema de Información Gerencial para la toma de decisiones desarrollado para la Dirección, que contenga un tablero de comando con indicadores de gestión para evaluar su desempeño y que relacione la información presupuestaria, tanto física como financiera. Dicha carencia dificulta a la Dirección contar con información confiable y oportuna. 4.4.2. Indicadores de Gestión La medición de la eficacia, eficiencia y economía, ligada a la producción de bienes o servicios, contó con la restricción emanada del hecho que la DiNIECE no desarrolló una planificación específica, ni definió una serie de metas que comprendan la totalidad de la producción de la Dirección. A su vez, otras metas no fueron cumplidas, (por haber sido dadas de baja o por problemas en los procesos licitatorios, ver punto 4.1.4.1.), y algunos de los valores informados no resultan confiables por carecer de los datos finales de los operativos a que éstas se refieren, ver punto 4.1.4.2. Corresponde aclarar que no se ha desarrollado un sistema de costos que permita relacionar la parte física con la financiera del presupuesto, ni indicadores y conclusiones a partir del análisis de la información detallada. Se destaca que la Dirección cuenta con una clasificación de indicadores para la gestión educativa, que son definidos a partir de determinadas áreas temáticas que se encuentran ligadas por relaciones estrechas y multidireccionales. Estas áreas y dimensiones son: Área 1) Contexto a) Demográfico Dimensión b) Socioeconómico 2) Recursos a) Físicos b) Humanos c) Financieros d) Organizacionales 3) Proceso 4) Resultado a) Acceso a) Egreso b) Flujo b) Logros académicos 5) Impacto a) Socioeconómico Fuente: DiNIECE 6 Según nota 61 DINIECE del 13/01/05: en la actualidad se encuentran en proceso de elaboración los manuales de procedimientos. 12 4.5. Respecto del Plan de Contrataciones La DiNIECE no desarrolló un Plan de Contrataciones para el año 2.003 que permita conocer, con la debida antelación, las necesidades de adquisición de bienes y servicios para el ejercicio, pudiéndose establecer, a partir de dicho plan, prioridades y tiempos para la contratación y suministro de los mismos. Se detectaron retrasos injustificados, teniendo en cuenta que las contrataciones analizadas corresponden a bienes o servicios utilizados en forma repetitiva por la DiNIECE para llevar a cabo sus funciones. La mayoría de esas demoras, que alargaron considerablemente los tiempos normales establecidos para las contrataciones, se deben a cuestiones externas a la misma e incidieron directamente en su concreción, siendo tales demoras de suficiente entidad para determinar el cumplimiento parcial de las metas e incluso llegar a impedir la concreción de algunas de ellas (Divulgación de Información Educativa y Elaboración y Distribución de Informes Analíticos de los Distintos Relevamientos). Por último puede observarse en la ejecución del Inciso 3 -Servicios no Personales- (Punto 3.5. del presente), que la misma llegó al 44,65 % del Crédito Vigente, es decir que no se utilizaron $ 1.331.545 que se encontraban asignados al Programa 32 por las razones expuestas precedentemente. 4.6. Producción de Información Al momento de realizar las tareas de campo no se contó con información definitiva respecto al Relevamiento Anual del 2.003, a cargo del área Red Federal de Información, ni del Operativo Nacional de Evaluación (ONE) 2.003, realizado por el área de Evaluación, debido a que se produjo un desvío respecto del cronograma establecido provocado por las demoras en el procesamiento de los datos obtenidos7. La información que se difunde a través de la página Web del Ministerio se encuentra desactualizada, contando con datos definitivos correspondientes al Relevamiento Anual de 2.001, al ONE 2.000 y al Relevamiento de Investigaciones 2.000. En cuanto a la publicación de cuadernillos y/o folletería con información sobre la calidad del sistema educativo, la última distribución que realizó la Dirección corresponde al año 1.998 con datos obtenidos de los relevamientos realizados en el año 1.997. La DiNIECE no llevó a cabo auditorías en terreno, a fin de verificar la exactitud de los datos obtenidos en los distintos operativos mediante un muestreo de los establecimientos. Estas situaciones referidas a la producción, generación, difusión y publicación anual de información del sistema educativo, perjudican no sólo la oportunidad de la información, 7 El auditado informó (13/01/05) que, a diciembre de 2.004 comenzó con la difusión de los datos correspondientes al Relevamiento Anual 2.003. 13 sino también la continuidad, la confiabilidad y la calidad de la misma, aspectos fundamentales para la sustentabilidad de un sistema que debe generar información confiable y actualizada para la formulación de políticas que impulsen la calidad y contribuyan a disminuir las desigualdades educativas. 4.7. Evaluación de la calidad educativa Las tablas de especificaciones8, de las cuales surgen los contenidos de las evaluaciones, no han sido actualizadas desde que fueron editadas en el año 1.999, en base a un acuerdo obtenido en el seno del Consejo Federal de Educación en el año 1.997. No se tiene en cuenta, al momento de desarrollar las evaluaciones, los distintos grados de implementación de la Ley Federal de Educación a fin de poder determinar y plasmar las mejoras logradas a partir de la aplicación de lo establecido por la mencionada normativa. 4.8. Área de Investigación Educativa No fue posible establecer los criterios utilizados o estudios previos para determinar los temas de las distintas investigaciones a realizar, ni tampoco determinar con exactitud lo actuado por este área, con anterioridad a la firma del convenio con UNICEF (05/08/03), de la misma forma que no fue posible realizar ningún control sobre el cumplimiento de las tareas realizadas por la misma, a diferencia de las demás áreas cuya actividad se basa en labores repetitivas. 4.8.1. Convenio MECyT – UNICEF No se cumplieron los plazos estipulados en el convenio para la elaboración del Informe Final (cuarta semana de marzo de 2.004, luego extendido hasta fines de mayo), toda vez que al momento de requerirlo, con posterioridad a ambas fechas, el mismo no estaba disponible. En su descargo, el auditado informó que en el mes de junio de 2.004 el informe se publicó en su sitio web. No se pudo obtener de parte de la DiNIECE las rendiciones de los fondos transferidos por UNICEF con un resumen de los gastos efectuados, ni los Informes Técnicos sobre el progreso del proyecto, los cuales debían contener la evaluación de los logros, el impacto del mismo hasta la fecha de cada rendición y un análisis sobre la ejecución de acuerdo con el plan y el presupuesto asignado, todo lo cual debió haber sido remitido a UNICEF de acuerdo a lo establecido por el convenio. 5. RESPUESTA DEL MINISTERIO Mediante nota del Coordinador Administrativo de la Unidad Ministro del MINISTERIO DE EDUCACIÓN, CIENCIA Y TECNOLOGÍA se acompaña el informe producido por la 8 Ver punto 3.4.1. Departamento de Evaluación de la Calidad Educativa. 14 Dirección Nacional de Información y Evaluación de la Calidad Educativa en el cual se señalan comentarios en relación con algunos aspectos tratados en este informe, los que han sido analizados y tomados en cuenta en la medida en que se ha entendido pertinente. 6. RECOMENDACIONES 6.1. Aspectos relativos a la Organización de la DiNIECE 6.1.1. Respecto de la evaluación de la calidad Elaborar investigaciones a partir de las cuales se puedan desarrollar, por el área competente, políticas educativas orientadas hacia la construcción de un sistema educativo de calidad, donde se conjuguen equidad y alto nivel. 6.1.2. Planificación operacional La DiNIECE deberá elaborar una planificación que, a partir de los objetivos de la organización, establezca premisas con relación al medio en el cual se desarrolla la actividad, evalúe las distintas alternativas, seleccione un curso de acción que permita llevar a cabo las acciones para alcanzar los objetivos, controle y evalúe la gestión permitiendo planear en función de los resultados obtenidos y los objetivos establecidos (proceso de retroalimentación). 6.1.3. Control de Gestión Realizar informes de gestión de la DiNIECE, a fin de generar información que permita obtener un conocimiento que alimente la toma de decisiones oportunas y pertinentes a fin de garantizar la eficiencia, la eficacia y la calidad de los procesos. 6.1.4. Programación y ejecución presupuestaria 6.1.4.1. Definición de Metas Físicas Implementar los mecanismos y procedimientos necesarios a fin de definir metas físicas que reflejen adecuadamente la producción desarrollada por la Dirección. 6.1.4.2. Registración del cumplimiento de Metas Físicas Se deben llevar registros de información de la gestión física de ejecución de sus presupuestos, tendientes a dar mayor certidumbre a la información que surge sobre las metas físicas. 6.2. Estructura Orgánica Dar cumplimiento a lo establecido por la Resolución N° 234/03 – MECyT. Asignar funciones y responsabilidades al área de Investigación Educativa, a través de los medios conducentes. Tener en cuenta con relación a la cobertura de vacantes de las Jefaturas de Departamento lo establecido por la Ley 25.164 - Marco de Regulación del Empleo Público Nacional y su reglamentación. 15 6.3. Manuales de Procedimientos Elaborar los manuales de procedimientos para las áreas y funciones de la Dirección. 6.4. Respecto de la factibilidad de evaluación de la gestión 6.4.1. Sistema de Información (Eficiencia - Eficacia - Economía) Desarrollar para la DiNIECE un sistema de información gerencial y de control de gestión para la toma de decisiones. A tal fin, deberían tenerse en consideración los siguientes aspectos: el objetivo básico que persigue la medición física de las metas es reflejar la producción de bienes o servicios tendientes a cumplir con los objetivos planteados para el ejercicio, a los cuales se asignan los correspondientes créditos presupuestarios. Dichas mediciones sirven para modificar planes y programas, en los cuales acontecimientos imprevistos puedan ser considerados, como así también, comparar operaciones similares y evaluar la eficacia relativa de los sistemas y procedimientos. La forma en que están condicionados los productos de las diversas acciones presupuestarias de una institución, origina una red de relaciones denominada “red de acciones presupuestarias” o de categorías programáticas del organismo y que es el correlato concreto de la red de relaciones productivas en cada ámbito presupuestario. La confección de costos de la producción pública resulta necesaria a fin de poder extraer conclusiones sobre el comportamiento de los mismos y relacionar la parte física del presupuesto con la financiera. Los indicadores de la gestión presupuestaria son expresiones cuantitativas que reflejan distintos tipos de relaciones: entre productos y objetivos de las políticas públicas, entre productos, entre productos y recursos, entre recursos, así como entre los elementos mencionados y cualquier otro aspecto cuantitativo de los procesos productivos con capacidad explicativa de una gestión o un resultado. La inclusión en el presupuesto de la producción de bienes y servicios en términos físicos, no sólo posibilita tomar decisiones en los niveles políticos y directivos sobre los recursos reales y financieros necesarios para el logro de los objetivos de las políticas públicas, sino que además, es la base esencial para analizar, controlar y evaluar la ejecución presupuestaria. Esto se podría lograr mediante un Sistema de Información Gerencial para la toma de decisiones y un Cuadro de Mandos que lo complemente y que permita un control periódico, con información precisa y oportuna. Debe entenderse como Cuadro de Mandos a una de las herramientas básicas de un sistema de control de gestión, que sintetiza mediante el empleo de indicadores y ratios el comportamiento de los centros más relevantes de la organización. 16 6.5. Respecto del Plan de Contrataciones Elaborar un Plan Anual de Contrataciones para el ejercicio, que permita saber con la suficiente antelación las necesidades de bienes y servicios a ser utilizados y los tiempos en que los mismos deberán ser provistos para el cumplimiento en tiempo y forma de los objetivos planificados para la DiNIECE. 6.6. Producción de Información Implementar los mecanismos necesarios para verificar la exactitud de los datos obtenidos a través de los distintos operativos y poder contar en el menor tiempo posible con los mismos, poniendo dicha información definitiva al alcance del usuario a través de los medios correspondientes. 6.7. Evaluación de la calidad educativa Realizar las gestiones necesarias a fin de lograr la actualización de las tablas de especificaciones, con el objeto de contar con medios actualizados para la evaluación de la calidad de la educación. Establecer un sistema de evaluación de la calidad educativa que permita determinar lo ocurrido en aquellas jurisdicciones que han aplicado lo establecido por la ley, respecto de las que no lo han hecho; verificando, a su vez, la adecuación de los contenidos curriculares a las necesidades sociales y a los requerimientos educativos de la comunidad. 6.8. Área de Investigación Educativa A partir de las necesidades detectadas en materia educativa, elaborar con la debida fundamentación un temario de las investigaciones a realizar que sea incluido dentro de la planificación anual, lo cual permitiría el seguimiento y control de las mismas. 6.8.1. Convenio MECyT – UNICEF Dar cumplimiento a lo acordado en el convenio, realizando las rendiciones de los fondos transferidos por UNICEF, con las características y contenidos establecidos para las mismas y desarrollando -a su vez- los Informes Técnicos sobre el progreso del proyecto con una evaluación de los logros y el impacto del mismo. 17 7. CONSIDERACIONES FINALES Conforme surge de sus objetivos y funciones, la Dirección Nacional de Información y Evaluación de la Calidad Educativa del Ministerio de Educación, Ciencia y Tecnología es la unidad responsable de llevar adelante las acciones de: evaluación del Sistema Nacional de Educación, desarrollo y sustentabilidad del Sistema Federal de Información Educativa y del diseño y desarrollo de investigaciones vinculadas con la formulación de políticas educativas. Asume el compromiso de impulsar y fortalecer un Sistema Federal de Información que articule los componentes de información, evaluación e investigación educativa orientado hacia la construcción de un sistema educativo de calidad donde se conjuguen equidad y alto nivel académico. Como resultado de los distintos procedimientos desarrollados a partir de la auditoría de gestión llevada a cabo en la DiNIECE, se concluye sobre la existencia de una serie de debilidades en cuanto a su organización: no tiene un plan estratégico ni un plan operativo anual, en la programación de las metas físicas no quedaron reflejadas las principales tareas llevadas a cabo, no posee registros de las metas ejecutadas durante el ejercicio, no han sido designados los Jefes de Departamento correspondientes a la apertura de la Dirección establecida por la Resolución N°234/03-MECyT, carece de manuales de procedimientos, no cuenta con un sistema de información gerencial para la toma de decisiones ni ha desarrollado un sistema de costos que permita relacionar la parte física con la financiera del presupuesto. Asimismo, la ausencia de un Plan de Contrataciones y la persistencia de demoras en los procedimientos de contratación de bienes o servicios utilizados por la DiNIECE (aún cuando obedezcan a causas externas a ella), han llevado a que no se pueda cumplir con la totalidad de los objetivos fijados. Sobre el Operativo Nacional de Evaluación de la Calidad Educativa “…la última información disponible corresponde al año 2.000, ya que en el año 2.001 no se realizó el operativo y los correspondientes a los años 2.002 y 2.003 se están procesando.”9 Buenos Aires, 9 Nota DINIECE N° 8090/04. 18