Análisis del comportamiento de la producción científica en México: inclusión por adscripción regional e institucional Rocío Anchondo-Granados ([email protected]) Perla Zukey Hernández-Gutiérrez ([email protected]) José Luis Evangelista Márquez ([email protected]) Javier Tarango ([email protected]) Universidad Autónoma de Chihuahua Facultad de Filosofía y Letras Doctorado en Educación Resumen El presente trabajo incluye los resultados de investigación de distintos estudios tipo descriptivo, a través del cual se identificaron las propiedades, características y perfiles de comportamiento sobre la producción científica en México bajo distintas dimensiones: geográfica (por Estado del país) e institucional (por centro público de investigación SEP CONACYT), todo ello durante el período 2007-2011. El análisis de datos para la caracterización de la producción científica en México, parte de la aplicación de un modelo teórico simplificado, el cual comprende una función lineal aditiva de la productividad, calidad e innovación, bajo un conjunto de variables que incluyeron: datos institucionales (docentes-investigadores, matrícula y programas académicos), investigación (niveles de pertenencia a sistemas de evaluación de la calidad de los docentes y registros de producción científica a través de publicaciones), generación de patentes y medios de divulgación de la ciencia, así como calidad de los programas académicos a través de procesos de evaluación de instancias externas. Se identificó como fuente de consulta principal el observatorio científico llamado Estudio Comparativo de Universidades Mexicanas (ECUM) de la UNAM, sistematizando los datos recolectados de la totalidad de las instituciones de educación superior (tanto pública como privada), centros de investigación e dependencias gubernamentales dedicadas a la producción científica, de tal forma que se detectaron las fortalezas y debilidades en la generación de conocimiento bajo diversas dimensiones. Palabras Clave: Producción científica; Comunicación de la ciencia, Capacidades científico – tecnológicas; Potencialidades científicas. Abstract This work includes research results from different descriptive studies, through which identified the properties, characteristics and behavior profiles on scientific production in Mexico under different dimensions: geographic (by state in the country) and institutional (by CONACYT SEP public research centers), all during the period 2007-2011. Data analysis for the characterization of the scientific production in Mexico, part of the implementation of a simplified theoretical model, which comprises an additive linear function of productivity, quality and innovation, under a set of variables including: institutional data (research faculty, enrollment and academic programs), research (membership levels in teachers quality assessment systems and scientific production records through publications), generation of patents and means of popularizing science and quality academic programs through assessment processes external agencies. Was identified as the main reference source scientific observatory called Comparative Study of Mexican Universities (ECUM) of UNAM, systematizing the data collected from all higher education institutions (both public and private), research centers and government agencies dedicated scientific production, so that the strengths and weaknesses detected in the generation of knowledge in various dimensions. Keywords: Scientific production, communication science, scientific and technological capabilities, scientific potentialities. Introducción Es necesario partir, de que en términos comúnmente aceptados, es complejo conceptualizar a las capacidades científico-tecnológicas de cualquier disciplina científica, entidad institucional o geográfica, siendo lo más viable la determinación de la relación que existe entre los resultados obtenidos del proceso de análisis de los recursos o insumos aplicados con tal consecución. En el caso de México, se atribuye que las universidades y los centros de investigación, las funciones de generación de conocimiento, sin embargo, existe una enorme variedad de criterios y relaciones que caben dentro del término que determine su capacidad de producción científica institucional. La medición de las capacidades científico-tecnológicas son entendidas como las formas de medir la productividad científica institucional, así como la agrupación de entidades a través de regiones geográficas específicas, haciéndose necesario la generación de un modelo particular, ya que no existe una única propuesta, variando para ello el peso relativo diferente, asignado a cada criterio de evaluación dependiendo de la naturaleza de los centros de investigación y los intereses propios al comparar diversas entidades o el agrupamiento de las mismas por cierta afinidad. Además, debe considerarse que cada institución o región geográfica suele tener distintas formas de interpretar los conceptos a evaluar, además de presentarse una variada gama de herramientas para recolección de datos, los cuales deberán coincidir en: uniformidad, disponibilidad de datos y concordancia en los períodos de medición, por mencionar los principales aspectos. En este sentido, la competitividad científico-tecnológica de una región geográfica es la representación de la suma de resultados que observan las instituciones que componen el sector evaluado, manifestadas en productos, mismos que pueden variar en su tipología los cuales pueden comprender desde tecnologías, artículos científicos, patentes, etc., dependiendo incluso de las propias disciplinas científicas, pero especialmente, aquellos elementos cuantificables que permitan la diferenciación de niveles en cuanto a la generación de ventajas competitivas (Aguirre Ramírez, 2010). La definición de parámetros de medición de las capacidades científicotecnológicas tiene como finalidad principal identificar condiciones actuales para dar pie al establecimiento de estrategias de mejoras (Brown, 2004). De acuerdo con la visión de Jones, et al (2003), a nivel mundial la medición de las capacidades científico-tecnológicas han sido estudiadas principalmente a través del uso de modelos homologables, caracterizados principalmente por la identificación de competencias tecnológicas adquiridas, las cuales son caracterizadas de acuerdo a su impacto estratégico, por lo que sucede una variabilidad natural, dependiendo de las disciplinas y las posibilidades de cada investigador, dependiendo de las concepciones propias de capacidades científico-tecnológicas. El reto de todo modelo de evaluación de las capacidades científico-tecnológicas es la creación de estructuras innovadoras que permitan su medición y que provoquen la creación de indicadores precisos, especialmente enfocados a ir precisando en ellos mismos como proceso de innovación y la identificación de la medición de creación de conocimiento que se vea proyectado en los contextos económicos y sociales (Salazar-Acosta, 2006, Lugones, 2007). Brown (2004) y Cristancho Anaya (2011), consideran que además de la mera identificación de indicadores, las capacidades científico-tecnológicas deben medirse en función del grado de complejidad de los productos resultantes, especialmente vinculados con la identificación de habilidades y conocimientos de cada una de las operaciones necesarias. Este autor propone evaluar las capacidades científico-tecnológicas de tal forma que se midan las capacidades de innovación y de absorción, esto es, las aportaciones al cambio y el nivel de influencia que pueda manifestar cualquier cambio (radio de aplicación, permanencia, contribuciones a otros campos del saber, etc.). Los autores antes citados reconocen la importancia de la medición de las capacidades científico-tecnológicas basado en su capacidad de influencia generalizada. Otros autores defienden que cada modelo de evaluación variará dependiendo de los núcleos de construcción de conocimiento, lo cual provocará la generación de diversos enfoques de generación de modelos e indicadores de medición particular, entre lo que se incluye en la caracterización de productos evaluados: profundidad de análisis, aplicación o interpretación de las herramientas para diseminar las capacidades científico-tecnológicas (Aguirre Ramírez, 2010; Brown, 2004; Cristancho Anaya, 2011). La problemática principal de todo estudio de los niveles de competitividad científica está determinada por la falta de homogeneidad en los criterios, por lo que podrán observarse diferentes estudios para este propósito, cuyos objetivos de generación de conocimiento sean distintos, sin embargo, puede ser que en su totalidad sean válidos, atribuyéndose a cada uno diversos niveles de consistencia y trascendencia en cuanto a los resultados de investigación. Metodología para la recolección de datos De acuerdo a los propósitos de la investigación, se identificó como fuente de consulta para la recolección y análisis de datos del observatorio científico desarrollado por la UNAM (2013), llamado Estudio Comparativo de Universidades Mexicanas (ECUM), proyecto de que sistematiza, mide y compara el desempeño de universidades y otras instituciones mexicanas de educación superior y que ha logrado reunir datos de más de 2,800 entidades, entre las que se cuentan universidades públicas y privadas, centros de investigación, instituciones de salud, dependencias gubernamentales y diversos organismos sociales y privados, en donde la información puede ser segmentada de acuerdo a diversas categorías previamente establecidas, en este caso se consideraron los datos relacionados únicamente con los Centros Públicos de Investigación SEP CONACYT. Dada la concordancia en la frecuencia de datos en relación con los indicadores de interés, se identificó la posibilidad de trabajo con información recolectada en el período de 2008 a 2011. El ECUM registra información de las instituciones sobre los siguientes rubros: a) b) c) d) e) Datos institucionales: personal docente, matrícula, programas académicos, subsidio público y federal, etc. Investigación: Académicos del SNI, cuerpos académicos en el Programa de Mejoramiento del Profesorado (PROMEP), documentos, artículos y citas en las que participa la institución, sistematizadas en el índice ISI-Thomson, documentos, artículos y citas en las que participa la institución, sistematizadas en el índice SCOPUS-Elsevier y Documentos y artículos en las que participa la institución, sistematizados en los índices CLASE y PERIODICA de la UNAM Patentes nacionales: Patentes de invención, solicitadas y otorgadas, publicadas en la Gaceta del Instituto Mexicano de la Propiedad Industrial (acumuladas desde 1991), patentes de invención solicitadas reportadas en el Informe Anual del Instituto Mexicano de la Propiedad Industrial (datos disponibles para 2008 - 2011). Revistas académicas: Revistas en el Directorio y Catálogo LATINDEX (Sistema de información sobre las revistas de investigación científica, técnico-profesionales y de divulgación científica y cultural que se editan en los países de América Latina, El Caribe, España y Portugal) y revistas incluidas en el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del CONACYT. Docencia: Programas evaluados por los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), programas acreditados por organismos reconocidos por el Consejo para la Acreditación de la Educación Superior (COPAES), programas reconocidos por el Programa Nacional de Posgrados de Calidad (PNPC). Este observatorio científico posee además un servicio explorador de datos conocido como Estudio Comparativo de Universidades Mexicanas (ExECUM), el cual es la herramienta que permite el acceso a los datos del ECUM. Su diseño ofrece distintas formas de consulta de los datos, así como diversas opciones para generar reportes de resultados. El ECUM contiene datos para más de 2,800 entidades. Este total incluye instituciones de educación superior, públicas y privadas, centros de investigación, instituciones de salud, dependencias gubernamentales y diversos organismos sociales o privados. Aunque el observatorio científico permite múltiples formas de visualización de los datos, tales como: identificación de las principales instituciones, selección de entidades por orden alfabético, selección de diversos conjuntos según el tipo de institución, etc., se eligió la selección de datos dos alternativas combinadas: por Estados (ya que los propósitos del estudio fue precisamente el análisis por entidad federativa sin especificar las instituciones que integran los datos) y selección multianual (comportamiento por año combinado con otras variables que pueden ser instituciones, grupos institucionales, Estados, etc., y a su vez combinar con distintos rubros de información). Se reitera que por tratarse de un estudio descriptivo, los datos recolectados del observatorio estuvieron diseñados sobre la posibilidad de establecer por tipo y nivel de comparación relevante, para ello, se obtuvieron los datos sin ponderación y sin indicadores con comparaciones de comportamiento, de tal forma, que el estudio a partir de la aplicación del modelo, pudieran establecerse relaciones en los rubros del estudio y construir indicadores a partir de las propias necesidades del modelo y perspectivas de análisis. Modelo teórico simplificado Este modelo teórico simplificado se deriva del concepto que sobre competitividad organizacional plantea Palacios Blanco y Vargas Chanes (2009, p. 18-20), afirmando que la competitividad de toda organización se integra y sustenta por tres elementos que son condición para lograrla: productividad, calidad e innovación, bajo la siguiente expresión: Competitividad científico – tecnológica = f (Productividad + Calidad + Innovación) (López Carrasco, 2013). Tomando en consideración el conjunto de indicadores generales que proporcionan las fuentes de información antes señaladas fue necesario hacer una selección de aspectos de interés proyectados en un modelo teórico simplificado apropiado al estudio. El modelo teórico simplificado está integrado por tres aspectos generales de evaluación: a) Productividad. Compuesto por nueve indicadores y conceptualizada como aquellos aspectos relacionados con la generación de conocimiento divulgado en alguna fuente (artículos registrados en ISI, Scopus, PERIODICA y CLASE); la disposición de los centros de investigación a generar medios propios de divulgación (revistas incluidas en Latindex y en el catálogo de CONACYT); disposición de recursos humanos habilitados (personal académico con doctorado); y número de citas recibidas. b) Calidad. Representada por dos indicadores. Comprende los aspectos de evaluación del número de miembros pertenecientes al SNI e inclusión de programas en el PNPC del CONACYT. c) Innovación. Está integrado por tres indicadores y es representada por las patentes solicitadas y aprobadas, y el número de proyectos de investigación. Aquí se reconocen los aspectos relacionados con la generación de nuevos productos y servicios a favor del desarrollo científico. A partir de los resultados globales de todos los indicadores específicos estudiados, surgen los resultados de indicadores generales compuestos por: índices de productividad científica, índice de calidad educativa, índice de innovación científico-tecnológica e índice de competitividad científico-educativa, que son en específico los que se incluyen en este artículo. Análisis de resultados Las dimensiones de análisis de este artículo comprenden la cuestión geográfica (centrada en la distribución por Estados de México) y la dimensión institucional, que analiza el comportamiento de los Centros Públicos SEP CONACYT como entidades generadoras de conocimiento. 1. Análisis de la dimensión geográfica por Estado Este total incluye instituciones de educación superior, públicas y privadas, así como centros de investigación, instituciones de salud, dependencias gubernamentales y diversos organismos sociales o privados, cuya información está categorizada en seis rubros principales que son: a). 839 instituciones de educación superior públicas, incluyendo los Centros Públicos de Investigación SEP-CONACYT. b). 1, 835 instituciones de educación superior privadas. c). 81 instituciones públicas y dependencias gubernamentales que realizan investigación. d). 67 organismos gubernamentales. e). 16 asociaciones, organizaciones sociales y agencias internacionales. f). 19 organismos e instituciones de la iniciativa privada Específicamente para el Estado de Chihuahua, las instituciones que forman parte del análisis y de las que se obtuvieron los datos para el estudio comparativo son: Centro de Investigación en Materiales Avanzados (CIMAV), Instituto Tecnológico de Chihuahua, Instituto Tecnológico de Chihuahua II, Instituto Tecnológico de Delicias, Instituto Tecnológico de Parral, Normal Rural de Saucillo Ricardo Flores Magón, Universidad Autónoma de Chihuahua, Universidad Autónoma de Ciudad Juárez, Universidad Politécnica de Chihuahua, Universidad Regional del Norte y Universidad Tecnológica de Chihuahua. Al tratarse de un estudio que analiza las condiciones de producción científico-tecnológica de los Estados que componen la geografía de México, se incluyeron todas las instituciones registradas en el observatorio científico antes mencionado en cada uno de los 32 Estados de México. a) Productividad científica por Estado De acuerdo a los resultados, considerando la suma de todos los indicadores de la productividad científica – tecnológica para todas las entidades federativas, resulta ser Morelos, el Distrito Federal y Jalisco, las tres entidades con mayor productividad, ocupando Chihuahua, Nayarit y Guerrero las últimas posiciones (figura 1). Figura 1. Productividad científica por Estado b). Calidad educativa en el nivel superior Considerando la suma de todos los indicadores de la calidad educativa en el nivel superior para todas las entidades federativas, resulta ser Colima, Jalisco y Morelos, los tres estados con mayores niveles de calidad educativa, ocupando Oaxaca, Nayarit y Chihuahua las últimas posiciones (figura 2). Figura 2. Calidad educativa en el nivel superior c). Innovación científico-tecnológica Al incluir la suma de todos los indicadores de la innovación científico tecnológica para todas las entidades federativas, resulta ser el Distrito Federal, Morelos y Colima, las tres entidades con los más altos niveles de innovación, ocupando Tamaulipas, Veracruz y Guerrero las últimas posiciones. En este caso, el estado de Chihuahua ocupa una posición ligeramente por debajo del promedio por entidad federativa (figura 3). Figura 3. Innovación científico-tecnológica por Estado d). Competitividad científico-educativa La competitividad científico – educativa, bajo el modelo de análisis considerado, es decir que la competitividad resulta ser la suma de la productividad, la calidad y la innovación, resultó con los valores más altos para los estados de Morelos, Jalisco y Colima, quedando el Distrito Federal en una cuarta posición. Sin embargo, las últimas posiciones las ocuparon Nayarit, Guerrero y Chihuahua. En este caso, el estado de Chihuahua desafortunadamente está en la última posición (figura 4). Figura 4. Competitividad científico educativa por Estado e). Competitividad científico-tecnológica ponderada Al ponderar de una manera homogénea las tres dimensiones de la competitividad, es decir dándole el mismo peso a los indicadores de productividad, calidad e innovación, los valores más altos correspondieron también a los estados de Morelos, Jalisco y Colima. Las últimas posiciones las ocuparon Nayarit, Guerrero y Chihuahua (Figura 5). Figura 5. Competitividad científico-tecnológica ponderada por Estado El análisis anterior, se realizó con todos los indicadores estandarizados, pero arrojaron prácticamente los mismos resultados en virtud de que todos los indicadores fueron relativizados de origen, además de que con las pruebas estadísticas previas se demostró su confiabilidad, linealidad y aditividad. A manera de reforzamiento a los resultados presentados, se incluye la figura 6, en donde gráficamente se presenta la distribución general de los resultados por Estado. Figura 6. Distribución de los resultados por Estado ZCompetitividad científico-educativa vs. ZProductividad y ZCalidad ZCompetitividad < -20 -20 – 0 0 – 20 20 – 40 40 – 60 60 – 80 80 – 100 > 100 Distrito Federal 60 ZProductividad Morelos Jalisco 40 Baja California 20 Colima 0 Chihuahua -10 0 10 20 30 40 ZCalidad educativa nivel superior 50 60 2. Análisis de la dimensión institucional Los resultados arrojados por el observatorio identificaron 27 centros de investigación (de carácter público y dependientes de SEP CONACYT), mismos que se encuentran ubicados en 23 Estados de la República Mexicana y cuentan con 59 sedes. La distribución de frecuencias por Estado varía, siendo mínimo uno y máximo siete, sin embargo, se identifican nueve Estados que no cuentan con centros de investigación de la naturaleza estudiada: Colima, Estado de México, Guerrero, Hidalgo, Morelos, Nayarit, Sinaloa, Tlaxcala y Zacatecas) (Rodríguez, 2013). Los Centros Públicos de Investigación SEP CONACYT tienen como objetivos principales: divulgar en la sociedad la ciencia y la tecnología; innovar en la generación, desarrollo, asimilación y aplicación del conocimiento en ciencia y tecnología; vincular la ciencia y la tecnología en la sociedad y en el sector productivo para atender problemas y crear y desarrollar mecanismos e incentivos que propicien la contribución del sector privado en el desarrollo científico y tecnológico, entre otros (SEP, 2013). En el caso particular del Estado de Chihuahua se identificaron cuatro centros de investigación SEP CONCACYT: el Centro de Investigación en Materiales Avanzados (CIMAV) y el Centro de Investigación en Alimentación y Desarrollo (CIAD) como sedes principales; y al Instituto de Ecología (INCOL) como sede secundaria y cuya sede principal es el Estado de Veracruz y al Colegio de la Frontera Norte (CFN) que está compuesto por distintas sedes en diversos Estados fronterizos del norte de México. Los resultados se presentan a continuación: a). Índice de productividad científica Los resultados globales de producción científica (figura 7), indican que el INECOL, seguido del Centro de Investigación y Desarrollo tecnológico en Electroquímica y del Centro de Investigación Biológica del Noroeste. Para el caso de los Centros Públicos de Investigación SEP CONACYT establecidos en el Estado de Chihuahua, ya sea como sedes principales o secundarias (extensiones de la principal), se identifica al INECOL, presentado previamente como el mejor evaluado, pero además, el CIMAV ocupa la posición número ocho, el CIAD en la posición 11 y el CFN en la posición 17, en todos los casos, comparada con 19 centros participantes, de los cuales hubo coincidencia en el total de los indicadores específicos definidos para el presente análisis. Figura 7. Índice de productividad científica b). Índice de calidad educativa En la figura 7 se presentan los resultados obtenidos de la evaluación del indicador de calidad educativa, en donde hubo coincidencia de indicadores específicos en 23 de los 27 Centros Públicos de Investigación SEP CONACYT, observándose nuevamente el liderazgo del INECOL; en segundo y tercer lugar respectivamente, el Centro de Investigación Biológica del Noroeste y el Colegio de la Frontera Sur. En este indicador, además del INECOL, de los centros establecidos en el Estado de Chihuahua, se identifican: el CFN en la cuarta posición, el CIMAV en la posición 13 y el CIAD en la posición 17. Figura 7. Índice de calidad educativa c). Índice de innovación científico-tecnológica De acuerdo a los resultados presentados en la figura 8, en donde se incluyen 23 de los 27 Centros Públicos de Investigación SEP CONACYT, se observa una concentración mayor en ocho, entre los que destaca el CIMAV, el Centro de Investigación y Desarrollo Tecnológico en Electroquímica y el Centro de Innovación Aplicado en Tecnologías. Un hallazgo interesante es que nueve centros no reportan ningún resultado, infiriéndose que los las características de este indicador general no se desarrollan actividades específicas relacionadas con los procesos de innovación. Para efectos de un análisis más específico de la situación relacionada con instancias ubicadas en el Estado de Chihuahua, en el caso del INECOL, los resultados fueron menos alentadores en el sentido de que se ubica en la posiciones nueve y el CIAD en la posición 13; El CFN reporta resultados nada significativos. Figura 8. Índice de innovación científico-tecnológica d). Índice de competitividad científico-educativa Siguiendo la aplicación de un modelo lineal aditivo, el índice de competitividad científico-educativo es la representación general del resultado de la capacidad científicotecnológica de los Centros Públicos de Investigación SEP CONACYT, a través de la inclusión de los tres indicadores de: productividad científica, calidad educativa y de evaluación científicotecnológica. Los resultados de este indicador son representados en la figura 9, en la cual, además de que se incluyen únicamente 19 de las 27 entidades participantes dada la coincidencia de indicadores, se observa el liderazgo del INECOL, seguido por el Centro de Investigación y Desarrollo Tecnológico en Electroquímica y el Centro de Investigación Biológica del Noroeste. Además del INECOL como líder en la evaluación del indicador global, en relación con los centros ubicados en el Estado de Chihuahua, el CIMAV ocupó la posición siete, el CIAD la posición 11 y El CFN la posición 15. Figura 9. Índice de competitividad científico-educativa Conclusiones generales La evaluación diagnóstica de las capacidades científico-tecnológicas, tanto por entidad geográfica como por institución, son el resultado de promediar el comportamiento de diversos indicadores durante un período de tiempo específico, y puede representar una herramienta eficaz en la toma de decisiones encaminadas a propiciar el desarrollo de cada uno de los indicadores incluidos en el modelo teóricos simplificado que sustenta la evaluación. Respecto a la evaluación por Estado, a nivel nacional se identifican niveles considerablemente bajos en los distintos indicadores que forman parte del análisis, especialmente en lo que corresponde al Estado de Chihuahua, entidad que típicamente ha sido identificada como competitiva en términos socio-económicos. Sin embargo, en cuanto a los indicadores de calidad, productividad e innovación científico-tecnológica, al igual que un gran número de entidades, se observan resultados por debajo de la media y una concentración en un núcleo reducido de Estados. En relación con la evaluación institucional enfocada en Centros Públicos de Investigación SEP CONACYT los resultados fueron más favorables, especialmente bajo el liderazgo del CIMAV en aspectos de innovación científico-tecnológica, además de algunos indicadores sobresalientes del CIAD, además, y aunque representan subsedes ubicadas dentro del Estado de Chihuahua, los resultados de INECOL y CFN (en este, aunque menos representativos), manifiestan aspectos sobresalientes de contribución en los procesos de generación de producción científica. Los resultados del análisis institucional identifican la posibilidad y necesidad de desarrollar un estudio específico por instituciones de educación superior, diferenciando entre universidades públicas y privadas, además de la identificación de fortalezas y debilidades por tipo de institución (federales, estatales, tecnológicas, multiculturales, etc.). Lista de Referencias 1. Aguirre Ramírez, J. J. (2010) Metodología para medir y evaluar las capacidades tecnológicas de innovación aplicando sistemas de lógica difusa: caso fábricas de software. Tesis (Magíster en Ingeniería Administrativa, Universidad Nacional de Colombia, Sede Medellín, Facultad de Minas, Escuela de Organización, 2010). 2. Brown, L. D. (2004). Medición de las capacidades tecnológicas en la industria mexicana. Revista de la CEPAL, 83: 135-152. 3. Cristancho Amaya, A. D. (2011). Valoración de las capacidades y competencias tecnológicas: consideraciones para su aplicación en el aparato productivo colombiano. Tesis (Maestría en Ingeniería Industrial, Universidad Nacional de Colombia, Facultad de Ingeniería, Departamento de Ingeniería de Sistemas e Industrial, 2011). 4. Jones, A., Sainsbury, B., Dowie, N., & Kavanagh, T. (2003). Measuring innovation performance - current status and future considerations. Canberra, Australia: Department of Industry, Tourism and Resources. 5. López-Carrasco, M. (2013). Análisis de la producción científico-tecnológica en universidades mexicanas: comparación Estado de chihuahua y otras entidades, 20072011. (Tesis de Maestría en Bibliotecología y Ciencias de la Información, Universidad Autónoma de Chihuahua, 2013). 6. Lugones, G. (2008). Módulo de capacitación para la recolección y el análisis de indicadores de innovación. BID working paper 8. 7. Palacios Blanco, J. L., Vargas Chanes, D. (2009). Medición efectiva de la calidad: innovaciones en México. México: Trillas. 8. Salazar-Acosta, M. (2006). What indicators for science, technology and innovation policies in the 21st century. Ponencia presentada en el Blue Sky 2006 Conferencia, Ottawa, Canadá, septiembre 25-27. 9. Secretaría de Educación Pública, Subsecretaría de Educación Superior. (2013). Educación superior pública: centros públicos de investigación. Recuperado de: http://www.ses.sep.gob.mx/wb/ses/centros_publicos_de_investigacion. 10. Rodríguez, J. E. (2013). Diagnóstico de capacidades científico-tecnológicas en el Estado de Chihuahua basada en los Centros de Investigación SEP CONACYT, 2008-2011. (Tesis – Licenciatura en Ciencias de la Información, Universidad Autónoma de Chihuahua, 2013). 11. Universidad Nacional Autónoma de México, Dirección General de Evaluación Institucional. (2013). Estudio comparativo de universidades mexicanas. Recuperado de: http://www.ecum.unam.mx/