¡Cuidado con los indicadores! En el seguimiento y evaluación de la investigación académica e institucional y de su impacto, los indicadores son un arma de doble filo. En este contexto, los indicadores de desempeño (key performance indicators – KPI en inglés) reducen actividades y fenómenos complejos a valores fáciles de medir y reportar. Esta simplificación puede ocultar matices importantes incluidos en los objetivos, pero no en los KPI elegidos para su seguimiento. Esto ocurre porque en estos contextos no se puede escapar de objetivos fundamentalmente cualitativos, relacionados con el gran objetivo general de «aumentar el impacto de las actividades de I+D». Los KPI cuantitativos están disponibles, y son tentadores. Son fáciles de usar y comparar, por ejemplo publicaciones en revistas de alto impacto, fondos públicos recibidos, número de patentes licenciadas… ¿Qué podemos hacer? En la medida de lo posible, buscar fuentes de información para un equilibrio entre distintos tipos de KPI. Diseñar un panel de control que combine métricas cuantitativas con otras cualitativas.
No será un panel de control fácil de completar e interpretar, pero para moldear nuestra estrategia puede ser crítico incorporar KPI cualitativos, para tener un seguimiento y evaluación más acertados.
Una segunda precaución tiene que ver con aligerar y priorizar. Buscar y generar KPI bien alineados con los objetivos, y no dar el mismo peso a otros indicadores no bien relacionados con el seguimiento buscado, aunque sean fáciles de recoger.
Algunos ejemplos de uso de KPI en el entorno académico:
El sistema REF (Research Excellence Framework) de evaluación de la actividad de investigación de instituciones superiores en el Reino Unido. Es un sistema con una metodología basada en la evaluación de producción, impacto y entorno. Más información sobre qué incluye cada uno de estos apartado y qué peso tienen, aquí y aquí. El REF emplea una variedad grande de métricas de evaluación, y es significativo que una parte son casos de impacto presentados con evidencia narrativa. Además el sistema se basa en la evaluación por pares para la valoración y clasificación de los resultado de cada indicador en varios niveles de importancia, lo que influye mucho en su peso en el resultado final. Es muy interesante estudiar cómo se presentan los casos de impacto y analizar qué incluyen los casos con una valoración máxima en el REF, por ejemplo estos casos. Se pueden consultar todos los del REF 2021en esta base de datos de la universidad de Cambridge.
Indicadores de seguimiento de la estrategia de investigación de la Universidad de Glasgow. Las universidades en el Reino Unido dependen mucho de sus resultados en el REF para recibir más o menos fondos del sistema público. El objetivo central de sus estrategias es mejorar la clasificación en el REF. La estrategia de la universidad de Glasgow es llamativa por haber conseguido esto con mucho éxito (posición #24 global REF 2014 a #6 en el REF 2021) centrada en unos pocos y seleccionados objetivos: talento y colaboración. De manera mantenida desde hace más de una década esta universidad tiene una variedad de acciones relacionadas con la atracción y retención de talento y con el apoyo a la colaboración interna y la internacionalización como estrategia principal de mejora de su actividad de I+D+i. En relación a cómo se hace el seguimiento de esta estrategia con indicadores, además del propio REF, es interesante la variedad y selección de KPI que emplean. Un panel corto y ligero que combina KPI de actividad general de la universidad con otros muy específicos relacionados con los programas internos que apoyan la estrategia.
Mas sobre indicadores en el entorno de la I+D académica: KPI recogidos por la Comisión Europea relacionados con I+D+i a nivel de EU: https://research-and-innovation.ec.europa.eu/statistics/performance-indicators_en









