Hay en las redes estos días mucha discusión sobre un estudio reciente de los investigadores Michael Fire y Carlos Guestrin que concluye que las métricas que se usan para medir el éxito académico, como el número de publicaciones, el número de citas, el factor de impacto, el índice h, han dejado de ser mecanismos enteramente eficaces para comparar unos investigadores con otros y para administrar ciencia.
Los motivos por los que esto ha ocurrido parecen fijados en las bases del comportamiento humano y difíciles de evitar. Como se describe en la publicación hasta hay una ley en ciencias sociales que los describe y predice.
Pero si no usamos las citas en publicaciones científicas, ¿qué usamos?
No hay que renegar seguramente del todo de las métricas de publicaciones, pero sí tener en cuenta sus crecientes limitaciones y según para qué conviene pensar en usar otras herramientas complementarias para poder tomar decisiones más acertadas. En la publicación de Fire y Guestrin se propone explorar otros indicadores de citas más imparciales, indicadores que por ejemplo eviten dar el mismo peso a todas las citas, que no relacionen el impacto de una publicación con el factor de impacto de la revista que la contiene, que no se usen entre distintos campos, que tengan en cuenta el problema con las auto-citas, las revistas que publican de manera repetida a los mismos autores, etc.
Además de nuevos indicadores basados en citas, por mi parte creo que habría que utilizar otras herramientas ya disponibles.
En la evaluación de los investigadores, i.e. procesos de selección de nuevos contratos, oposiciones a puestos permanentes, evaluación de actividad (sexenios, trienios, etc) se podría dar más protagonismo a las entrevistas personales, hacerlas más y mejores. Una entrevista es subjetiva y estresante, pero muy eficaz para entender el nivel de dominio de una materia por parte de un candidato. Por ejemplo las prestigiosas ERC grants de la EU se deciden en su última fase de evaluación en una entrevista frente a un panel. Un sistema parecido, en apariencia más subjetivo, podría ser en realidad más justo que el actual para la evaluación y selección del personal docente e investigador en las universidades.
En la evaluación de propuestas de proyectos de investigación, cuando los organismos públicos tienen que decidir a quien dar o no financiación, hay de hecho ya una tendencia a no solo evaluar la excelencia científica, y cada vez más se les pide a los investigadores también una identificación y planificación de la generación de impactos más amplios. Entender cual es el impacto de su actividad de I+D se ha convertido para los investigadores académicos y las instituciones que los albergan en parte fundamental de su estrategia de investigación. Esta es una nueva visión de conjunto que poco a poco el mundo de la ciencia va incorporando de manera práctica a la actividad de investigación. El problema es que es difícil medir y más aún predecir el impacto de los resultados de investigación a corto plazo, hay pocos expertos en un campo determinado que puedan dar una opinión fundada, por lo que el uso de los planes de impacto para los procesos de evaluación de propuestas de proyectos es aún ineficiente y poco útil como complemento a los indicadores de excelencia pasada basados en citas. En los últimos años se ha ido incorporando de todas maneras, y por ejemplo en los proyectos del Plan Nacional español el impacto científico-técnico de las propuestas se valora en un 10% a un 20% según el programa. La Unión Europea da un 33% a la sección de impacto en los proyectos de H2020. El REF británico, que mide el rendimiento de la investigación de las universidades británicas y decide una gran parte de su financiación, da un 25% de su puntuación según una medida de impacto (un paper muy interesante sobre la evaluación de impacto en el REF en este enlace). En todos estos casos los investigadores tienen que escribir informes convincentes del impacto esperado de sus propuestas de investigación, idealmente con una mezcla de narrativa e indicadores numéricos. En el futuro creo que se irá dando más importancia a esta evaluación del impacto esperado. Se podría pensar en mejorar los paneles de evaluación con más expertos en impacto. Hay una discusión en este punto de si los organismos financiadores podrían apoyar más al investigador para articular una visión del impacto de su investigación. Quizás deberían haber mecanismos para que los investigadores académicos pudieran coordinar con los organismos financiadores su estrategia de investigación desde el punto de vista del impacto socioeconómico, para mejorar el reparto justo del presupuesto disponible para investigación y maximizar su retorno.
Andrés Alba-Pérez 