CoARA: Acuerdo para la reforma de la evaluación científica

Existen evidencias en la comunidad investigadora de que los criterios de evaluación científica aplicados de forma aislada y descontextualizada del proceso de investigación (como el factor de impacto de las revistas, el índice h o los rankings de instituciones) van en detrimento de la calidad, diversidad, e integridad de la investigación. Estas malas prácticas originan presiones insostenibles sobre los investigadores, distorsionan sus prioridades o la elección de trabajos de menor riesgo, en menoscabo de la pluralidad temática, cognitiva, metodológica y de la libertad intelectual. Tras una larga lista de declaraciones, manifiestos e iniciativas internacionales revisando los procesos en la evaluación de la investigación se constituye la Coalición para el Avance de la Evaluación de la Investigación (CoARA) en diciembre de 2022.

El punto de partida arranca en 2012 con la Declaración de San Francisco (DORA), que apela por la supresión del factor de impacto en las evaluaciones a nivel de investigador. Otras iniciativas como el Manifiesto de Leiden y The Metric Tide proponen el uso de métricas responsables en la evaluación, la defensa del multilingüismo con la declaración de Helsinky, la apuesta por la Ciencia Abierta con los principios de Hong Kong y el reconocimiento de la bibliodiversidad, las diferencias disciplinarias y la inclusividad en el Paris Call on Research Assesment. En 2019, se publica la declaración conjunta de la EUA (Asociación de Universidades Europeas) y Science Europe para mejorar las metodologías de evaluación de la investigación. La Comisión Europea incluyó el mandato de reforma del sistema de evaluación de la investigación en su European Research Area Policy Agenda de 2021, con el objetivo de mejorar la calidad de la investigación respetando los principios de diversidad, la inclusión y apertura. Esta colaboración culmina en el Acuerdo sobre la Reforma de la Evaluación de la Investigación en julio de 2022 y la aparición de CoARA en diciembre de 2022, a la que el CSIC se adhiere en noviembre de 2022. 

CoARA es una coalición internacional de organizaciones científicas que trabajan juntas para permitir una reforma sistémica de la evaluación de la investigación sobre la base de los principios de diversidad, inclusividad y apertura facilitando el aprendizaje mutuo entre todos aquellos que se comprometan a mejorar las prácticas de evaluación de la investigación. La coalición fue impulsada inicialmente por Science Europe, la Asociación Europea de Universidades (EUA) y la Comisión Europea en enero de 2022, siguiendo las directrices de ERA Action 5 y el impulso de cambio reflejado en iniciativas como la declaración DORA.

Esta coalición supone un cambio de paradigma en la evaluación de la ciencia para maximizar la calidad de la investigación y las buenas prácticas científicas. Pretende ser un espacio inclusivo y colaborativo, que ofrezca una plataforma de debate para desarrollar nuevos criterios, métodos, herramientas, y un espacio para el intercambio de buenas prácticas y el aprendizaje mutuo. Para ello, un grupo de expertos e instituciones de la coalición redactaron el Agreement on Reforming Research Assessment (julio 2022) con un proceso abierto de firma y adhesión. Más de 800 organizaciones a escala mundial han firmado el acuerdo: financiadores de investigación públicos y privados, universidades, centros de investigación, institutos e infraestructuras, asociaciones y alianzas de los mismos, autoridades nacionales y regionales, agencias de acreditación y evaluación, sociedades científicas y asociaciones de investigadores, y otras organizaciones relevantes. Desde la primera reunión de la Asamblea General el 1 de diciembre de 2022, la secretaría de la Coalición para el Avance de la Evaluación de la Investigación (CoARA) corre a cargo de la Fundación Europea de la Ciencia - Science Connect (ESF-SC). 

El Agreement on Reforming Research Assessment establece una dirección compartida para encauzar los cambios necesarios en las prácticas de evaluación de la investigación, con el objetivo general de maximizar la calidad y los impactos de la investigación. El Acuerdo incluye los principios, compromisos y plazos para las organizaciones que deseen trabajar juntas en la implementación de los cambios en la reforma. Los firmantes se comprometen a reconocer la diversidad de resultados, prácticas y actividades de la investigación respetando las diferencias disciplinarias y las distintas etapas de la carrera profesional maximizando la apertura y la inclusividad en ciencia. Esto requiere basar la evaluación principalmente en juicios cualitativos, para lo cual la revisión por pares es fundamental, apoyada por el uso responsable de métricas. Apoyadas por el trabajo de la Coalición, las organizaciones decidirán los planes de acción y los plazos para implementar los compromisos, que pueden variar dependiendo del contexto (por ejemplo, nacional, disciplinario o de evaluación de investigadores individuales, unidades de investigación y organizaciones de investigación o proyectos de investigación) y de los objetivos estratégicos y la misión de cada organización. 

1. Reconocer la diversidad de las contribuciones a la investigación y de las etapas académicas de acuerdo con las necesidades y la naturaleza de la investigación.

2. Basar la evaluación de la investigación principalmente en la evaluación cualitativa apoyada por el uso responsable de indicadores cuantitativos.

3. Abandonar los usos inadecuados en la evaluación de la investigación de las métricas basadas en revistas, en particular los usos inadecuados del factor de impacto de las revistas (JIF) y el índice h

4. Evitar el uso de ranking de instituciones en la evaluación de la investigación.

5. Destinar recursos a reformar la evaluación de la investigación en la medida necesaria para lograr los cambios organizativos comprometidos.

6. Revisar y desarrollar criterios, herramientas y procesos de evaluación de la investigación.

7. Aumentar la concienciación sobre la reforma de la evaluación de la investigación en el ecosistema científico y proporcionar una comunicación, orientación y formación transparentes sobre los criterios y procesos de evaluación, así como sobre su uso.

8. Intercambiar prácticas y experiencias para permitir el aprendizaje mutuo dentro y fuera de la Coalición.

9. Comunicar los progresos realizados en la adhesión a los Principios y la aplicación de los Compromisos.

10. Evaluar las prácticas, los criterios y las herramientas basándose en pruebas sólidas y en el estado del arte en la evaluación de la investigación, y poner en abierto los datos recopilados.

El desarrollo del Acuerdo y la consecución de los plazos se organiza en torno a dos líneas de trabajo diferentes: los grupos de trabajo y los Capítulos Nacionales. Los Grupos de Trabajo están basados en un enfoque ascendente con la participación voluntaria de los miembros, operando como "comunidades de práctica", proporcionando aprendizaje mutuo y colaboración en áreas temáticas específicas. Los miembros participantes intercambian conocimientos, aprenden de la experiencia de los demás, debaten y desarrollan productos para avanzar en la evaluación de la investigación y apoyar la aplicación de los compromisos de los miembros. Los Capítulos Nacionales (CN) facilitan el intercambio de conocimientos, el aprendizaje mutuo y los debates sobre cuestiones relevantes de los distintos tipos y misiones de las organizaciones científicas de un país determinado. Se comprometen también a compartir las lecciones aprendidas con otros CN y a fomentar las sinergias y el aprendizaje mutuo con los Grupos de Trabajo pertinentes de CoARA.

En julio de 2023, el Comité Permanente de CoARA aprobó la propuesta del National Chapter Spain (Capítulo Español) compuesto por el CSIC, CRUE y ANECA que se presentó oficialmente el 9 de febrero de 2024. En el Capítulo Español se planifican los objetivos a alcanzar con la reforma de la investigación en España para 2030, mediante el diseño e implementación de sistemas de evaluación que respeten los compromisos del Acuerdo y su aplicación en proyectos piloto de las diferentes instituciones receptoras. Para aplicar la reforma simultáneamente de forma gradual y minimizando riesgos en el desarrollo de las carreras de investigación, es fundamental hacer un seguimiento de estos estudios piloto en sus distintos niveles (individuos, instituciones e investigación) evaluando el impacto en la comunidad científica y en los propios organismos evaluadores. Actualmente, participan en esta iniciativa nacional un total de 84 instituciones españolas: 12 agencias de calidad, 11 centros de investigación, un organismo financiador de la investigación, dos asociaciones y 58 universidades. 

La misión de la Comisión CoARA del CSIC es adaptar al escenario CSIC los compromisos en materia de evaluación mediante un análisis institucional profundo que permita diseñar una propuesta de evaluación flexible y multidimensional y su progresiva adaptación a las prácticas de evaluación de la actividad científica del CSIC. La Comisión CoARA-CSIC se crea en junio de 2023, con los siguientes objetivos:

1. Revisar y alinear el actual sistema de evaluación de la actividad investigadora con el paradigma de la ciencia abierta considerando la diversidad de actividades y resultados de la actividad científica, como son el acceso abierto a resultados de investigación, la transferencia al sector empresarial, a las administraciones públicas y a la sociedad, la divulgación y la cultura científica, entre otros. Estos son aspectos, que, en la actualidad, se consideran parte de la actividad investigadora y para los que se plantea definir indicadores de relevancia objetivos y ponderables.

2. Considerar el proceso y los ámbitos en los que se desarrolla la investigación teniendo en cuenta la inter y multidisciplinaridad, el componente de género, impacto social, formación, mentoría etc.

3. Actuar de forma coordinada con los otros agentes internacionales (CoARA internacional, DORA, etc.) y nacionales (ANECA y CRUE) implicados en la aplicación de los nuevos parámetros que se definan para evaluar la actividad investigadora.

4. Dotar al CSIC de la metodología, la cultura y las herramientas necesarias para llevar a cabo estos objetivos.

La Comisión CoARA CSIC está compuesta por 18 personas con una amplia variedad de perfiles de especialización y se organiza en torno a tres grupos de trabajo:

1. Grupo análisis de las prácticas de evaluación CSIC: criterios y metodologías

2. Grupo sensibilización y comunicación

3. Estrategia CSIC para adoptar CoARA

Con todo ello se espera desarrollar durante 2024 una propuesta para prácticas de evaluación CSIC y metodología de aplicación, la agenda de acciones y recursos necesarios para llevarlas a cabo y un plan de formación y comunicación. Además, se espera definir e implementar el futuro Current Research Information System (CRIS).

Coordinadora: Isabel Varela Nieto (Vocal Asesora Presidencia)

Vicepresidencias: Fco. Javier Moreno Fuentes (VRI), Chema Martell (VICYT), Ana Castro Morera (VIT)

Unidades de Presidencia: Elena Corera (UNIN, presidencia), Jaime Pérez del Val (VACC, presidencia), Carmen Guerrero (VACC, presidencia), Carmen Mayoral (Vicepresidenta Ejecutiva CMyC CSIC, Gabinete Presidencia)

VRI-VORI-VICYT: Elena Domínguez (Delegada del CSIC en Bruselas y Representante CSIC en Grupo

Trabajo Research Assessment ERA 3, VRI), Agnès Ponsatí Obiols (Directora de la URICI, VORI), Elena Cartea González (VAACT, VICYT), Ada Ferrer Carbonell (Coordinadora del Área Sociedad, VICYT), Jordi Pérez Tur (Coordinador del Área Vida, VICYT), Marisol Martín González (Coordinadora del Área Materia, VICYT).

Expertos invitados: Zaida Chinchilla Rodríguez (Grupo de Métrica e Innovación en la Ciencia y la Tecnología IPP), Isidro Aguillo Caño (Laboratorio de Cibermetría, IPP), Jordi Molas Gallart (Director INGENIO), Alejandro Santos Botana (Servicio de Biblioteca y Documentación del ICMAB).