Indicadores para monitorizar la Ciencia Abierta

Ciencia abierta u Open Science (como se le conoce en inglés) se ha convertido en uno de los términos de moda en evaluación de la ciencia y política científica. Junto a ciencia responsable (Responsible Research) y ciencia ciudadana, se ha convertido en uno de los temas que mayor expectación y polémica suscitan en el entorno evaluativo y de gestión de la ciencia. El impulso y relevancia de dichos conceptos y sobretodo del primero, viene en gran medida, de la mano de la Comisión Europea, que en los últimos años ha apostado abiertamente por una política de incentivación a la apertura de los procesos científicos y la transparencia.

Sin embargo, la identificación de indicadores cuantitativos de monitorización para conocer hasta qué punto dicha apertura se está logrando, está siendo mucho más compleja de lo que se podría anticipar. Esto viene en cierta medida por lo ambiguo que resulta el concepto de Ciencia Abierta y por las discrepancias existentes sobre su definición por parte de diferentes agentes.

Para dar respuesta a ello, la Comisión Europea impulsó hace ya algunos años, distintas iniciativas en paralelo. Por una parte, se lanzó y actualiza de manera constante el Open Science Monitor, que monitoriza el porcentaje de publicaciones en Acceso Abierto producidas por los países miembro de la Unión Europea, así como algunos indicadores altmétricos agregados a nivel europeo. Su implementación no ha estado exenta de polémica y, a pesar de su nombre, en la actualidad se centra exclusivamente en el Acceso Abierto, entre otras razones, por las discrepancias mencionadas sobre el concepto de Ciencia Abierta, así como por la escasez de indicadores disponibles para monitorizarla.

Por otro lado, la Comisión Europea ha puesto en marcha varios comités de expertos para que emitan informes de carácter independiente, con sus recomendaciones sobre posibles líneas de acción que podría seguir la Comisión Europea. El primero de ellos, se centró en el potencial de los indicadores altmétricos como posibles indicadores de monitorización de acceso abierto. El informe, titulado ‘Next-generation metrics and evaluation for open science‘ no resultó concluyente, y más que una propuesta de indicadores, incluyó una serie de advertencias sobre las limitaciones de las altmétricas y su carácter prematuro para poder ser empleadas de manera sistemática para la monitorización de la ciencia abierta.

El segundo comité de expertos no se centró en el potencial de un tipo de indicadores específico para monitorizar el acceso abierto, sino que directamente se centraba en buscar y proponer indicadores de acceso abierto. El resultado está disponible desde finales del pasado año en un informe llamado ‘Indicator frameworks for fostering open knowledge practices in science and scholarship‘. Sus conclusiones, no muy concluyentes. En esta entrada resumiremos brevemente los principales resultados del informe en aras de arrojar algo de luz sobre la situación actual en lo relativo al desarrollo de indicadores de acceso abierto.

A vueltas con la definición de Ciencia Abierta

Lo primero que hacen los autores del informe, es aclarar que el concepto Ciencia Abierta no tiene una definición consensuada y global. Diferentes comunidades entienden diferentes cosas por Ciencia Abierta. Así, estas son algunas de las acepciones por las que responde este concepto (aquí no está exactamente tal cuál aparece en el informe, sino que me he tomado alguna licencia):

• Ciencia Abierta para aumentar la eficiencia investigadora. Aquí el objetivo es que mediante la compartición de datos científicos, software y publicaciones se podrán maximizar los esfuerzos de los investigadores y evitar redundancias. El énfasis según esta acepción debería estar en el desarrollo de infrastructuras que hagan esto posible.
• Ciencia Abierta para la sociedad. Lo que implica no sólo permitir acceso a los resultados investigadores, sino incluir a la ciudadanía en los procesos de creación y diseño de agendas de investigación, divulgar los resultados de investigación e incluir a los ciudadanos en procesos de co-creación del conocimiento. Una acepción muy cercana al concepto de Ciencia Ciudadana.
• Ciencia Abierta para cohesionar la comunidad científica. Al compartir los diferentes productos científicos, se facilita y se promueve la colaboración entre investigadores.
• Ciencia Abierta para acabar con los males de la bibliometría. Donde el objetivo es impulsar indicadores de carácter alternativo que acaben los daños que un mal uso de los indicadores bibliométricos han hecho a la ciencia y que se resumen en documentos como la Declaración DORA o el Manifiesto de Leiden.
• Ciencia Abierta a la transparencia. Entendida como aquella en la que los diferentes procesos y productos de la actividad investigadora se hacen públicos, facilitando la transparencia y la reproducibilidad. Esta definición responde a la actual crisis de reproducibilidad que vive la ciencia mundial.
  

Obviamente, la perspectiva adoptada hará que unos indicadores sean más pertinentes que otros.

Marcos de uso de indicadores o indicator frameworks

Los autores destacan que sus recomendaciones deberían en cierto modo, satisfacer todas las perspectivas, por lo que descartan incluir una recomendación de indicadores universales de Ciencia Abierto, apostando por lo que ellos llaman Marcos conceptuales para el uso indicadores y que no es otra cosa, que hacer una selección de indicadores en función del contexto y propósito de la evaluación. Para ello, en primer lugar, recuerdan las distintas razones que pueden llevar al uso de indicadores cuantitativos: monitorización, aprendizaje o distribución de recursos. Así como los diferentes niveles de agregación a los que se puede calcular: macro, meso y micro.

La propuesta principal del informe es considerar las siguientes dimensiones a la hora de crear un marco conceptual de aplicación de indicadores:

1. Objetivo de la evaluación: monitorización, aprendizaje o distribución de recursos
2. Misión de la investigación a analizar. Se trata de responder a la naturaleza de la investigación. Por ejemplo, si estamos hablando de investigación básica, buscar integrar a la ciudadanía en procesos de co-creación carece de sentido.
3. Nivel de agregación. Nivel de individuos, departamentos, instituciones…
4. Estructuras disciplinares y culturas epistémicas. Tiene que ver con las prácticas de generación de conocimiento y de comunicación. El clásico ejemplo es el de las Humanidades, donde medir números de artículos de revista en Acceso Abierto puede no tener tanto sentido como buscar artículos publicados en prensa y medios de comunicación.
5. Público, beneficiarios, actores sociales. Identificar el público último al que van dirigidos los esfuerzos de investigación es esencial para plantear indicadores de apertura de la ciencia.
6. Medio de investigación o de trabajo. Tiene que ver con las condiciones de trabajo o institucionales y si éstas presentan un entorno favorable o no para facilitar la apertura de los procesos de investigación.

Un propuesta desigual y descompensada

El informe concluye con cuatro casos diferentes en los que se aplican los criterios anteriores para mostrar su funcionamiento en la práctica y una serie de recomendaciones en las que básicamente se incide en el uso responsable de los indicadores. En líneas generales, el informe dedica más espacio a hablar sobre los problemas que a aportar soluciones serias. Su propuesta resulta especialmente ambigua y en ningún momento entran en cuestiones de carácter técnico, que en gran medida son uno de los grandes impedimentos para el desarrollo de indicadores. En cualquier caso, un buen ejemplo de las discusiones que están teniendo lugar actualmente y las discrepancias sobre el significado de Ciencia Abierta.