¿Podría automatizarse el proceso de revisión por pares de los artículos científicos?
Autora: Leslie Katherine Vargas
El Sistema de revisión por pares se constituye en la piedra angular de la validez de las publicaciones científicas.
Los pares son expertos independientes, que trabajan en el área temática del artículo y por lo tanto manejan información actualizada, permitiéndoles hacer un proceso de revisión crítica y plantear sugerencias para mejorar o complementar los resultados. (1)
El revisor debe valorar la originalidad en la pregunta de investigación, el uso de la metodología correcta y de formarigurosa, así como la adecuada interpretación de los datos. Adicionalmente debe reconocer los conflictos de interés o las faltas éticas, además de respetar la confidencialidad y propiedad intelectual de los autores. (2)
Ser un par revisor es un privilegio, un reconocimiento como experto en el tema; pero confiere una responsabilidad muy grande y teniendo en cuenta los procedimientos que se deben realizar, es un trabajo que demanda mucho tiempo y que no tiene remuneración.
La revisión se puede hacer de diferentes formas; abierta, en donde revisores y autores conocen sus identidades; cerrada, en donde los revisores conocen la identidad de los autores, pero estos desconocen la de los revisores y doble ciego, donde ni autores ni revisores conocen las identidades.
Pero la revisión por pares no escapa a las críticas. Las más importantes son la alta subjetividad, el sesgo según los intereses que pueda compartir con los autores, la limitación en detectar errores en el proceso científico e incluso la posibilidad de no ver fraude, la dificultad para conseguir expertos en determinados tópicos y el hecho de que no hay una evidencia real de eficacia. (3-4)
Buscando optimizar las revisiones se han desarrollado herramientas automatizadas que facilitan la actividad ypermiten disminuir los tiempos, sin poner en riesgo la certeza del proceso. (5)
CrossCheck es un ejemplo. Se trata de un proyecto internacional creado para proteger los derechos de autor y detectar el plagio, reconociendo de forma automática publicaciones duplicadas, autoplagio, copia de los métodos con nuevos datos incluidos y párrafos no citados. (6)
Una revisión sistemática y metaanálisis determinó la frecuencia de plagio en artículos científicos estimados a partir de publicaciones que utilizaron software de comparación de textos para identificarlo. El resultado reveló que el 18 % (95 % IC: 12–25 %) de los artículos teníanplagio. Se concluyó que el software es efectivo, pero solo permite detectar plagio basado en texto y requiereverificación humana adicional. (7)
SciScore™ es la mejor herramienta de revisión de materiales y métodos para artículos científicos. Utiliza técnicas de minería de texto para realizar la validación crítica en minutos, así como una puntuación numérica, que permite a los editores evaluar el porcentaje de criterios cumplidos o no de forma rápida. (9)
La puntuación se basa en estándares como MDAR (Materials Design Analysis Reporting), ARRIVE (Animal Research: Reporting of In Vivo Experiments), CONSORT (Consolidated Standards of Reporting Trials) y RRID(Research Resource IDentification).
Permite detectar declaraciones de ética y consentimientoinformado, cegamiento y aleatorización, tamaño del efecto, cálculos del tamaño de la muestra para evaluar si el estudio fue diseñado para detectar un efecto de un tamaño esperado.
ODDPub (Detección de Datos Abiertos en Publicaciones)usa un algoritmo de minería de texto que filtra publicaciones biomédicas y detecta uso de datos abiertos. Puede detectar el intercambio de datos a través de repositorios específicos, repositorios de propósito general o suplementos. Además,puede detectar código de análisis compartido (Open Code).(10)
Kilicogluh/limitation-recognizer es una herramienta que utiliza minería de texto para reconocer las limitaciones de la investigación. El registro de estas limitaciones en el texto del artículo es necesario para la correcta interpretación de los resultados. (11)
La evaluación de los métodos estadísticos es una de las tareas que más demandan tiempo en un proceso de revisión yStatcheck es un programa que busca errores estadísticos, originalmente escrito en el lenguaje de programación R.
Actualmente se puede usar statcheck/web para verificar cualquier PDF en busca de estos errores sin necesidad de instalar R; simplemente cargando un archivo PDF o HTML se pueden identificar discrepancias entre los grados de libertad, la prueba estadística y el valor de p. (8)
Statcheck rehace los cálculos descritos en cada artículo y compara los dos valores para ver si coinciden. Tiene comodesventaja que solo puede detectar los resultados informados de forma completa y de acuerdo con las pautas de la APA, y no puede detectar estadísticas que están incluidas únicamente en las tablas del documento. (12)
CONCLUSIONES
La revisión por pares es un proceso esencial para evaluar tanto la veracidad, como la calidad de los resultados de investigación, para lo cual se requieren expertos temáticos que no necesariamente tienen la experiencia como pares revisores.
El uso de herramientas automatizadas ayuda a homogenizar el procedimiento y le añade transparencia. Además, los tiempos prolongados de publicación podrían reducirse de forma significativa si se pudieran adoptar por parte de las revistas científicas.
Sin embargo, aún es necesario ahondar en la investigación, validación y mejoramiento de las existentes para ampliar su uso.
BIBLIOGRAFIA
1. Jefferson T, Alderson P, Wager E, Davidoff F. Effects of editorial peer review. A systematic review. JAMA. 2002; 287:2784—6.
2. Benos DJ, Kirk KL, Hall JE. How to review a paper. Adv Physiol Educ. 2003; 27:47—52.
3. Kliewer MA, Freed KS, DeLong DM, Pickhardt PJ, Provenzale JM. Reviewing the reviewers: comparison of review quality and reviewer characteristics at the American Journal of Roentgeno-logy. AJR. 2005; 184:1731—5.
4. Smith R. Peer review: a flawed process at the heart of science and journal. J R Soc Med. 2006; 99:178—82.
5. Schulz R, Barnett A, Bernard R, et al. Is the future of peer review automated? BMC Res Notes. 2022 Jun 11;15(1):203.
6. Zhang HY. Crosscheck: an effective tool for detecting plagiarism. Learned Publishing. Volume23, Issue1. January 2010. Pages 9-14
7. Pupovac, V. The frequency of plagiarism identified by text-matching software in scientific articles: a systematic review and meta-analysis. Scientometrics 126, 8981–9003 (2021).
8. Journal of Experimental Social Psychology. JESP piloting the use of Statcheck. 2017
9. Menke J, Roelandse M, Ozyurt B, Martone M, Bandrowski A. The Rigor and Transparency Index Quality Metric for Assessing Biological and Medical Science Methods. iScience. 2020 Oct 20;23(11):101698.
10. Riedel, N, et al. ODDPub – a Text-Mining Algorithm to Detect Data Sharing in Biomedical Publications. Data Science Journal 2020, 19: 42, pp. 1–14.
11. Halil Kilicoglu, Graciela Rosemblat, Mario Malički, Gerben ter Riet, Automatic recognition of self-acknowledged limitations in clinical research literature, Journal of the American Medical Informatics Association, Volume 25, Issue 7, July 2018, Pages 855–861
12. Nuijten, M.B., Hartgerink, C.H.J., van Assen, M.A.L.M. et al. The prevalence of statistical reporting errors in psychology (1985–2013). Behav Res 48, 1205–1226 (2016).
aipocrates.org 