Automatización y Revisiones sistemáticas

Leslie Katherine Vargas.

Las revisiones sistemáticas (RS) recopilan y analizan críticamente la información proveniente de estudios primarios sobre un problema que no ha podido ser resuelto a partir de estos.

Son de gran ayuda cuando se empieza a acumular una cantidad creciente de evidencia de calidad variable y proporcionan una guía a la hora de tomar de decisiones por parte de los profesionales de la salud, investigadores, pagadores y por supuesto de los pacientes.

En los últimos años el crecimiento de las publicaciones sobre aplicación de herramientas de inteligencia artificial (IA) en medicina ha sido vertiginoso, por lo que es de esperarse que las revisiones sistemáticas sobre el tema vayan también en aumento.

La importancia en este contexto radica en que las RS nos permiten conocer la mejor evidencia disponible que ayude a implementar herramientas de IA tanto en el sector salud como en investigación. Sin embargo, la certeza de la evidencia que surge de una RS depende no solamente de su propia rigurosidad metodológica, sino de la calidad de los estudios primarios.

En el caso de la IA en medicina, se debe tener en cuenta la gran cantidad de estudios observacionales y el riesgo de sesgo de selección de los datos que habitualmente son datos que no han sido recolectados para el objetivo de la investigación ¹.

Por otro lado, es interesante pararse del otro lado de espejo y analizar cómo puede aportar la IA en la elaboración de RS.

La elaboración de una revisión sistemática requiere tiempos prolongados debido a su misma estructura. Las etapas relevantes son:

Los principios de Viena ² enmarcan los procesos de automatización para mejorar la velocidad en la realización de las RS. Enfatizan en su importancia para el mejoramiento continuo, la ayuda de estas herramientas en cualquier etapa de la elaboración, la importancia de mantener estándares altos, la necesidad de la evaluación continua y en la necesidad de que sean herramientas compartidas gratuitamente.

Las herramientas de revisión sistemática automática se pueden clasificar en³:

1. De visualización: utilizan el aprendizaje activo, una combinación de una técnica de procesamiento del lenguaje natural, un clasificador de aprendizaje automático y trabajo humano.
2. Automatizadas:  emplean procesamiento del lenguaje natural y un clasificador, pero utilizan documentos etiquetados y ninguna interacción humana durante el proceso de aprendizaje.

AbstrakR y ASReview han sido creadas para selección de bibliografía y se basan en aprendizaje activo. Un algoritmo de búsqueda devuelve colecciones de estudios sobre un tema para que luego el investigador etiquete los textos determinando la relevancia. El proceso se repite varias veces hasta que el algoritmo se entrena lo suficiente como para que pueda replicar la opinión del experto. La limitación está en el sesgo hacia una lista preseleccionada de referencias.

ExaCT, EPPI-Reviewer y RobotSearch son totalmente automáticas y aprenden a partir de la exposición a una gran cantidad de datos (artículos de revistas), sin la participación humana.

Herramientas validadas:

Adaptado de Khalil H, Ameen D, Zarnegar A. Tools to support the automation of systematic reviews: a scoping review. J Clin Epidemiol. 2022 Apr; 144:22-42.

Aunque el número de estas herramientas ha ido en aumento, es necesario tener en cuenta sus limitaciones al momento de usarlas.

1. Falta de generalización: la mayoría han sido probadas con preguntas de investigación puntuales y tipos de estudios específicos (ensayos clínicos aleatorizados en su mayoría).
2. No todas se han comparado contra el trabajo realizado por personal humano.
3. La mayoría se han probado únicamente con artículos publicados en idioma inglés.
4. Algunas requieren entrenamiento previo.
5. Falta de integración de estas herramientas en sistemas mas grandes utilizados en la elaboración de las RS.
6. No todas son de libre acceso lo cual impacta no solo en el poco uso sino en la imposibilidad de ser validadas en diferentes áreas.
7. Falta de recursos para continuar su desarrollo y mejoramiento.

Conclusiones:

Las revisiones sistemáticas nos brindan la mejor evidencia disponible para la toma de decisiones en salud, pero su elaboración es difícil debido a la cantidad de trabajo que demandan.

La utilización de herramientas automáticas permitirá simplificar el proceso y acortar tiempos, sin embargo, aún se requiere hacer mas validaciones y una mayor familiaridad con su uso.

Bibliografía.

1.          Von Groote T, Ghoreishi N, Björklund M, Porschen C, Puljak L. Exponential growth of systematic reviews assessing artificial intelligence studies in medicine: challenges and opportunities. Systematic Reviews. 2022;11(1):132.

2.          Beller E, Clark J, Tsafnat G, et al. Making progress with the automation of systematic reviews: Principles of the International Collaboration for the Automation of Systematic Reviews (ICASR). Systematic Reviews. 2018;7(1).

3.          Khalil H, Ameen D, Zarnegar A. Tools to support the automation of systematic reviews: a scoping review. Journal of Clinical Epidemiology. 2022;144:22-42.