Las revisiones sistemáticas de las revisiones sistemáticas de las revisiones sistemáticas… y los trabajos de síntesis

Tenía que suceder, las revisiones sistemáticas, diseñadas a modo de compendios para combatir la inflación informativa, también están sufriendo inflación. Cito textualmente:

It became apparent that systematic reviews of individual studies were required to appraise, summarise and bring together existing studies in a single place. However, decision makers are increasingly faced by a plethora of such reviews and these are likely to be of variable quality and scope, with more than one review of important topics. Systematic reviews (or overviews) of reviews are a logical and appropriate next step”

 

Smith V, Devane D, Begley CM, Clarke M. Methodology in conducting a systematic review of systematic reviews of healthcare interventions. BMC Med Res Methodol. 3 de febrero de 2011;11(1):15

Pero no ha sido ese trabajo el que ha llamado mi atención sobre este tipo de publicaciones científicas. En realidad ha sido otro más reciente, pero menos apreciable y que no citaré porque me parece demasiado simplón y de poca utilidad.

Cómo se definen y para qué sirven

Una revisión sistemática emplea métodos explícitos para identificar, seleccionar y valorar trabajos publicados sobre un tema concreto y para recopilar y analizar los datos presentes en esos mismo trabajos.

Eventualmente, se pueden añadir diversos análisis estadísticos para comparar y resumir los resultados cuantitativos de los mismo trabajos. En este caso, un llamado meta-análisis acompaña a la revisión sistemática.

He tomado estas definiciones de la versión de 2005, revisada informalmente a lo largo de 2010, del Cochrane Collaboration Glossary es decir, de la máxima autoridad en lo que respecta a los documentos de síntesis científica. Al fin y al cabo hablamos de una organización independiente donde casi 30.000 científicos se agrupan para sintetizar de forma crítica el conocimiento disponible y hacer que la práctica médica se base en las evidencias que ese conocimiento proporciona. Los documentos que sirven de base a las revisiones sistemáticas realizadas por la Cochrane Collaboration son mayoritariamente ensayos clínicos aleatorios pero si la siguente pregunta es si las revisiones sistemáticas son exclusivamente médicas la respuesta es no.

He consultado PubMed para obtener el número de trabajos que contienen en sus títulos la expresión “systematic review”. Después he repetido los cálculos limitando los resultados a aquellos que contuvieran “Spain” en el campo address. Ya se sabe que PubMed no proporciona resultados fiables cuando se limita geográficamente una búsqueda. Esto me ha obligado a repetir la búsqueda de trabajos españoles con “systematic review” en el Web of Science. Los resultados de las tres consultas se reflejan en los tres trazados de la figura 1, donde la escala es porcentual y la base 0 es el año 2000. Los trabajos de PubMed, en azul, han crecido esde 538 en 2000 a 6261 en 2011; los españoles desde 11 a 120 o desde 47 a 674, según veamos el trazado rojo (PubMed) o verde (WoS). Lo más interesante no es ese cambio de magnitud en los tres trazados: lo que la figura no refleja es que hay trabajos españoles en WoS que contienen la expresión “systematic review” y ha sido publicados en revistas de Biología, de Ecología, de Economía, de Psicología Social y hasta de Ingeniería del Software.

Figura 1. Variación porcentual entre 2000 y 2011 del número de trabajos que incluyen en sus títulos la expresión “systematic reviews”. En azul los registros de PubMed. En rojo los trabajos españoles de PubMed y en verde los trabajos españoles del Web of Science

El mismísimo Sir Iain Chalmers prefiere el término “síntesis de investigaciones” al de revisiones sistemáticas porque, entre otras razones, fue la denominación que eligieron los científicos sociales, los primeros en emplear esta metodología en el periodo de la postguerra. Cuirosamente, las técnicas de meta-análisis son muy anteriores, aunque el término se acuñara en 1976.

El modelo ampliado de Garvey y Griffith y los trabajos de síntesis

Yo también prefiero llamar a estos documentos “trabajos de síntesis” (research systhesis en el original de Sir Iain Chalmers) porque esta denominación ayuda a situarlos adecuadamente en el flujo del trabajo científico y las publicaciones acompañantes. He reproducido en la Figura 2 el modelo que William D Garvey y Belver C Griffith utilizaron para describir en los años 70 el flujo de información y datos en Psicología. Julie M Hurt lo ha ampliado en dos ocasiones y Bo-Christer Björk (nada que ver, no creáis) lo ha tomado como base para aplicar un método procedente de la ingeniería industrial al proceso de comunicación científica.

Figura 2. El modelo de comunicación científica de Garvey y Griffith ampliado por Julie M Hurd.

Lo importante para mí es observar a qué altura del modelo se produce la aparición del tipo documental que estoy comentando. Si hablamos de “revisión sistemática” está claro que nos referimos al punto 2 del esquema y entonces la noción de revisión es totalmente pasiva: una revisión sistemática es un trabajo ajeno que tiene en cuenta eventualmente nuestros originales y, por tanto, los cita. La alternativa es que nos consideremos a nosotros mismos potenciales autores de una revisión sistemática. En este caso nos alejaríamos hasta el punto 3, porque tendríamos que esperar a ese punto para que la consulta de las bases de datos bibliográficas (y seguramente las bibliométricas) nos proporcionara noticia de los trabajos a revisar.

Sin embargo, y esto es importante, lo que falta en ese esquema es la idea de ciclo: cuando iniciamos una investigación nos encontramos con una base de conocimiento, un corpus en el que habremos de aportar nuesra propia ciencia. Por esa razón el trabajo de síntesis se ha de realizar cada vez que se inicia una línea de investigación, llámese trabajo de fin de carrera, tesis doctoral o proyecto europeo. Dos preguntas, entonces, con sus respuestas:

¿ Son los trabajos de síntesis imprescindibles ? Sí

¿ Es imprescindible publicar trabajos de síntesis ? Más vale que no.

Según los datos de la Colaboración Cochrane, cada día aparecen 75 nuevos ensayos clínicos y 11 revisiones sistemáticas; y no parece que esto vaya a parar. Desde febrero pasado se publica la revista Systematic Reviews. ¿ Alguien quiere adivinar de qué va?

La profusión de publicaciones de este tipo no es el tema de esta entrada en el blog. La recomendación de realizar trabajos de síntesis, sí. Pero sería bueno contar con algunas normas ¿ no?

Claro, cuestión de alambique… y me explico.

Una revisión sistemática presenta las siguientes características:

  1. una lista de objetivos claramente establecidos con una metodología reproducible;
  2. una búsqueda sistemática para tratar de identificar los estudios que pudieran cumplir con los criterios de inclusión;
  3. una investigación de la validez de los hallazgos que presentan los estudios seleccionados, por ejemplo mediante la valoración del riesgo de sesgos, y naturalmente
  4. una presentación sistemática y sintética de las características y el contenido de tales estudios.

Las operaciones anteriores se estructuran claramente en dos fases. La primera es la fase de selección, la segunda es la fase de análisis. Pues bien, la mayoría de las revisiones analíticas que he consultado dedican casi la totalidad de su extensión a la fase de selección y depuración de los estudios a revisar y, en ocasiones, su análisis y conclusión se reducen a una frase. Por ejemplo a ésta:

Among interventions reporting positive results a combination of individualised diet and physical activity goals, self-monitoring and performance feedback indicators were described as active components

Brown MJ, Sinclair M, Liddle D, Hill AJ, Madden E, et al. (2012) A Systematic Review Investigating Healthy Lifestyle Interventions Incorporating Goal Setting Strategies for Preventing Excess Gestational Weight Gain. PLoS ONE 7(7): e39503.

A esta conclusión llegaron Mary Jane Brown y colaboradores tras examinar inicialmente 839 referencias, de las que al final seleccionaron cinco.

Cinco.

Un proceso tan alambicado casi merecería llamarse ley del embudo, aunque ni yo ni nadie debe dudar de la imparcialidad de este estudio.

Entre 1996 y 1999 un grupo de especialistas elaboró y emitió una declaración sobre la Quality of Reporting of Meta-analyses, abreviada QUORUM. Entre 2005 y 2009 evolucionó hacia una declaración más genérica: Preferred Reporting Items for Systematic reviews and Meta-Analyses o PRISMA. Nos hallamos ante una lista de control de 27 apartados. De ellos, siete están relacionados con la selección de fuentes y estudios previos, cinco con la redacción de los diversos apartados, desde el título a las conclusiones de la revisión y el resto con el análisis del contenido de los estudios revisados.

El diagrama adjunto lo ilustra con total claridad.

Selección en PRISMA

Figura 3. Diagrama de la fase de selección de trabajos en una revisión sistemática. Procede de http://dx.doi.org/10.1371/journal.pmed.1000100

Hago constar finalmente que un reciente suplemento del Journal of Internal Medicine (junio de 2012) publica guías de métodos sobre los métodos, es decir, artículos metodológicos sobre cada una de las fases del método que se emplea para la revisión.

Queda claro.

¿ Tiene todo esto algo que ver con la escritura científica?

Mucho pero, además, tiene que ver con la combinación entre el trabajo de investigación (vulgo: “la experimental”) y la comunicación de los resultados (vulgo: “el escribir”).

Uno de los mayores errores que el investigador puede cometer es olvidar el seguimiento de la literatura para concentrarse exclusivamente en el trabajo de laboratorio y sólo a su conclusión atender a lo que se ha estado cociendo en su campo de investigación. ¿ No es triste que un candidato a doctor-en-lo-que-sea haya pasado cuatro años en la inopia?

Es cierto que las revisiones sistemáticas son más frecuentes en medicina y que se destinan a facilitar conclusiones de importancia práctica.

El seguimiento continuo de la literatura es obligatorio y el análisis y elaboración de trabajos de síntesis debería formar parte de las rutinas de todo candidato a científico, no digamos de sus supervisores. Las revisiones sistemáticas son un buen modelo y, además, una forma muy práctica de evitar el amontonamiento de trabajos, impresos o en soporte electrónico, que amenazan con expulsarnos del despacho o la poyata a golpe de ácaros.

Se me ocurre que los científicos sociales con sus working papers tienen mucho que enseñar a los demás. Durante años cometí el error de traducir working paper por “trabajo en curso” cuando simplemente debería llamarlos “documentos de trabajo”. Muchos de ellos, muchísimos, son el realidad documentos de síntesis que analizan detenidamente los desarrollos científicos alrededor de uno u otro fenómeno social. Que acaben en un repositorio o no, no obsta: son documentos destinados al aprendizaje antes que al “narcisismo” intelectual.

Advertisements

One thought on “Las revisiones sistemáticas de las revisiones sistemáticas de las revisiones sistemáticas… y los trabajos de síntesis

  1. Pingback: De nuevo las revisiones y trabajos de síntesis: la taxonomía de Harris Cooper | Undertakings, studies, and labours

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s