Por qué y cómo realizar una revisión sistemática sin que el intento acabe en catástrofe.

En los primeros días de marzo tendrán lugar de forma simultánea la quinta edición de la AQUAGAMETE Training School y la Marie Sklodowska Curie Action Innovative Training Network IMPRESS. Sus organizadores me pidieron que dirigiera a sus alumnos, doctorandos europeos, un par de sesiones sobre escritura científica. Esta entrada es el borrador de una de las partes. En los próximos días prepararé otra dedicada a los resúmenes ampliados. Aunque las presentaciones serán en inglés, he escrito estos borradores en castellano para poder convertirlos en entradas de este blog que, aunque parezca mentira, se está popularizando en algunos países de América.
Por lo que he podido saber, estos estudiantes (lo de PhD candidates me parece una cursada aún mayor que lo de postdocs) y las redes en que se integran sus centros, investigan en Acuicultura y Biología Marina. Las últimas tesis doctorales de sus departamentos se centran en la cría del pulpo común (octopus vulgares) y, claro, me ha faltado tiempo para incluir una chunga con el chunga del pulpo (éstos del grabado parecen pulpos gigante del Pacífico).
Ojala que todo el mundo aproveche el esfuerzo !

Revisar la literatura es una parte fundamental de la actividad científica. Para empezar, permite reducir a cantidades “digestibles” el inmenso volumen de información que se genera continuamente. Además, los investigadores realizan revisiones para identificar, justificar y refinar hipótesis; para reconocer y corregir errores en los trabajos anteriores, y para determinar el tamaño estadístico de las muestras. A estas razones cabe añadir otra de índole sociológico: el autor de una revisión está “marcando territorio”, declarándose experto y autoridad en el tema que compendia. Del mismo modo que empleamos enfoques rigurosos y transparentes al realizar investigaciones originales, debemos ser sistemáticos al recopilar estudios para (1) averiguar qué se ha investigado en una línea (realizar un mapa de investigación) o (2) para integrar los resultados de diferentes estudios para contestar una pregunta de investigación (realizar un trabajo de síntesis)
A continuación sostengo que es necesario que estudiantes recién llegados a una línea de investigación realicen revisiones. Además defino y defiendo las revisiones sistemáticas como las más válidas y susceptibles de publicación, incluso por investigadores en ciernes. Después repaso las fases principales del trabajo de revisión.

El pulpo como ejemplo

Las revisiones convencionales se denominan narrativas o revisiones no estructuradas. Estas revisiones simples (por acortar) presentan perspectivas, el desarrollo histórico de las ideas y otras contribuciones conceptuales. Su gran subjetividad inherente (cada uno revisa los trabajos que quiere) el hecho de que sean difícilmente reproducibles y también el que sean tan poco apropiadas para tratar de la variación de los resultados de estudios diferentes limitan mucho su utilidad como trabajos de síntesis.
En todas ellas se realiza una operación: se parte del conjunto de trabajos publicados sobre un tema, lo que en teoría de conjuntos correspondería a una definición por extensión de ese conjunto, y se somete a un análisis que conduce a la definición por comprensión de uno o más conjuntos resultantes. Por ejemplo, el trabajo Role of olfaction in Octopus vulgaris reproduction
revisa 96 publicaciones anteriores y las organiza tratando de demostrar que el lóbulo olfatorio del pulpo común actúa como un órgano de control en el paso de la conducta alimenticia a la conducta reproductiva del animal. Los autores clasifican las publicaciones existentes distinguiendo su enfoque morfológico, fisiológico y endocrino; además, enumeran los mediadores químicos implicados en el proceso y los trabajos que identificaron cada uno de ellos. Finalmente, proponen un nuevo modelo del control reproductivo del pulpo común.

640px-Tako_to_ama_retouched

El shunga “Tako to ama” (Katsushika Hokusa, 1814) popularmente conocido por “Sueño de la mujer del pescador

 

Uno de los mejores libros españoles sobre redacción científica se publicó en 2007. En el capitulo dedicado a los tipos de publicación, Francesc Cardellach y Josep M Ribera escriben este párrafo:

“Debe evitarse aceptar artículos de revisión remitidos por médicos todavía demasiado jóvenes, probablemente aún sin la experiencia necesaria, pero que “aprovechan” una circunstancia determinada (por ejemplo la realización de una tesis doctoral) para llevar a cabo una amplia contextualización del tema y proponer el manuscrito a una publicación. Este esfuerzo es encomiable, pero no debería ser lo habitual, salvo excepciones muy concretas en que el experto senior haya contribuido muy estrechamente en su elaboración.”

Su opinión coincide con la de Robert B Taylor y la de muchos otros: un recién llegado a la investigación, como es el caso de un doctorando, no está capacitado para publicar una revisión de la literatura. En efecto, se achaca a las revisiones simples su subjetividad: los autores seleccionan aquellos trabajos anteriores que les parecen adecuados y descartan otros por razones igualmente personales. El gran argumento que permite disculpar la subjetividad de las revisiones narrativas es la autoridad: como sus autores suelen ser expertos en el tema en cuestión, se les supone un buen criterio a la hora de seleccionar los trabajos que han revisado. Por esta razón se piensa que las revisiones que realizan los recién llegados a un área y a una línea concreta de investigación no son fiables.
Se ha demostrado más de una vez que autores diferentes con la suficiente autoridad seleccionan trabajos diferentes y llegan a conclusiones diferentes aunque hayan revisado el mismo tema. No digamos si quienes acometen las revisiones son estudiantes de postgrado…

Una revisión siempre es necesaria y se inicia con un estudio panorámico.

¿ Cómo se espera que un estudiante se familiarice con el estado de conocimiento de una especialidad determinada ? ¿ Cómo identificar las cuestiones que orientarán su actividad intelectual e investigadora en sus próximos, digamos, cuatro años ?
Los estudiantes de postgrado, de master y doctorado, y hasta los que preparan su trabajo de graduación están obligados a realizar revisiones.
El punto de partida de una revisión es un estudio panorámico (scoping study) que traza de forma rápida los conceptos clave que soportan una línea de investigación y las principales fuentes y tipos de evidencia disponible. Este estudio puede tener interés en sí mismo, especialmente cuando el área es compleja y no se ha revisado con anterioridad de forma exhaustiva.
Se pueden identificar hasta cuatro razones que justifican la realización de otros tantos tipos de estudio panorámico:
Examinar el alcance y la naturaleza de la actividad de investigación. Este tipo de revisión rápida puede no ahondar en los detalles de los estudios revisados, pero es útil para obtener una visión del rango de material disponible.
Decidir sobre el interés de abordar una revisión sistemática completa. Una visión de la línea de investigación permite averiguar si existen trabajos en número suficiente como para revisarlos o si existen ya revisiones recientes que no merece la pena repetir.
Compendiar y diseminar resultados de investigación. Este enfoque permite describir con mayor detalle los hallazgos de los trabajos y, además, resumir su orientación general para transmitirla a colegas, responsables y otras instancias.
Identificar huecos y cuestiones pendientes en la literatura existente. Este tipo de estudio va algo más allá en la extracción de conclusiones a partir de los trabajos disponibles sobre el estado de una línea de investigación. Y es importante anotar que no es suficiente con averiguar si existen o no trabajos sobre un aspecto determinado del área de investigación. Además, es preciso juzgar si las investigaciones realizadas han sido de suficiente calidad.

Cualquiera que sea del tipo de revisión que nos propongamos ¿ Qué pasa si se declara los criterios que seguidos y las fuentes que utilizadas en la selección de los trabajos previos ? ¿ Qué ocurre si su autor o autores permiten que cualquiera pueda seguir su procedimiento para que otros autores y hasta los revisores de una revista puedan contrastar la calidad de la recopilación bibliográfica realizada ?
Una buena revisión siempre es aceptable y hasta conveniente para una revista y algunas revisiones realizadas por recién llegados a la investigación tienen interés. Lo que hace que una revisión simple sea digna de publicación es que se realice de forma sistemática.
La revisión sistemática es un trabajo de síntesis sobre un tema definido concretamente y que emplea métodos explícitos para identificar, seleccionar, valorar críticamente y analizar investigaciones relevantes sobre el mismo tema. El elemento crucial de una revisión sistemática que la diferencia de una mera revisión narrativa es su protocolo que, antes de la realización de la revisión, establece su método, incluyendo una estrategia de búsqueda detallada y los criterios de selección de los trabajos.
Así pues, una revisión sistemática generalmente contiene:

(1) una pregunta claramente definida,
(2) la identificación de las publicaciones relevantes,
(3) la exposición de los criterios por los que se aceptan algunas y se rechazan otras,
(4) un resumen de las evidencias que cada una aporta y
(5) una interpretación de los hallazgos y formulación de las correspondientes conclusiones.

Uno de los indicadores clave de que un proceso sigue un método sistemático es que dicho procedimiento se describe de entrada, a priori.
Las revisiones sistemáticas pueden ser cualitativas, cuantitativas o ambas cosas. Las revisiones cualitativas se limitan (y ya es bastante) a recopilar, resumir y organizar la evidencia disponible sobre el tema. Las revisiones sistemáticas cuantitativas, que también se llaman metaanálisis (usualmente en inglés se escribe meta-analysis) implican la síntesis estadística de los datos procedentes de estudios diferentes y conducen a un resumen cuantitativo de los conjuntos de resultados.

Definición del tema o la pregunta de investigación

De todas las escenas que un investigador novel puede interpretar, la más dura es la que lo sitúa frente a su tutor o director de tesis, que le pregunta ¿ Y tú qué quieres hacer ?. La respuesta no es fácil. Uno puede pecar de ingenuo y balbucear sobre un tema trillado. También de extraterrestre, y mencionar un objetivo imposible. La respuesta del despistado no tendrá nada que ver con las líneas de investigación del departamento o laboratorio en cuestión… Lo natural y lo más fácil es que la pregunta surja de una conversación más o menos prolongada entre pupilo y tutor y que no trate de abarcar grandes cuestiones ni proponer como objetivo la paz mundial. En otras palabras, ni ambición desmedida ni objetivos timoratos: el alcance del trabajo se ha de ajustar a las posibilidades personales y materiales del candidato y de su entorno. Habrá quien pueda afrontar preguntas tan complejas como ¿ Es segura la fluroración del agua de bebida ? u otras más sencillas del estilo ¿ Reconocen los pulpos a los humanos individualmente ?. Preguntas tan generales se han de desglosar en otras más específicas, por supuesto, pero en todo caso unas y otras se han de formular con claridad. Más adelante menciono que el proceso es recursivo, que se puede volver sobre una operación y ajustar su resultado, pero esta característica no afecta a la formulación de la pregunta o definición del tema principal.

La identificación de los trabajos

Hay una contradicción inherente en la investigación: se requiere a toda costa que un trabajo sea original pero cualquier tema, por infrecuente que sea, origina muchas publicaciones. Por ejemplo, la relación entre la lateralidad en la visión del pulpo y su elección de qué brazo desplegar, se ha estudiado en al menos 10 trabajos recientes.  En ocasiones, un tema especialmente popular o frecuentado origina un número inabarcable de publicaciones. En todo caso, la dificultad en identificar los trabajos es más cualitativa que cuantitativa y se refiere a (1) qué sistema de información bibliográfica consultar, y (2) cómo traducir la complejidad de la pregunta de investigación a una formulación adecuada de búsqueda. Por ejemplo, una revisión sobre la alimentación del puerco (el cerdo destinado a consumo humano, para entendernos) se enfrenta con la sinonimia porc/pig/hog y luego con feeding/food/diet. El empleo de estos términos efectivamente permitiría identificar el trabajo

Effects of feeding diets containing distillers’ dried grains with solubles and wheat middlings with equal predicted dietary net energy on growth performance and carcass composition of growing–finishing pigs.
Sin embargo dejaría pasar este otro
Effects of corn type and fasting time before slaughter on growth and plasma index in weaning pigs

si restringiéramos la búsqueda a los términos en el título de los artículos.
Algunos sistemas bibliográficos cuentan con recursos que permiten obviar los problemas de sinonimia. Son los casos de MEDLINE/PubMed y de Biological Abstracts. Pero la tendencia actual parece dirigirse hacia el uso de grandes sistemas generales (WoS, Scopus) donde la traducción de la pregunta de investigación resulta realmente difícil.
Como norma general, es necesario utilizar más de un sistema para recopilar la mayoría de los registros sobre un tema de investigación. Obsérvese, por ejemplo, el número de trabajos de
investigación publicados desde 2000 y que contienen la raíz “anisak-” en su título:

 

Sistema

# Registros (trabajos)

Animal Science Database

413

Scopus

960

Web of Science

856

MEDLINE/PubMed

1127

Se comenten muchos errores en la identificación y selección de los trabajos para revisar. Uno de ellos consiste en encontrar “ejemplos de manual”.  Este método identifica y emplea sólo algunos estudios de caso para ilustrar las evidencias en favor de determinado fenómeno y usa esos ejemplos para para demostrar su existencia, explicarlo y resumir los hallazgos relativos a ese fenómeno. Este método es claramente anticientífico, una especie de profecía autocumplida que, deliberada o inadvertidamente, parte de unas expectativas previas y selecciona los trabajos que se ajustan a esa expectativa. La actitud que revela la expresión “trato de demostrar la relación que existe entre inteligencia y orden de nacimiento entre hermanos” no es adecuada. La formulación de una pregunta de investigación, del estilo de “¿ Tiene el orden al nacimiento influencia a largo plazo en el desarrollo de la personalidad de los hermanos ?” revela una mejor disposición y una actitud más abierta y científica. El diagrama siguiente ilustra el proceso.

PRISMA

Diagrama del proceso de selección de los trabajos que serán objeto de una revisión sistemática.

Declaración de los criterios de selección de los trabajos

No todos los trabajos sobre un tema se han de revisar, ni siquiera sólo los disponibles. En primer lugar porque, como he comentado, son muy numerosos; en segundo lugar porque habrá muchos que no se ajusten a nuestros requisitos (lo veremos a continuación). Además, hay que tener en cuenta que no todos los trabajos son equivalentes, sino que se ordenan en cierta jerarquía. Conviene recordar que lo que se pretende es, sobre todo, acceder al conocimiento actualizado sobre una línea de investigación.
Empecemos por esto último: si de lo que se trata es de estar al tanto del estado del conocimiento sobre una línea de investigación, lo razonable sería acudir primero al conocimiento más asentado, el que publican los libros. Por ejemplo, tanto en el libro editado
Helminth Infections and their Impact on Global Public Health (Springer, marzo de 2014)
como en
Biology of Foodborne Parasites (CRC Press, 2015)
aparecen capítulos escritos por el grupo de Simonetta Mattiucci (Univ la Sapienza) sobre el anisakis. ! El de 2014 tiene 131 referencias ¡
A continuación, merece la pena concentrarse en las revisiones (los capítulos de libro bien pueden considerarse entre ellas) que representan normalmente la décima parte de todas las publicaciones. Por ejemplo la revisión invitada

Anisakis – A food-borne parasite that triggers allergic host defences

que contiene, además, una gran cantidad de material gráfico.
¿ Qué requisitos entran en juego en la selección de los trabajos a revisar ?
Sobre todo se mencionan
el número de casos (participantes en los estudios de control, pacientes o sujetos en otras especialidades)
los métodos aplicados
el periodo de seguimiento
el idioma en que están escritos los trabajos
la revista en que se han publicado

Así, si se trata de revisar la línea de investigación

Treating Boar Sperm With Cholesterol-Loaded Cyclodextrins Or Cyclodextrins Prior To Cryopreservation

es muy posible que se descartara el trabajo

Supplementing cryopreservation media with reduced glutathione increases fertility and prolificacy of sows inseminated with frozen-thawed boar semen

por la disparidad de sustratos empleados. Eso sí, si la revisión se ampliara al uso de diferentes sustratos para potenciar la preservación del semen de jabalí, habría que seleccionar este último trabajo. Si un trabajo pretende emplear el automated system for spermatozoa head morphometry analysis para estudiar la viabilidad del esperma de anguila (pongamos) es normal que sólo tenga en cuenta el uso de esa misma técnica en otras especies animales y descarte (como es el caso) la microscopía electrónica de barrido. Por otra parte, es normal descartar un trabajo que estima la producción científica de una universidad durante tres años si estamos interesados en los estudios longitudinales que cubran un periodo mayor. Ni que decir tiene que seguir el crecimiento de un grupo de animales durante dos años no es lo mismo que durante seis meses.
El acceso a masivos sistemas bibliográficos y las facilidades que aportan los gestoress bibliográficos personales en la actualidad hacen muy fácil caer en el coleccionismo de referencias bibliográficas (y muy difícil renunciar a ellas) cuando se trata de hacer una revisión. Pero es necesario superar la incertidumbre y no atragantarse con listas inacabables, que resultan desastrosas y desaniman. He aquí algunos trucos para no perecer a tanta abundancia de información:
(1) Restringid la búsqueda inicial a aquellos documentos que contengan los términos de interés en el título.
(2) Elegid fuentes que incluyan referencias de libros y capítulos de libro.
(3) Si tenemos posibilidad de emplear un índice de citas (Web of Science, Scopus, Psychological Abstracts) ordenad los resultados de búsqueda por el número de citas recibidas y estableced un umbral. Por ejemplo, eliminad aquellos trabajos que no hayan sido citados al cabo de tres años.
(4) Examinad los títulos de los trabajos que hayan citado al de mayor impacto: muchos de ellos servirán para ampliar la nómina de trabajos interesantes aunque no lo aparenten por sus títulos.
(5) Clasificad los trabajos en lotes. Por ejemplo, si quedéis analizar el empleo de las técnicas proteómicas en ciencia animal, habréis de diferenciar entre unas y otras (electroforesis 2-D, cromatografía, espectrometría de masas, todo eso) y distribuir los trabajos por su aplicación a animales de granja y sus patologías, a la acuicultura, a los productos derivados de los animales, etc. Es precisamente lo que hicieron los autores del estudio en el que baso este ejemplo.
Yo considero necesario repetir que la revisión sistemática es un proceso recursivo. A estas alturas, esto quiere decir que si el resumen de aportaciones revela inconsistencias o defectos graves en un trabajo, seguimos a tiempo de eliminarlo de la selección.Veamos si no, qué ocurre cuando un trabajo. En la Figura siguiente se muestra el diagrama de flujo que siguieron los autores de una revisión sistemática sobre un método para el tratamiento de la apnea obstructiva del sueño.

tileshop.fcgi
El resumen de las aportaciones de cada estudio

Ya he mencionado que existen revisiones sistemáticas de tipo cualitativo y otras de tipo cuantitativo. Existen protocolos, herramientas estadísticas y hasta programas de ordenador específicamente diseñados para realizar el análisis comparativo de estas últimas, es decir, para realizar un metaanálisis, una actividad que se define como el análisis estadístico de una gran colección de resultados analíticos de estudios individuales con objeto de integrar sus resultados. Pero los metaanálisis no son propios de una persona recién llegada al mundo de las ciencias experimentales, a no ser que haya nacido con una recta de regresión pintada en la frente y un coeficiente en cada oreja.

La lista de comprobación

Un doctorando pretende encontrar un hueco (un nicho en términos retóricos) que le permita realizar una investigación que, siendo original, entronca y conecta y completa el conocimiento disponible.
El método más común que se adopta en las revisiones narrativas es producir una síntesis relativamente rudimentaria de los hallazgos que se han encontrado en los estudios seleccionados. Esto implica la identificación de los temas prominentes o más repetidos en la literatura y resumir los hallazgos de los diversos estudios agrupándolos en tablas-resumen, que pueden incluir una descripción de los puntos clave.

Existe un error, en realidad una práctica errónea, en que se puede incurrir en el momento de resumir las aportaciones de los trabajos revisados, es realizar un “recuento de votos”. En su forma más simple consiste en distribuir los trabajos seleccionados en tres lotes: aquellos que comunican resultados significativos en favor de una hipótesis, aquellos que arrojan resultados contrarios y aquellos cuyos resultados no son significativos. Aunque a primera vista parece un método lógico, contiene graves errores. Uno de ellos consiste en medir a todos los originales por el mismo rasero, cuando pueden existir diferencias muy grandes en relación con el número de casos analizados, por ejemplo. Además, tampoco se tiene en cuenta la magnitud del efecto resultante en cada trabajo.
En el estudio sobre la apnea que antes he enlazado, una tabla resume las características de los trabajos finalmente seleccionados. El diseño tabular no es malo, ni mucho menos. Cada fila normalmente está encabezada por un código autor/año que representa cada trabajo. En las columnas se tabulan desde el número de casos tratados a la duración del estudio, los métodos analíticos empleados y otras variables.
Cuando se realiza una revisión sistemática destinada a la publicación y que trata de discernir entre uno y otros trabajos, lo mejor es desglosar los métodos de análisis y observar de las variables analizadas en cada uno. De esta forma se pueden comparar y, eventualmente, juzgar su validez.

Las conclusiones

La resolución de un trabajo de revisión, por un lado, orienta el panorama y señala los trabajos imprescindibles sobre una especialidad o una línea de investigación. Pero, más importante aún, identifica las cuestiones no resueltas, los huecos. Cada uno de estos huecos supone un argumento que aportar en la escena inicial planteábamos: las preguntas cuyas respuestas perseguimos.
No es improbable que las conclusiones de una revisión sistemática adopten la forma de una lista de “tareas pendientes” y problemas que solucionar.
Realizar una revisión de forma ordenada nos defiende de la inflación de información y trabajos disponibles. También garantiza que nuestra actividad estará claramente orientada por cuestiones concretas y, además, que nuestros trabajos seguirán la coherencia y el orden necesarios para que finalmente nos proporcionen el debido reconocimiento.

Bibliografía

Arksey, H., & O’Malley, L. (2005). Scoping studies: towards a methodological framework. International journal of social research methodology, 8(1), 19-32.
Chalmers, I., Hedges, L. V., & Cooper, H. (2002). A Brief History of Research Synthesis. Evaluation & the Health Professions, 25(1), 12-37.
Gough, D (2015) Qualitative and Mixed Methods in Systematic Reviews. Systematic Reviews 4:181
Glass, G. V. (1976). Primary, secondary, and meta-analysis of research. Educational researcher, 3-8.
Haber, S. L., Fairman, K. A., & Sclar, D. A. (2015). Principles in the Evaluation of Systematic Reviews. Pharmacotherapy: The Journal of Human Pharmacology and Drug Therapy, 35(11), 1077-1087.
Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2003). Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 96(3), 118-121.
Koricheva, J., & Gurevitch, J. (2013). Place of meta-analysis among other methods of research synthesis. En Handbook of meta-analysis in ecology and evolution (pp. 3-13). Princeton: Princeton University Press.
Mulrow, C. D. (1994). Rationale for systematic reviews. BMJ: British Medical Journal, 309(6954), 597.
Taylor, R. B. (2012). How to Write a Review Article. En R. B. Taylor, Medical Writing (pp. 143-159). New York, NY: Springer New York.
Urrútia, G., & Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507-511.
Weed, D. L. (1997). Methodologic Guidelines for Review Papers. Journal of the National Cancer Institute, 89(1), 6-7.

Advertisements

2 thoughts on “Por qué y cómo realizar una revisión sistemática sin que el intento acabe en catástrofe.

  1. Pingback: De nuevo las revisiones y trabajos de síntesis: la taxonomía de Harris Cooper | Undertakings, studies, and labours

  2. Pingback: ¿ Revisiones rápidas o revisiones limitadas ? | Undertakings, studies, and labours

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s