¿ Revisiones rápidas o revisiones limitadas ?

En Junio de 1997, tres médicos británicos publicaron un artículo cuyo título comenzaba por “Rapid and responsive health technology assessment”. Ha sido identificado como el primer trabajo que describía lo que, andando el tiempo, se ha venido a denominar “rapid reviews”, revisiones rápidas.

 

Roadrunner

Dos fotogramas de uno de los capítulos del Correcaminos

Hace bastante tiempo que elaboré varias notas sobre las revisiones y no hace tanto que también publiqué un comentario sobre el retraso de publicación. Como ahora, 20 años después, se acaba de publicar un artículo especial (el primero en España) sobre las revisiones rápidas, aprovecho para opinar, como casi siempre a la contra.

La definición de revisión rápida

Una revisión (bibliográfica) se elabora a partir del examen de materiales previamente publicados sobre un tema determinado. Una revisión sistemática se ajusta a un procedimiento normalizado para la selección de esos materiales previos y para la evaluación de su utilidad como evidencia científica. Pues bien, Ferrán Catalá López y sus colaboradores ofrecen una traducción muy adecuada de la definición de revisión rápida:

Una revisión rápida puede definirse como una revisión de la literatura científica que utiliza métodos simplificados y acelerados en comparación con una revisión sistemática tradicional.

Sin embargo, no me resisto a acotar esta otra definición operativa, que procede del trabajo previamente enlazado y tiene cierta elegancia:

“… a rapid review is a type of knowledge synthesis in which components of the systematic review process are simplified or omitted to produce information in a short period of time”

Catalá y sus colaboradores han elegido dos ejemplos de revisiones rápidas: una sobre la mejora de la asistencia en el centro canadiense donde trabajan;  la segunda como respuesta (del mismo centro) a una consulta de la Organización Mundial de la Salud sobre la indumentaria de protección frente al virus del Ebola.

¿ Revisiones rápidas  o revisiones cortas ?

De las alrededor de 150 revisiones rápidas publicadas en los últimos años, sólo unas 20 se salen del ámbito de la Medicina. Las revisiones rápidas parecen útiles para guiar por la evidencia determinadas decisiones en el campo de la práctica clínica o la Epidemiología. Pero, de los ejemplos que Catalá aporta y otros parece desprenderse la idea de que las revisiones rápidas se realizan por encargo. De hecho, el propio Catalá se refiere a “su naturaleza exploratoria, dirigida generalmente a informar una decisión”. Nada que objetar, pero tengo dos cuestiones.
La primera ¿ Son las revisiones rápidas útiles desde el punto académico ? Yo diría que la respuesta a esta pregunta es “no”. La propia Sharon Straus y sus colaboradores resumen así los resultados de la revisión de las revisiones rápidas que realizaron:

Streamlined methods that were used in the 82 rapid reviews included limiting the literature search to published literature (24 %) or one database (2 %), limiting inclusion criteria by date (68 %) or language (49 %), having one person screen and another verify or screen excluded studies (6 %), having one person abstract data and another verify (23 %), not conducting risk of bias/quality appraisal (7 %) or having only one reviewer conduct the quality appraisal (7 %), and presenting results as a narrative summary (78 %)

Es decir, los autores abrevian el procedimiento de revisión sistemática limitando de una forma u otra el número de trabajos previos que recopilan. No es lo que yo recomendaría a un estudiante de postgrado, desde luego. Y, la segunda cuestión ¿ Aportan alguna mejora a la diseminación de la información científica ?.
Veamos, la primera de las revisiones que Catalá describe apareció publicada el 31 de Enero de 2012, pero ya se había emitido el informe interno resultante con anterioridad, con bastante anterioridad— en Febrero de 2011. La segunda revisión, la dirigida a la OMS, apareció en una revista de publicación rápida el 9 de Octubre de 2015. El tracing indica que llegó a la redacción el 16 de Julio de se año. ¿ Tiene algún sentido que las revisiones de los ejemplos— que se realizaron en cuatro y siete semanas— tardaran 44 y 11 semanas respectivamente en publicarse ?. Los retrasos de publicación son una gran losa. Si con las demás revisiones rápidas pasa lo mismo, si son rápidas porque son cortas y si sólo son puntuales en su entrega a quienes las encargaron, entonces no merece la pena que se consideren siquiera un subgénero en comunicación científica.

Me temo que se avecinan días difíciles así que hoy nada de música.

Advertisements

De nuevo las revisiones y trabajos de síntesis: la taxonomía de Harris Cooper

No he sido sistemático al tratar las revisiones sistemáticas. Es la tercera vez en poco tiempo que les dedico una entrada. Esta vez no reflejo la abundancia de revisiones sobre revisiones ni prevengo a los alumnos de doctorado de la conveniencia y aún necesidad de que realicen revisiones sistemáticas. Esta vez pido disculpas: más importante que realizar revisiones sistemáticas es ser sistemático al revisar.
Mi colega Pachu A. tras leer la entrada de la pasada semana, me ha hecho llegar el magnífico y amplio artículo que Justus Randolph dedica a las revisiones en el contexto de la realización de la tesis doctoral. Más oportuno, imposible.
El trabajo se inicia contestando a la pregunta ¿ Por qué se realiza una revisión de la literatura ?. La respuesta es ésta:

“Realizar una revisión de la literatura es la forma en que su autor obtiene conocimiento sobre un campo de estudio determinado, incluyendo su vocabulario, sus teorías, sus variables y fenómenos clave y sus métodos y desarrollo histórico. También informa al estudiante sobre los grupos e investigadores influyentes en esa línea de investigación”.

Randolph enumera muchas más razones que justifican la realización de las revisiones y concluye la sección con una frase de Perogrullo, pero definitiva:

“Es imposible establecer que la investigación que nos proponemos supone un avance sobre lo anterior sin determinar el estado de las investigaciones previas”.

La segunda sección del trabajo, que titula “Taxonomy of Literature Reviews”, se centra en comentar una clasificación de las revisiones que Harris Cooper viene desarrollando desde mediados de los años ochenta. De hecho, el facsímil de su comunicación al Annual Meeting of the American Educational Research Association es absolutamente pre-Google (1985).

Muchos años después, se puede encontrar su taxonomía en el capítulo introductorio al Manual de trabajos de síntesis (de 2009, ved las referencias).
Cooper distingue cinco facetas o aspectos que configuran cómo va a ser la revisión que se pretende.

El énfasis (focus): qué orientación tienen los trabajos que se revisan
El objetivo (goal): qué se propone el autor de la revisión
El enfoque (perspective): qué actitud adopta el autor de la revisión
La cobertura (coverage): qué alcance, número y tipo de trabajos se incluirán inicialmente
La organización: en qué formato y orden se exponen los trabajos revisados y
La audiencia: quiénes son los destinatarios de la revisión

Nadie es tan ingenuo como para pretender tener un diseño establecido desde le primer momento. Los intereses pueden variar y en la misma medida el formato de la revisión. Pero es necesario actuar con orden desde el primer momento. A continuación repaso las categorías y los criterios que cada faceta admite. Lo hago repitiendo las ideas y los comentarios de Randolph al esquema de Cooper.

El énfasis

Quien revisa un trabajo original puede hacer énfasis en sus resultados, o en sus métodos, o en las teorías de las que parte (o en las que defiende) o en sus posibilidades de aplicación. Pero la mayoría de las revisiones se centran en los resultados de los trabajos originales. De hecho, una revisión de la literatura se ha definido como “una síntesis y un análisis de la información centrada en los hallazgos (y no una simple acumulación de bibliografía) que compendia el contenido de la altura y extrae conclusiones de ella.
Desde el punto de vista de los fundamentos de una investigación, una revisión centrada en los resultados ayuda a identificar la falta de información sobre un resultado determinado, justificando así la necesidad del estudio que nos proponemos.
En una revisión metodológica, los métodos en el campo de investigación en cuestión se investigan para identificar variables, mediciones y métodos de análisis que se emplean en la investigación orientada a los resultados.
Y está claro que, por mucho que una tesis tenga un objetivo principal, la revisión que se sitúa en su punto de partida también ha de tratar los demás enfoques.

El objetivo

Lo que muchos revisores pretenden es integrar y generalizar hallazgos de estudios originales o bien resolver un debate en un área determinada o armonizar conceptos que proceden de campos diferentes. Sin embargo, el doctorando usa la revisión de la literatura para identificar una hueco en el conocimiento y acometer la resolución de ese defecto en su tesis.

El enfoque

En investigaciones cualitativas, los autores de revisiones con frecuencia deciden revelar sus prejuicios, sus sesgos previos y discutir de qué modo pueden haber afectado a la revisión. En la investigación cuantitativa los autores intentan ceñirse a los datos y adoptar una actitud neutral. La decisión depende de cada caso, pero es bueno que los doctorandos se esfuercen por alejarse de prejuicios ajenos y no alimenten los propios. A pesar de su aura de objetividad, la ciencia, esa otra hoguera de vanidades, también está hecha de filias y fobias.

La cobertura

Decidir sobre el alcance es una de las fases en la realización de revisiones sistemáticas pero, antes de abordarla, conviene medir las propias fuerzas y no pretender abarcar demasiado. Cooper propone cuatro variedades posibles. En una revisión exhaustiva, el revisor se propone localizar y considerar (leer, cuanto  menos) cada documento disponible sobre el tema en cuestión, esté publicado o no. Pero esto lleva mucho tiempo y es preferible que se definan unos límites para la selección de documentos primarios; amplios, sí, pero límites al fin. A esta segunda variedad Cooper la llama revisión exhaustiva con referencias seleccionadas. Una tercera posibilidad es considerar una muestra representativa y hacer generalizaciones a partir de ella. Esto ya os imagináis que resulta peligroso y no está exento de sesgos. La última variedad es la llamada “muestra intencional” que parte de una selección previa de los trabajos en un área. El criterio de selección aquí puede resultar controvertido pero declarar que se trata, por ejemplo, de los trabajos con gran impacto o de los publicados en las revistas centrales o de los trabajos que, a su vez, son de revisión, ayuda a despejar dudas.

La organización de la revisión

De los formatos posibles que se puede conferir al texto de una revisión, los más usuales son el histórico, el conceptual y el sistemático. En las revisiones de formato histórico, se disponen los trabajos originales en orden cronológico. La intención de este tipo de organización es enfatizar el desarrollo del conocimiento en un campo o sobre determinado problema. En la organización conceptual, se identifican una serie de conceptos y después de asocia a cada uno los trabajos originales, en una especie de paralelismo. De la organización sistemática de una revisión ya hemos tenido suficientes ejemplos en mi tratamiento anterior del tema.

La audiencia

Otra vez conviene no pecar de ambiciosos. La revisión que un doctorando realiza previa a su tesis tiene como primer y principal destinatario a su director de tesis. A continuación, sus compañeros y quizás algunos otros investigadores seniors. La idea es que critiquen la revisión y la mejoren, porque es la mejor guía de investigación que el doctorando tendrá en los siguientes años. Nada de lenguaje coloquial y tratamiento ligero: queda aún mucho camino hasta divulgar los resultados de una investigación que se está iniciando ahora, precisamente con una revisión de la literatura.

2015-10-03 22.28.13

Un maravilloso garito berlinés donde se pincha blues y se fuma libremente

Y mis fuentes:
Randolph, J. J. (2009). A guide to writing the dissertation literature review. Practical Assessment, Research & Evaluation, 14(13), 1-13.
Cooper, H., & Hedges, L. V. (2009). Research synthesis as a scientific process. En Cooper, H., Hedges, L. V., & Valentine, J. C. (Eds.)The handbook of research synthesis and meta-analysis.

Por qué y cómo realizar una revisión sistemática sin que el intento acabe en catástrofe.

En los primeros días de marzo tendrán lugar de forma simultánea la quinta edición de la AQUAGAMETE Training School y la Marie Sklodowska Curie Action Innovative Training Network IMPRESS. Sus organizadores me pidieron que dirigiera a sus alumnos, doctorandos europeos, un par de sesiones sobre escritura científica. Esta entrada es el borrador de una de las partes. En los próximos días prepararé otra dedicada a los resúmenes ampliados. Aunque las presentaciones serán en inglés, he escrito estos borradores en castellano para poder convertirlos en entradas de este blog que, aunque parezca mentira, se está popularizando en algunos países de América.
Por lo que he podido saber, estos estudiantes (lo de PhD candidates me parece una cursada aún mayor que lo de postdocs) y las redes en que se integran sus centros, investigan en Acuicultura y Biología Marina. Las últimas tesis doctorales de sus departamentos se centran en la cría del pulpo común (octopus vulgares) y, claro, me ha faltado tiempo para incluir una chunga con el chunga del pulpo (éstos del grabado parecen pulpos gigante del Pacífico).
Ojala que todo el mundo aproveche el esfuerzo !

Revisar la literatura es una parte fundamental de la actividad científica. Para empezar, permite reducir a cantidades “digestibles” el inmenso volumen de información que se genera continuamente. Además, los investigadores realizan revisiones para identificar, justificar y refinar hipótesis; para reconocer y corregir errores en los trabajos anteriores, y para determinar el tamaño estadístico de las muestras. A estas razones cabe añadir otra de índole sociológico: el autor de una revisión está “marcando territorio”, declarándose experto y autoridad en el tema que compendia. Del mismo modo que empleamos enfoques rigurosos y transparentes al realizar investigaciones originales, debemos ser sistemáticos al recopilar estudios para (1) averiguar qué se ha investigado en una línea (realizar un mapa de investigación) o (2) para integrar los resultados de diferentes estudios para contestar una pregunta de investigación (realizar un trabajo de síntesis)
A continuación sostengo que es necesario que estudiantes recién llegados a una línea de investigación realicen revisiones. Además defino y defiendo las revisiones sistemáticas como las más válidas y susceptibles de publicación, incluso por investigadores en ciernes. Después repaso las fases principales del trabajo de revisión.

El pulpo como ejemplo

Las revisiones convencionales se denominan narrativas o revisiones no estructuradas. Estas revisiones simples (por acortar) presentan perspectivas, el desarrollo histórico de las ideas y otras contribuciones conceptuales. Su gran subjetividad inherente (cada uno revisa los trabajos que quiere) el hecho de que sean difícilmente reproducibles y también el que sean tan poco apropiadas para tratar de la variación de los resultados de estudios diferentes limitan mucho su utilidad como trabajos de síntesis.
En todas ellas se realiza una operación: se parte del conjunto de trabajos publicados sobre un tema, lo que en teoría de conjuntos correspondería a una definición por extensión de ese conjunto, y se somete a un análisis que conduce a la definición por comprensión de uno o más conjuntos resultantes. Por ejemplo, el trabajo Role of olfaction in Octopus vulgaris reproduction
revisa 96 publicaciones anteriores y las organiza tratando de demostrar que el lóbulo olfatorio del pulpo común actúa como un órgano de control en el paso de la conducta alimenticia a la conducta reproductiva del animal. Los autores clasifican las publicaciones existentes distinguiendo su enfoque morfológico, fisiológico y endocrino; además, enumeran los mediadores químicos implicados en el proceso y los trabajos que identificaron cada uno de ellos. Finalmente, proponen un nuevo modelo del control reproductivo del pulpo común.

640px-Tako_to_ama_retouched

El shunga “Tako to ama” (Katsushika Hokusa, 1814) popularmente conocido por “Sueño de la mujer del pescador

 

Uno de los mejores libros españoles sobre redacción científica se publicó en 2007. En el capitulo dedicado a los tipos de publicación, Francesc Cardellach y Josep M Ribera escriben este párrafo:

“Debe evitarse aceptar artículos de revisión remitidos por médicos todavía demasiado jóvenes, probablemente aún sin la experiencia necesaria, pero que “aprovechan” una circunstancia determinada (por ejemplo la realización de una tesis doctoral) para llevar a cabo una amplia contextualización del tema y proponer el manuscrito a una publicación. Este esfuerzo es encomiable, pero no debería ser lo habitual, salvo excepciones muy concretas en que el experto senior haya contribuido muy estrechamente en su elaboración.”

Su opinión coincide con la de Robert B Taylor y la de muchos otros: un recién llegado a la investigación, como es el caso de un doctorando, no está capacitado para publicar una revisión de la literatura. En efecto, se achaca a las revisiones simples su subjetividad: los autores seleccionan aquellos trabajos anteriores que les parecen adecuados y descartan otros por razones igualmente personales. El gran argumento que permite disculpar la subjetividad de las revisiones narrativas es la autoridad: como sus autores suelen ser expertos en el tema en cuestión, se les supone un buen criterio a la hora de seleccionar los trabajos que han revisado. Por esta razón se piensa que las revisiones que realizan los recién llegados a un área y a una línea concreta de investigación no son fiables.
Se ha demostrado más de una vez que autores diferentes con la suficiente autoridad seleccionan trabajos diferentes y llegan a conclusiones diferentes aunque hayan revisado el mismo tema. No digamos si quienes acometen las revisiones son estudiantes de postgrado…

Una revisión siempre es necesaria y se inicia con un estudio panorámico.

¿ Cómo se espera que un estudiante se familiarice con el estado de conocimiento de una especialidad determinada ? ¿ Cómo identificar las cuestiones que orientarán su actividad intelectual e investigadora en sus próximos, digamos, cuatro años ?
Los estudiantes de postgrado, de master y doctorado, y hasta los que preparan su trabajo de graduación están obligados a realizar revisiones.
El punto de partida de una revisión es un estudio panorámico (scoping study) que traza de forma rápida los conceptos clave que soportan una línea de investigación y las principales fuentes y tipos de evidencia disponible. Este estudio puede tener interés en sí mismo, especialmente cuando el área es compleja y no se ha revisado con anterioridad de forma exhaustiva.
Se pueden identificar hasta cuatro razones que justifican la realización de otros tantos tipos de estudio panorámico:
Examinar el alcance y la naturaleza de la actividad de investigación. Este tipo de revisión rápida puede no ahondar en los detalles de los estudios revisados, pero es útil para obtener una visión del rango de material disponible.
Decidir sobre el interés de abordar una revisión sistemática completa. Una visión de la línea de investigación permite averiguar si existen trabajos en número suficiente como para revisarlos o si existen ya revisiones recientes que no merece la pena repetir.
Compendiar y diseminar resultados de investigación. Este enfoque permite describir con mayor detalle los hallazgos de los trabajos y, además, resumir su orientación general para transmitirla a colegas, responsables y otras instancias.
Identificar huecos y cuestiones pendientes en la literatura existente. Este tipo de estudio va algo más allá en la extracción de conclusiones a partir de los trabajos disponibles sobre el estado de una línea de investigación. Y es importante anotar que no es suficiente con averiguar si existen o no trabajos sobre un aspecto determinado del área de investigación. Además, es preciso juzgar si las investigaciones realizadas han sido de suficiente calidad.

Cualquiera que sea del tipo de revisión que nos propongamos ¿ Qué pasa si se declara los criterios que seguidos y las fuentes que utilizadas en la selección de los trabajos previos ? ¿ Qué ocurre si su autor o autores permiten que cualquiera pueda seguir su procedimiento para que otros autores y hasta los revisores de una revista puedan contrastar la calidad de la recopilación bibliográfica realizada ?
Una buena revisión siempre es aceptable y hasta conveniente para una revista y algunas revisiones realizadas por recién llegados a la investigación tienen interés. Lo que hace que una revisión simple sea digna de publicación es que se realice de forma sistemática.
La revisión sistemática es un trabajo de síntesis sobre un tema definido concretamente y que emplea métodos explícitos para identificar, seleccionar, valorar críticamente y analizar investigaciones relevantes sobre el mismo tema. El elemento crucial de una revisión sistemática que la diferencia de una mera revisión narrativa es su protocolo que, antes de la realización de la revisión, establece su método, incluyendo una estrategia de búsqueda detallada y los criterios de selección de los trabajos.
Así pues, una revisión sistemática generalmente contiene:

(1) una pregunta claramente definida,
(2) la identificación de las publicaciones relevantes,
(3) la exposición de los criterios por los que se aceptan algunas y se rechazan otras,
(4) un resumen de las evidencias que cada una aporta y
(5) una interpretación de los hallazgos y formulación de las correspondientes conclusiones.

Uno de los indicadores clave de que un proceso sigue un método sistemático es que dicho procedimiento se describe de entrada, a priori.
Las revisiones sistemáticas pueden ser cualitativas, cuantitativas o ambas cosas. Las revisiones cualitativas se limitan (y ya es bastante) a recopilar, resumir y organizar la evidencia disponible sobre el tema. Las revisiones sistemáticas cuantitativas, que también se llaman metaanálisis (usualmente en inglés se escribe meta-analysis) implican la síntesis estadística de los datos procedentes de estudios diferentes y conducen a un resumen cuantitativo de los conjuntos de resultados.

Definición del tema o la pregunta de investigación

De todas las escenas que un investigador novel puede interpretar, la más dura es la que lo sitúa frente a su tutor o director de tesis, que le pregunta ¿ Y tú qué quieres hacer ?. La respuesta no es fácil. Uno puede pecar de ingenuo y balbucear sobre un tema trillado. También de extraterrestre, y mencionar un objetivo imposible. La respuesta del despistado no tendrá nada que ver con las líneas de investigación del departamento o laboratorio en cuestión… Lo natural y lo más fácil es que la pregunta surja de una conversación más o menos prolongada entre pupilo y tutor y que no trate de abarcar grandes cuestiones ni proponer como objetivo la paz mundial. En otras palabras, ni ambición desmedida ni objetivos timoratos: el alcance del trabajo se ha de ajustar a las posibilidades personales y materiales del candidato y de su entorno. Habrá quien pueda afrontar preguntas tan complejas como ¿ Es segura la fluroración del agua de bebida ? u otras más sencillas del estilo ¿ Reconocen los pulpos a los humanos individualmente ?. Preguntas tan generales se han de desglosar en otras más específicas, por supuesto, pero en todo caso unas y otras se han de formular con claridad. Más adelante menciono que el proceso es recursivo, que se puede volver sobre una operación y ajustar su resultado, pero esta característica no afecta a la formulación de la pregunta o definición del tema principal.

La identificación de los trabajos

Hay una contradicción inherente en la investigación: se requiere a toda costa que un trabajo sea original pero cualquier tema, por infrecuente que sea, origina muchas publicaciones. Por ejemplo, la relación entre la lateralidad en la visión del pulpo y su elección de qué brazo desplegar, se ha estudiado en al menos 10 trabajos recientes.  En ocasiones, un tema especialmente popular o frecuentado origina un número inabarcable de publicaciones. En todo caso, la dificultad en identificar los trabajos es más cualitativa que cuantitativa y se refiere a (1) qué sistema de información bibliográfica consultar, y (2) cómo traducir la complejidad de la pregunta de investigación a una formulación adecuada de búsqueda. Por ejemplo, una revisión sobre la alimentación del puerco (el cerdo destinado a consumo humano, para entendernos) se enfrenta con la sinonimia porc/pig/hog y luego con feeding/food/diet. El empleo de estos términos efectivamente permitiría identificar el trabajo

Effects of feeding diets containing distillers’ dried grains with solubles and wheat middlings with equal predicted dietary net energy on growth performance and carcass composition of growing–finishing pigs.
Sin embargo dejaría pasar este otro
Effects of corn type and fasting time before slaughter on growth and plasma index in weaning pigs

si restringiéramos la búsqueda a los términos en el título de los artículos.
Algunos sistemas bibliográficos cuentan con recursos que permiten obviar los problemas de sinonimia. Son los casos de MEDLINE/PubMed y de Biological Abstracts. Pero la tendencia actual parece dirigirse hacia el uso de grandes sistemas generales (WoS, Scopus) donde la traducción de la pregunta de investigación resulta realmente difícil.
Como norma general, es necesario utilizar más de un sistema para recopilar la mayoría de los registros sobre un tema de investigación. Obsérvese, por ejemplo, el número de trabajos de
investigación publicados desde 2000 y que contienen la raíz “anisak-” en su título:

 

Sistema

# Registros (trabajos)

Animal Science Database

413

Scopus

960

Web of Science

856

MEDLINE/PubMed

1127

Se comenten muchos errores en la identificación y selección de los trabajos para revisar. Uno de ellos consiste en encontrar “ejemplos de manual”.  Este método identifica y emplea sólo algunos estudios de caso para ilustrar las evidencias en favor de determinado fenómeno y usa esos ejemplos para para demostrar su existencia, explicarlo y resumir los hallazgos relativos a ese fenómeno. Este método es claramente anticientífico, una especie de profecía autocumplida que, deliberada o inadvertidamente, parte de unas expectativas previas y selecciona los trabajos que se ajustan a esa expectativa. La actitud que revela la expresión “trato de demostrar la relación que existe entre inteligencia y orden de nacimiento entre hermanos” no es adecuada. La formulación de una pregunta de investigación, del estilo de “¿ Tiene el orden al nacimiento influencia a largo plazo en el desarrollo de la personalidad de los hermanos ?” revela una mejor disposición y una actitud más abierta y científica. El diagrama siguiente ilustra el proceso.

PRISMA

Diagrama del proceso de selección de los trabajos que serán objeto de una revisión sistemática.

Declaración de los criterios de selección de los trabajos

No todos los trabajos sobre un tema se han de revisar, ni siquiera sólo los disponibles. En primer lugar porque, como he comentado, son muy numerosos; en segundo lugar porque habrá muchos que no se ajusten a nuestros requisitos (lo veremos a continuación). Además, hay que tener en cuenta que no todos los trabajos son equivalentes, sino que se ordenan en cierta jerarquía. Conviene recordar que lo que se pretende es, sobre todo, acceder al conocimiento actualizado sobre una línea de investigación.
Empecemos por esto último: si de lo que se trata es de estar al tanto del estado del conocimiento sobre una línea de investigación, lo razonable sería acudir primero al conocimiento más asentado, el que publican los libros. Por ejemplo, tanto en el libro editado
Helminth Infections and their Impact on Global Public Health (Springer, marzo de 2014)
como en
Biology of Foodborne Parasites (CRC Press, 2015)
aparecen capítulos escritos por el grupo de Simonetta Mattiucci (Univ la Sapienza) sobre el anisakis. ! El de 2014 tiene 131 referencias ¡
A continuación, merece la pena concentrarse en las revisiones (los capítulos de libro bien pueden considerarse entre ellas) que representan normalmente la décima parte de todas las publicaciones. Por ejemplo la revisión invitada

Anisakis – A food-borne parasite that triggers allergic host defences

que contiene, además, una gran cantidad de material gráfico.
¿ Qué requisitos entran en juego en la selección de los trabajos a revisar ?
Sobre todo se mencionan
el número de casos (participantes en los estudios de control, pacientes o sujetos en otras especialidades)
los métodos aplicados
el periodo de seguimiento
el idioma en que están escritos los trabajos
la revista en que se han publicado

Así, si se trata de revisar la línea de investigación

Treating Boar Sperm With Cholesterol-Loaded Cyclodextrins Or Cyclodextrins Prior To Cryopreservation

es muy posible que se descartara el trabajo

Supplementing cryopreservation media with reduced glutathione increases fertility and prolificacy of sows inseminated with frozen-thawed boar semen

por la disparidad de sustratos empleados. Eso sí, si la revisión se ampliara al uso de diferentes sustratos para potenciar la preservación del semen de jabalí, habría que seleccionar este último trabajo. Si un trabajo pretende emplear el automated system for spermatozoa head morphometry analysis para estudiar la viabilidad del esperma de anguila (pongamos) es normal que sólo tenga en cuenta el uso de esa misma técnica en otras especies animales y descarte (como es el caso) la microscopía electrónica de barrido. Por otra parte, es normal descartar un trabajo que estima la producción científica de una universidad durante tres años si estamos interesados en los estudios longitudinales que cubran un periodo mayor. Ni que decir tiene que seguir el crecimiento de un grupo de animales durante dos años no es lo mismo que durante seis meses.
El acceso a masivos sistemas bibliográficos y las facilidades que aportan los gestoress bibliográficos personales en la actualidad hacen muy fácil caer en el coleccionismo de referencias bibliográficas (y muy difícil renunciar a ellas) cuando se trata de hacer una revisión. Pero es necesario superar la incertidumbre y no atragantarse con listas inacabables, que resultan desastrosas y desaniman. He aquí algunos trucos para no perecer a tanta abundancia de información:
(1) Restringid la búsqueda inicial a aquellos documentos que contengan los términos de interés en el título.
(2) Elegid fuentes que incluyan referencias de libros y capítulos de libro.
(3) Si tenemos posibilidad de emplear un índice de citas (Web of Science, Scopus, Psychological Abstracts) ordenad los resultados de búsqueda por el número de citas recibidas y estableced un umbral. Por ejemplo, eliminad aquellos trabajos que no hayan sido citados al cabo de tres años.
(4) Examinad los títulos de los trabajos que hayan citado al de mayor impacto: muchos de ellos servirán para ampliar la nómina de trabajos interesantes aunque no lo aparenten por sus títulos.
(5) Clasificad los trabajos en lotes. Por ejemplo, si quedéis analizar el empleo de las técnicas proteómicas en ciencia animal, habréis de diferenciar entre unas y otras (electroforesis 2-D, cromatografía, espectrometría de masas, todo eso) y distribuir los trabajos por su aplicación a animales de granja y sus patologías, a la acuicultura, a los productos derivados de los animales, etc. Es precisamente lo que hicieron los autores del estudio en el que baso este ejemplo.
Yo considero necesario repetir que la revisión sistemática es un proceso recursivo. A estas alturas, esto quiere decir que si el resumen de aportaciones revela inconsistencias o defectos graves en un trabajo, seguimos a tiempo de eliminarlo de la selección.Veamos si no, qué ocurre cuando un trabajo. En la Figura siguiente se muestra el diagrama de flujo que siguieron los autores de una revisión sistemática sobre un método para el tratamiento de la apnea obstructiva del sueño.

tileshop.fcgi
El resumen de las aportaciones de cada estudio

Ya he mencionado que existen revisiones sistemáticas de tipo cualitativo y otras de tipo cuantitativo. Existen protocolos, herramientas estadísticas y hasta programas de ordenador específicamente diseñados para realizar el análisis comparativo de estas últimas, es decir, para realizar un metaanálisis, una actividad que se define como el análisis estadístico de una gran colección de resultados analíticos de estudios individuales con objeto de integrar sus resultados. Pero los metaanálisis no son propios de una persona recién llegada al mundo de las ciencias experimentales, a no ser que haya nacido con una recta de regresión pintada en la frente y un coeficiente en cada oreja.

La lista de comprobación

Un doctorando pretende encontrar un hueco (un nicho en términos retóricos) que le permita realizar una investigación que, siendo original, entronca y conecta y completa el conocimiento disponible.
El método más común que se adopta en las revisiones narrativas es producir una síntesis relativamente rudimentaria de los hallazgos que se han encontrado en los estudios seleccionados. Esto implica la identificación de los temas prominentes o más repetidos en la literatura y resumir los hallazgos de los diversos estudios agrupándolos en tablas-resumen, que pueden incluir una descripción de los puntos clave.

Existe un error, en realidad una práctica errónea, en que se puede incurrir en el momento de resumir las aportaciones de los trabajos revisados, es realizar un “recuento de votos”. En su forma más simple consiste en distribuir los trabajos seleccionados en tres lotes: aquellos que comunican resultados significativos en favor de una hipótesis, aquellos que arrojan resultados contrarios y aquellos cuyos resultados no son significativos. Aunque a primera vista parece un método lógico, contiene graves errores. Uno de ellos consiste en medir a todos los originales por el mismo rasero, cuando pueden existir diferencias muy grandes en relación con el número de casos analizados, por ejemplo. Además, tampoco se tiene en cuenta la magnitud del efecto resultante en cada trabajo.
En el estudio sobre la apnea que antes he enlazado, una tabla resume las características de los trabajos finalmente seleccionados. El diseño tabular no es malo, ni mucho menos. Cada fila normalmente está encabezada por un código autor/año que representa cada trabajo. En las columnas se tabulan desde el número de casos tratados a la duración del estudio, los métodos analíticos empleados y otras variables.
Cuando se realiza una revisión sistemática destinada a la publicación y que trata de discernir entre uno y otros trabajos, lo mejor es desglosar los métodos de análisis y observar de las variables analizadas en cada uno. De esta forma se pueden comparar y, eventualmente, juzgar su validez.

Las conclusiones

La resolución de un trabajo de revisión, por un lado, orienta el panorama y señala los trabajos imprescindibles sobre una especialidad o una línea de investigación. Pero, más importante aún, identifica las cuestiones no resueltas, los huecos. Cada uno de estos huecos supone un argumento que aportar en la escena inicial planteábamos: las preguntas cuyas respuestas perseguimos.
No es improbable que las conclusiones de una revisión sistemática adopten la forma de una lista de “tareas pendientes” y problemas que solucionar.
Realizar una revisión de forma ordenada nos defiende de la inflación de información y trabajos disponibles. También garantiza que nuestra actividad estará claramente orientada por cuestiones concretas y, además, que nuestros trabajos seguirán la coherencia y el orden necesarios para que finalmente nos proporcionen el debido reconocimiento.

Bibliografía

Arksey, H., & O’Malley, L. (2005). Scoping studies: towards a methodological framework. International journal of social research methodology, 8(1), 19-32.
Chalmers, I., Hedges, L. V., & Cooper, H. (2002). A Brief History of Research Synthesis. Evaluation & the Health Professions, 25(1), 12-37.
Gough, D (2015) Qualitative and Mixed Methods in Systematic Reviews. Systematic Reviews 4:181
Glass, G. V. (1976). Primary, secondary, and meta-analysis of research. Educational researcher, 3-8.
Haber, S. L., Fairman, K. A., & Sclar, D. A. (2015). Principles in the Evaluation of Systematic Reviews. Pharmacotherapy: The Journal of Human Pharmacology and Drug Therapy, 35(11), 1077-1087.
Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2003). Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 96(3), 118-121.
Koricheva, J., & Gurevitch, J. (2013). Place of meta-analysis among other methods of research synthesis. En Handbook of meta-analysis in ecology and evolution (pp. 3-13). Princeton: Princeton University Press.
Mulrow, C. D. (1994). Rationale for systematic reviews. BMJ: British Medical Journal, 309(6954), 597.
Taylor, R. B. (2012). How to Write a Review Article. En R. B. Taylor, Medical Writing (pp. 143-159). New York, NY: Springer New York.
Urrútia, G., & Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507-511.
Weed, D. L. (1997). Methodologic Guidelines for Review Papers. Journal of the National Cancer Institute, 89(1), 6-7.

Las revisiones sistemáticas de las revisiones sistemáticas de las revisiones sistemáticas… y los trabajos de síntesis

Tenía que suceder, las revisiones sistemáticas, diseñadas a modo de compendios para combatir la inflación informativa, también están sufriendo inflación. Cito textualmente:

It became apparent that systematic reviews of individual studies were required to appraise, summarise and bring together existing studies in a single place. However, decision makers are increasingly faced by a plethora of such reviews and these are likely to be of variable quality and scope, with more than one review of important topics. Systematic reviews (or overviews) of reviews are a logical and appropriate next step”

 

Smith V, Devane D, Begley CM, Clarke M. Methodology in conducting a systematic review of systematic reviews of healthcare interventions. BMC Med Res Methodol. 3 de febrero de 2011;11(1):15

Pero no ha sido ese trabajo el que ha llamado mi atención sobre este tipo de publicaciones científicas. En realidad ha sido otro más reciente, pero menos apreciable y que no citaré porque me parece demasiado simplón y de poca utilidad.

Cómo se definen y para qué sirven

Una revisión sistemática emplea métodos explícitos para identificar, seleccionar y valorar trabajos publicados sobre un tema concreto y para recopilar y analizar los datos presentes en esos mismo trabajos.

Eventualmente, se pueden añadir diversos análisis estadísticos para comparar y resumir los resultados cuantitativos de los mismo trabajos. En este caso, un llamado meta-análisis acompaña a la revisión sistemática.

He tomado estas definiciones de la versión de 2005, revisada informalmente a lo largo de 2010, del Cochrane Collaboration Glossary es decir, de la máxima autoridad en lo que respecta a los documentos de síntesis científica. Al fin y al cabo hablamos de una organización independiente donde casi 30.000 científicos se agrupan para sintetizar de forma crítica el conocimiento disponible y hacer que la práctica médica se base en las evidencias que ese conocimiento proporciona. Los documentos que sirven de base a las revisiones sistemáticas realizadas por la Cochrane Collaboration son mayoritariamente ensayos clínicos aleatorios pero si la siguente pregunta es si las revisiones sistemáticas son exclusivamente médicas la respuesta es no.

He consultado PubMed para obtener el número de trabajos que contienen en sus títulos la expresión “systematic review”. Después he repetido los cálculos limitando los resultados a aquellos que contuvieran “Spain” en el campo address. Ya se sabe que PubMed no proporciona resultados fiables cuando se limita geográficamente una búsqueda. Esto me ha obligado a repetir la búsqueda de trabajos españoles con “systematic review” en el Web of Science. Los resultados de las tres consultas se reflejan en los tres trazados de la figura 1, donde la escala es porcentual y la base 0 es el año 2000. Los trabajos de PubMed, en azul, han crecido esde 538 en 2000 a 6261 en 2011; los españoles desde 11 a 120 o desde 47 a 674, según veamos el trazado rojo (PubMed) o verde (WoS). Lo más interesante no es ese cambio de magnitud en los tres trazados: lo que la figura no refleja es que hay trabajos españoles en WoS que contienen la expresión “systematic review” y ha sido publicados en revistas de Biología, de Ecología, de Economía, de Psicología Social y hasta de Ingeniería del Software.

Figura 1. Variación porcentual entre 2000 y 2011 del número de trabajos que incluyen en sus títulos la expresión “systematic reviews”. En azul los registros de PubMed. En rojo los trabajos españoles de PubMed y en verde los trabajos españoles del Web of Science

El mismísimo Sir Iain Chalmers prefiere el término “síntesis de investigaciones” al de revisiones sistemáticas porque, entre otras razones, fue la denominación que eligieron los científicos sociales, los primeros en emplear esta metodología en el periodo de la postguerra. Cuirosamente, las técnicas de meta-análisis son muy anteriores, aunque el término se acuñara en 1976.

El modelo ampliado de Garvey y Griffith y los trabajos de síntesis

Yo también prefiero llamar a estos documentos “trabajos de síntesis” (research systhesis en el original de Sir Iain Chalmers) porque esta denominación ayuda a situarlos adecuadamente en el flujo del trabajo científico y las publicaciones acompañantes. He reproducido en la Figura 2 el modelo que William D Garvey y Belver C Griffith utilizaron para describir en los años 70 el flujo de información y datos en Psicología. Julie M Hurt lo ha ampliado en dos ocasiones y Bo-Christer Björk (nada que ver, no creáis) lo ha tomado como base para aplicar un método procedente de la ingeniería industrial al proceso de comunicación científica.

Figura 2. El modelo de comunicación científica de Garvey y Griffith ampliado por Julie M Hurd.

Lo importante para mí es observar a qué altura del modelo se produce la aparición del tipo documental que estoy comentando. Si hablamos de “revisión sistemática” está claro que nos referimos al punto 2 del esquema y entonces la noción de revisión es totalmente pasiva: una revisión sistemática es un trabajo ajeno que tiene en cuenta eventualmente nuestros originales y, por tanto, los cita. La alternativa es que nos consideremos a nosotros mismos potenciales autores de una revisión sistemática. En este caso nos alejaríamos hasta el punto 3, porque tendríamos que esperar a ese punto para que la consulta de las bases de datos bibliográficas (y seguramente las bibliométricas) nos proporcionara noticia de los trabajos a revisar.

Sin embargo, y esto es importante, lo que falta en ese esquema es la idea de ciclo: cuando iniciamos una investigación nos encontramos con una base de conocimiento, un corpus en el que habremos de aportar nuesra propia ciencia. Por esa razón el trabajo de síntesis se ha de realizar cada vez que se inicia una línea de investigación, llámese trabajo de fin de carrera, tesis doctoral o proyecto europeo. Dos preguntas, entonces, con sus respuestas:

¿ Son los trabajos de síntesis imprescindibles ? Sí

¿ Es imprescindible publicar trabajos de síntesis ? Más vale que no.

Según los datos de la Colaboración Cochrane, cada día aparecen 75 nuevos ensayos clínicos y 11 revisiones sistemáticas; y no parece que esto vaya a parar. Desde febrero pasado se publica la revista Systematic Reviews. ¿ Alguien quiere adivinar de qué va?

La profusión de publicaciones de este tipo no es el tema de esta entrada en el blog. La recomendación de realizar trabajos de síntesis, sí. Pero sería bueno contar con algunas normas ¿ no?

Claro, cuestión de alambique… y me explico.

Una revisión sistemática presenta las siguientes características:

  1. una lista de objetivos claramente establecidos con una metodología reproducible;
  2. una búsqueda sistemática para tratar de identificar los estudios que pudieran cumplir con los criterios de inclusión;
  3. una investigación de la validez de los hallazgos que presentan los estudios seleccionados, por ejemplo mediante la valoración del riesgo de sesgos, y naturalmente
  4. una presentación sistemática y sintética de las características y el contenido de tales estudios.

Las operaciones anteriores se estructuran claramente en dos fases. La primera es la fase de selección, la segunda es la fase de análisis. Pues bien, la mayoría de las revisiones analíticas que he consultado dedican casi la totalidad de su extensión a la fase de selección y depuración de los estudios a revisar y, en ocasiones, su análisis y conclusión se reducen a una frase. Por ejemplo a ésta:

Among interventions reporting positive results a combination of individualised diet and physical activity goals, self-monitoring and performance feedback indicators were described as active components

Brown MJ, Sinclair M, Liddle D, Hill AJ, Madden E, et al. (2012) A Systematic Review Investigating Healthy Lifestyle Interventions Incorporating Goal Setting Strategies for Preventing Excess Gestational Weight Gain. PLoS ONE 7(7): e39503.

A esta conclusión llegaron Mary Jane Brown y colaboradores tras examinar inicialmente 839 referencias, de las que al final seleccionaron cinco.

Cinco.

Un proceso tan alambicado casi merecería llamarse ley del embudo, aunque ni yo ni nadie debe dudar de la imparcialidad de este estudio.

Entre 1996 y 1999 un grupo de especialistas elaboró y emitió una declaración sobre la Quality of Reporting of Meta-analyses, abreviada QUORUM. Entre 2005 y 2009 evolucionó hacia una declaración más genérica: Preferred Reporting Items for Systematic reviews and Meta-Analyses o PRISMA. Nos hallamos ante una lista de control de 27 apartados. De ellos, siete están relacionados con la selección de fuentes y estudios previos, cinco con la redacción de los diversos apartados, desde el título a las conclusiones de la revisión y el resto con el análisis del contenido de los estudios revisados.

El diagrama adjunto lo ilustra con total claridad.

Selección en PRISMA

Figura 3. Diagrama de la fase de selección de trabajos en una revisión sistemática. Procede de http://dx.doi.org/10.1371/journal.pmed.1000100

Hago constar finalmente que un reciente suplemento del Journal of Internal Medicine (junio de 2012) publica guías de métodos sobre los métodos, es decir, artículos metodológicos sobre cada una de las fases del método que se emplea para la revisión.

Queda claro.

¿ Tiene todo esto algo que ver con la escritura científica?

Mucho pero, además, tiene que ver con la combinación entre el trabajo de investigación (vulgo: “la experimental”) y la comunicación de los resultados (vulgo: “el escribir”).

Uno de los mayores errores que el investigador puede cometer es olvidar el seguimiento de la literatura para concentrarse exclusivamente en el trabajo de laboratorio y sólo a su conclusión atender a lo que se ha estado cociendo en su campo de investigación. ¿ No es triste que un candidato a doctor-en-lo-que-sea haya pasado cuatro años en la inopia?

Es cierto que las revisiones sistemáticas son más frecuentes en medicina y que se destinan a facilitar conclusiones de importancia práctica.

El seguimiento continuo de la literatura es obligatorio y el análisis y elaboración de trabajos de síntesis debería formar parte de las rutinas de todo candidato a científico, no digamos de sus supervisores. Las revisiones sistemáticas son un buen modelo y, además, una forma muy práctica de evitar el amontonamiento de trabajos, impresos o en soporte electrónico, que amenazan con expulsarnos del despacho o la poyata a golpe de ácaros.

Se me ocurre que los científicos sociales con sus working papers tienen mucho que enseñar a los demás. Durante años cometí el error de traducir working paper por “trabajo en curso” cuando simplemente debería llamarlos “documentos de trabajo”. Muchos de ellos, muchísimos, son el realidad documentos de síntesis que analizan detenidamente los desarrollos científicos alrededor de uno u otro fenómeno social. Que acaben en un repositorio o no, no obsta: son documentos destinados al aprendizaje antes que al “narcisismo” intelectual.