How do I get my h index ?

This is a question which many researchers and even some managers quite often address to me. Here you go some simple procedures to find this kind of a “golden number” out. To a rapid calculation of your h index, please refer to the paragraph “Where do I find it?” below. If you want to add some culture, then continue to the next one.

Visibility and recognition

Do you remember my first post?. There I argued that scientific communication defines, at least in part, scientific activities. Your publications make your research visible and your scientific output can be measured through the analysis of published papers in peer-reviewed journals. Peer review means that the science that is published has been subjected to independent scrutiny and approved by qualified scientists, and thereby assures its quality and credibility.

Of course, there’re sources, bibliographic databases, that collect and organize the journals and the articles therein published. PubMed, CAS, Biological Abstracts to name a few.

Citations are often used as a means of evaluating the quality of publications—recognition by an author’s peers indicates that the scientific community acknowledges the work that has been published. To determine the number of citations a work has received and have an indicator of his importance bibliometric databases may be used. What differences bibliometric from bibliographic databases is that the former include, among other elements, the full list of bibliographic references of the articles they cover. So do Web of Science (WoS for short) and Scopus. Still another system, Google Scholar, relates its records translating bibliographic references into web links among the electronic version of the documents.

In 2005, the Argentina born physicist Jorge E Hirsch, professor at the University of California, San Diego mixed these two indicators, the number of published papers and the number of received citations to formulate an operator that combines both and named it the h (lowercase from Hirsch) index.

What is the h index?

The original definition of h index states:


“A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np – h) papers have ≤h citations each”.

 So, if you have got a number of papers published and five of then have been cited five or more times, your h index is 5. It doesn’t matter if one of them has 30 citations or how many papers you’ve got.

Don’t ask how high your h index is. It depends, it allways depends. Let’s see on what.


 Where do I find it ?

The value

You can obtain the number either using bibliometric databases or some available calculators. In the first case, you just has to take a few steps with WoS or Scopus. Lest’s see how to in WoS

First, search for a name (yours or whoever). I’ve chosen Ismael Rafols, one of my colleagues.
Once you’ve got the list of results, click on “Create Citation Report” then

WoS Result list

Figure 1. The Web of Science list of records authored by Ismael Rafols

Look at the numbers on the right side of the graphics: the last one is the h index (in this case Ismael Rafols has, as of today, an index of 9).

citation report

Figure 2. The Citation Report for Ismael Rafols results and his h index

In the list of Rafols’ papers (Figure 3, below) you can see that paper #9 has received nine or more citations (ten actually) so, nine is the h index for this author.

Figure 3. An orange line marks the h index limit in the list of cited papers

With Scopus, things are slightly different. You perform an author search and,

Figure 4. Result of an author search in Scopus

once you’ve selected and maybe combine the right document sets, you can view a citation overview (not shown here)

Figure 5. The h index in Scopus

and then a graph showing where the citation frequency and publications lines intersect.

h index graph

Figure 6. The h index graph for Rafols’ papers in Scopus

h index calculators have proliferated but almost all have been superseded by Google Scholar Citations (GSC). This service, originally limited, is now open and anybody can use it providing he or she has a Gmail account (and obviously, has authored some paper or research document).

You can see by the Figure 7 that GSC provides a simple way for authors to keep track of citations to their articles. And it is an important statement. While the “official” h index is that WoS determines, GSC allows you to quickly identify who is citing or following your works (not just papers). Indeed, you don’t need to be in campus or to pay any kind of suscription to get an estimate of the impact of your work.

Figure 7. Google Scholar Citations report for Ismael Rafols

Needless to say that differences in the indexes calculated by each database arise precisely because the datasets, both in terms of documents covered and citations gathered, are different. Also, limitations in dates are important: Scopus do not cover citations before 1996 and GSC hardly contains documents prior to the 70s.

In the case I chose, Rafols has authored 32 papers covered by WoS or 24 covered by Scopus or 46 covered by GSC; the values for h index vary from 9 to 17. When a set of old physics papers are added, the lower limit rises to 13.

As usual, a whole set of limitations and drawbacks of h index have been identified. Also interesting is to note that practically nobody has referred to two complementary papers by Hirsch. However all criticism, my guess is that sooner or later, you’ll need to obtain it and put it on every form you fullfill to get something or somebody to investigate with. A new prove of the well known syndrome of “office blindness”.

Apologies for my English.

Las revisiones sistemáticas de las revisiones sistemáticas de las revisiones sistemáticas… y los trabajos de síntesis

Tenía que suceder, las revisiones sistemáticas, diseñadas a modo de compendios para combatir la inflación informativa, también están sufriendo inflación. Cito textualmente:

It became apparent that systematic reviews of individual studies were required to appraise, summarise and bring together existing studies in a single place. However, decision makers are increasingly faced by a plethora of such reviews and these are likely to be of variable quality and scope, with more than one review of important topics. Systematic reviews (or overviews) of reviews are a logical and appropriate next step”


Smith V, Devane D, Begley CM, Clarke M. Methodology in conducting a systematic review of systematic reviews of healthcare interventions. BMC Med Res Methodol. 3 de febrero de 2011;11(1):15

Pero no ha sido ese trabajo el que ha llamado mi atención sobre este tipo de publicaciones científicas. En realidad ha sido otro más reciente, pero menos apreciable y que no citaré porque me parece demasiado simplón y de poca utilidad.

Cómo se definen y para qué sirven

Una revisión sistemática emplea métodos explícitos para identificar, seleccionar y valorar trabajos publicados sobre un tema concreto y para recopilar y analizar los datos presentes en esos mismo trabajos.

Eventualmente, se pueden añadir diversos análisis estadísticos para comparar y resumir los resultados cuantitativos de los mismo trabajos. En este caso, un llamado meta-análisis acompaña a la revisión sistemática.

He tomado estas definiciones de la versión de 2005, revisada informalmente a lo largo de 2010, del Cochrane Collaboration Glossary es decir, de la máxima autoridad en lo que respecta a los documentos de síntesis científica. Al fin y al cabo hablamos de una organización independiente donde casi 30.000 científicos se agrupan para sintetizar de forma crítica el conocimiento disponible y hacer que la práctica médica se base en las evidencias que ese conocimiento proporciona. Los documentos que sirven de base a las revisiones sistemáticas realizadas por la Cochrane Collaboration son mayoritariamente ensayos clínicos aleatorios pero si la siguente pregunta es si las revisiones sistemáticas son exclusivamente médicas la respuesta es no.

He consultado PubMed para obtener el número de trabajos que contienen en sus títulos la expresión “systematic review”. Después he repetido los cálculos limitando los resultados a aquellos que contuvieran “Spain” en el campo address. Ya se sabe que PubMed no proporciona resultados fiables cuando se limita geográficamente una búsqueda. Esto me ha obligado a repetir la búsqueda de trabajos españoles con “systematic review” en el Web of Science. Los resultados de las tres consultas se reflejan en los tres trazados de la figura 1, donde la escala es porcentual y la base 0 es el año 2000. Los trabajos de PubMed, en azul, han crecido esde 538 en 2000 a 6261 en 2011; los españoles desde 11 a 120 o desde 47 a 674, según veamos el trazado rojo (PubMed) o verde (WoS). Lo más interesante no es ese cambio de magnitud en los tres trazados: lo que la figura no refleja es que hay trabajos españoles en WoS que contienen la expresión “systematic review” y ha sido publicados en revistas de Biología, de Ecología, de Economía, de Psicología Social y hasta de Ingeniería del Software.

Figura 1. Variación porcentual entre 2000 y 2011 del número de trabajos que incluyen en sus títulos la expresión “systematic reviews”. En azul los registros de PubMed. En rojo los trabajos españoles de PubMed y en verde los trabajos españoles del Web of Science

El mismísimo Sir Iain Chalmers prefiere el término “síntesis de investigaciones” al de revisiones sistemáticas porque, entre otras razones, fue la denominación que eligieron los científicos sociales, los primeros en emplear esta metodología en el periodo de la postguerra. Cuirosamente, las técnicas de meta-análisis son muy anteriores, aunque el término se acuñara en 1976.

El modelo ampliado de Garvey y Griffith y los trabajos de síntesis

Yo también prefiero llamar a estos documentos “trabajos de síntesis” (research systhesis en el original de Sir Iain Chalmers) porque esta denominación ayuda a situarlos adecuadamente en el flujo del trabajo científico y las publicaciones acompañantes. He reproducido en la Figura 2 el modelo que William D Garvey y Belver C Griffith utilizaron para describir en los años 70 el flujo de información y datos en Psicología. Julie M Hurt lo ha ampliado en dos ocasiones y Bo-Christer Björk (nada que ver, no creáis) lo ha tomado como base para aplicar un método procedente de la ingeniería industrial al proceso de comunicación científica.

Figura 2. El modelo de comunicación científica de Garvey y Griffith ampliado por Julie M Hurd.

Lo importante para mí es observar a qué altura del modelo se produce la aparición del tipo documental que estoy comentando. Si hablamos de “revisión sistemática” está claro que nos referimos al punto 2 del esquema y entonces la noción de revisión es totalmente pasiva: una revisión sistemática es un trabajo ajeno que tiene en cuenta eventualmente nuestros originales y, por tanto, los cita. La alternativa es que nos consideremos a nosotros mismos potenciales autores de una revisión sistemática. En este caso nos alejaríamos hasta el punto 3, porque tendríamos que esperar a ese punto para que la consulta de las bases de datos bibliográficas (y seguramente las bibliométricas) nos proporcionara noticia de los trabajos a revisar.

Sin embargo, y esto es importante, lo que falta en ese esquema es la idea de ciclo: cuando iniciamos una investigación nos encontramos con una base de conocimiento, un corpus en el que habremos de aportar nuesra propia ciencia. Por esa razón el trabajo de síntesis se ha de realizar cada vez que se inicia una línea de investigación, llámese trabajo de fin de carrera, tesis doctoral o proyecto europeo. Dos preguntas, entonces, con sus respuestas:

¿ Son los trabajos de síntesis imprescindibles ? Sí

¿ Es imprescindible publicar trabajos de síntesis ? Más vale que no.

Según los datos de la Colaboración Cochrane, cada día aparecen 75 nuevos ensayos clínicos y 11 revisiones sistemáticas; y no parece que esto vaya a parar. Desde febrero pasado se publica la revista Systematic Reviews. ¿ Alguien quiere adivinar de qué va?

La profusión de publicaciones de este tipo no es el tema de esta entrada en el blog. La recomendación de realizar trabajos de síntesis, sí. Pero sería bueno contar con algunas normas ¿ no?

Claro, cuestión de alambique… y me explico.

Una revisión sistemática presenta las siguientes características:

  1. una lista de objetivos claramente establecidos con una metodología reproducible;
  2. una búsqueda sistemática para tratar de identificar los estudios que pudieran cumplir con los criterios de inclusión;
  3. una investigación de la validez de los hallazgos que presentan los estudios seleccionados, por ejemplo mediante la valoración del riesgo de sesgos, y naturalmente
  4. una presentación sistemática y sintética de las características y el contenido de tales estudios.

Las operaciones anteriores se estructuran claramente en dos fases. La primera es la fase de selección, la segunda es la fase de análisis. Pues bien, la mayoría de las revisiones analíticas que he consultado dedican casi la totalidad de su extensión a la fase de selección y depuración de los estudios a revisar y, en ocasiones, su análisis y conclusión se reducen a una frase. Por ejemplo a ésta:

Among interventions reporting positive results a combination of individualised diet and physical activity goals, self-monitoring and performance feedback indicators were described as active components

Brown MJ, Sinclair M, Liddle D, Hill AJ, Madden E, et al. (2012) A Systematic Review Investigating Healthy Lifestyle Interventions Incorporating Goal Setting Strategies for Preventing Excess Gestational Weight Gain. PLoS ONE 7(7): e39503.

A esta conclusión llegaron Mary Jane Brown y colaboradores tras examinar inicialmente 839 referencias, de las que al final seleccionaron cinco.


Un proceso tan alambicado casi merecería llamarse ley del embudo, aunque ni yo ni nadie debe dudar de la imparcialidad de este estudio.

Entre 1996 y 1999 un grupo de especialistas elaboró y emitió una declaración sobre la Quality of Reporting of Meta-analyses, abreviada QUORUM. Entre 2005 y 2009 evolucionó hacia una declaración más genérica: Preferred Reporting Items for Systematic reviews and Meta-Analyses o PRISMA. Nos hallamos ante una lista de control de 27 apartados. De ellos, siete están relacionados con la selección de fuentes y estudios previos, cinco con la redacción de los diversos apartados, desde el título a las conclusiones de la revisión y el resto con el análisis del contenido de los estudios revisados.

El diagrama adjunto lo ilustra con total claridad.

Selección en PRISMA

Figura 3. Diagrama de la fase de selección de trabajos en una revisión sistemática. Procede de

Hago constar finalmente que un reciente suplemento del Journal of Internal Medicine (junio de 2012) publica guías de métodos sobre los métodos, es decir, artículos metodológicos sobre cada una de las fases del método que se emplea para la revisión.

Queda claro.

¿ Tiene todo esto algo que ver con la escritura científica?

Mucho pero, además, tiene que ver con la combinación entre el trabajo de investigación (vulgo: “la experimental”) y la comunicación de los resultados (vulgo: “el escribir”).

Uno de los mayores errores que el investigador puede cometer es olvidar el seguimiento de la literatura para concentrarse exclusivamente en el trabajo de laboratorio y sólo a su conclusión atender a lo que se ha estado cociendo en su campo de investigación. ¿ No es triste que un candidato a doctor-en-lo-que-sea haya pasado cuatro años en la inopia?

Es cierto que las revisiones sistemáticas son más frecuentes en medicina y que se destinan a facilitar conclusiones de importancia práctica.

El seguimiento continuo de la literatura es obligatorio y el análisis y elaboración de trabajos de síntesis debería formar parte de las rutinas de todo candidato a científico, no digamos de sus supervisores. Las revisiones sistemáticas son un buen modelo y, además, una forma muy práctica de evitar el amontonamiento de trabajos, impresos o en soporte electrónico, que amenazan con expulsarnos del despacho o la poyata a golpe de ácaros.

Se me ocurre que los científicos sociales con sus working papers tienen mucho que enseñar a los demás. Durante años cometí el error de traducir working paper por “trabajo en curso” cuando simplemente debería llamarlos “documentos de trabajo”. Muchos de ellos, muchísimos, son el realidad documentos de síntesis que analizan detenidamente los desarrollos científicos alrededor de uno u otro fenómeno social. Que acaben en un repositorio o no, no obsta: son documentos destinados al aprendizaje antes que al “narcisismo” intelectual.

Submit when hot ? A personal complaint about seasonal biases in scientific publishing

In a smart and fine letter, James Hartley criticizes the results of a paper whose methods and conclusions seems to be not enough sound. I agree with him: there is no particular advantage in writing research papers in the summer months and submit them in the fall, even if they’re psychological research papers. In another turn of the screw Michael Schreiber, not in vain a physicist at the Chemnitz University of Technology, has used a larger set of publications and a longer time window to conclude that, yes, there’s a clear tendency to submit papers in the months of July to the journal EPL, former European Physics Letters.

As of this weren’t enough, Lutz Bornmann and his alter ego Hans-Dieter Daniel show that June and August are the preferred months for the investigators in Chemistry to submit papers to the German journal Angewandte Chemie International Edition.

And that’s where my complaint comes from: as one of the occassional referees for Scientometrics I’ve got since this morning no one but two manuscripts for review. Has anyone thought that the days before vacation are not the best days to do a peer review ? Are bibliometricians aware of the works by Schreiber and Bornmann ? Has all that anything to do with the cuts in my salary?

Si aquello no era una pipa esto no son recetarios

A veces los trabajos sobre preparación de artículos científicos adoptan el formato de recetarios. La mayoría son aburridos y dan en anticuados por culpa de la rigidez del estilo. Este apunte recomienda dos excepciones de autores daneses. La primera, un artículo-que-no-lo-es, se originó en una conferencia de 1994. La segunda es un chsipeante decálogo, no por jocoso menos acertado. He combinado los contenidos de ambos para introducirlos y animar su lectura detenida. Resultará muy provechosa.

Las citas a Magritte

Las citas no siempre son bibliográficas. Ultimamente es usual referirse al oleo La traison des images, que René Magritte pintó entre 1928 y 1929, para enfatizar  la diferencia entre la realidad y su representación. La paráfrasis más reciente del conocido lema “Ceci n’est pas une pipe” la he encontrado en un trabajo muy interesante sobre las alternativas al formato PDF para la representación electrónica de los documentos científicos. Pero fue Carsten Sorensen quien por primera vez atrajo mi atención hacia la pintura de la cachimba y su significado.

Parece mentira que un profesor senior del Department of Management de la London School of Economics, dedicado al estudio del uso de sistemas móviles y tecnologías de comunicación en la organización industrial, sea probablemente más influyente por un texto de apenas 16 páginas ideado en mitad de una fuerte gripe.

This is not an article, just some thoughts…

En su versión actual, el escrito de Sorensen conserva el lenguaje franco y gracioso que la fiebre le dictó allá por 1994. Arranca con una de las mejores imágenes del trabajo científico desde El Profesor chiflado  pero tras algunas metáforas culinarias, entra en harina partiendo, claro está, del principio de los principios: la research question, la pregunta de investigación. Los silencios más clamorosos o a las verborreas más aparatosas se han producido en respuesta a esta simple pero crudísima cuestión:

“Y usted ¿ Qué quiere hacer?”

La pregunta, así formulada por un director de tesis o jefe de proyecto, se encuentra en todos los artículos científicos y su disposición revela el desorden ordenado que todos presentan: esa pregunta, que es inicial, se encuentra al final… de la introducción. Pero ese es otro tema. Precisamente la primera de las recomendaciones de Sand-Jensen es clara a este respecto

“Avoid focus” es decir “Marea la perdiz” y/o “Vete por las ramas”

Hay que ver lo que puede llegar a dar de sí la biología marina. En fin, una profusión de preguntas desordenadas es la herramienta ideal para desorientar, de acuerdo.

Los criterios

Sorensen se adentra en la factura del artículo científico recomendando que el autor adopte una [firme] postura y abordando la necesidad de equilibrio entre la ruptura y la integración. No conviene la excesiva pretensión de originalidad ni la sumisión completa a las líneas de investigación en que se encuadra nuestro propio trabajo.

Algunos de los criterios que Sorensen desgrana son discutibles. Recomienda, por ejemplo, la simplicidad: un trabajo debe responder a una cuestión y desarrollar una idea, no más. La tendencia contraria, con una profusión de temas a tratar, conduce al aturullamiento y la falta de claridad, estamos de acuerdo. Por ejemplo, este apunte que lees recomienda dos falsos recetarios en lugar de uno… pero dedicar repetidos esfuerzos a contar cada uno de los pequeños avances en una línea se parece demasiado a la conocida técnica de publicación en salami o al procedimiento de publicar un montón de trabajos centrados en cada árbol en lugar de un único trabajo sobre el bosque.

De nuevo, Sand-Jensen utiliza el mismo ingrediente:

“Write lonnnnnnnng contributions” o “Escribe trabajos kilométricos”

Esto es justo lo más oportuno en tiempos en que no sólo existe una feroz competencia por el espacio sino también por el tiempo. La mejor forma de convencer a un colega para que desestime la lectura de tu propio trabajo es anunciarle un tocho de… pongamos 45 páginas. Creedme.

La siguente sección del artículo-que-no-lo-es es la más importante y la mejor estructurada. Relaciona cinco preguntas que el autor de un trabajo se ha de plantear a sí mismo antes de abordarlo:

  1. ¿ Cuál es el asunto el cuestion?
  2. ¿ Cuál es el problema en concreto?
  3. ¿ Cuál es el enfoque de la investigación que se plantea?
  4. ¿ Qué han hecho otros para resolverlo?
  5. ¿ Cuál ha sido mi aportación?

Si se cambia la primera por la tercera persona, son exactamente las mismas preguntas que cualquier revisor se hace cuando examina un manuscrito. Tengo dos observaciones que hacer a lista de cinco preguntas.

En primer lugar, convendría cambiar el orden de la tercera y la cuarta. Tras enunciar el problema lo lógico es presentar cómo han tratado otros de resolverlo para, inmediatamente después, tratar de resolver las cuestiones que esos otros han dejado penientes.

En segundo lugar, una observación sobre la situación de los textos que han de contestar a esas cuestiones. Aunque la última parece hacer referencia al apartado de resultados, todas las respuestas se han de integrar en la introducción del artículo, aun a riesgo de adelantar acontecimientos.

Sorensen afirma que la imitación vale la pena. Se refiere a que la falta de ideas (literarias, formales) se puede paliar tomando esquemas expositivos de otros trabajos. Esto es cierto y es útil, sobre todo en el caso de los autores más noveles. También es verdad que uno se imita a sí mismo cuando pasa del resumen ampliado o el póster al documento de trabajo o al original. Pero el estilo de un trabajo ha de ser propio o la falta de originalidad y el adocenamiento de los artículos meramente formularios aburrirá a un revisor y, eventualmente, al más ávido de los lectores.

Por desgracia, la mejor garantía para que un trabajo sea aceptado (o para conseguir que se apruebe la financiación que demanda una propuesta) es ser poco o nada original. Y ese es otro de los ingredientes de Sand-Jensen para el adobo de los artículos peñazo: evita la originalidad y la expresión de tu propia personalidad. La ciencia está llena de artículos publicados y olvidados casi de forma simultánea.

Si bien coincido con con Sorensen en la necesidad de adoptar un orden expositivo que vaya de lo general a lo particular (a top-down approach) no me parece que el título sea el mejor sitio para comenzar. Defenderlo sería contradecir las reglas que anteriormente expuso.

Las dos últimas secciones del artículo-que-no-lo-es de Sorensen se dedican a la revisión y mejora del texto de un trabajo y sus partes más relevantes. Tendremos tiempo de revisar detalladamente esos métodos en futuros apuntes de este blog. De momento me limito a recomendar encarecidamente tanto a Sorensen como a Sand-Jensen, esa pareja de buenos daneses.

También a Magritte, ese belga tan divertido.

Fe de olvidos

En el apunte inicial del 24 de junio ensalcé la validez de algunas iniciativas españolas sobre la enseñanza de la escritura científica. Estos días he conocido algunos documentos del Grupo de Sistemas Inteligentes y Cooperativos de la Universidad de Valladolid. En sus programas de doctorado incluye sesiones dedicadas a la metodología de la investigación que parecen de interés.