CiteScore: Scopus y la pólvora (con un estrambote)

Tras más de un mes apartado de estas notas, lejos de la rutina profesional, me he desayunado (es un decir) con el redescubrimiento de la pólvora. Mientras preparaba una sesión sobre fuentes de información científica y lidiaba con un nuevo cambio de la página de búsqueda en Scopus, me he dado de bruces con lo que los analistas de Elsevier, en un prodigio de originalidad, han dado en llamar CiteScore. Para llegar a este indicador sólo hay que  pulsar en el nombre la revista de cualquier registro resultante de una búsqueda. El resultado es un entero con un par de decimales y una explicación así de sencilla:

“CiteScore 2015 counts the citations received in 2015 to documents published in 2012, 2013 or 2014, and divides this by the number of documents published in 2012, 2013 and 2014”

¿ Os suena, verdad ?. Pues claro. CiteScore es lo que Bornmann, uno de mis alemanes favoritos, llama el near-doppelgänger, el sosias del Journal Impact Factor. Que el cálculo tome tres años en lugar de dos es lo de menos; la justificación se encuentra en una de las páginas de ayuda de Scopus.

dscn2061

El carro de curas de las enfermeras de una sala de Traumatología

Y ahora, la pregunta obligada: ¿ Por qué los bibliómetras de Elsevier descubren la pólvora y vuelven a formular el factor de impacto, que se concibió originalmente hace más de 60 años ?

Creo que la respuesta tampoco es original: un indicador es tanto más útil cuanto más simple, a despecho de todas sus imperfecciones. El producto interior bruto o el índice de precios al consumo de una economía se pueden discutir hasta la saciedad, pero la simpleza de su uso supera con mucho los intríngulis y defectos de su elaboración. El “factor” de impacto, que no es ni elemento ni resultado de una multiplicación sino de un cociente, es de comprensión rápida y de cálculo cómodo, a diferencia de su “primo” el Scimago Journal Rank— un indicador mucho más fino y mucho más complicado.
¿ Queréis saber lo peor de todo ?. Pues que, como pasó y sigue pasando tras la formulación y publicación del índice h, nos aguarda un largo y machacón goteo de trabajos comparando éste con indicadores anteriores. Sospecho que los resultados ya están escritos en uno de los más importantes artículos sobre los factores de impacto de las revistas científicas.
Yo no voy a perder el tiempo.

El estrambote

Ya antes de la redacción de esta nota había pasado lo que en ella se pronosticaba. Nicolás RG me ha alertado de la existencia de una breve comunicación en Scientometrics donde se comparan el factor de impacto y este otro.

Nicolás también me ha dirigido al post del blog del Centre for Science and Technology Studies de la Universidad de Leiden donde Ludo Waltman, disecciona un poco este nuvo indicador y, como yo, enfatiza su facilidad de cálculo.

Gracias Nicolás.

 

Cómo obtener datos bibliométricos/bibliográficos para el trazado de redes de citas (III)

[Tercera de una serie de cuatro entregas de contenido metodológico. Las anteriores se pueden ver aquí (la primera) y aquí (la segunda)]

Visualización de la red

El paso siguiente es crear el “historiograma”, una red de citas organizada de forma cronológica que muestra las relaciones de cita directa entre los artículos:
Tools > Graph Maker > Make Graph
El gráfico que aparece por defecto (no el que corresponderá a nuestros datos) se reproduce en la figura de la página siguiente.
En ella he señalado (círculo y flecha rojos) el primer detalle muy importante. Los historiogramas se generan inicialmente de forma abreviada, es decir, representando sólo los trabajos que destacan según su frecuencia de citas dentro de la colección (LCS). El límite, que en la figura se sitúa en 30 significa que sólo se ha trazado la red de 30 trabajos con mayor LCS. Es necesario desactivar ese límite para integrar todos los trabajos en la red.
El resultado gráfico suele ser un tremendo borrón, pero eso no importa porque lo que nos interesa son los datos que identifican los trabajos y sus relaciones, es decir, los vértices y las aristas de la red.

historiograma

Uno de los historiogramas de ejemplo producidos por HistCite. En realidad una red de los trabajos más citados sobre… citas. He resaltado (en rojo) el límite que es necesario desactivar antes de exportar los datos (en azul)

Obtención del fichero de vértices (nodos) y aristas (enlaces)

Una vez estamos seguros de contar con una red que contiene todos los trabajos, empleamos los controles de exportación (los he encuadrado en azul) para obtener el tan deseado archivo con la extensión “.net”. Es posible elegir entre varios formatos de salida. El formato Pajek 2 parece el más adecuado, porque ofrece una lista de atributos de los vértices (características de los trabajos) más completa.
A continuación se incluyen fragmentos de la lista de vértices (nodos) y aristas (conexiones de citas) de una red de 740 trabajos sobre la biología del pulpo común.

verticesyarcos

Dos fragmentos de un fichero “.net” que aparecen de forma sucesiva en el original. La expresión Arcs se emplea aquí en lugar de “Edges” para significar que las aristas tienen una dirección, porque la relación de cita directa no es recíproca.

En estos dos componentes de un archivo en formato Pajek se puede observar que cada vértice contiene un identificador numérico y una etiqueta— el nombre del primer autor y el año de publicación de su trabajo; además, los vértices se denominan aquí arcos (arcs y no edges) porque la relación de cita es direccional, desde el trabajo fuente al citado. Para señalar la relación simplemente se hacen constar el identificador del vértice de origen y el de destino. Este archivo se puede editar y se puede introducir en cualquier programa de visualización para obtener una adecuada representación gráfica de la red de citas.

Ventajas adicionales de HistCite

He comentado más arriba que, además de las puntuaciones que reflejan la frecuencia de citas, HistCite genera una serie de datos y algunos resultados de cálculos
http://www.garfield.library.upenn.edu/histcomp/guide.html
que ofrece en forma de informes y tablas. Es posible exportar esas tablas para añadir atributos a los vértices de la red, de forma que luego se pueda examinar desde diversos puntos de vista.
Además, y éste es el segundo detalle muy importante, una de las tablas que genera HIstCite es la de las referencias citadas (‘cited references’) donde se distingue las que pertenecen al conjunto de publicaciones descargadas (aparecen resaltadas en azul) y otras publicaciones que no hemos recogido, quizá por defectos en el perfil de búsqueda, y que son muy citadas en nuestra colección (tienen un LCS alto). Es muy conveniente identificar al menos las más citadas para ver si las incluimos junto al resto. Para ello, un control permite acceder al registro en el WoS, examinar las características del trabajo y, en su caso, incluirlo en un lote adicional que después agregaremos a nuestra colección.
La advertencia es importante: mientras preparaba estas notas me he dado cuenta, a través de ese control, de que había olvidado en mi perfil la denominación “x-adrenoleukodystrophy” y he tenido que reprocesar. Podréis encontrar la información en la página 13 del manual de HistCite que he enlazado previamente y los procesos posibles en el apartado 6.4 Adding records from te Cited Reference list (página 28 del citado manual).

Arrecian las protestas contra el ERIH ( y yo que me alegro)

l

La European Science Foundation parece imitar el funcionamiento de la empresa Thomson Reuters en lo que se refiere al European Reference Index for the Humanities (ERIH) cuya gestión transfirió hace dos años a un centro denominado Norwegian Centre for Research Data. Creo haber conocido a uno de sus responsables en una reunión de la Deutsche Akademie der Wissenschaften y no me ofreció una impresión buena.

imagen 004

Prometo que no es miembro de ningún panel de expertos de alguna institución europea

Consideraciones personales aparte, la idea inicial (2002) del ERIH era recopilar una lista de publicaciones de investigación en Humanidades (que se ha ampliado a las ciencias sociales desde la intervención de los noruegos) y después proceder a su distribución en grupos ordenados. La idea recuerda poderosamente los cuartiles de la distribución de las revistas de investigación por sus factores de impacto, que ya realizan los sistemas Web of Science y el Scientific Journals Ranking con datos de Sopus. Otros sistemas regionales (Latindex) y hasta locales siguen esa estela. La valoración de las actividades de los grupos de investigación y las decisiones sobre la financiación  de sus proyectos toman en consideración el nivel adjudicado a las revistas en que han publicado previos trabajos. Para más información… ¡ Ay ! el BOE.

Un grupo de directores de revistas de investigación (he contado algo menos de 60 títulos) sobre Historia de las ciencias ha solicitado a los responsables de ERIH que eliminen sus revistas de la lista. La iniciativa es similar a la que se ha dado en llamar San Francisco Declaration on Research Assessment (DORA, aprobada el 13 de Mayo de 2013) o a la del IEEE sobre el uso apropiado de indicadores bibliométricos (aprobada el 9 de Septiembre del mismo año).

Los investigadores en humanidades parten de una apreciación común con las de las iniciativas mencionadas:

“We now confront a situation in which our own research work is being subjected to putatively precise accountancy by arbitrary and unaccountable agencies…”

Y abundan en argumentos también comunes a los esgrimidos en las declaraciones de 2013: la buena investigación y el contenido de calidad pueden aparecer en cuanquier revista científica y las características positivas o negativas de una revista no tienen por qué ser traducibles a todos y cada uno de los artículos que publican.
Algunos de mis colegas han publicado análisis sobre unos u otros aspectos del ERIH
Y otros, aún más próximos, han aportado criterios para un uso razonable de los indicadores.
Yo también considero que la comunicación científica en humanidades dista mucho de poder abarcarse (mucho menos juzgarse)  con la simpleza que el ERIH propone. Si yo fuera editor de una revista de investigación en Humanidades también solicitaría “with all due respect” que fuera excluída de esa lista.
Me intriga saber qué sucederá cuando todas las revistas satisfagan todos los criterios de calidad de todas las listas.

All about show

A while ago I devoted one of my entries to one of John Oliver’s stands up (yet seated) . I had a lot of fun listening to his opinions on Science reporting and sharing them with you all. Today I get back to the topic in a more reflexive way, that of Jonathan Wolff, the UCL philosopher and op-ed columnist for The Guardian.

JW

Jonathan Wolff, from University College London, in his official portrait for The Guardian

I feel the upmost respect for these guys who are capable of applying  reasoning against mainstream thinking (if current trends are a result of thought and not mere  excuses to support the economic stablishment, you know). My dear Benoît Godin (Institut National de la Recherche Scientifique, Quebec) and Michael Strevens (New York University) also have my esteem because both are people able to take their time at examining the (usually taken for granted) rule and deny or confirm it’s validity. Amazing people.

Pay attention to Jonathan Wolff and then, please, think, just think.

Sorry to bother you once again with such a boring protest.

How do I get my h index ?

This is a question which many researchers and even some managers quite often address to me. Here you go some simple procedures to find this kind of a “golden number” out. To a rapid calculation of your h index, please refer to the paragraph “Where do I find it?” below. If you want to add some culture, then continue to the next one.

Visibility and recognition

Do you remember my first post?. There I argued that scientific communication defines, at least in part, scientific activities. Your publications make your research visible and your scientific output can be measured through the analysis of published papers in peer-reviewed journals. Peer review means that the science that is published has been subjected to independent scrutiny and approved by qualified scientists, and thereby assures its quality and credibility.

Of course, there’re sources, bibliographic databases, that collect and organize the journals and the articles therein published. PubMed, CAS, Biological Abstracts to name a few.

Citations are often used as a means of evaluating the quality of publications—recognition by an author’s peers indicates that the scientific community acknowledges the work that has been published. To determine the number of citations a work has received and have an indicator of his importance bibliometric databases may be used. What differences bibliometric from bibliographic databases is that the former include, among other elements, the full list of bibliographic references of the articles they cover. So do Web of Science (WoS for short) and Scopus. Still another system, Google Scholar, relates its records translating bibliographic references into web links among the electronic version of the documents.

In 2005, the Argentina born physicist Jorge E Hirsch, professor at the University of California, San Diego mixed these two indicators, the number of published papers and the number of received citations to formulate an operator that combines both and named it the h (lowercase from Hirsch) index.

What is the h index?

The original definition of h index states:

 

“A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np – h) papers have ≤h citations each”.

 So, if you have got a number of papers published and five of then have been cited five or more times, your h index is 5. It doesn’t matter if one of them has 30 citations or how many papers you’ve got.

Don’t ask how high your h index is. It depends, it allways depends. Let’s see on what.

 

 Where do I find it ?

The value

You can obtain the number either using bibliometric databases or some available calculators. In the first case, you just has to take a few steps with WoS or Scopus. Lest’s see how to in WoS

First, search for a name (yours or whoever). I’ve chosen Ismael Rafols, one of my colleagues.
Once you’ve got the list of results, click on “Create Citation Report” then

WoS Result list

Figure 1. The Web of Science list of records authored by Ismael Rafols

Look at the numbers on the right side of the graphics: the last one is the h index (in this case Ismael Rafols has, as of today, an index of 9).

citation report

Figure 2. The Citation Report for Ismael Rafols results and his h index

In the list of Rafols’ papers (Figure 3, below) you can see that paper #9 has received nine or more citations (ten actually) so, nine is the h index for this author.

Figure 3. An orange line marks the h index limit in the list of cited papers

With Scopus, things are slightly different. You perform an author search and,

Figure 4. Result of an author search in Scopus

once you’ve selected and maybe combine the right document sets, you can view a citation overview (not shown here)

Figure 5. The h index in Scopus

and then a graph showing where the citation frequency and publications lines intersect.

h index graph

Figure 6. The h index graph for Rafols’ papers in Scopus

h index calculators have proliferated but almost all have been superseded by Google Scholar Citations (GSC). This service, originally limited, is now open and anybody can use it providing he or she has a Gmail account (and obviously, has authored some paper or research document).

You can see by the Figure 7 that GSC provides a simple way for authors to keep track of citations to their articles. And it is an important statement. While the “official” h index is that WoS determines, GSC allows you to quickly identify who is citing or following your works (not just papers). Indeed, you don’t need to be in campus or to pay any kind of suscription to get an estimate of the impact of your work.

Figure 7. Google Scholar Citations report for Ismael Rafols

Needless to say that differences in the indexes calculated by each database arise precisely because the datasets, both in terms of documents covered and citations gathered, are different. Also, limitations in dates are important: Scopus do not cover citations before 1996 and GSC hardly contains documents prior to the 70s.

In the case I chose, Rafols has authored 32 papers covered by WoS or 24 covered by Scopus or 46 covered by GSC; the values for h index vary from 9 to 17. When a set of old physics papers are added, the lower limit rises to 13.

As usual, a whole set of limitations and drawbacks of h index have been identified. Also interesting is to note that practically nobody has referred to two complementary papers by Hirsch. However all criticism, my guess is that sooner or later, you’ll need to obtain it and put it on every form you fullfill to get something or somebody to investigate with. A new prove of the well known syndrome of “office blindness”.

Apologies for my English.