L'Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica

Prof. Alessandro Figà-Talamanca
Presidente INDAM (Istituto Nazionale di Alta Matematica)
Componente Comitato Nazionale per la Valutazione del Sistema Universitario

Vol 1, N. 1, Marzo 2003

Ringrazio il Prof. Alessandro Figà-Talamanca, da me contattato, per l'interessante contributo sull'Impact Factor che consiglio a tutti di leggere. Occorre fare molta chiarezza su questo parametro di valutazione che spesso viene esageratamente ostentato e che in definitiva mostra molte lacune. Lo stesso Prof. Alessandro Figà-Talamanca, suggerisce di andare a leggere anche un altro lavoro pubblicato nel numero 1 della rivista "Perspective in Publishing", October 2000, di M. Amin e M. Mabe dal titolo "Impact Factor: use and abuse", titolo già molto significativo. Buona lettura.

Dott. Dario Galante

--------------------------------------------------------------------------------

Introduzione.
In questo intervento vorrei discutere l’utilizzazione del cosiddetto "impact factor" (abbreviato d’ora innanzi con IF) nella valutazione della ricerca.

Dico subito che il mio intervento non è neutrale o possibilista, non dirò, ad esempio, che lo "impact factor" deve essere utilizzato con cautela. Cercherò invece di convincervi che l'uso dell’IF per la valutazione della ricerca scientifica individuale o collettiva, ad esempio, di dipartimenti o gruppi di ricercatori, o paesi interi, ha costi altissimi in termini dei danni che può recare al sistema scientifico e pochissimi, incerti, benefici. Naturalmente, non mi aspetto che il mio intervento determini un cambiamento nei comportamenti delle comunità scientifiche italiane (in gran parte del settore biologico e medico) che usano entusiasticamente l’IF nella valutazione della ricerca scientifica individuale e collettiva. Vorrei però incoraggiare le comunità scientifiche (ad esempio i matematici ed i fisici) che ancora resistono all’invasione dell’IF, a perseverare nella loro resistenza, e specialmente vorrei incoraggiare gli storici, i giuristi, i letterati, i cultori di scienze sociali, ecc. a non farsi intimidire dalla favola di un IF universalmente riconosciuto come un parametro efficace di valutazione della ricerca, a non credere che per essere "à la page" sia necessario uniformarsi a criteri di valutazione palesemente infondati, e ad associarsi a quanti, all’interno del mondo scientifico, rifiutano l’IF come un parametro di valutazione della ricerca.

Il mio intervento non utilizza analisi statistiche raffinate. Vorrei infatti esaminare da un punto di vista "politico" i problemi posti alla ricerca scientifica internazionale dall’uso dell’IF, per questo preferisco guardare la realtà ad occhio nudo. Per un’analisi basata su considerazioni statistiche si può consultare il lavoro di Per O Seglen "Why the impact factor of journals should not be used for evalutating research", British Medical Journal 1997; 314: 498-502.

L’origine dell’IF.

Prima di entrare nel merito della questione è opportuno discutere che cos’è e come si calcola questo indice. Ma innanzi tutto bisogna parlare dello "Institute of Scientific Information" (ISI), che raccoglie i dati necessari per calcolare l’IF, lo calcola, lo pubblicizza, e ne propaganda l’utilizzazione[1]. Nonostante il nome altisonante, l’ISI non è una fondazione o un’associazione senza fini di lucro, non ha come scopo la promozione della scienza o dell’informazione scientifica, ma è invece un’azienda privata che, come tutte le aziende, ha come dovere principale e scopo ultimo quello di arricchire i soci. E’ importante avere ben presente questo fatto perché l’azienda, dall’alto della sua posizione dominante sul mercato, come detentrice di una formidabile base di dati sulle pubblicazioni e citazioni scientifiche, ha preso, come tutte le aziende, numerose decisioni dettate da interessi venali e basate su calcoli dei costi e dei benefici marginali. Per quanto quest’azienda, attraverso un’intelligente e penetrante azione di propaganda, cerchi di difendere l’utilità generale delle sue decisioni, o la rilevanza per il singolo ricercatore, o per chi gestisce le biblioteche, dei suoi calcoli, non possiamo dimenticare che i calcoli si riferiscono ai costi e benefici economici di un’azienda che non ha né il dovere né la vocazione di sostenere lo sviluppo delle scienze.

L’idea motrice della banca dati dell’ISI, attribuibile al suo fondatore, Eugene Garfield, è stata di pubblicare un repertorio delle pubblicazioni scientifiche, che includesse l’elenco dei lavori citati, da ciascun lavoro preso in esame. Lo scopo che si proponevano gli ideatori era di facilitare ricerche bibliografiche che, a partire da un lavoro importante del passato, consentissero di identificare i lavori recenti che ne sviluppavano i risultati.

E’ sempre stato possibile, ovviamente, fare ricerche bibliografiche a partire da un lavoro importante, andando indietro nel tempo. Si comincia a prendere in considerazione gli articoli riportati in bibliografia, poi si cercano i lavori citati da questi ultimi, e così per passi successivi si arriva alle prime fonti della problematica o della metodologia impiegata nel lavoro da cui si è partiti.

Altro è invece la possibilità di fare una ricerca bibliografica andando avanti nel tempo, a partire da un lavoro importante degli anni passati. Questo è possibile, se si ha accesso ai lavori che citano il lavoro in questione. Una volta identificati questi lavori si possono identificare i lavori che li citano a loro volta e così via.

Un indice aggiornato delle citazioni scientifiche può fornire quindi uno strumento molto utile per seguire gli sviluppi di una problematica o di un settore molto particolare di una disciplina. Quest’idea ha portato alla creazione di un archivio elettronico delle citazioni che è stato denominato appunto "Science Citation Index" (SCI). L’archivio fu subito molto popolare nella Chimica e nella Biologia, dove ha costituito un utile repertorio per ricerche bibliografiche. Molto meno nella fisica dove, a livello mondiale, si era creato un sistema informale di comunicazione mediante "preprints" che rendeva meno essenziale l’accesso ad un repertorio della produzione scientifica. Ancor meno nella matematica dove esistevano tre riviste (una tedesca, una sovietica ed una americana) dedicate esclusivamente alla pubblicazione di recensioni di articoli di matematica. Queste riviste, ed in particolare quella edita dalla American Mathematical Society, "Mathematical Reviews", costituivano e costituiscono la fonte principale per ricerche bibliografiche (ma, ovviamente, non consentivano le ricerche "in avanti", se non attraverso l’indice degli argomenti.) E, in effetti, per trovare lo SCI in una buona università americana negli anni sessanta bisognava andare a cercarlo nella biblioteca (generale o dipartimentale) utilizzata dai chimici.

Verso la metà degli anni sessanta l’esistenza di questo indice ha destato l’interesse di alcuni sociologi o storici della scienza. Fu in particolare lo storico della scienza Derek De Solla Price, che si entusiasmò della possibilità di studiare gli sviluppi della scienza contemporanea con gli strumenti statistici quantitativi che gli erano forniti dallo SCI[2].

L’interesse di Price e di altri autori fu utilizzato dai proprietari dello SCI come un’ottima occasione per un "marketing" mirato alle istituzioni scientifiche ed ai singoli ricercatori. Questi ultimi non mancarono di rilevare che il SCI dava loro modo di contare quante volte erano citati i propri lavori o quelli dei loro colleghi. Consentiva anche di risalire alle fonti delle citazioni per capire in che senso i propri risultati (o quelli dei colleghi) erano stati utilizzati o criticati. Queste informazioni quantitative e qualitative consentivano di formulare argomenti di giudizio sul lavoro scientifico citato. Ne è seguito un fortissimo, crescente interesse della comunità scientifica internazionale alla banca dati del SCI, per la valutazione o il pettegolezzo individuale. Naturalmente in questo contesto, e prima dell’esplosione del numero delle citazioni, l’attenzione era prevalentemente diretta alla natura della citazione. Altro è che un lavoro sia citato con una frase del tipo: "Il presente lavoro si basa sul lavoro fondamentale e pionieristico di Tizio". Altro che invece sia citato con una frase che dice: "I risultati su questo problema ottenuti da Caio non sono affidabili perché basati su un’errata metodologia". Altro ancora è che Sempronio appaia citato tra decine di altri autori come uno dei tanti ricercatori che hanno studiato lo stesso problema. Nel primo e nel secondo caso naturalmente non si può nemmeno prendere per oro colato il giudizio di chi cita il lavoro. Nel terzo caso (che è quello ormai prevalente) l’informazione fornita dalla citazione, in merito al lavoro citato, è pressoché nulla. In molti casi non si può nemmeno dire che chi cita abbia letto l’articolo citato, meno che mai che ne sia stato influenzato. Parlare di "impatto" sulla ricerca scientifica dei risultati del lavoro citato è, in questo caso, del tutto arbitrario.

Comunque sia, è l’interesse per la valutazione delle ricerche svolte dai propri colleghi che ha creato le basi per lo sviluppo commerciale delle iniziative dello ISI. E’ a questo livello che si è inserito il "virus" che ha aperto le porte all’utilizzazione dello IF come parametro di valutazione individuale e collettiva.

E’ opportuno a questo punto riflettere sulla natura della banca dati costituita e utilizzata dall’ISI. Questa azienda sceglie prima di tutto un insieme di riviste che costituiscono la sua fonte primaria. Di queste riviste sono rilevati tutti gli articoli, con l’indicazione dei nomi (abbreviati) ed indirizzi degli autori e tutte le citazioni di articoli, libri, relazioni a congresso o altro che vi si trovano. Tutti i dati sono quindi inseriti in una banca dati elettronica. Si tratta indubbiamente di un’operazione molto costosa che deve seguire i criteri di minimizzare i costi e massimizzare i ricavi. E’ ovvio che per un’azienda editoriale che sostiene di possedere una banca dati pressoché completa, è indispensabile che siano prese in considerazioni tutte, o quasi tutte, le riviste, disponibili nelle maggiori biblioteche scientifiche americane. E, infatti, queste biblioteche costituiscono il gruppo di clienti più importante e consistente per la vendita dei servizi offerti dall’azienda (repertori cartacei, accesso condizionato e parziale alla banca dati, ecc.). Questo significa che debbono essere innanzi tutto incluse nella banca dati le riviste scientifiche pubblicate negli Stati Uniti, e le riviste pubblicate dalle grandi case editrici commerciali (North Holland, Springer, Elsevier, Gordon & Breach, ecc.) che, anche in virtù della loro capacità di "marketing", hanno accesso al mercato delle biblioteche americane. E’ pure naturale includere le riviste canadesi, e quelle dei principali paesi di lingua inglese (Gran Bretagna, Irlanda, Australia.) Ma se ci si vuole presentare come una fonte di informazione completa a livello internazionale è necessario anche includere qualche rivista "nazionale" dei principali paesi dell’Europa Occidentale ed Orientale, e qualche rivista giapponese. In questo ambito è più difficile prendere decisioni.

Il tipo di decisione che è stato preso può essere illustrato da quanto è avvenuto per la matematica, in relazione alle riviste italiane. Le riviste italiane di matematica sono molte (c’è chi dice che sono troppe). Alcune hanno una gloriosa tradizione, ed un certo prestigio internazionale, perché, nei primi trent’anni di questo secolo, hanno ospitato contributi importanti di matematici di tutti i paesi. Ad esempio la tesi di Henry Lebesgue che, agli inizi del secolo, ha completamente rivoluzionato l’analisi matematica, ed ha profondamente influenzato lo sviluppo della teoria delle probabilità, è stata pubblicata da "Annali di Matematica Pura ed Applicata" una rivista di Firenze (H. Lebesgue : "Intégrale, longueur, aire", Annali di Matematica, 7, 1902, 231-358). La stessa "Rendiconti del Circolo Matematico di Palermo" ha avuto il suo periodo di gloria, dall’inizio del secolo, fino agli anni venti e trenta. Era ovvio, tuttavia, che sarebbe stato troppo oneroso includere nella banca dati più di una o due riviste italiane di matematica, anche perché fino a tempi recenti i matematici, come si è detto, erano abituati ad utilizzare, più le "Mathematical Reviews" che repertori bibliografici onnicomprensivi. Per aggredire il mercato dei matematici bisognava quindi contare principalmente sull’Informatica, e sulla matematica applicata, per le quali, non esistevano riviste italiane importanti[3]. In queste condizioni, inizialmente lo ISI prese per la matematica italiana una decisione che ritengo del tutto casuale. Fu scelta, negli anni sessanta, tra le tante riviste italiane, la rivista "Ricerche di Matematica" che fa capo all’Istituto Matematico di Napoli. Successivamente furono incluse, al suo posto, le due riviste che sembravano meno legate a realtà locali, e cioè il Bollettino dell’Unione Matematica Italiana e gli Annali di Matematica Pura ed Applicata. Nessun matematico italiano o straniero, nemmeno un ex Presidente dell’Unione Matematica Italiana, come il sottoscritto, può ragionevolmente asserire che queste due riviste siano le migliori riviste di matematica italiane, dal punto di vista della qualità degli articoli che vi sono ospitati. Molti (almeno i professori della Normale) sosterranno che non appare giustificata l’esclusione degli Annali della Scuola Normale Superiore di Pisa, a favore di queste due riviste. Altri rivendicheranno il ruolo di altre pubblicazioni periodiche collegate in un modo o nell’altro ad una sede universitaria. Sta di fatto che la decisione si basava anche su un calcolo di costi. Uno dei requisiti per l’inclusione nella banca dati era la assoluta regolarità delle pubblicazioni. Il costo aggiuntivo di inseguire le annate mancanti o in ritardo non giustificava certo la scelta di una rivista piuttosto che un’altra. La prova fu che gli "Annali di Matematica Pura e Applicata", la vecchia e gloriosa rivista che aveva pubblicato quasi cento anni fa la tesi di H. Lebesgue, e che era inclusa nella banca dati dell’ISI fino al 1997, è stata esclusa dalla banca dati dal 1998: il distributore si era dimenticato di inviare i fascicoli dell’anno precedente all’ISI, ottenendone una punizione immediata[4]. Credo che questo esempio sia sufficiente ad indicare che non ci si può aspettare che l’inclusione nella banca dati dell’ISI sia decisa sulla base di un’analisi seria e responsabile della qualità degli articoli della rivista. E infatti l’ISI non dispone di strumenti per valutare la qualità dei contributi che appaiono in migliaia e migliaia di pubblicazioni in centinaia di discipline diverse. Per i suoi scopi è più semplice, analizzare i dati a sua disposizione.

L’IF come strumento di promozione commerciale.

E infatti, oltre alla decisione elementare di escludere le riviste che non sono sufficientemente regolari, l’ISI cercò di sviluppare criteri che le consentissero di misurare l’utilità, ai suoi fini, dell’inclusione o esclusione di una rivista. E’ per questo che è stato introdotto lo IF. Esso è un numero associato ad una rivista per un certo anno che si definisce come segue:

Lo IF della rivista X nell’anno N, è il rapporto tra numero di citazioni rilevate nell’anno N sulle riviste incluse nella banca dati, di articoli pubblicati negli anni N-1 e N-2 sulla rivista X, diviso per il numero totale degli articoli pubblicati negli anni N-1 e N-2 sulla rivista X.

Questo indice è stato ritenuto utile dall’azienda per decidere la permanenza di una rivista nella sua banca dati. Se una rivista è poco citata, in rapporto agli articoli che pubblica, non vale la pena di dedicarvi il costoso lavoro di esaminarne gli articoli per le citazioni.

Ma in realtà l’importanza dell’indice, dal punto di vista del suo inventori, sta nel fatto che è possibile presentarlo alle biblioteche scientifiche delle università e centri di ricerca americani, come uno strumento per decidere se vale la pena di acquisire o mantenere l’abbonamento ad una rivista. Queste biblioteche sono, come si è detto, i principali clienti dell’ISI ed era ed è opportuno convincerle che la banca dati dell’ISI è completa ed affidabile, specialmente in vista di un’espansione dell’attività dell’azienda al di fuori dei campi tradizionali della chimica e delle scienze biomediche.

Lo IF si è rivelato un importante strumento per questa opera di convinzione perché può, in effetti, essere utilizzato per rendere la realtà conforme alla propaganda dell’ISI. Se le principali biblioteche scientifiche americane si convincono che non vale la pena acquistare riviste che hanno un IF basso o nullo, e se, come conseguenza, le riviste che non appartengono alla banca dati ISI scompaiono dalle biblioteche, la banca dati dell’ISI, apparirà automaticamente completa ed affidabile. Essa rappresenterà l’universo delle pubblicazioni che vale la pena di acquistare o consultare. In effetti, la scomparsa di una rivista dalle maggiori biblioteche scientifiche americane ne decreta, in qualche modo, l’estinzione o la totale emarginazione. Il risultato finale è quindi quello di modificare la realtà esterna per renderla conforme alle esigenze di contenimento dei costi e massimizzazione del profitti dell’azienda ISI. Tra la strada di estendere indiscriminatamente la banca dati fino ad includere tutte le riviste ritenute, in qualche modo, rilevanti per la scienza, dagli esperti delle diverse discipline (che è la strada scelta da un’associazione senza fini di lucro, e che ha tra i suoi fini la promozione della matematica, come l’American Mathematical Society) e la strada di utilizzare uno strumento in grado di modificare l’universo delle riviste scientifiche, in modo da renderlo conforme alla propria banca dati, a sua volta costituita in modo da rispondere a scelte aziendali in dipendenza del profitto atteso, un’azienda commerciale non può che scegliere la seconda. Si spiega così in termini di convenienza economica l’azione insistente di Eugene Garfield per propagandare lo IF tra i gestori delle biblioteche del mondo anglosassone. Non si tratta ovviamente del tipo di propaganda usato per vendere fustini di detersivo. Il proprietario dell’ISI, E. Garfield, ha pubblicato decine di articoli, commenti, lettere al direttore, interventi a congressi, che hanno tutta l’apparenza di lavori scientifici, e comunque di interventi motivati da un interesse genuino a migliorare le forme di comunicazione scientifiche. Ma gli argomenti di base non sono difficili da identificare.

Si parte da un argomento che colpisce subito chi deve utilizzare una quantità limitata di fondi per gli acquisti di una biblioteca scientifica: non è possibile acquistare o prendere in considerazione tutte le pubblicazioni scientifiche. Bisogna limitarsi alle più importanti. Per usare le parole di Eugene Garfield[5]:

"The fact is, no matter how many journals are in the market, only a small fraction account for most of the articles that are published and cited in a given year"[6]

Se si è d’accordo con l’ipotesi che l’importanza di una rivista si misura attraverso il numero delle citazioni che ricevono i suoi articoli, allora basta analizzare i dati sulle citazioni delle diverse riviste per concludere, con una semplice analisi statistica, che la copertura delle riviste offerta dalla banca dati dell’ISI è perfino ridondante[7]:

"... 900 (21 percent) of the 4,400 journals indexed in the 1988 SCI received 83 percent of the 8,000,000 citations processed for the Journal Citation Reports that year. [...] it took 2,000 journals (46 percent) to publish 86 percent of the 435,000 original research or review articles and technical notes included in the 1988 JCR"

L’argomento può essere reso apparentemente più raffinato e "scientifico" citando opportune "distribuzioni statistiche" (quelle di Bradford e Zipf) o facendo riferimento a grafici e diagrammi. Comunque è l’IF nell’opinione dei suoi venditori che dovrebbe determinare la scelta di acquistare o non acquistare una rivista. E’ interessante osservare che in questo contesto il problema del prezzo di vendita delle pubblicazioni scientifiche non viene nemmeno sollevato. E infatti un dato "obiettivo" come l’IF consente di non procedere ad un confronto tra costi e qualità, un confronto che dovrebbe essere affidato ad esperti e, che come vedremo, non risulterebbe favorevole all’editoria commerciale, la quale costituisce il principale alleato dell’ISI nella conquista dello spazio vitale delle biblioteche scientifiche.

Non varrebbe nemmeno la pena, a questo punto di mettere indubbio l’ipotesi iniziale, cioè che l’utilità di una rivista è misurata dal numero delle citazioni che i suoi articoli ricevono nei due anni successivi. La rivista diverrà comunque inutile quando i potenziali autori si renderanno conto che essa non è più disponibile nelle biblioteche americane[8].

Che cosa determina l’IF di una rivista.

E’ opportuno tuttavia riflettere su alcune variabili puramente tecniche che concorrono a determinare lo IF. Prima di tutto, perché lo IF sia calcolabile, e quindi diverso da zero, è necessario che la rivista sia inclusa nella banca dati dell’ISI. Questo stesso fatto ha dato un enorme vantaggio alle riviste inizialmente incluse nella banca dati, che, come abbiamo visto, sono state scelte sulla base degli interessi dei clienti dell'ISI che sono le biblioteche scientifiche americane, gestite da bibliotecari professionisti, che non sempre capiscono le esigenze delle scienze creative. In secondo luogo sono escluse le riviste che subiscono qualche irregolarità nella pubblicazione. E, infatti, se il volume del 1999 è pubblicato nel 2000 (un peccato ritenuto fino a poco tempo fa veniale) questo stesso fatto rende il calcolo dello IF pressoché impossibile. Un altro elemento importante, ai fini della determinazione dello IF, è la tempestività delle pubblicazioni. Un lavoro importante la cui pubblicazione è ritardata di un anno o più, finisce per essere citato molto come "preprint", ottenendo citazioni che non accrescono lo IF della rivista. Ma le riviste serie impiegano molto tempo per valutare un articolo, ritardandone in questo modo la pubblicazione. In alcuni casi un articolo può aspettare mesi o anni anche dopo l’accettazione. Questo succede più di rado quando la rivista è pubblicata da un editore commerciale sempre pronto ad espandere il numero delle pagine ed il prezzo di abbonamento. Ma può succedere invece per riviste gestite da istituzioni scientifiche che si basano sul lavoro volontario dei professori e possono trovarsi con troppi lavori accettati per la pubblicazione rispetto alle dimensioni dei volumi che intendono pubblicare.

Ma la variabile più importante che determina lo IF di una rivista è certamente il numero di citazioni che sono abituati ad inserire nei loro lavori gli autori che vi contribuiscono. Solo in questo modo si può spiegare, ad esempio, la grandissima differenza di IF tra le riviste di matematica pura e quelle di matematica applicata, o di informatica. Solo in questo modo si spiega perché la rivista di matematica con lo IF più alto, ha un IF quasi venti volte inferiore alla rivista di Biologia con il più alto IF. La variabile del numero medio di citazioni per articolo non può essere in alcun modo correlata con la qualità della rivista e da sola preclude una chiara associazione tra IF e utilità (per non dire qualità) delle riviste. Naturalmente l’abitudine ad includere molte o poche citazioni dipende dal costume accettato all’interno delle singole aree scientifiche. Sarebbe quindi teoricamente possibile paragonare tra loro riviste nella stessa area i cui autori hanno presumibilmente le stesse abitudini. Ma come definire un’area scientifica? Se la definizione include molte discipline si rischia di includere piccole comunità scientifiche distinte che si comportano in modo molto diverso in riferimento alle citazioni. Se l’area invece è definita in modo ristretto si rischia di non poter paragonare tra loro più di una o due riviste[9]. Comunque ogni "normalizzazione" dell’IF è basata su un giudizio arbitrario. Ad esempio il "Journal of Computational Neuroscience" deve essere considerata nell’ambito delle riviste biomediche (nel qual caso il suo IF di 2,6 sarebbe modesto) oppure nell’ambito della matematica applicata (nel qual caso lo stesso IF risulterebbe astronomico)?

Gli effetti dell’IF sull’editoria scientifica.

Come era da aspettarsi la propaganda dell’ISI ha avuto un enorme successo, determinando o agevolando, in certi casi, un cambiamento nell’organizzazione dell’editoria scientifica. Ancora una volta citerò il caso della matematica, non solo perché è quello che conosco meglio, ma anche perché in quest’area l’ISI ha avuto relativamente poca importanza fino a pochi anni fa, ed è quindi più facile studiare come si è manifestata e sviluppata la sua influenza.

Fino agli anni sessanta l’editoria scientifica in ambito matematico era, in massima parte, nelle mani di istituzioni scientifiche: associazioni scientifiche come la American Mathematical Society, la London Mathematical Society, l’Unione Matematica Italiana, la Societé Mathématique de France, oppure università, consorzi di università, accademie, ed occasionalmente fondazioni[10]. Queste istituzioni avevano un interesse a mantenere bassi i costi di produzione e di distribuzione, e, specialmente in Europa, basavano una buona parte della distribuzione sul sistema degli scambi tra università e biblioteche. In altre parole la biblioteca di un’università pagava l’abbonamento alla rivista di un’altra università con l’invio della propria rivista. Nei paesi dell’Europa Orientale, ed anche in alcuni paesi in via di sviluppo, dove il costo di produzione della rivista era bassissimo, o sovvenzionato comunque dallo Stato, questo consentiva alle biblioteche di acquisire, senza costosi esborsi di valuta straniera, le riviste occidentali. I costi degli abbonamenti erano comunque abbastanza bassi nonostante le maggiori spese di produzione, prima dell’avvento dei mezzi di composizione elettronica. Una caratteristica di questo tipo di editoria scientifica era quella di non essere specialistica, nel senso che erano accettati e pubblicati in genere articoli di tutte le discipline matematiche.

A partire dagli anni sessanta si è inserita invece nel sistema in maniera pesante l’editoria commerciale che ha introdotto riviste a carattere più specialistico. Questa politica editoriale corrispondeva ad una tendenza alla frammentazione, propria della scienza contemporanea, cui non riusciva a rispondere la vecchia editoria scientifica, che era in mano ad istituzioni senza fini di lucro gestite da studiosi che non approvavano un’eccessiva frammentazione della matematica in nicchie ecologiche autosufficienti.[11]

Naturalmente le aziende editoriali private seppero anche trovare canali di distribuzione e di vendita nuovi, rivolgendosi prevalentemente ai gestori delle biblioteche scientifiche delle università americane. Al contrario di quello che avveniva, e avviene ancora, in Europa, le biblioteche scientifiche negli Stati Uniti sono controllate da personale specializzato, che, non di rado, non ha un rapporto facilissimo con i professori che sono ritenuti "utenti", e non "proprietari", della biblioteca come, sostanzialmente, avviene in Italia[12]. Poiché è molto raro negli Stati Uniti il caso di biblioteche dipartimentali, essendo prevalenti biblioteche più generali, i criteri di acquisizione delle riviste debbono riflettere criteri comuni a tutte le discipline, e non solo alla matematica. E’ difficile ad esempio per un professore di matematica americano sostenere che una rivista che esce in modo erratico, come "Institut des Hautes Etudes Scientifiques; Publications Mathématiques", debba essere comunque acquisita, per il valore intrinseco dei contributi che vi sono pubblicati, scavalcando, se necessario, i normali canali di distribuzione. In queste condizioni è più facile per lo stesso professore procurarsi qualche fotocopia dei lavori importanti usciti su questa rivista e rinunciare ad averla in biblioteca. Il modo più semplice per gestire una biblioteca per chi non ha competenze specifiche disciplinari e non vuole essere subissato dalle richieste contrastanti dei diversi specialisti, è quello di affidarsi ai grandi canali di distribuzione commerciale, che hanno un rapporto naturale con le grandi aziende editoriali, ma un rapporto più difficile con le istituzioni e le associazioni che pubblicano le riviste di matematica nei paesi di lingua diversa dall’inglese. Comunque per rendere una rivista o un libro appetibile da parte di un azienda di distribuzione bisogna che il prezzo sia abbastanza elevato. C’è voluto molto tempo prima che istituzioni tradizionali come le società scientifiche dei diversi paesi europei e le università capissero che un basso prezzo di abbonamento, ed un vasto programma di scambi, gli strumenti che sembravano naturali per diffondere la rivista, ne rendevano invece più difficile la distribuzione. Nessuno pensava, comunque, che ogni considerazione sul costo delle pubblicazione potesse essere ignorata da parte di chi acquista, sulla base di un’aggressiva campagna di vendita da parte di editori commerciali "scientificamente" motivata da considerazioni "obiettive", in quanto fondate su numeri, come quelle così insistentemente fornite dall’ISI. E così quando l’esplosione delle pubblicazioni ed il taglio dei finanziamenti destinati alle biblioteche scientifiche rese necessario un ridimensionamento degli acquisti, le riviste abbandonate non sono state quelle più recenti e più costose, pubblicate dagli editori commerciali, ma quelle disdegnate dai distributori, perché irregolari, o poco costose. In questo quadro la propaganda dell’ISI non poteva non essere efficace.

Certamente il risultato finale di questa evoluzione, cui l’ISI ha contribuito negli ultimi anni, è stato quello di favorire i grandi editori commerciali, a scapito delle pubblicazioni legate ad istituzioni scientifiche[13], specialmente quelle dei paesi europei non di lingua inglese, di far lievitare i costi delle pubblicazioni, e di far aumentare, non solo il numero delle riviste, ma anche, paradossalmente, il numero delle riviste di "alto prestigio scientifico" e degli articoli pubblicati su riviste di alto prestigio[14]. Comunque è aumentato il costo di pubblicazione e di distribuzione delle riviste, nonostante i progressi tecnologici nelle tecniche di composizione. Non c’è molto che si possa fare per tornare indietro. L’unica speranza è che l’avvento dell’editoria elettronica, per sua natura poco costosa e direttamente gestibile dai ricercatori, finisca per mettere fine all’oligopolio dei grandi editori commerciali mediato dall’ISI. Anche per questo non bisogna dare troppo credito all’ISI o all’IF.

Certamente, almeno per me, è difficile stabilire fino a che punto la ricostruzione degli eventi che sono in grado di fare per la matematica si applichi alle altre discipline ed in particolare a quelle mediche[15]. Mi sono dilungato in questo senso, prima di affrontare il problema dell’uso dell’IF nella valutazione scientifica, per spiegare come la politica di una grande azienda editoriale possa avere conseguenze che non coincidono con l’interesse della scienza.

Giustificazioni per l’uso dell’IF nella valutazione dei lavori scientifici.

Ma veniamo all’argomento principale di questo intervento: l’uso dello IF come strumento per la valutazione della ricerca scientifica individuale o collettiva.

Abbiamo già osservato che questa utilizzazione è sconsigliata dall’ISI. Citiamo ancora E. Garfield[16]:

"The source of much anxiety about Journal Impact Factors comes from their misuse in evaluating individuals, e.g. during the Habilitation process. In many countries in Europe, I have found that in order to shortcut the work of looking up actual (real) citation counts for investigators the journal impact factor is used as a surrogate to estimate the count. I have always warned against this use. There is wide variation from article to article within a single journal as has been widely documented by Per O. Seglen of Norway[17] and others".

Insomma, secondo Garfield, ha molto più senso contare le citazioni di un singolo articolo piuttosto che riferirsi alle citazioni medie della rivista in cui appare.

Ma non possiamo solo basarci sui commenti e le giustificazioni di Garfield. E’ necessaria un’analisi più accurata. Conviene quindi esaminare alcune delle giustificazioni che sono indicate per l’uso dello IF di una rivista per valutare un singolo articolo che vi è pubblicato.

Una giustificazione comune è basata sull’ipotesi che il valore di un lavoro scientifico possa essere approssimativamente misurato dal numero delle citazioni che riceve. Si ipotizza ulteriormente che questo numero possa essere stimato dal numero medio delle citazioni che ricevono gli articoli della stessa rivista, ed infine che questo numero medio possa essere stimato dallo IF che, come abbiamo visto, è una media calcolata sulla base di due soli anni.

Ognuna di queste ipotesi è in qualche modo plausibile ed ha qualche fondamento empirico. Ma, nel complesso, il ragionamento è molto debole.

Cominciamo con la relazione tra valore di un lavoro scientifico e numero delle citazioni che riceve. E’ plausibile che le citazioni misurino l’influenza di un lavoro scientifico sui lavori degli altri, e quindi, in linea di massima, l’importanza del lavoro. A questo proposito E. Garfield cita il sociologo della scienza Robert K. Merton (che dice di aver conosciuto nel 1962) il quale avrebbe descritto le citazioni come la moneta della scienza. Gli scienziati, secondo Merton, ricompenserebbero i loro maestri ed i loro ispiratori, con le citazioni. Ma Merton stava parlando della scienza di almeno cinquanta anni fa, prima che intervenisse l’ISI, e lo IF. L’introduzione delle citazioni come strumento di valutazione ha completamente cambiato il contesto sociale entro il quale si pratica la citazione, infatti, con l’uso dello IF per la valutazione della ricerca, ma anche soltanto per la valutazione delle riviste, entrano in gioco nel sistema delle citazioni interessi diretti ed indiretti (di carriera, di stipendi, di accesso ai finanziamenti, di diffusione delle riviste) che ne falsano completamente la natura. Un tempo si citavano solo gli articoli che tutti gli autori avevano letto ed utilizzato nella loro ricerca. Ora intere bibliografie sono compilate automaticamente ed inserite nei lavori. Siccome l’IF tiene conto anche delle autocitazioni è buona pratica comunque citare i lavori pubblicati nella stessa rivista in cui si spera di pubblicare il proprio lavoro. Questa politica rende più accettabile il lavoro presentato perché esso contribuirà ad aumentare lo IF della rivista, e quindi ne rafforzerà il prestigio e ne aumenterà la diffusione[18]. Inoltre qualsiasi gruppo organizzato di ricercatori che desideri potenziare la sotto-disciplina o la problematica cui fa riferimento, dovrà impegnarsi a scambiarsi citazioni. E infine, in un sistema in cui "un sigaro, un bicchiere di vino ed una citazione in bibliografia non si negano a nessuno", cioè in un sistema in cui citare non costa nulla, conviene comunque citare liberamente, perché chi non cita non sarà citato. La scelta tra citare e non citare, infatti, non è più dettata dall’esigenza di riconoscere le altrui priorità, e dall’esigenza di chiarezza e completezza dell’esposizione. La maggioranza delle citazioni può essere omessa o sostituita da altre citazioni. Si citano dunque gli autori da cui ci si aspetta di essere citati[19]. E, infatti, il numero delle citazioni contenute in un articolo scientifico è aumentato a dismisura, proprio perché lo IF di una rivista ha un’alta correlazione (come riconosce lo stesso Garfield nello scritto citato alla Nota 3) con il numero medio delle citazioni che compaiono nei suoi articoli. La citazione come "tributo" o riconoscimento al maestro o ispiratore è praticamente scomparsa dalla letteratura scientifica o è sepolta sotto valanghe di citazioni irrilevanti[20].

Dobbiamo anche dire che mentre trent’anni fa era ancora facile analizzare in dettaglio le poche citazioni che un lavoro scientifico poteva ricevere nel corso degli anni, per valutare l’accoglienza che i risultati del lavoro avevano all’interno della comunità scientifica, oggi invece si possono solo contare citazioni, quasi tutte irrilevanti. Nel mare dei riferimenti bibliografici finisce per essere impossibile trovare ciò che ha veramente ispirato l’autore. Il successo del Science Citation Index ne ha di fatto reso più difficile un uso razionale come sussidio per la valutazione della ricerca.

L’altra ipotesi che sembra a prima vista plausibile è che il numero delle citazioni che un articolo riceverà nei due anni successivi alla pubblicazione possa essere stimato dallo IF. In effetti, una semplice analisi statistica effettuata da Per O Seglen[21] mostra che il tasso di citazioni di un articolo individuale in una rivista si distribuisce in modo molto poco uniforme. In sostanza lo IF è determinato da pochi articoli con molte citazioni e molti articoli con poche citazioni. In cifre il 50% delle citazioni è determinato dal 15% degli articoli (quelli più citati) ed il 90% delle citazioni è determinato dal 50% degli articoli. In altre parole il 50% degli articoli contribuiscono con solo il 10% delle citazioni. Questo fatto è confermato dallo stesso Garfield nel passo citato sopra, dove si fa riferimento al lavoro di Seglen.

Comunque sia, è difficile capire come, chi valuta l’articolo, avendo a disposizione l’articolo da valutare, e potendo accedere ai lavori in cui l’articolo è citato, attraverso lo SCI, dovrebbe basarsi su un indice incerto che non ha nessun rapporto con il lavoro in esame, ma si riferisce ad una media aritmetica di dati disomogenei, concernenti lavori di altri autori, pubblicati due anni prima. Sarebbe come se un medico, anziché esaminare un paziente, consultando anche la sua cartella clinica, si intestardisse a formulare una diagnosi sulla base delle cartelle cliniche di pazienti che nei due anni precedenti vivevano nella stessa casa o facevano lo stesso lavoro del paziente in esame. Solo la fede nell’ISI, e nell’IF, come fonti di verità e di giustizia può giustificare un simile comportamento[22].

Ma c’è un altro motivo, apparentemente più valido, per considerare l’IF della rivista in cui un lavoro è pubblicato, nella valutazione di un lavoro scientifico. Si dice, infatti, che le riviste con alto IF sono quelle che ospitano gli articoli migliori o che comunque sono più selettive nella scelta dei lavori da pubblicare. La considerazione dello IF aiuterebbe quindi a collocare, almeno inizialmente, e prima di una lettura accurata, un lavoro scientifico in una scala di valore qualitativo[23].

Ma sarà vero che l’IF misura la qualità dei lavori pubblicati su una rivista? Non sembra possibile stabilirlo "a priori". Abbiamo visto che l’IF delle riviste dipende in massima parte dalle abitudini della comunità scientifica di riferimento per la rivista. Sarà alto laddove gli articoli sono corredati da molte citazioni, ed in particolare citazioni di lavori usciti nei due anni precedenti, sarà basso se chi scrive per quella rivista o riviste analoghe cita poco o cita articoli più vecchi. Per decidere in che senso e fino a che punto lo IF di una rivista è una indicazione della sua qualità, o meglio della sua selettività, bisognerà per ogni area disciplinare interpellare uno o più esperti.

L’IF nelle discipline matematiche.

Io mi considero un esperto di matematica e, per la prima volta nella mia vita, nelle scorse settimane ho preso in esame la lista delle riviste di matematica incluse nella banca dati ISI ed il relativo IF. Ho preso quindi in esame l’elenco delle riviste che secondo l’ISI sono classificabili come "Mathematics", "Applied Mathematics" e "Mathematics-miscellaneous". Non era l’unica scelta possibile ma è l’unica che mi ha consentito di includere quasi tutte le riviste comprese nella banca dati dove pubblicano i matematici. Mancano solo alcune riviste importanti classificate come appartenenti all’area "Statistics and Probability", assieme ad una grandissima quantità di riviste che appaiono del tutto estranee al mondo matematico.

Ho osservato prima di tutto che solo 10 riviste sulle 265 elencate hanno un IF di almeno 1,5 (il massimo è 2,6). Debbo dire che tra queste prime dieci ci sono tre riviste di indubbia qualità, comprese le due che sono tradizionalmente considerate le più selettive: Acta Mathematica e Annals of Mathematics. In effetti, nessuno dubita che queste due riviste che compaiono, rispettivamente, al terzo e al quinto posto della graduatoria con IF di 1,9 e di 1,7 offrono le maggiori garanzie di non pubblicare contributi di scarso valore[24].

Dobbiamo dire però che un esperto è in grado di dire che gli Annals e gli Acta (come sono comunemente chiamate) sono le migliori riviste di matematica sul mercato senza conoscere il loro IF. Inoltre un esperto ha a sua disposizione informazioni che non sono in alcun modo rappresentate dallo IF. Egli sa per esempio che ci sono articoli pubblicati sugli Annals che non sarebbero accettati sugli Acta, e viceversa. Sa cioè che la possibilità che un articolo si accettato per la pubblicazione su una di queste riviste è legata non solo al valore dell’articolo, ma anche alle particolari inclinazioni dei matematici che, dopo aver interpellato relatori competenti, prendono le decisioni finali. Così se mi si dice che il tale articolo è stato pubblicato sugli Annals io sono sicuro che si tratta di un articolo di buona qualità, se poi l’articolo non corrisponde agli interessi scientifici dei componenti del comitato editoriale di questa rivista, comincio a pensare che l’articolo sia davvero eccellente. Per fare un esempio concreto, se un articolo che rientra negli interessi della scuola di E.S. è pubblicato sugli Annals, esso è certamente di buona qualità, ma se lo stesso articolo è pubblicato su gli Acta, allora vuol dire che anche L.C., che può non avere simpatia per il lavoro di scuola degli allievi di E.S., lo ritiene di buona qualità. Basta questo a far sospettare che l’articolo sia davvero eccellente.[25]

Non c’è dubbio che esperti in altri campi avrebbero a disposizione informazioni analoghe sulle riviste di alto o basso IF nella loro discipline. Se la qualità di una rivista deve essere utilizzata per giudicare la qualità di un lavoro, perché ci si dovrebbe limitare a far riferimento allo IF e non si dovrebbero utilizzare anche altre, più articolate, informazioni? In ogni caso se dobbiamo interpellare un esperto per accertare che l’IF corrisponda alla qualità della rivista, che utilità possiamo assegnare a questo indice?

Ma veniamo alle altre riviste con alto IF. Osserviamo subito che le riviste della lista con il più alto IF sono entrate, per così dire, abusivamente, nella lista. Si tratta del "Journal of Computational Neuroscience" e di "Econometrica", che hanno rispettivamente un IF di 2,6 e 2. Dovremmo escluderle dalla lista? O normalizzare il loro IF con l’IF delle riviste di medicina o di economia? Non so rispondere a queste domande. L’esclusione penalizzerebbe i matematici che cercano di comunicare i loro risultati ad esperti di altre discipline. La "normalizzazione" potrebbe essere solo fatta sulla base di una decisione del tutto arbitraria.

Ma i problemi non finiscono qui. Tra le prime dieci riviste ordinate per IF ci sono altre tre riviste di matematica applicata. Prendiamo ad esempio "Applied and Computational Harmonic Analysis" che ha un IF di 1,64, è che è la settima rivista della lista ("Annals of Mathematics" essendo la quinta). Nessuno può credere che gli standard di selettività di "Applied and Computational Harmonic Analysis" si avvicinino a quelli di "Annals of Mathematics" o "Acta Mathematica", che siano superiori a quelli di "Inventiones Mathematicae" (IF 1,16) o di "American Journal of Mathematics" (IF 1,05). Le spiegazioni per un così elevato IF sono altre. Si tratta di una rivista che è probabilmente molto citata fuori dell’ambiente matematico tra gli ingegneri delle telecomunicazioni. Il dialogo tra scienza pura e applicazioni è molto importante. Fa piacere quindi che esistano riviste nelle quali si svolge questo dialogo. Ma che c’entra con la selettività della rivista o la qualità del contributo scientifico?[26]

Tra le prime 19 riviste elencate troviamo altre riviste "spurie" come "Journal of Computational Biology" che indubbiamente deve il suo alto IF (1,32) alla parziale appartenenza all’area della biologia, all’interno della quale, magari il suo IF sarebbe considerato modesto. Troviamo anche uno strano "Multivariate Behavioral Research" (IF 1,29) ed un "Journal of Econometrics" (IF 1,19). In genere abbondano tra le prime 20 riviste quelle parzialmente estranee alla matematica o quelle che si occupano di matematica applicata. Certamente la collocazione di una rivista tra le prime venti riviste di matematica classificate per IF non fornisce alcuna indicazione, che non sia già nota agli esperti, sulla natura e qualità dei contributi a questa rivista.

La situazione non migliora se si scorre ulteriormente l’elenco. Sono rispettivamente la ventunesima (IF 1,1) e la quarantanovesima (IF 0,8) due riviste che si dedicano ad un argomento estremamente specialistico e molto alla moda. La prima si chiama semplicemente "Chaos" e la seconda "Chaos, solitons and fractals". Nessun matematico serio oserebbe sostenere che gli standard di qualità di queste riviste sono paragonabili a quelli dell’"American Journal of Mathematics" (IF 1,05) del "Duke Mathematical Journal" (IF 0,92) o del "Journal fur die Reine und Angewandte Mathematik" (IF 0,78). E’ evidente, invece, che gli autori che pubblicano sulle due riviste del "caos", formano un’allegra brigata di entusiasti reciproci citanti, che, attraverso due riviste tutte per loro, si sottraggono agli standard di selettività delle riviste di matematica tradizionali. E’ importante che esistano riviste di questo tipo, perché spesso i canoni tradizionali della scienza finiscono per fare da sbarramento all’innovazione. Ma nessuno può venirci a raccontare che ciò che si pubblica in queste riviste rappresenta l’eccellenza nel mondo matematico internazionale.

Ci sono altre contraddizioni che saltano agli occhi. Le riviste "Memoirs of the American Mathematical Society" (17-esima nella lista, IF 1,22) e "Transactions of the American Mathematical Society" (73-esima nella lista, IF 0,62) hanno, dichiaratamente, gli stessi standard di selettività e lo stesso comitato editoriale. I lavori sono dirottati dall’una all’altra semplicemente sulla base della loro lunghezza. Anche i "Proceedings of the American Mathematical Society" (148-esima della lista, IF 0,36) dovrebbe avere gli stessi standard ed ospitare articoli di lunghezza ancora inferiore. Stiamo scoprendo che la lunghezza di un articolo è correlata alla lunghezza della sua lista di riferimenti bibliografici? E che cosa c’entra con la qualità?

Penso di essermi dilungato fin troppo. Vorrei solo aggiungere che nessun matematico dubita della grandissima importanza che ha avuto, negli ultimi cinquanta anni, la matematica sovietica. Fino a tempi recenti i matematici russi erano tenuti (o fortemente incentivati) a pubblicare su riviste russe in lingua russa. Alcune di queste riviste erano tradotte interamente in inglese, naturalmente diversi anni dopo. In ogni caso, sia le riviste originali, che quelle in traduzione, sono destinate per loro natura ad essere trascurate dalle citazioni immediate che sono alla base del calcolo dell’IF. La matematica russa risulterebbe pressoché inesistente se lo IF dovesse essere preso come indice di qualità.

Considerazioni analoghe, anche se non cosi’ forti e precise, possono essere fatte sulla matematica francese e su quella giapponese. Ne segue che, per la matematica, la considerazione dello IF non è affidabile nemmeno nella valutazione complessiva della ricerca di un intero paese. E’ improbabile che questa inaffidabilità si riferisca solo alle discipline matematiche e non investa invece almeno le altre discipline scientifiche, fuori del settore biomedico.

Rimane naturalmente aperto il problema dell’affidabilità dell’IF delle riviste, come indice di qualità degli articoli che vi sono pubblicati, nel settore biomedico. Io non sono un esperto e non sono in gradi fare un’analisi analoga a quella che ho fatto per la matematica. Né può ritenersi sufficiente, per smentire l’affidabilità dell’IF come indice di qualità, l’esempio, da me casualmente trovato, del lavoro sugli "zainetti", indicato alla nota 23. Vorrei però osservare che la scelta di un indicatore di valutazione non è neutrale, anche se si tratta di un indicatore ben correlato con quel che si vuole valutare. Una buona correlazione non basta ad assicurarne l’utilità, o quanto meno la non dannosità. Ad esempio non sarebbe difficile costruire un indicatore, molto affidabile, della probabilità di successo negli studi universitari degli studenti che aspirano a studiare medicina, sulla base di dati "obiettivi" come il reddito famigliare ed il grado di istruzione dei genitori. Eppure nessuno si sognerebbe di sostituire l’esame di ammissione con una graduatoria basata su un indicatore costruito in questo modo. E’ probabile anche che il costo delle calzature con le quali uno studente si presenta ad un esame, mettiamo di diritto, sia molto ben correlato alle sue probabilità si successo. E infatti il costo delle scarpe è legato al reddito famigliare che a sua volta è legato al livello di istruzione della famiglia che è molto ben correlato alle capacità espressive che consentono di sostenere un esame orale in una disciplina giuridica. Ma cacceremmo via un fabbricante di scarpe costosissime che ci proponesse di basare il voto d’esame (almeno in parte, e almeno con cautela) sul costo delle calzature dello studente, perché è un parametro "obiettivo". Lo cacceremmo via dando allo studente la possibilità di rispondere alle domande d’esame, senza nemmeno guardare le scarpe che indossa, e senza degnare di uno sguardo le dotte elaborazioni statistiche offerteci dal venditore di scarpe, per dimostrare che chi indossa scarpe costose, è più bravo. Perché allora dovremmo stare ascoltare la propaganda dell’ISI, senza dare a chi è valutato la possibilità di essere giudicato sulla base di quel che ha prodotto, e non sulla base di numeri proposti da un venditore di base di dati? Comunque anche il dato sul costo delle calzature finirebbe presto per non essere più obiettivo. L’accorto studente correrebbe subito a comprare le scarpe più costose, facendo felice, naturalmente, il venditore di scarpe. Ma anche l’obiettività dell’IF è discutibile.

Ma l’IF è obiettivo?

L’argomento è molto sentito dai fautori dello IF. L’IF con tutti i suoi difetti avrebbe il vantaggio di essere "obiettivo". Ma che significa obiettivo? Perché un dato sia obiettivo non basta che sia rappresentato da un numero (come sembrano ritenere i fautori dello IF) bisogna innanzitutto che non risulti manipolabile in funzione degli interessi in gioco[27]. E invece IF è direttamente e indirettamente manipolabile. Vediamo come.

La prima (innocente) manipolazione è operata dal ricercatore (o gruppi di ricercatori) che prima di decidere dove pubblicare un articolo consulta la lista delle riviste ordinate per IF. Certamente, una volta accettato l’IF come indice di qualità l’accorto ricercatore cercherà di pubblicare i lavori sulle riviste che hanno il massimo IF, tra quelle che potrebbero accettare i suoi lavori. Per di più il ricercatore che abbia applicato questa strategia nel passato diventerà uno sfegatato ed interessato sostenitore dell’IF come indicatore di qualità. Ma non tutti i ricercatori utilizzano questa strategia. Ed è molto dubbio che i ricercatori che non applicano questa strategia, che non hanno mai guardato un elenco delle riviste, ordinate per IF, o che magari non sanno nemmeno cosa sia lo IF, siano i peggiori. Si può invece congetturare che siano i meno arrivisti e forse i più seri. Tra l’altro la strategia è possibile se si dispone dell’elenco delle riviste con relativo IF, almeno nella propria disciplina. Questo elenco non è distribuito gratuitamente, ma è venduto, a caro prezzo, dall’ISI ed in genere non è disponibile a tutti i ricercatori, almeno nelle discipline ancora non conquistate dall’ISI e dall’IF [28].

La seconda possibile manipolazione è quella di abbondare nelle citazioni, avendo particolare cura di citare i lavori più recenti della rivista nella quale si vuole pubblicare. Si tratta di una manipolazione che riesce meglio se si appartiene ad un gruppo di ricercatori dediti alle reciproche citazioni. Essa riesce ancor meglio se il gruppo conquista una o due riviste nuove, edite da un grande editore commerciale, disposto ad investire in "marketing". Anche in questo caso le allegre brigate di reciproci citanti diventano sfegatate propagandiste dell’IF.

Di una terza possibile (e reale) manipolazione si è già parlato: i comitati di redazione delle riviste chiedono agli autori di citare lavori della stessa rivista come condizione per la pubblicazione. Questa richiesta può essere camuffata come richiesta del "referee", che è naturalmente coperto dall’anonimato.

Infine c’è la grande possibilità di manipolazione nelle mani di chi utilizza l’IF per valutazioni individuali. Il passaggio da un indice associato a riviste ad una valutazione, spesso, anch’essa numerica, associata ad un individuo è tutt’altro che pacificamente codificato. Né può esserlo dal momento che non è chiaro in che modo l’IF di una rivista sia associato alla qualità di un articolo che vi è pubblicato. Se, con un salto logico, si attribuisce ad ogni articolo un punteggio corrispondente all’IF della rivista su cui è pubblicato, resta ancora da stabilire se ha senso fare la somma di tutti i punteggi, ovvero la media, oppure la media relativamente ai lavori che hanno un punteggio minimo (o soltanto maggiore di zero). Può anche essere che sia più opportuno considerare la media geometrica[29], e a questo punto perché non la media armonica o qualche altra diavoleria statistica? Si tratta di scelte lasciate all’arbitrio del valutatore. Al suo arbitrio verrà anche lasciata ogni operazione di "normalizzazione". Non è ovviamente possibile confrontare gli IF di riviste appartenenti ad ambiti disciplinari diversi. Ad esempio l’IF massimo di una rivista di matematica pura è quasi venti volte inferiore a quello massimo di una rivista di biologia. Si deve quindi definire un universo di riferimento per applicare la valutazione dell’IF. Ma si tratta di una definizione arbitraria che può lasciare fuori le riviste e le ricerche non specialistiche. L’alternativa è di "pesare" l’IF di una rivista sulla base della sua appartenenza a questo o quel gruppo, per "normalizzare" i dati. Ma chi e come decide sul peso? Abbiamo già visto che nella matematica le riviste di matematica applicata hanno un IF maggiore di quelle che ospitano anche articoli di matematica cosiddetta pura. Dobbiamo quindi stabilire che il loro IF conta di meno? E quanto di meno? La metà, un terzo, o solo il 10% in meno? E chi decide se una rivista è di matematica applicata o di matematica pura? In questo caso si può veramente parlare di arbitrio perché si tratta di decisioni cui non corrisponde un’assunzione di responsabilità. Lo IF con la sua pretesa di obiettività rende molto poco trasparente ogni decisione di merito.

Gli effetti negativi dell’IF sulla comunicazione scientifica.

A questo punto ho già indirettamente illustrato i danni che può recare alla scienza e alla comunicazione scientifica l’uso dello IF nella valutazione della ricerca. Ma vale la pena di passarli di nuovo in rassegna. (Ovviamente l’uso dello IF non è la sola causa e spesso nemmeno la causa principale dei fenomeni negativi qui elencati. Si tratta tuttavia spesso di fenomeni che sono aggravati non solo dall’uso improprio dello IF, ma anche dalla politica di "marketing" dell’ISI)

L’aumento indiscriminato delle riviste e delle pubblicazioni scientifiche ed in particolare delle riviste più costose di proprietà di editori commerciali e la crisi finanziaria delle biblioteche scientifiche, esiziale per i paesi dell’Europa dell’Est ed i paesi in via di sviluppo.

L’impoverimento e l’esclusione dai circuiti internazionali di distribuzione delle riviste scientifiche legate ad istituzioni culturali e non pubblicate da editori commerciali.

L’aumento del numero delle citazioni non giustificate né dal riconoscimento di una priorità, né dall’esigenza di rendere più chiaro il testo (un aumento che rende tra l’altro molto difficile utilizzare lo SCI per i fini per i quali era stato creato).

L’aumento di riviste specialistiche gestite da piccole comunità internazionali dedite alle reciproche citazioni, e poco interessate a confrontarsi con il resto della comunità scientifica.

L’aumento della pressione sui singoli ricercatori e sulle strutture scientifiche a pubblicare, anche in assenza di risultati scientifici significativi, al solo scopo di aumentare il proprio punteggio basato sullo IF.

La perdita di vista del significato di una pubblicazione scientifica come mezzo per comunicare ad altri ricercatori i propri risultati e non solo come strumento per aumentare il proprio "punteggio".

Il capovolgimento dei valori di buon senso nella scelta del mezzo di comunicazione dei propri risultati che dovrebbero essere diffusi negli ambiti dove possono essere più utili [30].

L’arbitrio nelle scelte valutative mascherato dall’obiettività.

L’acquisizione di un repertorio bibliografico costosissimo (lo SCI) e in molti casi inutile, in tutte le strutture di ricerche, al solo scopo di consentire a tutti una strategia di massimizzazione dello IF.

L’asservimento delle scelte scientifiche e culturali delle comunità degli scienziati agli interessi venali delle grandi aziende editoriali e dell’ISI.

Vorrei infine osservare che per sua natura la valutazione scientifica non può prescindere da un giudizio discrezionale, che potrebbe rivelarsi errato. Anche il giudizio di accettazione di un lavoro su una rivista ha carattere di discrezionalità. Non solo perché esercitano una loro discrezionalità i "referees" ma perché è discrezionale la scelta del "referee" e discrezionale l’interpretazione del suo giudizio.

Proprio perché si tratta di scelte discrezionali in tutti i paesi ci si rivolge ad esperti per valutare progetti e risultati della ricerca scientifica. Una valutazione discrezionale è obiettiva nella misura in cui non è dettata da interessi diretti o indiretti di chi valuta, cioè nella misura in cui si esprime un giudizio "imparziale". Nessuno è in grado a priori di assicurare questa imparzialità. Ma certamente uno degli strumenti per controllare i giudizi scientifici è quello della censura, in termini di reputazione, che può esercitare una comunità scientifica vigile e aperta. Una condizione necessaria perché questa censura possa essere esercitata è che ci sia una chiara attribuzione di responsabilità. Un giudizio basato su scelte discrezionali oscurate da presunti parametri oggettivi è sottratto ad ogni critica e quindi potenzialmente arbitrario. Queste considerazioni si applicano non solo quando si tratta di giudicare i singoli, ma anche quando il giudizio si applica a gruppi o strutture in competizione.

Un esempio di giudizi di merito scientifico responsabilmente e discrezionalmente esercitati da esperti riconosciuti e stimati dalle diverse comunità scientifiche è fornito dai cosiddetti "Research Assessment Exercises" inglesi. Si tratta di giudizi che hanno conseguente radicali sul destino di intere istituzioni universitarie e degli individui che vi lavorano. Essi si basano innanzitutto sull’autoselezione da parte delle istituzioni dei ricercatori migliori che vi operano in ogni campo, ed in secondo luogo, sull’autoselezione, da parte di questi ricercatori, di pochissimi lavori da loro ritenuti più importanti. Nessun automatismo numerologico è utilizzato nel giudizio, che rimane il giudizio responsabile di esperti riconosciuti. Non si vede perché in Italia non si possa seguire la stessa strada invece di inseguire una male orecchiata "prassi internazionale" che corrisponde solo agli interessi, giustamente venali, di una azienda editoriale di successo.

La popolarità dello IF nelle scienze biomediche in Italia.

Questo intervento non sarebbe completo se non cercassi di analizzare il perché della grandissima, e quasi unanime, popolarità negli ambienti della medicina in Italia, dove punteggi derivanti dallo IF delle riviste sono addirittura utilizzati per le valutazioni comparative dei concorsi universitari.

Sarebbe facile attribuire questo entusiasmo per l’IF al provincialismo dei ricercatori di medicina, e al loro senso di inferiorità rispetto alla scienza internazionale, che li porterebbe a seguire entusiasticamente, la moda di oltreoceano, o ciò che ritengono sia di moda negli Stati Uniti d’America.

Ma la questione non può essere liquidata in modo così semplicistico. In realtà l’invocazione dell’IF nella valutazione della ricerca scientifica in medicina, è legata ad un conflitto, che potremmo dire generazionale, che ha attraversato negli ultimi venti anni queste discipline. La generazione di ricercatori reclutata intorno agli anni ottanta ha cercato di utilizzare l’IF per affermarsi contro il potere della generazione reclutata negli anni sessanta e settanta[31]. Questi "giovani" studiosi erano e sono in cerca di argomenti per dimostrare che le loro ricerche, pubblicate in inglese su riviste internazionali, sono più valide delle ricerche di bottega prodotte all’ombra di una cattedra universitaria italiana e pubblicate, al solo scopo di far numero nei concorsi, su riviste controllate dal "direttore di cattedra". Non potevano certo appellarsi alla migliore qualità dei loro risultati, perché i loro interlocutori non erano in grado di valutare seriamente la qualità di risultati che esulavano dai loro interessi e dalle loro competenze. Erano quindi costretti a ricorrere ad argomenti estrinseci, come la "qualità" delle riviste sulle quali pubblicavano e quindi l’IF.

Per capire questo fenomeno, o meglio per capire perché lo stesso fenomeno non si sia manifestato nelle scienze matematiche e nelle scienze fisiche è opportuno ricordare le condizioni della scienza italiana negli anni cinquanta e sessanta, quando l’Italia dopo l’esperienza del fascismo e della guerra, si riaffacciava nel mondo internazionale della ricerca scientifica.

Anche in questo caso si potrebbe sostenere che la matematica e la fisica degli anni cinquanta e sessanta fossero più forti e più collegate al mondo internazionale delle scienze biomediche. Ma un confronto di questo tipo risulta molto difficile ed avrebbe comunque un esito incerto. La realtà è che in queste tre aree scientifiche[32] l’Italia si presentava con luci ed ombre: alcuni ricercatori erano noti internazionalmente ed in grado di mantenere, da pari a pari, validi contatti con i loro colleghi di altri paesi, altri risentivano dell’isolamento derivante dal fascismo e dalla guerra. La differenza tra matematica e fisica, da un lato, e biologia e medicina, dall’altro, era che nelle prime discipline i ricercatori più affermati in ambito internazionale erano anche quelli che detenevano saldamente il potere accademico, mentre in biologia e medicina, i ricercatori più affermati internazionalmente erano marginali al sistema universitario.

Le ragioni di questa diversità sono molte. La biologia, a livello universitario era appoggiata a due corsi di laurea, quello in medicina e chirurgia e quello in scienze biologiche che, per ragioni diverse, erano poco ricettivi del nuovo. Il primo per la prevalenza delle discipline strettamente cliniche e professionali[33], il secondo per la prevalenza della biologia sistematica che, certamente, dagli anni sessanta, non era al centro dell’attenzione della scienza internazionale. Mancava quindi uno spazio adeguato alle nuove problematiche della biologia all’interno del rigido ordinamento didattico nazionale. Basta pensare che la microbiologia a medicina era considerata sostanzialmente una disciplina ancillare, e talvolta una disciplina ancillare dell’Igiene, mentre nella facoltà di scienze, era assieme alla genetica, alla biologia molecolare, e ad altre materie importanti sul piano scientifico, relegata nel limbo delle discipline "complementari". Nei fatti gli aspetti innovativi delle scienze biologiche, non trovando spazio nel sistema universitario, cercarono sfoghi altrove: all’Istituto Superiore di Sanità e nel famoso (allora) o famigerato, Istituto di Biologia Molecolare di Napoli. Per diversi anni queste due istituzioni rappresentarono la punta della moderna ricerca biologica in Italia. Si trattava tuttavia di istituzioni non universitarie che presto entrarono in crisi come istituzioni di ricerca pura[34]. Il fatto che la "leadership" scientifica degli anni sessanta nelle scienze biomediche, pur vigorosa, e per certi versi vocale, non è mai riuscita a conquistare il potere accademico universitario, ha significato che l’espansione del sistema universitario negli anni settanta in ambito biomedico è stato gestita dalla vecchia guardia più conservatrice.

Al contrario nella fisica il potere accademico negli anni sessanta era saldamente nelle mani della "scuola di Roma" guidata da Amaldi. Lo stesso fenomeno era apparente nella matematica dove un gruppo di professori trentenni e quarantenni molto ben connessi con il mondo internazionale della matematica deteneva il potere accademico fin dai primi anni sessanta. Questa leadership accademica, oltre che scientifica ha gestito l’espansione dei ruoli degli anni settanta e ottanta, proponendo un modello di formazione scientifica basato su contatti internazionali e favorendo il rientro in Italia degli italiani che si erano affermati all’estero, e nel caso della matematica promuovendo attivamente un programma di formazione all’estero[35]. Nella sostanza la leadership degli anni sessanta in matematica e in fisica ha, nei limiti di ciò che era possibile in Italia, promosso un’internazionalizzazione della ricerca scientifica italiana. Al contrario la leadership scientifica degli anni sessanta nelle scienze biomediche, pur attiva e vocale, ed apparentemente in grado di conquistare (effimeri) appoggi politici, è rimasta isolata in ambito universitario, ed ha lasciato che l’espansione del personale universitario fosse gestita dagli ambienti più tradizionalisti e provinciali.

E’ così che "il nuovo", o meglio la dimensione internazionale della ricerca, in ambito biomedico, è entrata in maniera massiccia in Italia solo con i giovani reclutati negli anni ottanta. Questi giovani, e i loro protettori, si sono trovati di fronte ad un potere accademico consolidato, basato anche sul controllo di riviste locali, e comunque sul controllo dei concorsi universitari, che sembrava molto difficile espugnare. L’IF è sembrato l’unico argomento possibile per invocare un’opinione pubblica scientifica internazionale ignorata dal sistema di potere accademico[36].

La realtà attuale è che l’arma dell’IF negli ultimi anni è stata imbracciata anche da chi non rappresenta "il nuovo". Come abbiamo visto ci vuol poco, dopo tutto, per capire che la presunta obiettività dell’IF può essere piegata alle esigenze del potere accademico, tanto quanto i generici aggettivi che compaiono nelle relazioni dei concorsi universitari. Al tempo stesso l’uso di questo strumento oscura la necessità di costruire una comunità scientifica in grado di valutare con competenza la ricerca scientifica, senza ridursi a strumenti numerologici. In grado ad esempio di valutare, ed apprezzare, un lavoro sugli zainetti degli scolari italiani, come quello citato alla nota 23, indipendentemente dal fatto che sia pubblicato su "Lancet" o che sia pubblicato sul periodico "Scuola e Didattica". In grado anche di interloquire da pari a pari con la comunità internazionale, senza complessi di inferiorità. Non aiuta a costruire questo tipo di comunità scientifica la venerazione dell’IF. Di questo gli studiosi di scienze biomediche dovrebbero rendersi conto, prima che sia troppo tardi.

Sarebbe invece molto importante se si potesse trovare una via di uscita da un sistema in cui è considerato normale che chi è potente, procura i soldi, ed è in grado di assumere al suo servizio giovani ricercatori creativi, si appropri e si faccia bello del lavoro scientifico altrui. Ma purtroppo è un sistema che nell’ambito delle scienze biomediche prevale a livello internazionale. Ma è proprio questo il marcio che preclude una valutazione equa del lavoro scientifico, in Italia, come negli Stati Uniti.

--------------------------------------------------------------------------------

[1] In realtà Eugene Garfield, fondatore e principale azionista dell’Institute for Scientific Information ed inventore dello "impact factor" sconsiglia l’utilizzazione dello IF per valutare la ricerca scientitica. Questa opinione è espressa da Garfield in numerosi suoi scritti, ad esempio: "How can impact factors be improved?" British Medical Journal 313:411-3, 1996; "The use of journal impact factors and citation analysis for evalutaion of science", paper presented at Cell Separation, Hematology and Journal Citation Analysis Mini Symposium , Rikshospitalet, Oslo, April 17, 1998; "The impact factor and using it correclty", Der Unfallchirurg, 48 (2) p.413, June 1998. Secondo un modo di dire italiano non vale la pena di chiedere all’oste se il vino è buono. Ma quando, come in questo caso, è l’oste a metterci in guardia, vuol dire che teme che l’uso improprio di un suo prodotto metta in pericolo la reputazione dell’osteria e quindi i futuri guadagni della sua azienda. E’ un avvertimento che è difficile rifiutare. Si deve osservare tuttavia che, alla luce dell’insistenza dei suoi avventori nel bere aceto al posto del vino, l’oste ha leggermente modificato la sua opinione nell’articolo più recente "Journal impact factor: a brief review" Canadian Medical Association Journal, 1999; 161:979-80. In questo articolo E. Garfield ancora mette in guardia che "it is one thing to use impact factors to compare journals and quite another to use them to compare authors". Tuttavia, pur evitando di suggerire l’uso dello "impact factor" per valutazioni individuali, cita l’opinione di un tal C.Hoeffel che, in una lettera pubblicata su una rivista di allergologia, afferma: "Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evalutation." Il mio intervento intende confutare l’opinione, apparentemente moderata, dei vari Hoeffel in Italia e all’estero.
[2] Lo studio della scienza come fenomeno sociale sulla base di dati quantitativi sulle pubblicazioni, che Derek De Solla Price, uno storico della scienza intelligente e competente, ha iniziato spinto da una naturale curiosità, ha permesso anche a chi non ha alcuna competenza scientifica di atteggiarsi a studioso del "fenomeno scientifico". Questi studi, naturalmente, non riescono a cogliere che gli aspetti più superficiali della ricerca scientifica, e per di più, interferendo con il sistema di valori del mondo scientifico, finiscono per modificare in modo assolutamente incontrollato la realtà da essi osservata. Questi cambiamenti, all’apparenza del tutto superficiali (moltiplicazione delle citazioni inutili, modifiche nel sistema delle pubblicazioni, ecc.) rischiano di esercitare un’influenza negativa sullo sviluppo della scienza.
[3] Tuttavia per alcuni anni del dopoguerra, nell’ambito della matematica applicata, è stata importante la rivista "Calcolo" edita dall’Istituto Nazionale per le Applicazioni del Calcolo.
[4] Una dimenticanza di questo tipo non sarebbe potuta avvenire se l’editore e gestore della rivista fosse stato un privato interessato direttamente alle vendite. Ma gli "Annali" sono gestiti da una fondazione che si basa sul lavoro volontario di alcuni docenti, e sono distribuiti da un editore italiano scarsamente interessato alla diffusione internazionale. L’episodio della caduta dalla banca dati dell’ISI degli "Annali", e conseguente azzeramento del suo "impact factor", fa riflettere sulla difficoltà che le istituzioni culturali incontrano nel gestire le riviste scientifiche, nelle attuali condizioni di mercato.
[5] E. Garfield "How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations, Current Comments, N.22, May 28, 1990.
[6] Già in questa frase è implicita una preferenza per riviste che pubblicano un gran numero di articoli. Si tratta di una preferenza naturale per un bibliotecario il quale, con poche riviste (di molte pagine e quindi con molti articoli), ha meno ordini di acquisto da emettere, meno consegne da controllare e meno riviste da catalogare. Ma questa preferenza non si concilia bene con la necessità di selezionare severamente gli articoli pubblicati. Una rivista che si proponesse di pubblicare solo articoli contenenti rilevanti contributi scientifici potrebbe trovarsi a non riuscire pubblicare nemmeno un fascicolo all’anno.
[7] E.Garfield, ibidem
[8] Possiamo citare almeno un’eccezione a questa regola. La rivista "l’Institut des Hautes Etudes Scientifiques; Publications Mathématiques", non è mai entrata nella banca dati dell’ISI, semplicemente perché esce in modo erratico. Nessuno dubita della sua importanza, anche se è difficile trovarla nelle università americane, dove circolano invece bisunte fotocopie di articoli della rivista, che passano di mano in mano, come se fossero preziosi documenti segreti. Il fatto è che gli autori abituali di questa rivista sono matematici che non hanno bisogno di affermazioni ulteriori, perché si ritengono, senza alcun dubbio, eccelsi. E’ possibile che essi siano addirittura (perversamente) lusingati dagli sforzi che i loro colleghi "minori" sono costretti ad esercitare per trovare e consultare i loro scritti.
[9] Per O Seglen, "Evaluation of scientists by journal impact", In Weingart P., Sehringer R., Winterhager M. eds, Representations of science and technology, Leiden: DSWO Press, 1992;240-252, ed op. cit.
[10] Era molto attiva e presente però fin da allora la Springer-Verlag.
[11] In effetti un fenomeno analogo, ma non influenzato da interessi editoriali, si era prodotto agli inizi del secolo ventesimo quando le moderne società scientifiche (dei matematici, dei fisici, ecc.) hanno cominciato a prevalere sulle vecchie associazioni scientifiche onnicomprensive. Ad esempio, in Italia, l’Unione Matematica Italiana (UMI) e la Società Italiana di Fisica (SIF), ambedue fondate da Vito Volterra negli anni venti, hanno assunto il ruolo che, nell’ottocento, svolgeva la Società Italiana per il Progresso delle Scienze.
[12] Non mi nascondo che la gestione all’italiana delle biblioteche universitarie è per altri versi molto inefficiente e non riesce, ad esempio, in molti casi, a fornire un servizio utile agli studenti. D’altra parte non tutti i responsabili delle biblioteche americane sono vittime ignare della propaganda degli editori commerciali (così come non tutti i medici di base si fanno abbindolare dai cosiddetti "informatori scientifici"). Si veda ad esempio l’articolo "Reforming Scholarly Publishing in the Sciences: A Librarian Perspective" di Joseph J.Branin (responsabile del sistema delle biblioteche dell’Università di Stato di New York a Stony Brook) e Mary Case (direttrice dello "Office of Scholarly Communication" della "Association of Research Library") pubblicato sul vol.45, N.4, aprile 1998, di "Notices of the American Mathematical Society". In questo articolo si dà conto dell’intensa polemica sul costo delle riviste scientifiche che in America ha raggiunto anche la stampa quotidiana, ad esempio con un articolo pubblicato il 29 dicembre 1997, sul New York Times dal titolo significativo "Concerns about an agressive publishing giant" (l’editore incriminato era Reed Elsevier). Non mi risulta però che il ruolo dell’ISI e dell’IF sia stato sufficientemente analizzato in questo contesto. In effetti, l’ISI e l’IF hanno danneggiato prevalentemente le istituzioni scientifiche fuori del mondo di lingua inglese, mentre le più importanti istituzioni scientifiche americane (come l’American Mathematical Society e la American Physical Society) le cui riviste non potevano essere omesse dalla banca dati dell’ISI hanno resistito all’assalto. Si deve anche osservare che molti grandi editori commerciali di riviste scientifiche sono europei.
[13] In realtà le due migliori riviste di matematica restano nelle mani di istituzioni scientifiche che hanno saputo adattarsi agli eventi, senza rinunciare alla qualità. Esse sono gli "Annals of Mathematics" (edito dall’università di Princeton e lo Institute for Advanced Study) e gli "Acta Mathematica" (edito da un consorzio di università scandinave). Inoltre la American Mathematical Society resta ancora il più importante (e affidabile in termini di imparzialità e qualità) editore di riviste matematiche. Tuttavia anche il panorama delle riviste di matematica americane è ora molto cambiato rispetto a trent’anni fa, ed alcune importanti riviste legate ad istituzioni universitarie (Michigan Mathematical Journal, Illinois Journal of Mathematics, Pacific Journal of Mathematics, ecc.) hanno un IF molto inferiore a riviste nuove, specialistiche, diffuse aggressivamente da editori commerciali che si avvalgono della "griffe" rappresentata da un "prestigioso" comitato editoriale, che potrebbe non fornire garanzie di imparzialità (cfr. la nota successiva sul significato della "griffe")
[14] Questo apparente paradosso può essere spiegato con un’analogia. Negli anni sessanta nessuna donna italiana della media borghesia avrebbe osato farsi vedere in giro con una borsetta di plastica. Avrebbe corso il pericolo di essere qualificata "una donna qualunque". Le borsette per le signore "distinte" erano rigorosamente di pelle. Trent’anni dopo le stesse signore, o le loro figlie, vanno in giro con borsette di plastica prodotte a costi irrisori in milioni di copie, che però si fregiano di una "griffe", che le rende dieci o venti volte più costose delle copie identiche vendute sul marciapiedi dagli onesti commercianti di nazionalità senegalese. Non è quindi la qualità del prodotto che accresce lo stato sociale, ma la "griffe" del produttore (o del venditore di "griffe"), il quale riesce persino a perseguitare con denunce penali l’onesto commerciante che vende lo stesso prodotto a prezzo ridotto. Altrettanto si potrebbe dire per articoli ripetitivi, di scarso o nullo valore scientifico, pubblicati su riviste con un "editorial board" di grande prestigio (la griffe) e con alto "impact factor".

[15] Ritengo che il fenomeno dell’aumento indiscriminato dei costi e l’espansione aggressiva delle riviste commerciali ai danni delle riviste gestite dalle istituzioni o associazioni scientifiche si sia prodotto anche nelle scienze fisiche. Infatti è stato un fisico, Henry Barschall, professore all’Università del Wisconsin e "editor" di "Physical Review" a pubblicare, a partire dal 1986, una serie di studi sui costi delle riviste scientifiche in diverse discipline. Le sue conclusioni furono che le riviste più costose erano quelle gestite da editori commerciali. Le conclusioni non cambiavano (a quei tempi) nemmeno se si considerava il rapporto tra costo e "impatto". La American Physical Society (APS), lo American Institute of Physics (AIP), la American Mathematical Society (AMS) e lo stesso Barschall sono stati citati in giudizio dall’editore Gordon & Breach nei paesi dove era vietata la pubblicità comparativa, con il pretesto che le analisi di Barschall altro non erano, appunto, che pubblicità comparativa a favore di istituzioni (APS, AMS, AIP) che, pubblicando esse stesse riviste scientifiche, erano in concorrenza con gli editori commerciali. Le citazioni giudiziarie hanno sostanzialmente messo a tacere le società scientifiche. Ulteriori informazioni su questo caso sono disponibili nei siti: http://barschall.stanford.edu/ e http://www.library.yale.edu/barschall/.

[16] E. Garfield "The Impact Factor and Using it Correctly", Letter to the Editor, Der Unfallchirurg, 48(2) p.413, June 1998.

[17] Un lavoro di Per O Seglen è citato all’inizio del presente intervento.

[18] In effetti succede abbastanza spesso che il relatore incaricato di giudicare un lavoro suggerisca all’autore di includere nella bibliografia lavori pubblicati sulla stessa rivista. E. Garfield in una lettera inviata al British Medical Journal (BMJ 1997;314:1765, 14 june) dal titolo "Editors are justified in asking authors to cite equivalent references from the same journal" giustifica questa pratica sconcertante che, secondo lui, può servire a rendere giustizia ad autori che non ricevono le citazioni che meritano. Egli ritiene "excessive" denunciare questa pratica come manipolativa.

[19] Lo stesso Garfield, nello scritto citato alla nota precedente, riconosce che la scelta di citare o non citare un altro articolo è sostanzialmente arbitraria.

[20] Ad esempio lo IF delle maggiori riviste di matematica è quasi raddoppiato negli ultimi vent’anni. Questo aumento può essere spiegato solo con un cambiamento del costume, in una comunità generalmente abbastanza conservatrice.

[21] P. O. Seglen op. cit.

[22] Il comportamento è analogo a quello che di chi afferma con sicurezza: "E’ vero, l’ha detto la televisione!"

[23] Questa sembra essere l’opinione di Spiridione Garbisa e Laura Calzà espressa nel libro "Il Peso della qualità accademica". Ad esempio (pag.41) questi autori asseriscono che lo IF "si riferisce sostanzialmente alla qualità della rivista" e più avanti (pag.43) che "in qualsiasi campo del sapere, risultati che derivassero dalla semplice e pedissequa applicazione di metodologie routinarie non possono aspirare che a riviste di secondo piano". D’altra parte non è difficile trovare pubblicate su riviste con alto IF articoli che riportano risultati derivanti dalla semplice e pedissequa applicazione di metodologie routinarie. Ad esempio la rivista "Lancet" ha recentemente pubblicato un articolo sul peso degli zainetti degli scolari italiani, in relazione al peso dei bambini che li portavano. L’articolo è basato, oltre che su un’elementare raccolta dei dati, sulla più semplice e routinaria elaborazione statistica. E’ troppo facile paragonare lo IF di "Lancet" (IF 11,79) a quello della rivista "Annals of Mathematics" (IF 1,7) dove è stata recentemente pubblicata la dimostrazione, ad opera di Andrew Wiles, dell’ultimo teorema di Fermat, cioè la soluzione di un problema sul quale si sono cimentati, per alcuni secoli, i migliori matematici del mondo. Vorrei tuttavia chiarire che io ritengo che sia dovere dei ricercatori occuparsi di problemi come quello degli "zainetti" anche se si tratta di problemi che non richiedono più della semplice e pedissequa applicazione di metodologie routinarie e che anche ricerche routinarie di questo tipo debbano essere valutate nella carriera dei ricercatori. Proprio per evitare che la mia critica all’uso dell’IF venga maliziosamente utilizzata per biasimare i ricercatori che hanno pubblicato l’articolo sugli "zainetti", ho omesso ogni riferimento bibliografico che possa facilmente portare all’identificazione dell’articolo in questione.

[24] In realtà non ha senso parlare genericamente della qualità degli articoli pubblicati su una rivista, perché, in genere, all’interno della stessa rivista, la qualità è molto variabile. Né è particolarmente utile conoscere quali sono i valori massimi della qualità dei lavori. Ad esempio, passeranno probabilmente diversi decenni (o secoli?) prima che Annals of Mathematics ospiti un articolo della qualità di quello di Andrew Wiles, citato nella nota precedente. Può essere invece parzialmente utile sapere che, con forte probabilità, una certa rivista non pubblicherà lavori al di sotto di un dato livello qualitativo. Ma questa è un’informazione che per sua natura è disponibile solo a chi conosce bene la rivista.

[25] Le iniziali E.S. e L.C. corrispondono a due matematici di grande spicco, i quali comunque non lascerebbero passare un articolo mediocre. Il primo è il promotore di una grande scuola internazionale, il secondo un lupo solitario che non apprezza il lavoro "di scuola". Sono certo che le citazioni dei lavori di E.S. superano di gran lunga quelle dei lavori di L.C., il quale da questo punto di vista, è stato danneggiato (si fa per dire) dal fatto che il suo principale risultato (la risoluzione del problema cosiddetto di Lusin) ha una dimostrazione troppo profonda per essere compreso dalla stragrande maggioranza dei matematici esperti di questi argomenti.

[26]Chi, come me, è del mestiere può anche osservare che la rivista "Applied and Computational Harmonic Analysis" si occupa di un argomento molto alla moda, e molto importante per la trasmissione e immagazzinamento dei dati. L’argomento va sotto il nome di "teoria delle ondine" ("wavelets" in inglese e "ondelettes" in francese). Ma gli analisti armonici tradizionali (come il sottoscritto) non esitano a chiamare questo argomento "Teoria di Littlewood e Paley applicata" ("Applied Littlewood-Paley theory"), facendo riferimento ad un fondamentale lavoro di R.E.A.C. Paley e J.Littlewood, che risale alla fine degli anni venti, a sua volta basato su un lavoro assolutamente geniale ed innovativo di R.E.A.C. Paley (il quale, per la cronaca, è morto nel 1930, a 26 anni, travolto da una valanga mentre sciava). Le molte citazioni cui danno luogo gli articoli della rivista "Applied and Computational Harmonic Analysis" sembrano una cronaca dell’effimero, a paragone dell’influenza che un singolo lavoro di R.E.A.C. Paley ha avuto sugli sviluppi della matematica, della scienza, e della tecnologia.

[27] Calzà e Garbisa (op.cit.) citano a questo proposito la seguente definizione di "oggettivo" tratta da un dizionario: "concernente l’oggetto, spec. In quanto simbolo di sussistenza autonoma o generalizzata e quindi estraneo a qualsiasi possibilità di intervento o di interpretazione da parte dell’individuo". In realtà come abbiamo visto e vedremo lo IF non è estraneo a possibilità di intervento ed interpretazione da parte dell’individuo. La sua presunta "oggettività" serve a solo ad attenuare o ad annullare l’assunzione di responsabilità dirette nel giudizio scientifico da parte di chi lo utilizza.

[28] Il problema del costo del SCI e dell’elenco delle riviste con relativo IF non è di scarso rilievo. Se si volesse fornire ad ogni ricercatore italiano la possibilità di accedere allo SCI, si dovrebbero moltiplicare gli abbonamenti allo SCI a scapito di altri abbonamenti a riviste più utili dal punto di vista scientifico. Ad esempio le biblioteche universitarie di matematica potrebbero essere indotte a non abbonarsi più a "Mathematical Reviews" per abbonarsi allo SCI. Ma è proprio scritto che la scienza italiana ed internazionale debba piegarsi agli interessi aziendali dell’ISI?

[29]Ad esempio il gruppo di lavoro che ha curato la "Indagine sulla produzione scientifica della Facoltà di Medicina e Chirurgia dell’Università degli Studi di Bologna nel quinquennio 1992-1996" ha osservato che la distribuzione dei punteggi ottenuti dai docenti e ricercatori della Facoltà di Medicina di Bologna applicando ad ogni articolo lo IF della rivista sulla quale era pubblicato, era approssimativamente "lognormale" (cioè il logaritmo dei dati era normale). Hanno concluso che la media geometrica risultava più significativa della media aritmetica. Ma per parlare di distribuzione bisogna scegliere una popolazione di riferimento, e questa scelta introduce un ulteriore fattore arbitrario ben mascherato all’interno di considerazioni statistiche apparentemente obiettive.

[30] Ricerche del tipo di quella citata alla nota 23 sul peso degli zainetti degli scolari italiani, dovrebbero essere pubblicate in italiano su riviste accessibili ai direttori didattici, ai maestri, ai provveditori agli studi, e soprattutto ai medici scolastici. Ma chi lo facesse (o lo avesse fatto) rischierebbe di vedere il suo lavoro valutato zero, a fronte di un lavoro che acquisisce ben 11,79 punti dalla pubblicazione su "Lancet".

[31] I "giovani" non avrebbero avuto alcuna possibilità di misurarsi con gli anziani, che detengono in genere il potere accademico, se non avessero potuto contare su alcuni protettori anziani ed affermati. Nelle scienze biomediche tuttavia, anche in ambito internazionale (o meglio americano), è considerato del tutto normale che un anziano professore si appropri dei risultati dei giovani di cui finge di dirigere la ricerca. Pertanto il vero conflitto si è svolto tra vecchi che avendo fiutato, "il nuovo" proteggevano e sfruttavano giovani inseriti nella ricerca scientifica che si svolge a livello internazionale, e vecchi più tradizionalisti abituati ad allevare in casa i propri rampolli.

[32] Questa mia ricostruzione sommaria è carente per quanto riguarda la Chimica. Ricordo però che nel 1963 Giulio Natta, professore al Politecnico di Milano, ottenne il pemio Nobel per la Chimica

[33] Al margine delle materie strettamente cliniche ebbe però un certo sviluppo, fin dagli anni sessanta, l’ematologia.

[34] Ambedue queste istituzioni entrarono in crisi prima della fine degli anni sessanta. L’Istituto Superiore di Sanità fu travolto, come istituzione di ricerca scientifica di punta, dal processo contro il suo direttore Marotta, che morì prima della conclusione del processo. L’Istituto di Biologia Molecolare di Napoli fu travolto dalle contestazioni del ‘68, contestazioni che a distanza di oltre trent’anni possiamo ricostruire come una sorta di suicidio collettivo di un gruppo di giovani ricercatori altamente qualificati. Esso passò in quegli anni al CNR condividendone la sorte sempre più grigia. Si deve ricordare che una sorte analoga a quella dell’Istituto Superiore di Sanità, anzi a dire il vero peggiore, subì il CNEN (Comitato Nazionale Energia Nucleare) con il processo contro il suo segretario Felice Ippolito. Ma dal CNEN si staccò prontamente l’Istituto Nazionale di Fisica Nucleare (INFN) che seppe sopravvivere alla crisi proprio perché molto ben radicato all’interno dell’università.

[35] Il programma di borse di studio per l’estero del Comitato per la Matematica del CNR, negli anni settanta e ottanta, prevedeva 30 nuove borse l’anno ed almeno altrettanti rinnovi (fino a tre anni di borsa). I matematici universitari sono all’incirca il 5% del totale. Pertanto le 60-70 borse attive l’anno corrisponderebbero a 1200-1400 borse attive per l’intero sistema universitario. Il programma di borse di studio era accompagnato da un’organizzazione rudimentale, ma efficace, per favorire il ritorno dei giovani matematici che avevano studiato all’estero.

[36] L’IF, da questo punto di vista, aveva anche il pregio di penalizzare la biologia sistematica, rispetto alla genetica, alla biologia molecolare a agli altri argomenti moderni (o di moda). Poteva così essere usato anche per tentare una "resa dei conti" nei confronti di quei gruppi accademici che, per decenni, avevano occupato la posizione di privilegio assicurata dalla distinzione tra materie fondamentali e materie complementari nel corso di laurea in biologia, resa inespugnabile dalla rigidità dell’ordinamento didattico nazionale. Una simile resa dei conti, basata appunto sull’IF, sembra essere avvenuta recentemente anche in Spagna, l’altro paese "in via di sviluppo scientifico", dove, a quel che sembra, si utilizza l’IF per valutare la qualità della ricerca. Un’indicazione in questo senso è fornita dalla lettera pubblicata su "Nature", vol.381, 16 maggio 1996, pag.186, intitolata "Failed professor", scritta da un professore di zoologia del "dipartimento di biologia animale e genetica" dell’Università del Pais Vasco a Bilbao, che lamenta il suo declassamento ad opera dell’IF. L’IF delle riviste di genetica è molto più alto di quello delle riviste di zoologia. Basta quindi mettere genetisti e zoologi nella stessa struttura o nello stesso gruppo ai fini della valutazione, e brandire l’IF, per far fuori definitivamente gli zoologi. In realtà non è nemmeno possibile sostenere che le ricerche di biologia sistematica, essendo classificatorie siano meno originali e creative.. Dopo tutto anche ricerche di grandissima moda, i cui risultati sono pubblicati su riviste di altissimo IF, come le ricerche sul genoma umano si riducono ad una attività classificatoria sulla base di tecniche note. "Mutatis mutandis" non sembrano avere un contenuto originale creativo superiore alle classificazioni tassonomiche prodotte dagli studiosi di zoologia. Forse le ricerche sul genoma sono ricerche più importanti, ma questo può essere stabilito solo con un giudizio di valore ampiamente motivato ed aperto a discussione. Proprio il tipo di giudizio aperto e trasparente che è precluso se ci si appoggia invece alla magica numerologia dell’IF. Basta pensare che nella guerra degli IF, discipline tradizionali, come la chimica analitica e la biologia sistematica, guadagnano punti travestendosi da scienze ambientali.