Thread by @FabbioSabatini

Siamo di fronte a una restaurazione nell'università?

I segnali che vengono dalla procedura di abilitazione scientifica nazionale (ASN) in Economia Politica non sono incoraggianti.

[Thread]

Questa tabella mostra le pubblicazioni su riviste di Fascia A dei candidati all'abilitazione a professore ordinario e associato nel settore:

socialcapitalgateway.org/ASN

1/n

Se si consultano i dati, *pubblici in ogni aspetto* (la tabella si limita a riorganizzare informazioni già pubblicate dal Miur), alcune stranezze saltano all'occhio.

2/n

bit.ly/2m0VlCt

La prima è che candidati con pubblicazioni eccellenti (compresi articoli su riviste comunemente considerate top 10 o top field) non sono stati ritenuti idonei, mentre altri con pubblicazioni su riviste di scarso o nessun prestigio hanno conseguito l'abilitazione.

3/n

Tra i candidati all'abilitazione a professore associato, per esempio, c'è chi può vantare una sola pubblicazione su una rivista di fascia A: Inzinerine Ekonomika.

4/n

Inzinerine Ekonomika (la chiameremo IE, usando l'acronimo come si fa per le riviste serie) è una rivista lituana di dubbia credibilità il cui impact factor sperimentò un picco improvviso nel 2010 (anno in cui fu inclusa nel database Web of Science).

5/n

A causa di tale picco IE fu inserita nell'elenco delle riviste di fascia A nel 2012, salvo poi uscirne successivamente in seguito alla piccola ondata di indignazione che che lo strano episodio suscitò nella comunità scientifica.

6/n

La redazione della rivista è a Kaunas e il suo editor è Bronius Neverauskas dell'Università di Kaunas, che nella sua carriera ha pubblicato soprattutto su due riviste: la stessa Inzinerine ed "Ekonomika Ir Vadyba", un'altra rivista confezionata all'Università di Kaunas.

7/n

Tra le caratteristiche di IE c'è una submission fee di 50€ (piuttosto salata, per una rivista sconosciuta). Dal 2018, una volta che il paper è stato accettato per la pubblicazione IE richiede il pagamento di una publication fee di 240€. In tutto fanno 290€.

8/n

Nonostante tutto, in questa tornata di abilitazione la mitica Inzinerine sembra aver avuto un peso decisivo, superiore a quello di riviste del calibro di Journal of Public Economics, Journal of Financial Economics, Journal of Economic Geography, Journal of Urban Economics...

9/n

... The Economic Journal, Review of Economics and Statistics, Journal of Development Economics e Journal of Human Resources, sulle quali sono apparse le pubblicazioni di candidati che non hanno conseguito l'abilitazione a professore associato.

10/n

La pubblicazione su Inzinerine, però, non è tutto. La stessa persona (vincitrice dell'ASN) ha sottoposto al giudizio *qualitativo* della commissione anche paper pubblicati su The Empirical Economics Letters, Ekonomicky Casopis, Drustvena Istrazivanja e altre riviste sconosciute.

Soffermiamoci sulla prima, "The Empirical Economics Letters": eel.my100megs.com (da ora in poi TEEL). La rivista si produce in Bangladesh, nell'Università di Rajshahi, e il suo editor è Abdul Wadud: bit.ly/2mfaEYq.

12/n

TEEL dichiara di avere un impact factor (anche altino: 0.91), ma non risulta inclusa nel Journal Citation Report dunque non può avere impact factor. Ma c'è un problema più grande: è difficile leggerne gli articoli, che non sono online né sono inclusi in alcun database.

13/n

Infine, TEEL chiede una publication fee, ma ha la buona creanza di lasciare che sia l'autore a determinarne l'importo dopo che il paper è stato accettato per la pubblicazione. Il sospetto di trovarsi di fronte a una rivista di dubbia credibilità è elevato.

14/n

Tuttavia, TEEL sembra essere gradita da un membro della commissione giudicatrice, che vi ha pubblicato un paper coautorato proprio con il candidato in questione. Un altro commissario nel suo giudizio ha enfatizzato come "apprezzabile" la pubblicazione su TEEL.

15/n

Ma torniamo a Inzinerine Ekonomika. Come si può vedere nella tabella, anche tra i candidati alla prima fascia c'è chi vi ha pubblicato e ha conseguito l'abilitazione.

16/n

E a giudicare dai risultati anche in questo caso Inzinerine sembra aver avuto un peso maggiore di riviste del calibro Journal of Public Economics, Journal of the European Economic Association, Economic Journal, American Economic Review, Science e PNAS, solo per citarne alcune.

Il caso della rivista lituana è solo la punta dell'iceberg. Scorrendo la tabella e i risultati ASN si notano tanti altri giudizi sbilanciati, per esempio riguardo alcuni candidati partenopei. In diversi casi i giudizi di 3 dei 5 commissari sono difficilmente comprensibili.
18/n

Un altro aspetto che salta all'occhio è la correlazione molto debole tra le decisioni dei commissari. Per diversi candidati i giudizi sembrano estratti a caso. Guardate la matrice di correlazione delle scelte dei commissari calcolata da @sergallet.

19/n

https://twitter.com/sergallet/status/1172129352236130304?s=20

Solo in una percentuale sorprendentemente modesta di casi le decisioni sono state prese all'unanimità.

20/n

https://twitter.com/sergallet/status/1172129347035119616?s=20

È evidente che nella commissione ci siano studiosi capaci di distinguere una buona rivista scientifica da un predatory journal, e altri che hanno una scarsa familiarità con le riviste scientifiche. Era inevitabile (e salutare) che i 2 tipi entrassero in contrasto.

21/n

Il pluralismo degli approcci scientifici - principio sacrosanto che spesso viene invocato a sproposito da chi vuole difendere scelte indifendibili - qui non c'entra. Siamo in presenza di (alcuni) valutatori che sembrano ignorare il diverso valore di riviste diverse.

22/n

Ora, da questa brutta esperienza possiamo trarre varie indicazioni.
1) In economia dovremmo dedicare uno sforzo alla (ri)costruzione di una comunità scientifica. Sarebbe opportuno che i ricercatori più avvezzi dibattito scientifco partecipassero ai processi di reclutamento.

23/n

Nell'immediato, questo significa candidarsi a far parte delle commissioni nazionali per l'abilitazione scientifica, affinché sia più elevata la probabilità che sia sorteggiata una commissione di competenti.

24/n

Diversamente, le commissioni saranno sempre afflitte da un problema di "selezione avversa" e a farne parte saranno chiamati sempre quegli accademici che hanno tempo da perdere perché non svolgono attività di ricerca.

25/n

2) È urgente riformare la lista delle riviste "scientifiche", che stabilisce quali pubblicazioni contano x il calcolo dei parametri minimi che candidati e commissari devono soddisfare x accedere alla valutazione da parte delle commissioni e per far parte degli organi giudicanti.

La lista attuale contiene troppe riviste di dubbia credibilità, col risultato di:

a) Creare pessimi incentivi per i candidati, che sono incoraggiati a puntare più sulla quantità che sulla qualità della ricerca.

27/n

b) Alzare notevolmente le "mediane" dell'indicatore dei "contributi", una delle soglie che devono essere raggiunte per potersi candidare a ottenere l'abilitazione e a fare da commissari...

28/n

... con la conseguenza che tanti ordinari la cui ricerca ha raggiunto livelli di eccellenza non possono entrare nelle commissioni giudicatrici, e giovani ricercatori che si muovono sulla frontiera del dibattito scientifico non possono presentare domanda di abilitazione.

29/n

È difficile comprendere perché, x il reclutamento dei nuovi scienziati, si attribuisca valore "scientifico" a riviste truffaldine come Theoretical Economics Letters (predatory journal), Modern Economy (idem) ed Empirical Economics Letters (abbiamo visto di che si tratta).

30/n

Ma anche a riviste che, pur senza voler truffare nessuno, poco hanno a che fare col dibattito scientifico, come "Le Strade", "PrimaPersona" e "Terra Mare Cielo".

31/n

Oppure a pur dignitosissime testate di divulgazione e opinione come "Social Europe Journal" (fondamentalmente un blog) e "Il Menabò di Etica ed Economia". Oppure ancora a riviste "esotiche" (si fa per dire) come "Uluslararasi Sosyal Araştirmalar Dergisi" e "Tungjatjeta".

32/n

Le distorsioni nelle procedure di reclutamento vanno corrette con urgenza, perché si rischia di dare ai giovani studiosi segnali e incentivi perversi che avranno conseguenze di lungo termine sulla ricerca e, a ricaduta, sull'istruzione terziaria. Cioè sul futuro del paese.

33/n

Post scriptum: il thread si trova srotolato qui facebook.com/fabio.sabatini
Grazie infinite per la pazienza.

Una cosa che mi pare sia sfuggita a molti: quello che vedete nella figura è uno screenshot estratto dalla tabella. La tabella completa in Pdf si trova qui:

socialcapitalgateway.org/ASN