Suomessa keskusteltu julkaisemattomien ns preprint-artikkeleiden arvioinnista, esimerkkinä meta-analyysi maskeista. Tässä miten arviointiprosessi lääketieteessä normaalisti ennen julkaisua menee; ehkä kiinnostavaa ei-tutkijoille/muiden tieteenalojen tutkijoille. 1/
Preprint tarkoittaa Avoimen julkaisemisen sanaston mukaan "käsikirjoitusversio, jonka kirjoittaja on lähettänyt kustantajalle ja jota ei ole vertaisarvioitu. Ei siis välttämättä sisällöltään lopullinen versio artikkelista.". (Voiko olla myös versio mitä ei vielä lähetetty?) 2/
Jutun tullessa lehteen lehden "tieteellinen toimittaja" (editor) tekee 1. arvion ja voi hylätä (reject) suoraan jos ei kiinnostava/sopiva lehteen tai huonolaatuinen. Tai kutsuu ulkoisia, riippumattomia tutkijoita, pyytää heitä arvioimaan jutun. Aikaa annetaan yleensä 1-12 vkoa.3/
Normaalisti jutun kirjoittajat eivät tiedä keitä nämä ulkoiset arvioijat ovat. On lisäksi mahdollista että myöskään arvioijat eivät tiedä jutun kirjoittajia; tällöin puhutaan "double-blind" (harvinaisempi). Tämä sokkoutus tähtää erilaisten harhojen minimointiin. 4/
(Esimerkkinä harhoista voisi olla että joku tuttu tutkijakollega tiedostamattaan suhtautuu artikkeliin positiivisemmin kuin jos ei tietäisi kuka jutun on kirjoittanut, tai että tällä tutulla on sama taipumus tehdä jokin asia/analyysi samalla väärällä tavalla, jne.)
Kuinka monta ulkoista arvioijaa, vaihtelee lehdittäin. Yleensä 2-3 mutta olen ollut mukana jutussa jolla oli 8 arvioijaa. Tuntumani on että tunnetuilla ns high-impact lehdillä on enemmän ulkoisia arvioijia per juttu (mutta on siis mutua). 5/
Arvioijat lukevat jutun kriittisesti, yrittävät siis löytää siitä ongelmia ja tunnistaa vahvuuksia. Havainnot kirjallisesti, voi olla mitaltaan pari lausetta tai useampi A4-sivu tekstiä (yleensä noin vajaa sivu). 6/
Kritiikki voi olla eritasoista: pilkkuvirheiden kommentointia; pyyntö menetelmien kuvauksen tarkentamiseksi; epäilyjä että analyysi virheellinen; ehdotuksia aivan uusista lisäanalyyseistä; huomioita mitä muuta kirjallisuutta pitäisi siteerata/ottaa johtopäätöksissä huomioon. 7/
Editor lukee arviot ja voi taas tehdä päätöksen: hylätä kommenttien pohjalta; tai lähettää kommentit kirjoittajille ja pyytää vastineen kritiikkiin + muokatun version jutusta.
(Jos pyytää vastineen kritiikkiin, kirjoittajat ovat ehkä jo ohittaneet kriittisimmän vaiheen.) 8/
(Jos pyytää vastineen kritiikkiin, kirjoittajat ovat ehkä jo ohittaneet kriittisimmän vaiheen.) 8/
Jokaiseen kritiikkiin vastataan kirjallisesti, joko "hyvä huomio, muokkasimme juttua tältä osin näin", tai perustella huolellisesti miksi arvioijien esittämä kritiikki ei päde. Tämän jälkeen juttu JA vastinekirje (rebuttal) takaisin editorille. 9/
Editor lukee vastineen ja voi: hylätä; pyytää samojen ulkoisten arvioijien kommentit vastineeseen; tai hyväksyä. Kaikki mahdollisia tässä vaiheessa.
Tämä edestakaisin prosessi voi toistua, useimmiten 1-3 kertaa (oma max on 6 kierrosta arvioijien kritiikkiä/minun vastinetta). 10/
Tämä edestakaisin prosessi voi toistua, useimmiten 1-3 kertaa (oma max on 6 kierrosta arvioijien kritiikkiä/minun vastinetta). 10/
Jos lopulta hyväksytään, vertaisarviointi ei sinällään mikään tae että kaikki on kunnossa, voi edelleen olla virheitä joita arvioijat/editori eivät huomanneet. Mutta prosessi kuitenkin edesauttaa erilaisten harhojen ja virheiden tunnistamista ennen julkaisua. 11/
Tieteellinen arviointi jatkuu julkaisun jälkeen; normaalia että tutkijat lähettävät lehteen mielipidekirjoituksia (letter) joissa kommentteja/kritiikkiä. Editor voi päättää julkaista niitä. Tällöin kirjoittajille annetaan myös mahdollisuus vastata kommentteihin julkisesti. 12/
Kuinka suuri osa lehden saamista käsikirjoituksista päätyy julkaistavaksi vaihtelee suuresti lehdittäin. High-impact lehdillä olen nähnyt lukuja <10%.
13/13
13/13
Ja tosiaan, vertaisarviointi tähtää laadun parantamiseen. Joskus saattaa kuitenkin kokea että alkuperäisen jutun ajatus saattaa prosessissa myös hieman kärsiä kun tutkija yrittää mukautua arvioijien kritiikkiin:
