De Australische onderzoeksjournalist Maryanne Demasi schreef een verhelderend artikel over de dood van de wetenschappelijke medische tijdschriften. Hieronder een vertaling. Ik schreef er een korte beschouwing bij, waarin ik onder meer in ga op de stand van zaken bij de Nederlandse medische tijdschriften.
“Het is interessant om te zien dat de medische tijdschriften nog steeds leven”, zegt voormalig redacteur van het British Medical Journal (BMJ) Richard Smith. “Ik denk dat er veel redenen zijn waarom ze eigenlijk dood zouden moeten zijn.”
Problemen die medische tijdschriften al tientallen jaren teisteren, zijn onder meer het falen van peer-review, de replicatiecrisis, het veelvuldige ghostwriting en last but certainly not least de alomtegenwoordige invloed van Big Pharma.
“De medische tijdschriften zijn overgestapt op het witwassen van informatie voor de farmaceutische industrie”, zei Lancet-redacteur Richard Horton al in 2004 over dat laatstgenoemde aspect. Recenter schreef Peter Gøtzsche, één van de grondleggers van de Cochrane Collaboration: “Het medische publicatiesysteem is kapot. Het zorgt er niet voor dat gedegen onderzoek, dat tegen financiële belangen ingaat, zonder grote belemmeringen kan worden gepubliceerd.”
Ondanks die problemen is wetenschappelijk publiceren één van de meest winstgevende bedrijfstakken. Elsevier maakt op een jaaromzet van $ 2,9 miljard een winst van bijna 40%, een evenaring van de economische successen van Apple en Google. Maar ondanks deze indrukwekkende cijfers is het vertrouwen in medische tijdschriften afgenomen – en dit is alleen maar verergerd door de COVID-19-pandemie.
Peer-review is een wassen neus
“Peer-review is een geloof en niet evidence-based”, schreef voormalig redacteur van het BMJ Richard Smith in 2016. “Maar de meeste wetenschappers geloven erin zoals sommige mensen geloven in het monster van Loch Ness.”
“Peer-review werd verondersteld een goede zaak te zijn”, vervolgde Smith. “Het werd beschouwd als de kern van de wetenschap. Peer-review bepaalt wie een beurs en wie een Nobelprijs wint. Pas in de jaren 80 en 90 heeft iemand daadwerkelijk onderzocht of peer-review echt zo nuttig was.”
Uit experimenten en uiteindelijk een Cochrane-review bleek uiteindelijk dat er geen bewijs was voor het nut van peer-review. Smith, die 25 jaar bij het BMJ werkte, vertelt dat het peer-reviewproces niet alleen traag is, maar ook duur. Bovendien verstikt het proces de publicatie van innovatieve ideeën.
“Er zijn veel voorbeelden van baanbrekend werk dat later Nobelprijzen kreeg maar aanvankelijk werd afgewezen door peer-reviewers”, vertelt Smith. “Peer-review is niet in staat om het verschil te zien tussen een geniaal werk of een werk waaraan iets mankeert.”
Peer-review slaagt er ook niet in om fraude op te sporen. Dat werd nog maar eens duidelijk toen de Lancet en het New England Journal of Medicine (NEJM) studies moesten intrekken waarin onderzoekers een verband rapporteerden tussen behandeling met hydroxychloroquine en een verhoogde sterfte van gehospitaliseerde COVID-19-patiënten.
De databases die ten grondslag lagen aan de studies bevatten zaken die niet met elkaar overeenstemden, maar het peer-reviewproces bracht die niet aan het licht. “Als onderzoekers zeggen dat er 200 patiënten in de studie waren, dan ga je ervan uit dat die er waren”, zegt Smith. “Maar we hebben steeds meer bewijs dat dat lang niet altijd het geval is. Er zijn veel zombiestudies die nooit hebben plaatsgevonden of op de een of andere manier zijn gemanipuleerd.”
Kort samengevat zijn er veel aanwijzingen voor negatieve aspecten van peer-review terwijl overtuigend bewijs van de positieve kant ervan ontbreekt, voegt Smith daar nog aan toe.
Rita Redberg, een cardioloog van de Universiteit van Californië in San Francisco, die 14 jaar actief was als hoofdredacteur van JAMA Internal Medicine, geeft toe dat peer-review ‘niet perfect’ is. “Je gaat er altijd van uit dat auteurs de waarheid vertellen”, zegt Redberg. “Het peer-review-proces gaat uit van de eerlijkheid van de auteurs, en ja, mensen kunnen oneerlijk zijn. Als we een mogelijke oneerlijkheid opmerken, onderzoeken we die natuurlijk. Maar we zijn gewoon artsen. We werken niet bij de FBI.”
Redberg is overtuigd van de waarde van het peer-review-proces. “Het heeft zijn problemen, maar wat is het alternatief? Geen peer-review? In het algemeen denk ik dat een systeem met peer-review beter is dan een systeem zonder.”
Politisering van tijdschriften
Tijdens de coronapandemie raakten sommige tijdschriftredacteuren steeds meer gepolitiseerd. John Ioannidis, hoogleraar aan de Stanford University en de meest geciteerde wetenschapper ter wereld, was daar geen voorstander van. “Als je politiseert, wek je de indruk dat wetenschappelijke tijdschriften gewoon een tak van de politieke propagandamachine zijn”, zegt Ioannidis. “Maar dat wil niet zeggen dat wetenschappelijke tijdschriften geen standpunten mogen innemen over belangrijke kwesties die door politici worden beslist, zoals klimaatverandering, regulering van de industrie en milieuvervuiling.”
Opkomst van pre-prints
Pre-prints zijn artikelen die nog niet het peer-review-proces hebben doorlopen maar wel op servers worden geplaatst, zodat duizenden – en soms zelfs tienduizenden of honderdduizenden – wetenschappers en andere geïnteresseerden ze kunnen lezen. Bekende pre-printservers zijn medRxiv en bioRxiv.
Pre-prints zijn een tweesnijdend zwaard. Ze maken het mogelijk om in geval nood snel informatie te delen en feedback te krijgen, maar openen ook de deur naar slordige wetenschap die het publiek en de media op grote schaal kunnen verspreiden. Redbergs persoonlijke mening is dat pre-prints die geen peer-review hebben ondergaan potentieel schadelijk zijn.
“Het gevaar bestaat dat pre-prints informatie naar buiten brengen die niet klopt”, zegt ze. “Voor de goedkeuring van medicijnen en apparaten loont het om de tijd te nemen om dingen goed te doen. Dat zal eerder het geval zijn als er een peer-review plaatsvindt.”
“De introductie van pre-prints kwam voort uit goede bedoelingen, maar de pre-prints blijven circuleren, zelfs nadat ze in tijdschriften zijn gepubliceerd”, voegt Redberg daaraan toe. “Door het voortbestaan van oudere en mogelijk onnauwkeurige versies van artikelen, kan onbedoeld onjuiste informatie zich verspreiden.”
Ioannidis is een andere mening toegedaan. Hij is voorstander van pre-prints omdat “ze het systeem transparanter maken en de verspreiding van onderzoek versnellen”. Maar, zo waarschuwt hij, de publicatie van een pre-print kan ook uitmonden in een waar psychologisch slagveld. Hijzelf ontving na het verschijnen van sommige pre-prints binnen een dag meer dan duizend reviews.
“Een paar daarvan waren zeer, zeer behulpzaam”, vertelt Ioannidis. “Maar honderden waren ordinaire geestelijke mishandeling. Het waren traumatische ervaringen. Maar als je een onderscheid kunt maken tussen integere kritiek is die iets kan bijdragen en pogingen om je geestelijk te beschadigen, kunnen pre-prints beslist nuttig zijn.”
Voormalig BMJ-redacteur Smith stelt dat pre-prints bewijzen dat peer-reviews nutteloos zijn. “Als je kijkt naar wat er uiteindelijk in tijdschriften verschijnt, lijkt dat meestal erg op de originele pre-print”, zegt hij. “Dat laat zien dat peer-review weinig verschil maakt.”
Smith vindt dat een goede peer-review niet het werk moet zijn van drie of vier geselecteerde mensen. “Een goede peer-review moet plaatsvinden op een transparante manier. Iedereen moet het kunnen volgen. Dat is de echte peer-review.“
Wetenschappelijke censuur
Tijdens de pandemie censureerden medische tijdschriften onderzoek dat kritisch was over de veiligheid van vaccins soms zonder goede reden. Soms trokken de tijdschriften de artikelen in. Dat gebeurde bijvoorbeeld met een peer-reviewed artikel door de artsen Jessica Rose en Peter McCullough, die de mRNA-vaccins in verband brachten met myocarditis. Het tijdschrift trok het plotseling in, zonder daarvoor voldoende redenen te geven.
Door voorvallen als deze hebben sommige spraakmakende wetenschappers besloten dat de tijdsdruk en logistieke intensiteit van het publiceren in de belangrijkste medische tijdschriften niet meer opweegt tegen het eindresultaat. Dat is bijvoorbeeld het geval voor Carl Heneghan en Tom Jefferson, twee van de meest gerenommeerde onderzoekers ter wereld. Zij hebben kenbaar gemaakt dat ze alleen nog zullen publiceren in gespecialiseerde tijdschriften met peer-reviewers met de juiste expertise. Zijn die tijdschriften niet voorhanden, dan publiceren ze hun werk op het internetplatform Substack. Hun gezamenlijke substack-pagina heet Trust The Evidence.
Ioannidis maakt zich zorgen over deze trend. “We hebben de stemmen van mensen als Carl Heneghan en Tom Jefferson nodig”, zegt hij. “Als Heneghan en Jefferson het publiceren onmogelijk wordt gemaakt, is het goed dat ze het bewuste artikel toch ergens kunnen laten verschijnen. Misschien voorziet Substack in die behoefte. Maar ik zou wel graag zien dat Heneghan en Jefferson weer kunnen terugkeren naar de traditionele medische tijdschriften. Hun perspectief is belangrijk. Als zulke deskundige kritische stemmen ontbreken, wordt het moeilijker om de literatuur in evenwicht te brengen.”
Ioannidis beseft dat hij nu de indruk wekt dat hij bereid is om aan board van het zinkende schip te blijven. Dat is niet het geval. “Maar ik zie de wetenschap liever niet fragmenteren in medische tijdschriften en Substack en wie weet wat nog meer”, zegt hij.
Smith daarentegen is enthousiaster over het uitgeven in eigen beheer. “Ik ben er voorstander van om wetenschap zoveel mogelijk naar buiten te brengen”, zegt hij. “Laat de wereld beslissen.”
Smith verwijst daarbij naar zijn persoonlijke ervaringen met publiceren in medische tijdschriften. “Onlangs diende ik een stuk in bij de Lancet”, zegt Smith. “Een boekbespreking. Er was veel gedoe met formulieren die je moet invullen en alle op- en aanmerkingen van de redactie. Misschien is het arrogantie van mijn kant, maar alle poespas leek het stuk niet veel beter te maken. Je hebt een bepaalde stem, en die verstoren ze tot op zekere hoogte. Het stuk wordt dus veel rommeliger. Ik heb niet de indruk dat het proces veel waarde toevoegt.”
Smith erkent dat self-publishing problematisch is als je een junior onderzoeker bent en een academische carrière nastreeft. “Dan moet je wel in deze tijdschriften publiceren. Op die publicaties word je nu eenmaal beoordeeld. Als je hebt gepubliceerd in het NEJM, neemt iedereen aan dat het een zeer belangrijk onderzoek is. Uiteraard is het volkomen onwetenschappelijk om het tijdschrift waarin je publiceert te gebruiken als graadmeter voor de waarde van je onderzoek. Maar zo werkt het nu eenmaal.”
Verminderd vertrouwen
De gewezen JAMA-redacteur Redberg zegt dat niet alleen medische tijdschriften vertrouwen hebben verloren. “Ik denk dat het vertrouwen van mensen in de geneeskunde en de volksgezondheid in het algemeen de afgelopen jaren is afgenomen”, zegt ze. “Ik betreur vooral dat wetenschap politiek is geworden. Of je nu wel of niet een masker moest dragen, is een politiek statement geworden. Maar dat is het helemaal niet. Het is geen politieke vraag. Het is een wetenschappelijke vraag.”
Ioannidis, die een wetenschappelijke beroemdheid werd door zijn artikel Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn, denkt dat de wetenschap de strijd om het vertrouwen van het grote publiek aan het verliezen is. “We het vertrouwen van een groot deel van de bevolking verspeeld”, zegt hij. “COVID-19 zorgde voor veel extra stress op het systeem. Mensen wilden snel artikelen publiceren, inmiddels zijn het er bijna een miljoen. We hebben naar de COVID-literatuur gekeken en het meeste was slordig. Slordiger dan normaal.”
Volgens Ioannidis worden de kwaliteitscriteria, die bepalen wat nog valt binnen de wetenschap en wat niet, op dit moment met de voeten getreden. “Als we niet erkennen dat we een probleem hebben – en vergis je niet, we hebben een ernstig probleem – dan zullen we ons nog moeilijker kunnen verdedigen tegen complottheorieën of tegen mensen die gewoon geld willen verdienen door onjuiste informatie of desinformatie te verspreiden.”
Dus, zijn medische tijdschriften dood?
“Nee, ik denk niet dat medische tijdschriften dood zijn”, zegt Redberg. “Ik heb wel het gevoel dat ze het drukker hebben dan ooit. Ik geloof ook dat ze belangrijker zijn dan ooit. Er is zo veel innovatie. De beste manier om al die nieuwe kennis te verspreiden is via een hoogwaardig peer-reviewproces.”
Ioannidis daarentegen erkent onmiddellijk dat de medische tijdschriften een probleem hebben. “Ze zijn erg ziek”, zegt hij. “Ze lijden bovendien niet aan één ziekte maar aan meerdere. Maar dat wil niet zeggen dat ik ze opgeef. Ik wil ze nog niet doodverklaren, maar ze moeten wel transformeren. En ik hoop dat ze daarin slagen.”
Smith is het ermee eens dat er een rol is weggelegd voor medische tijdschriften, maar zal er geen traan om laten als ze uiteindelijk het veld moeten ruimen. “Het is interessant om te zien dat de medische tijdschriften nog steeds leven”, zegt hij. “Ik zie zelf vooral redenen waarom ze eigenlijk dood hadden moeten zijn.”
Beschouwing
Maryanne Demasi schreef dit artikel begin 2023. Het laat zien dat er zeer grote zorgen zijn over de geneeskunde, het vertrouwen van het publiek daarin, en de medische tijdschriften. De geloofwaardigheid van de tijdschriften is weg. De verstrengeling van de belangen van auteurs en onderzoekers met die van de farmaceutische industrie is de hoofdoorzaak hiervan. ‘Wetenschap is te koop’, zoals we al eerder schreven. Het is het rechtstreekse gevolg van het volgen van (verkeerde) wetenschap, zoals Rutte ons land steeds voorhield.
Eerder hebben Peter Gøtzsche, Maryanne Demasi en ik hierover geschreven in Voorbij de pandemische chaos met het artikel De toekomst van de onafhankelijke medische wetenschap.
Wat doen Nederlandse tijdschriften? Twee grote Nederlandse medische tijdschriften, het Nederlands Tijdschrift voor Geneeskunde en Huisarts en Wetenschap, hebben besloten geen reclame en advertenties van de farmaceutische industrie meer op te nemen. Dit lijkt een aardige geste, maar wat betekent het? Het betekent niets als je vervolgens wel in je redactie artsen en onderzoekers opneemt die conflicterende belangen hebben of auteurs met evidente belangenconflicten artikelen laat schrijven. Want deze mensen zorgen ervoor dat de stem van de industrie overal wordt gehoord en zetten artsen en het publiek op het verkeerde been. Maar ja, wat moet je anders als de meeste universitaire vakgroepen en hoogleraren conflicterende belangen hebben? Dan doe je iets voor de bühne.
Hoe garanderen deze tijdschriften dat zij gedegen onderzoek dat tegen financiële belangen ingaat publiceren? Ik doel met name op onderzoek met psychofarmaca.
Het wordt tijd dat het vermaledijde centrum voor wetenschapsinformatie in actie komt, het troetelkind van D66, Rinnooy Kan en Robbert Dijkgraaf.
