Een invloedrijke studie uit 2023 die concludeerde dat echt vernieuwend onderzoek in vrije val was geraakt, blijkt minder robuust dan gedacht. Een team van de Vrije Universiteit Brussel (VUB) en de KU Leuven publiceert in Nature een kritische reactie waarin zij laten zien dat onvolledige referentiegegevens in databanken en een fout in visualisaties de resultaten sterk hebben vertekend.
Achtergrond: de oorspronkelijke conclusie
De originele studie analyseerde volgens de auteurs miljoenen papers en patenten over meerdere decennia en kent elk werk een zogenaamde disruptiescore toe. Een hoge score zou aangeven dat onderzoek niet voortbouwt op eerder werk maar zelf een nieuwe standaard wordt; een lage score duidt op consoliderend onderzoek dat voortbouwt op bestaande literatuur. De conclusie van die studie — dat baanbrekend onderzoek steeds minder voorkomt — kreeg veel aandacht en leidde tot brede vragen over oorzaken en gevolgen voor wetenschap en beleid.
Nieuwe bevindingen uit Brussel en Leuven
Onder leiding van VUB‑onderzoekers hebben Vincent Holst (doctoraatsstudent) en VUB‑hoogleraar Vincent Ginis samen met collega’s van de KU Leuven de onderliggende data opnieuw onderzocht. Zij stelden vast dat in de gebruikte databank oudere publicaties vaak onvolledige of ontbrekende referentielijsten hebben. Daardoor kreeg onderzoek zonder opgenomen referenties onterecht een maximale disruptiescore toegewezen.
"Wanneer de referenties van een publicatie niet in de database zijn opgenomen, bestempelt de gebruikte methode die publicatie onterecht als maximaal baanbrekend", stelt VUB‑hoogleraar Vincent Ginis.
Bovendien ontdekten de onderzoekers een datapiek in de distributie van disruptiescores die niet overeenkwam met de histogrammen in de oorspronkelijke publicatie. Die piek bleek het gevolg van een bug in de visualisatiesoftware: het datapunt was in de figuur weggelaten, terwijl de onderliggende gegevens wél in de kwantitatieve analyse waren verwerkt. Die combinatie van onvolledige referenties en een weggelaten visualisatiepunt versterkte het beeld van een scherpe afname van disruptief onderzoek.
Wat betekent dit voor de interpretatie van de trend?
De nieuwe analyse wijst erop dat de mate van baanbrekend onderzoek mogelijk niet zo sterk is afgenomen als eerder werd gesuggereerd. Cruciaal hierbij is de kwaliteit van de onderliggende data: naarmate referentiegegevens in de loop der tijd verbeteren, verdwijnen sommige extreem hoge disruptiescores. De VUB/KU Leuven‑studie betoogt daarmee dat de oorspronkelijke studie deels een artefact van de databank en de gebruikte analysetechniek heeft gerapporteerd.
- Belangrijkste oorzaak van vertekening: ontbrekende of onvolledige referenties in oudere publicaties.
- Bijdrage aan foutieve conclusie: een visualisatiebug die een piek in de data onzichtbaar maakte in de figuren, terwijl die gegevens wel in de analyse zaten.
- Gevolg: de daling van disruptief onderzoek is vermoedelijk overschat.
Implicaties voor beleid en wetenschapsmetrieken
De uitkomst heeftSeveral concrete gevolgen voor wetenschapsbeleid en het gebruik van metrieken. Ten eerste illustreert het hoe kwetsbaar grote kwantitatieve studies zijn voor fouten in brondata en analysepipelines. Ten tweede waarschuwt het tegen te sterke beleidsconclusies op basis van één type metrieken zonder grondige controle van databronnen. Ten derde onderstreept het de noodzaak van meer transparantie en reproduceerbaarheid in grootschalige data‑analyses.
Voor universiteiten, financieringsinstanties en beleidsmakers is de les duidelijk: beslissingen die gebaseerd zijn op trends in publicatie‑ en patentdata vereisen zorgvuldige validatie van de databronnen en methoden. Zonder die verificatie bestaat het risico dat beleidsmaatregelen inspelen op artefacten in plaats van op reële ontwikkelingen in de wetenschap.
| Aspect | Oorspronkelijke studie | Revisie VUB/KU Leuven |
|---|---|---|
| Conclusie | Daling van disruptief onderzoek | Aandeel disruptief onderzoek vermoedelijk overschat door datakwaliteit en bug |
| Belangrijkste bron van fout | Niet nader genoemd | Ontbrekende referenties en visualisatiebug |
De discussie is nog niet afgekapt: de nieuw gepubliceerde reactie in Nature geeft onderzoekers en beleidsmakers de kans om methoden en databronnen te verbeteren. Voorlopig is het advies terughoudendheid bij het interpreteren van spectaculaire trends in wetenschappelijke innovatie op basis van grootschalige metrieken.
Het onderzoek toont ten slotte de waarde van kritisch heronderzoek binnen de wetenschappelijke gemeenschap: door data en methoden open en controleerbaar te houden, kan men fouten opsporen die anders tot misleidende conclusies zouden leiden.
