What is FactRank?
FactRank is a free tool that automatically identifies factual claims that are worthy of a fact-check. Currently, FactRank searches these claims in transcripts of the Flemish, Belgian and Dutch parliaments, in tweets of Flemish and Dutch politicians, and in subtitles of the Flemish public television broadcaster VRT’s news-analysis programmes Terzake and De Afspraak.
FactRank sorts claims by their "check-worthiness". Thus, at the top you'll find claims that are factual as well as they hold social relevance.
FactRank also allows you to scan your own text sources for check-worthy factual statements. It will split the text in individual statements and try to match each statement to pre-existing fact-check using our database of fact-checks collected from Knack, Factcheck Vlaanderen and Nieuwscheckers.
Tools like FactRank already exist for other languages, one example is Claimbuster.
What is FactRank not?
FactRank is not an automated fact-checker. The tool ranks statements only by their check-worthiness, not by their reliability or correctness.
FactRank is also not perfect. The system keeps on learning – and you can
help. If you see a claim that you think deserves a higher or lower
position in the ranking than the one given by the tool, you can click
How can I use FactRank?
Fact-checkers, journalists, researchers, and others – whoever feels like it – can use FactRank in several ways:
- As a tool to search a large number of sources for useful claims to fact-check. Enter a search term, select the country (🇧🇪/🇳🇱), time period, etc.
- As a database of claims that have already been fact-checked by Knack, Factcheck Vlaanderen and Nieuwscheckers.
- As a tool to search for check-worthy claims in Dutch-language texts that you enter yourself (for example interviews or speeches).
- Last but not least, FactRank also offers the unique possibility to do keyword searches in the subtitles of the Flemish public television broadcaster VRT’s news-analysis programmes Terzake and De Afspraak and in the tweets of all Dutch and Flemish members of parliament.
This is not an exhaustive list of all possible applications of FactRank. If you use the tool in a different way, we’d love to hear from you. Please contact us.
How does FactRank work?
FactRank uses a deep-learning model that has been trained on thousands of statements, manually labeled by students of the University of Leiden in turn trained by experts in the field of fact-checking.
We've also made sure to "close the loop" in that we collect user feedback which - using periodic retraining of the deep-learning model - results in continuous self-improvement. You can find a more in-depth description in our article FactRank: Developing Automated Claim Detection for Dutch-Language Fact-Checkers.
Who created FactRank?
FactRank began as a term project of Brecht Laperre, Ivo Merchiers and Rafael Hautekiet, in the course Knowledge and the Web offered by Prof. Dr. Bettina Berendt at the Department of Computer Science at the University of Leuven. Their goal was to develop a tool that would help the fight against fake news and the spread of misinformation.
As a first step, they developed a machine learning model that was able to automatically detect check-worthy factual statements. If such claims can be reliably identified, they can be forwarded to a fact-checking process for verification. The model was trained on 1800 manually classified statements.
This yielded a working prototype, which was improved during the course of 2019. The tool is now more accurate and draws on a larger dataset of ~7000 labeled statements. This was made possible by a grant of € 39.869 that was awarded to FactRank by the Vlaams Journalistiek Fonds in December 2018.
This new phase of the project, which was finalised in March 2020, is the result of Flemish-Dutch teamwork. Led by freelance journalist Dr. Jan Jagers (fact-checker of Knack Magazine and lecturer in journalism at Vrije Universiteit Brussel) the team also comprised Dr. Peter Burger and Dr. Alexander Pleijter (Nieuwscheckers.nl, University of Leiden), Prof. Dr. Peter Van Aelst (University of Antwerp), Prof. Dr. Bettina Berendt (KU Leuven and TU Berlin, Germany), and machine learning engineer Rafael Hautekiet.
Who does FactRank's maintenance?
Since 2021 Textgain has taken over development of FactRank. They maintain the scrapers and the database of statements in the context of the BENEDMO project.
This project has received funding from the European Union under Grant Agreement number INEA/CEF/ICT/A2020/2381738.
Wat is FactRank?
FactRank is een gratis tool die uit verslagen van parlementaire debatten en uit andere Nederlandstalige teksten automatisch beweringen filtert die een factcheck waard zijn. Op dit moment zoekt FactRank in de verslagen van het Vlaamse, Belgische en Nederlandse parlement, in de tweets van Vlaamse en Nederlandse parlementsleden, en in de ondertitels van de VRT-duidingsprogramma’s Terzake en De Afspraak.
FactRank rangschikt beweringen op volgorde van ‘checkwaardigheid’: bovenaan staan beweringen die zowel feitelijk zijn als maatschappelijk relevant.
FactRank laat ook toe om eigen tekst in te voeren en te laten doorzoeken op checkwaardige beweringen. De tekst wordt opgesplitst in individuele beweringen waarvan de checkwaardigheid wordt beoordeeld. Ook kijkt FactRank of het een bewering kan matchen aan een reeds gepubliceerde factchecks in Knack, Factcheck Vlaanderen en Nieuwscheckers.
Tools als FactRank bestonden al voor Engelste teksten (bijvoorbeeld Claimbuster). Hier is hij nu ook voor het Nederlandse taalgebied.
Wat is FactRank niet?
FactRank is geen automatische factchecker: de tool rangschikt uitspraken op volgorde van checkwaardigheid, niet van betrouwbaarheid of juistheid.
Ook is FactRank niet perfect: het systeem leert voortdurend bij - en u kunt het helpen. Indien u beweringen ziet die volgens u een hogere of lagere plaats verdienen dan de tool eraan heeft toegekend, kunt u klikken op het icoontje indien u vindt dat de uitspraak een factcheck waard is, of op het icoontje indien u vindt dat de uitspraak geen factcheck waard is.
Hoe kan ik FactRank gebruiken?
Factcheckers, journalisten, onderzoekers en anderen – u, kortom, kunt FactRank op verschillende manieren gebruiken:
- als tool om efficiënt grote aantallen beweringen te doorzoeken op bruikbaarheid voor een factcheck. Vul een zoekterm in, selecteer een land (🇧🇪/🇳🇱), een periode, etc.
- als database van beweringen die zijn gecheckt door Knack, Factcheck Vlaanderen en Nieuwscheckers.
- als tool om Nederlandstalige teksten (bijvoorbeeld interviews of speeches) die u zelf invoert te doorzoeken op beweringen die het checken waard zijn.
- ten slotte biedt FactRank de unieke mogelijkheid om op trefwoord te zoeken in bijvoorbeeld de ondertitels van de VRT-actualiteitsprogramma’s Terzake en De Afspraak of in tweets van alle Nederlandse en Vlaamse parlementsleden.
Hiermee zijn de mogelijke toepassingen van FactRank niet uitgeput: als u de tool op een andere manier benut, horen we het graag.
Hoe werkt FactRank?
FactRank gebruikt een deep-learning model getraind op duizenden uitspraken, die handmatig gelabeld zijn door studenten van de Universiteit Leiden, die op hun beurt werden opgeleid door experten op het gebied van journalistiek en factchecken.
We hebben ervoor gezorgd dat FactRank zichzelf kan blijven verbeteren door feedback van gebruikers te verzamelen. Die zorgt in combinatie met periodieke hertraining van het deep-learning model, voor een continue verbetering. Een uitgebreidere verantwoording vindt u in ons artikel FactRank: Developing Automated Claim Detection for Dutch-Language Fact-Checkers.
Wie heeft FactRank gemaakt?
FactRank begon als project van Brecht Laperre, Ivo Merchiers en Rafael Hautekiet, die als studenten Computerwetenschappen aan de KU Leuven deelnamen aan de cursus Knowledge and the Web van prof. dr. Bettina Berendt. Hun doel was een tool te ontwikkelen tegen nepnieuws en misinformatie.
Als eerste stap ontwikkelden ze een algoritme dat automatisch feitelijke beweringen kon identificeren die een factcheck waard waren. Als zulke beweringen betrouwbaar kunnen worden geïdentificeerd, kunnen ze worden doorgestuurd naar het volgende stadium van het factcheckproces, waarin ze worden geverifieerd.
Voor de detectie van ‘checkwaardige’ claims werd een machine learning systeem op basis van 1800 met de hand geclassificeerde beweringen getraind om van beweringen te voorspellen hoe waarschijnlijk het was dat ze checkwaardig zijn.
Dit leverde een werkend prototype op dat gedurende 2019 werd verbeterd: de tool is nauwkeuriger en put uit een grotere dataset gelabelde beweringen. Dit is mogelijk gemaakt door een subsidie van € 39.869 die FactRank in december 2018 ontving van het Vlaams Journalistiek Fonds.
Deze nieuwe fase van het project, die in maart 2020 werd afgesloten, is het resultaat van Vlaams-Nederlands teamwork. Onder leiding van freelancejournalist dr. Jan Jagers (factchecker van Knack Magazine en docent journalistiek aan de Vrije Universiteit Brussel) werkten mee: dr. Peter Burger en dr. Alexander Pleijter (Nieuwscheckers.nl, Universiteit Leiden), prof. dr. Peter Van Aelst (Universiteit Antwerpen), prof. dr. Bettina Berendt (KU Leuven en TU Berlijn) en machine learning engineer Rafael Hautekiet.
Wie onderhoudt FactRank?
Sinds 2021 heeft Textgain het beheer van FactRank overgenomen. Zij onderhouden de scrapers en de database van statements en dit in het kader van het BENEDMO project.
Dit project wordt gefinancierd door de Europese Unie onder Grant ID INEA/CEF/ICT/A2020/2381738.