Wat we leerden van VRT MyNWS: een testpiloot over nieuwspersonalisatie

VRT MyNWS

Eind maart experimenteerde VRT Innovatie samen met de nieuwsdienst vier weken lang met VRT MyNWS, een webapplicatie die lezers een nieuwsaanbod op maat van hun interesses wil brengen. Het experiment werd geleid door VRT in het kader van het Europees CPN-project. Binnen dat project bouwt VRT Innovatie mee aan een software die mediaorganisaties toelaat hun nieuwsaanbod te personaliseren. Na de lancering van VRT MyNWS schreven 949 personen zich in om feedback te geven op de beleving van personalisatie, het gebruik van de webapp en de weergave van de artikels. Dit is wat we geleerd hebben.

VRT MyNWS: een webapp op maat van de lezers

Om te meten of mensen juist beter geïnformeerd raken als ze aanbevelingen krijgen, of juist niet, bouwde het projectteam de webapp VRT MyNWS, gelijkend op de algemene nieuwswebsite van VRT NWS. Nieuwsartikels kon je in die nieuwe webapp terugvinden onder drie verschillende tabs:

  • Mijn nieuws: gepersonaliseerde artikels

  • Hoofdpunten: artikels geselecteerd door de nieuwsredactie

  • Net binnen: meest recent gepubliceerde artikels

Een maand lang konden testers feedback geven via een knop in de webapp, deelnemen aan surveys en werden ze op de hoogte gehouden via een wekelijkse mailing. In totaal kreeg het team meer dan 200 e-mails over mogelijke verbeterpunten van de webapp. Deze gingen voornamelijk over de gebruikersinterface en het aanbevelingsalgoritme. Dagelijks ging een team van ontwikkelaars met deze feedback aan de slag.

Het was enorm leerrijk om zowel input van de eindgebruikers als van de nieuwsredactie te krijgen, en die twee meteen te linken naar de praktijk. Enkel door samen te werken en te experimenteren op de productievloer kunnen we innoveren.

Ilke Lemmelijn, projectleider CPN

Personaliseren op basis van artificiële intelligentie en populariteit

De test met VRT MyNWS verliep in twee fases. In een eerste fase van het experiment werd de tab ‘Mijn Nieuws’ gevuld met artikels die volgens drie methoden geselecteerd werden: collaborative filtering, content-based recommending en een willekeurige selectie van recente artikels. Door collaborative filtering krijgen lezers nieuwsartikels te zien die lezers met gelijkaardige interesses ook interessant vonden. Bij content-based recommending gebeurt de selectie op basis van de inhoud en metadata van de artikels. Tenslotte vermeed het projectteam dat lezers te veel gelijkaardige artikels zouden ontvangen en in een zogenaamde filterbubbel terechtkomen door een willekeurige selectie artikels toe te voegen. De testers werden ingedeeld in twee groepen die elk een eigen samenstelling van deze drie vormen kregen.

In een tweede fase van de testperiode koos het projectteam ervoor om artikels aan te bevelen op basis van hun populariteit binnen een bepaalde periode. Het team wou zo leren wat die ideale periode was. Testers werden opnieuw ingedeeld in drie groepen, die elk populaire artikels kregen uit het laatste uur, de laatste 12 uur of de laatste 2 dagen. Uit de resultaten bleek dat testers het meer waardeerden om de meest gelezen artikels van 1 uur te krijgen, dan van een langere periode.

Feedback op de gebruikersinterface en het algoritme

Uit het klikgedrag bleek dat de testers het eenvoudige algoritme tijdens de tweede fase meer waardeerden dan het complexere systeem uit de eerste fase. Zo gebruikten ze ‘Mijn Nieuws’ in de tweede fase 68% ten opzichte van de andere tabbladen. In de eerste fase was dat 38%. Uit de tweede fase bleek ook dat testers die populaire artikels te zien kregen van maximum één uur oud, deze vorm van personalisatie ook meer gebruikten, en dus waardeerden. Op basis van vragenlijsten gaven testers aan zich beter geïnformeerd te voelen in de tweede fase.

Tijdens de eerste fase kwam er vooral veel feedback op de gebruikersinterface, zoals de breedte van de artikels, en op het aanbevelingsalgoritme, zoals irrelevant nieuws. In beide fases bleek de publicatiedatum van een artikel een belangrijke factor in personalisatie te zijn. Afgezien van een klein aantal van relevante, oudere artikels, verkiest de meerderheid artikels te lezen die maximum twee dagen oud zijn.

Uniek aan aanbevelingen in het nieuwsdomein is dat de leeftijd van de items (artikels) van cruciaal belang is om de interesse van de lezers te behouden.

Joris Mattheijssens, Datawetenschapper bij CPN en VRT Innovatie

De volgende stap voor nieuwspersonalisatie

De inzichten en resultaten van de test met VRT MyNWS worden verder verwerkt binnen het Europees CPN project. Daar roept het projectteam ook andere Europese nieuwsorganisaties op om hun eigen nieuwsverhalen te personaliseren met de software van CPN. In een nieuwe testpiloot zullen de Cypriotische nieuwsorganisatie Dias en Deutsche Welle alvast mee experimenteren met de personalisatie van hun nieuwsberichten. De inzichten en volgende stappen hiervan kan je volgen op de projectwebsite van CPN. Ook VRT gaat verder aan de slag met personalisatie. Binnen het project NewsTAPAS breidt VRT Innovatie alvast een vervolg aan de personalisatie van nieuwsartikels.

Wil je ook nieuwe prototypes van VRT Innovatie ontdekken en testen? Schrijf je dan hier in als VRT Testpiloot of ga naar innovatie.vrt.be/pilootzone

Gerelateerde projecten