Illustratie bij verhaal over de methodiek van het Youtube onderzoek

Wat leer je van driehonderd racistische, haatdragende en gewelddadige Youtube-video's te bekijken?

Ons onderzoek naar moderatie op Youtube leidde ons naar zogeheten edge cases: video’s die net wel of net niet online mogen blijven staan. Hoe hebben wij dat aangepakt?

Illustratie bij verhaal over de methodiek van het Youtube onderzoek

De video begint nog kalm. Een kinderklas staat op zo’n 20 meter afstand van de telefooncamera. De beelden lijken - gezien de beeldkwaliteit - een aantal jaar oud te zijn. En dan, zonder enige waarschuwing, rijdt een pick-up truck over de kinderen heen. Schrik. Direct wegklikken? Nee, eerst rapporteren aan Youtube. En dan weg ermee.

Dit is slechts één voorbeeld van een vrij schokkende Youtube-video. Voor ons artikel over het moderatiebeleid bij het grootste videoplatform ter wereld hebben wij 304 van dit soort filmpjes bekeken.

Het moderatiebeleid van Youtube staat al enige tijd in de schijnwerpers. Eén van de prominente voorbeelden daarvan is de aanslag op twee moskeeën in Christchurch. Tienduizenden video’s werden verwijderd, omdat beelden van de schietpartij integraal en onbewerkt op Youtube werden geplaatst.

Echter, als je zoekt op beelden van de aanslag bij Charlie Hebdo, dan vind je aardig wat voorbeelden van video’s die wel door Youtube zijn goedgekeurd. Daar zijn verklaringen voor, maar het onderscheid in wat wel en niet online mag blijven staan kan voor verwarring zorgen. Bij ons ontstond het idee om een verhaal te maken over online moderatie.

Om dit verhaal zo goed mogelijk te kunnen vertellen, hebben wij dus ruim driehonderd video’s gevonden en bekeken waarin gewelddadige of haatzaaiende inhoud wordt getoond. Hoe hebben wij dit gevonden en wat hebben wij hiervan geleerd?

Hoe vind je zulke video’s?

In november 2018 werd in de podcast The Privacy, Security & OSINT Show in aflevering 100 een tip gedeeld over hoe je Youtube-video’s vindt met een specifieke parameter in de URL, de bpctr-tag. Dat ziet er als volgt uit:

youtube.com/watch?v=idnummervanvideo&bpctr=123456789

Als je zo’n video afspeelt, krijg je de volgende waarschuwing te zien.

Een waarschuwingsscherm op Youtube

Deze video’s hebben beperkte functionaliteit. Je kunt ze niet op je website embedden. Ze komen niet prominent in de zoekresultaten van Youtube voor. In bepaalde landen worden ze geblokkeerd. Je kunt geen reacties achterlaten. En de eigenaar van het kanaal kan geen advertenties op die video draaien.

Uit nieuwsgierigheid hebben we een verzameling van deze bpctr-video’s gemaakt. Via deze Google-zoekopdracht kun je die video’s vinden.

site:youtube.com inurl:bpctr

Waar het vaak om gaat: nazi-propaganda, complottheorieën of zeer gewelddadige video’s. Om onze zoekresultaten zo uitgebreid mogelijk te maken, hebben wij de zoekopdracht via een VPN-verbinding vanuit verschillende landen uitgevoerd. Het vreemde is namelijk dat de zoekresultaten per land enorm verschillen. Wat in de Verenigde Arabische Emiraten wel vindbaar is, is in Nederland onvindbaar.

Wat we hebben gevonden is bij lange na geen uitputtende lijst. Dit gaat enkel om video’s die op andere websites wordt gelinkt en vervolgens door Google als zoekresultaat worden opgepikt. Hoeveel van dit soort video’s met schokkende of aanstootgevende inhoud er wel zijn, wil Google niet bekendmaken.

Hitler, de holocaust en Donald Duck als nazi

Blijkbaar zitten deze video’s op het snijvlak van de communityrichtlijnen en de vrijheid van meningsuiting. In deze video legt Youtube uit hoe video’s door gebruikers worden gerapporteerd en wat er vervolgens mee gebeurt.

Wij hebben alle 304 bpctr-video’s bekeken. Daar zit ook behoorlijk schokkend materiaal tussen. Een aantal voorbeelden:

  • Talloze speeches van Hitler, Goebbels en consorten. En nog meer historisch materiaal van NSDAP-bijeenkomsten.

  • Een sketch waarin iemand een imitatie doet van een Joodse man. Deze ‘valse Jood’ (zoals hij wordt aangeduid) bekent dat McDonald’s mensenvlees gebruikt in zijn hamburgers. Ook wordt de holocaust impliciet ontkracht.

  • Complottheoristen die beweren dat joden de nieuwe zwarten zijn, Charlie Hebdo een false flag operation (operaties die zijn ontworpen dat het lijkt alsof ze worden uitgevoerd door andere entiteiten) en dat banken alle oorlogen hebben veroorzaakt.

  • Ontzettend veel video’s waarin overleden of zwaargewonde personen in oorlogsgebieden worden vertoond.

  • Eén van de heftigste video’s: een kinderklas wordt overreden door een pick-up truck. Ook beginnen sommige video’s direct met overleden kinderen.

  • Een video met natuurbeelden en een Noorse commentator. Het gaat alleen niet over broedende vogels en bronstige beren. De Youtuber propageert zijn verzetsbeweging voor witte nationalisten.

  • Een video waarin Donald Duck als nazi rond paradeert (die overigens lastig te zien is vanwege copyright-issues).

  • Een audiofragment van een zwarte vrouw in een groepsverkrachting.

  • De video waarin Geert Wilders de omstreden Mohammed-cartoons toont.

Deze voorbeelden gaan te ver. Dat is ook de reden dat we er niet naar willen linken. Maar blijkbaar leidt het moderatiebeleid van Youtube ertoe dat deze beelden online mogen blijven staan.

We kunnen geen definitieve conclusies trekken over de 304 video’s die we hebben gevonden. Maar wat wij hier wel mee kunnen doen, is een verhaal vertellen over de zogeheten edge cases: gevallen die net wel of net niet online mogen blijven staan. Hoe strikt is het moderatiebeleid? En hoe zou jij modereren?

Ons eigen haatkanaal

Om nog meer informatie te verzamelen over moderatie, hebben we ons eigen Youtube-kanaal aangemaakt. Hierop hebben we een selectie van vijf van bovenstaande video's gepubliceerd.

Wij wilden namelijk weten of Youtube deze video’s automatisch herkent tijdens het uploaden, of dat er handmatige rapportage nodig was. Dat laatste bleek in alle vijf gevallen nodig. Wij hebben onze eigen video’s gerapporteerd bij Youtube. Na moderatie zijn twee video’s offline gehaald, twee video’s zijn met een waarschuwing geplaatst en een video zonder maatregel mocht online  blijven staan. Dat terwijl de video’s oorspronkelijk op andere kanalen overal met een waarschuwing worden weergegeven.

Moderatie is dus - zoals Google-woordvoerder Rachid Finge in ons artikel zegt - "geen exacte wetenschap". Dit werd dan ook de insteek van ons verdere onderzoek. Wat nog interessant is om te laten zien, zijn de waarschuwingen en mogelijke straffen die je als uploader van deze video's kunt krijgen.

Alle waarschuwingen en de status van je kanaal kun je in het onderstaande dashboard bekijken.

Youtube-dashboard voor waarschuwingen

In dit dashboard kun je ook de geschiedenis van je waarschuwingen inzien. Daar wordt ook uitgelegd welke maatregel is genomen. En wat de reden van die maatregel is.

Het Youtube-dashboard

Bij één van onze video’s werd ook duidelijk vermeld dat deze inhoud in een aantal landen wordt geblokkeerd, omdat de lokale wetgeving dat vereist. Zo’n melding ziet er als volgt uit.

Waarschuwing dat je Youtube-video in bepaalde landen is geblokkeerd

De eerste waarschuwing is nog mild. Maar bij een tweede, derde en vierde waarschuwing lopen de straffen op. Na vier opeenvolgende waarschuwingen in negentig dagen wordt je kanaal zelfs verwijderd. Bij deze waarschuwingen wordt ook zeer expliciet verwezen naar de richtlijnen.

Waarschuwing dat je Youtube-video is verwijderd

Tijdens dit onderzoek hebben we het kanaal op de status verborgen gezet, zodat andere Youtube-kijkers niet zomaar deze video’s kunnen ontdekken. Tenslotte hebben we het kanaal voor de publicatie van dit artikel van Youtube verwijderd.

Schrijf je in voor de nieuwsbrief

Blijf op de hoogte