Brengt oneerlijke zaken aan het licht op basis van datajournalistiek

Op de achtergrond een schoolkind met rugzak. Met een loep kijk je naar één datpunt

Zo reproduceerde we het nieuwe rekenmodel van de Onderwijsinspectie

Meten is niet direct weten, het is een beginpunt voor verder onderzoek

Op de achtergrond een schoolkind met rugzak. Met een loep kijk je naar één datpunt

In ons onderzoek naar het nieuwe resultatenmodel van de Onderwijsinspectie kwamen we erachter dat één op de tien basisscholen onder de nieuwe richtlijnen presteert. Hier vertel ik hoe ik de rekenmethode van de inspectie nagebootst heb en hoe je de data kan interpreteren van de basisscholen in jouw gemeente en wijk.

Je kan al direct in onze dataset zien welke scholen onder de richtlijnen presteren. De gemeente, wijk en postcode van de scholen staan er ook bij. Voor een volledige beschrijving check de gepubliceerde dataset. Als je wil weten hoe deze resultaten tot stand komen lees dan vooral verder.

 

Onderstaande grafiek wekte mijn interesse. Met name omdat de zogenaamde schoolweging een door de CBS berekende nieuwe maat is die iets zegt over de sociaal-economische status van de leerlingen per school. Zometeen meer over de schoolweging. De grafiek kan je vinden op de website van de Onderwijsinspectie.

Originele Inspectie grafiek van het Onderwijsresultatenmodel
Inspectie van het Onderwijs

Puntjes

Elk puntje is een basisschool. Elke school staat hier twee keer in. Eén blauw puntje voor het fundamentele niveau rekenen, lezen en taalvaardigheid (1F). Eén rood puntje voor het iets hoger gegrepen streefniveau (1S/2F). Voor onze productie en de daarbij behorende dataset kan je de blauwe puntjes vergeten. Wij kijken alleen naar de streefniveaus van de scholen omdat de richtlijnen daar interessanter zijn, deze worden per schoolweging lager.

Lijnen

De bovenste diagonale lijn is het landelijk gemiddelde. De onderste lijn is een richtlijn van de Inspectie, ook wel signaleringswaarde genoemd. Als scholen daaronder komen is dat een reden voor de Inspectie voor een vervolgonderzoek. Het is een indicatie dat er iets niet goed gaat op een school. Dat kan een goede reden hebben, de Inspectie luistert dan naar het verhaal van de school.

Verticale as

Op de verticale as staat het percentage groep 8-leerlingen van 2017 t/m 2019 die het streefniveau hebben behaald op de eindtoets. De Inspectie gaat uiteindelijk werken met de jaren 2018 tot en met 2020. Aangezien er nog geen cijfers zijn van 2020 en er volgens de Inspectie vergelijkingsproblemen zijn met de streefniveau-data tussen verschillende eindtoetsen in het jaar 2017 gebruiken wij twee jaar in plaats van drie (2018 en 2019, dus schooljaar ‘17/’18 en ‘18/’19). 

Als je de data van leerlingen uit één jaar zou nemen riskeer je dat dat toevallig een jaar was met veel leerlingen waarvan de scores tegenvielen. Data van twee jaar is al beter, drie jaar nóg beter. Om dit percentage te kunnen berekenen heb je verschillende datasets nodig. Ten eerste het aantal leerlingen dat streefniveaus heeft behaald in de jaren 2018 en 2019. En het aantal leerlingen die de eindtoets hebben gemaakt in diezelfde jaren (dat zijn dan de schooljaren ‘17/’18 en ‘18/’19 want de leerlingen worden aan het begin van het schooljaar gepeild). Leerlingen kunnen ontheffing (vrijstelling) krijgen voor de eindtoets, maar die deelt de Inspectie niet zomaar uit. Het aantal eindtoetsleerlingen krijg je dan door het aantal leerlingen in groep acht van het aantal leerlingen met ontheffing af te trekken.

Rekenvoorbeeld

Uit het document Onderwijsresultatenmodel primair onderwijs.

Fictieve school: Basisschool de Regenboog
Schooljaar

Aantal leerlingen eindtoets gemaakt

Aantal leerlingen met 2F lezen Aantal leerlingen met 2F taalverzorging Aantal leerlingen met 1S rekenen
2017/2018 40 29 23 18
2018/2019 55 46 24 29
Totaal 95 75 47 47

“Het percentage behaalde referentieniveaus 1S/2F (streefniveaus) is gelijk aan het totaal aantal 1S/2F scores gedeeld door drie keer het totaal aantal leerlingen vermenigvuldigd met 100” (bron: Onderwijsinspectie): (75 + 47 + 47) / (95 + 95 + 95) * 100 = 59,3%. 

Horizontale as: schoolweging

De schoolweging geeft aan hoeveel leerlingen er op een school zitten met een potentiële achterstand. Het is een getal ontworpen door het CBS in opdracht van de Inspectie. Zij hebben per school gekeken naar een aantal kenmerken van de ouders van de schoolkinderen. Deze kenmerken zijn:

  • het opleidingsniveau van de ouders
  • het gemiddelde opleidingsniveau van alle moeders op school
  • het land van herkomst van de ouders
  • de verblijfsduur van de moeder in Nederland
  • of ouders in de schuldsanering zitten.

Op de website van de Inspectie staat alleen het gemiddelde van de schoolwegingdata van drie schooljaren ‘16/’17 tot en met ‘18/‘19. Omdat de referentieniveau data uit het schooljaar ‘16/’17 volgens de Inspectie niet kloppen hebben wij de schoolwegingen nodig van de losse jaren ‘17/’18 en ‘18/’19, ofwel van de jaren 2017 en 2018 omdat in die jaren gepeild is.

Hoe het CBS de schoolweging exact heeft berekend is ingewikkeld. Je kan hun onderbouwing lezen in de toelichting van hun dataset.

Sommige scholen nemen we niet mee in onze analyse

In een data-analyse komt het vrijwel nooit voor dat alle gegevens volledig zijn. Dat kan door uiteenlopende redenen komen. We nemen je mee hoe wij aan het aantal van 6.070 basisscholen komen. Voor ons interactieve artikel verkleinen we het aantal naar 5.445 scholen. 

Ik heb de schoolweging-data van de Inspectie als startpunt genomen (te vinden in een tab in onze dataset). Hier staan 6.612 unieke vestigingen in. 

  • Speciaal onderwijs heb ik niet meegenomen in de analyse.
  • Voor 2017 en 2018 moet een schoolweging berekend zijn.
  • in een  toelichtingsveld staat bij 279 vestigingen “zie (mits beschikbaar) schoolweging hoofdvestiging”. Deze schoolwegingen kloppen dus niet. Want twee verschillende vestigingen van dezelfde instelling (brin) hebben verschillende leerlingpopulaties. Deze betreffende brin-instellingen heb ik eruit gefilterd.
  • Dan is er één school met een onjuist aantal leerlingen die streefniveau behaald hebben. Dit zijn er bij die ene school meer dan dat er kinderen de eindtoets hebben behaald. Dit kan niet kloppen.
  • Voor de interactive Hoe presteerden de groep 8-leerlingen op de basisscholen in jouw wijk? hebben we gekozen om hele kleine scholen weg te laten. Scholen waarvan gemiddeld in twee schooljaren minder dan tien leerlingen de eindtoets hebben gemaakt nemen we niet mee. 

De Inspectie meldt: “Na eventuele bijstelling van de signaleringswaarden wordt het nieuwe onderwijsresultatenmodel in het schooljaar 2020/2021 officieel ingevoerd.” Wij zullen met de nieuwe cijfers de analyse opnieuw draaien, dan over drie jaar. 

Voor vragen mail mij gerust.

Elke week de beste verhalen in je mailbox