Leesbaarheidsonderzoek: oude problemen, nieuwe kansen

We selecteerden de meest veelbelovende T-Scan-predictoren als volgt. In elk van de zeven groepen werden eerst de predictoren gekozen die hoger dan .25 correleerden met de cloze-score, en niet hoger dan .80 correleerden met betere predictoren uit hun groep. De overblijvende predictoren werden gebruikt in een stapsgewijze regressie-analyse per groep. De predictoren die daarin een significante (en dus zelfstandige) bijdrage leverden, werden toegelaten tot de laatste ronde. Het ging hierbij om 18 predictoren. De onderlinge correlaties tussen die predictoren en hun correlatie met de cloze-score staan in Tabel 3.

Ten tweede, en dat is minder goed nieuws, leveren afhankelijkheidslengtes geen betere voorspelling dan de zinslengte. Zo correleerde het gemiddelde van de langste lengte per zin .47 met de cloze, tegenover .59 voor het aantal zinnen per woord. Geen enkele afhankelijkheidslengte haalde de eindronde. Dat betekent dat we nog niet goed weten wat er nu moeilijk is aan lange zinnen. Immers, ook andere syntactische predictoren zoals D-Level en het aantal bijzinnen correleerden aanzienlijk lager met cloze-scores dan zinslengte. D-Level haalt echter wel de eindronde, waarschijnlijk omdat het net wat minder hoog correleert met zinslengte dan veel afhankelijkheidslengtes doen.

Ten derde is voor woordfrequenties het percentage frequente woorden een betere voorspeller dan de gemiddelde frequentie. Er zijn verschillende drempels gebruikt bij het vaststellen van de frequente woorden, en daarbij heeft Staphorsius al gevonden dat de voorspelling het beste is als de eerste 998 woorden als ‘bekend’ gezien worden.

Ten vierde is er weinig succes voor de coherentiekenmerken. Geen van de connectief-dichtheden haalt de drempel, en wat betreft referentiële coherentie haalt alleen een argument-overlap maat deze. Daarnaast is er de dichtheid van voornaamwoorden, die ook als een coherentiemaat kan worden gezien.

Ten slotte vallen in Tabel 3 de correlaties tussen de predictoren op. Zo correleert de proportie frequente woordlemma’s boven de .50 (of -.50) met de woordlengte in letters, met de type-token-ratio, met de argument-overlap-proportie, met de voornaamwoord-dichtheid en met de naam-dichtheid. En de type-token-ratio correleert niet alleen hoog met woordfrequentie maar ook met woordlengte en argument-overlap-proportie.
De 18 predictoren zijn gebruikt in een multipele regressie. Daarbij is eerst de stapsgewijze methode gekozen en daarna de achterwaartse methode. Voor het kleine aantal CLIB-predictoren maakt deze keuze geen verschil, maar bij een groter aantal predictoren biedt een achterwaartse methode meer zekerheid dat geen predictoren gemist worden (Field 2005, 161). In Tabel 4 blijkt dat de stapsgewijze methode leidt tot een verklaarde variantie van 70.3% met acht voorspellers. De achterwaartse regressie verklaart 72% van de variantie met elf voorspellers, waarvan er een marginaal significant is. Het weglaten van die voorspeller verandert weinig aan de verklaarde variantie.

In deze analyses is gebruik gemaakt van de oorspronkelijke, niet-gelemmatiseerde varianten van het percentage frequente woorden en de type-token-ratio. Opvallend is dat het gebruik van de gelemmatiseerde varianten van woordfrequentie en TTR de prestaties van het T-Scan model wat vermindert. Bij stapsgewijze regressie wordt dan 68.6% van de variantie verklaard, bij achterwaartse regressie 71.4%.

• 
  B= regressiegewicht; SE = standaard error
  
• 
  # = p < .10; * = p < .05; ** = p = < .01; *** = p < .001;
  
• 
  Multipele R = de correlatie tussen voorspelling en feitelijke score;
  
• 
  R² = de verklaarde variantie, waartoe de multipele R wordt gekwadrateerd;
  
• 
  Adjusted R² = verklaarde variantie gecorrigeerd voor het aantal predictoren.
  

Wat betreft de significante predictoren blijkt dat de Staphorsius-variabelen duidelijk aanwezig blijven in het nieuwe model. Nieuwe predictoren met een duidelijke meerwaarde zijn de dichtheid van nominalisaties (hoe meer hoe moeilijker), het aantal persoonlijke voornaamwoorden en het aantal voornaamwoorden. Daarbij is interessant dat het aantal voornaamwoorden gecorrigeerd voor persoonlijke voornaamwoorden, negatief correleert met de cloze. Persoonlijke voornaamwoorden maken de tekst makkelijker, maar de niet-persoonlijke voornaamwoorden kennelijk niet. Mogelijk interessante voorspellers voor vervolgonderzoek zijn ook:

• 
  Het aantal woorden per morfeem. De negatieve richting van het verband in de achterwaartse analyse is onverwacht. Bij gelijkblijvende woordlengte in letters is het kennelijk wat eenvoudiger wanneer het woord meer morfemen telt.
  
• 
  Het aantal bepalingen per naamwoordgroep.
  
• 
  De concreetheid van adjectieven en naamwoorden.
  
• 
  Het aantal namen in de tekst; de rol van dit kenmerk is nog onduidelijk. Op zich genomen correleert het negatief met de cloze, wellicht omdat namen minder frequent en voorspelbaar zijn. Maar gecorrigeerd voor woordfrequentie wordt het verband positief.
  

Wat betreft de niet-significante predictoren valt op dat argument-overlap geen bijdrage levert. Dat is waarschijnlijk het gevolg van de hoge correlaties met voornaamwoorden en persoonlijke voornaamwoorden (zie Tabel 3). Verder ontbreekt de D-Levelwaarde, kennelijk vanwege de toch nog hoge correlatie met zinslengte.

Verder vallen de hoge onderlinge correlaties tussen predictoren op. Dat roept de vraag op of cloze-scores ook voorspeld kunnen worden zonder de traditionele oppervlakkige variabelen woordlengte en zinslengte. Het voordeel van zo’n model zou zijn dat er niet de misleidende suggestie vanuit gaat dat korte woorden en zinnen tot betere teksten leiden. Een model zonder woordlengte en zinslengte blijkt nog steeds goed te presteren: in een stapsgewijze analyse wordt met negen voorspellers 67.7% van de variantie verklaard (achterwaartse regressie: 69.1% met tien voorspellers). De rol van woord- en zinslengte blijkt te kunnen worden overgenomen door variabelen als lexical density, argument-overlap en D-Levelwaarde, die eerst niet significant waren.

Doen we zo’n individuele analyse met een klassieke regressie, dan blijkt nog slechts 20.7% van de variantie verklaard te worden door de CLIB-variabelen (was eerst 63.6%). Dat laat zien dat achter de gemiddelde tekstbegripsscores individuele verschillen schuilgaan waarop de tekstvariabelen geen vat hebben. Echter, een serieuze individuele analyse moet recht doen aan het feit dat de dataset verklarende variabelen op drie verschillende niveaus bevat: tekst, leerling en school. En aan het feit dat er behalve voorspellers op tekstniveau ook voorspellers zijn op leerlingniveau (bijvoorbeeld leesvaardigheid). Daarom is een multi-levelanalyse nodig.

De onderlinge verhouding tussen de variabelen tekst, leerling en school is complex, omdat het design van het onderzoek incompleet is: niet alle leerlingen hebben dezelfde teksten, en niet alle teksten hebben dezelfde leerlingen. Een tekst heeft tussen de 28 en 36 leerlingobservaties. Maar anderzijds heeft een en dezelfde leerling twee teksten. Verder hebben 43 scholen meegedaan aan het onderzoek, met aantallen leerlingen variërend tussen de 34 en 464. De grote scholen hebben een groot aantal (maar nooit alle) teksten, de kleine scholen slechts enkele.

Er zijn dus drie soorten variantie:

• 
  variantie tussen teksten, die eigenlijk het verschil tussen de beide teksten van dezelfde leerling weergeeft;
  
• 
  variantie tussen scholen, die deels ook variantie tussen teksten kan weergeven, omdat de teksten per school verschillen;
  
• 
  variantie tussen leerlingen, die ook weer voor het grootste deel verschillen tussen teksten weergeeft.
  

Naast de tekstkenmerken biedt deze analyse echter nieuwe voorspellers op leerlingniveau: het leerjaar en de leesvaardigheid. Gezien de snelle ontwikkeling van de leesvaardigheid tussen het 8^ste en 12^de jaar is te verwachten dat deze voorspellers belangrijk zijn. Leerjaar en leesvaardigheid zijn in het gefixeerde deel van het model opgenomen. We testen achtereenvolgens vier modellen, die steeds meer voorspellers bevatten (zie Tabel 5):

• 
  Eerst gebruiken we een model met alleen een constante; de error-varianties in die analyse geven aan hoeveel variantie maximaal verklaard zou kunnen worden.
  
• 
  Daarna volgt een model met de leerlingvariabelen leesvaardigheid en leerjaar. Dat laatste kenmerk is verwerkt door een dummy-variabele te maken voor de leerjaren 4, 5 en 6. Waarom laten we het model met leerlingkenmerken voorafgaan een model met tekstkenmerken? Ten eerste is het interessant de kracht van leerlingkenmerken en tekstkenmerken te vergelijken. Ten tweede mag van een leesbaarheidsvoorspelling worden verwachten dat hij op een bepaald leerlingniveau de prestatie op een tekst kan voorspellen.
  
• 
  Dan volgt een model met de klassieke Staphorsius-variabelen, om na te gaan wat die verbeteren aan de voorspelling met behulp van leerlingkenmerken.
  
• 
  En ten slotte een model met T-Scan-voorspellers, waaronder zich ook de Staphorsius-variabelen bevinden. Van het T-Scan model wordt bepaald of die wellicht nog een grotere verbetering van de voorspelling met behulp van leerlingkenmerken opleveren dan de Staphorsius-voorspellers. Dit laatste model beperken we tot de voorspellers die significant blijken. Welke voorspellers dat zijn staat in Tabel 6.
  

* bedoeld is: de reductie ten opzichte van model 2 (leerjaar en vaardigheid)

Tabel 5 laat zien dat de tekstvariantie binnen een leerling vrijwel volledig wordt verklaard door de tekstkenmerken. Dat geldt ook voor de schoolvariantie, die zoals gezegd voor een groot deel uit tekstvariantie bestaat. De leerlingvariantie, die veruit het grootst is, is echter aanzienlijk hardnekkiger. De eerste 31% ervan is te verklaren met leerlingkenmerken, en van wat overblijft verklaren de Staphorsius-tekstkenmerken 30% en de grotere set kenmerken in T-Scan 33.1%. Wederom verbetert T-Scan de CLIB dus met ongeveer 10%.

Tabel 6 laat zien welke tekstkenmerken het uiteindelijke model dragen. Over de opvallende richting van de voorspellers voornaamwoord-dichtheid (positief) en naam-dichtheid (negatief) is al eerder gesproken. Daar komt nu de eigenaardige rol van D-Levelwaarde bij: deze definitie van zinscomplexiteit, in de geaggregeerde regressie-analyse niet significant, correleert positief met de cloze. We hebben daarvoor geen goede verklaring.

Wij vinden de 30% of 33% verklaarde variantie geen slecht resultaat. Maar hij ligt wel ver van de 64% en de 70% die eerder bij de geaggregeerde analyses zijn gerapporteerd. De pretenties van leesbaarheidsformules moeten op dit punt aangepast worden. Zeker, wanneer we de verklaarde variantie bekijken als een effectgrootte is zij zeer aanzienlijk. Maar als we haar bezien als een voorspelling, komt zij tekort.