Leesbaarheidsonderzoek: oude problemen, nieuwe kansen

8 Conclusies en discussie

We hebben betoogd dat met het beschikbaar komen van nieuwe taaltechnologie en nieuw tekstverwerkingsonderzoek beter leesbaarheidsonderzoek mogelijk moet zijn, en we hebben een eerste verkenning uitgevoerd naar de mogelijkheden. Er is zowel goed nieuws als slecht nieuws te melden.

Om te beginnen blijkt het inderdaad mogelijk om met software als Tadpole en Alpino interessante tekstkenmerken te identificeren. Daarbij gaat het vaak om zaken die voor computationeel taalkundigen erg elementair zijn. Het opzoeken van tekstwoorden in een zelf te kiezen woordfrequentielijst, al of niet gelemmatiseerd, maakt het mogelijk om eenvoudig allerlei woordfrequentie-effecten te bekijken. Verder is het winst dat door tagging woordsoorten worden toegekend, door Named Entity Recognition namen van personen en plaatsen betrouwbaar kunnen worden aangewezen, met morfologische analyse nominalisaties kunnen worden herkend en een nieuwe woordlengtemaat kan worden gedefinieerd. En met syntactische parsing kunnen we kenmerken aanwijzen als afhankelijkheidslengtes, het complexiteitsniveau van syntactische constructies (D-Levelwaarde), lijdende vormen, en het aantal nominale bepalingen. Het is voor taalbeheersings- en tekstonderzoekers erg nuttig als deze mogelijkheden publiek beschikbaar komen.

Of al deze kenmerken belangrijk zijn voor de begrijpelijkheid van een tekst, is nog minder duidelijk. Het antwoord op die vraag lijkt bevestigend te luiden, omdat de T-Scan voorspelling zo’n 10% beter is dan die van de CLIB. Maar scepsis is op dit punt gerechtvaardigd. Laten we aannemen dat de cloze-testen een verdedigbare definitie van tekstbegrip geven. Dan moeten we allereerst vaststellen dat het hier gaat om basisschoollezers, en dat generalisatie naar andere lezers niet direct mogelijk lijkt. Het meest duidelijk wordt dat gedemonstreerd door de belangrijke rol van woordlengte in onze data. Het effect van woordlengte verdwijnt naarmate lezers ouder worden, waarschijnlijk al tijdens de basisschool. Het zit ons een beetje dwars dat we bij woordlengte geen interactie met leerjaar hebben gevonden.

Een meer principieel punt is dat we bij veel significante voorspellers geen goede verklaring hebben, ook niet voor onze basisschoollezers. Zo weten we nog niet wat lange zinnen moeilijk maakt, omdat afhankelijkheidslengtes niet beter voorspellen dan zinslengtes. Meer in het algemeen is onze ervaring dat leesbaarheidspredictoren onderling uitwisselbaar blijken: wanneer er een weggelaten wordt, neem een ander de lege plaats in. Het sterkste voorbeeld daarvan is dat de cloze-scores zonder woord- en zinslengte bijna even goed voorspeld worden, maar dan met meer intelligent ogende kenmerken. Overigens kan men dat ook positief beoordelen: leesbaarheidsanalyses met deze meer intelligente kenmerken zijn minder makkelijk te ‘foppen’ in die zin dat ze niet uitnodigen tot cosmetische tekstveranderingen.

Een ander, daarmee verbonden probleem is dat voorspellers in regressie-analyses op onvoorspelbare manieren interageren. Daarom is het moeilijk om op dit moment conclusies te trekken over het belang van concreetheid van teksten. In onze analyses bleken de concreetheidskenmerken soms wel, en soms weer niet een rol te spelen, afhankelijk van de andere voorspellers in het model.

De conclusie moet zijn dat we nog weinig causale uitspraken kunnen doen. Dat betekent dat we ook nog niet ver zijn met het aanwijzen van begrijpelijkheidsproblemen in teksten, en dus evenmin met tekstadviezen. De eerste twee problemen uit par. 2 zijn dus nog lang niet opgelost. Wel blijkt dat leesbaarheidsonderzoekers gelijk hebben als ze aannemen dat hun ‘domme’ predictoren aardig correleren met meer aannemelijke oorzaken van tekstmoeilijkheid. We weten echter niet zeker of onze nieuwe predictoren causaal relevant zijn. Zeker, nominalisaties (zoals woorden die eindigen op –heid) zijn intuïtief gerelateerd aan abstractere en moeilijker teksten. Maar het valt ons moeilijk te geloven dat het kleine aantal van die woorden in onze teksten (gemiddeld minder dan 1 op de 100 woorden) daadwerkelijk de gemiddelde lagere cloze-scores van die teksten verklaart. Aannemelijker is dat nominalisaties samengaan met zaken die de tekst werkelijk moeilijk maken. Kortom, ook meer intelligente talige predictoren garanderen geen causale relevantie.

Een ander probleem dat we hebben proberen aan te pakken is het ontbreken van tekststructurele predictoren. Onze connectiefmaten en argument-overlap bleken geen significante voorspellers in de modellen. Dat kan te maken hebben met het feit dat connectieven niet al te veel voorkomen in deze vrij eenvoudige teksten en dat veel referentiële links door voornaamwoorden gerealiseerd worden en niet door inhoudswoorden.

Een ontnuchterend gegeven is verder dat, zoals reeds geponeerd door Anderson & Davison (1988), predictoren uit leesbaarheidsformules inderdaad veel minder variantie verklaren dan meestal wordt aangenomen. Van de individuele scores wordt ruim 30% verklaard, tegenover de 70% die in geaggregeerde analyses lijkt te kunnen worden begrepen. Nu is 30% zeker niet niets, maar enige bescheidenheid zou de leesbaarheidsonderzoeker wel passen.

Daar staat tegenover dat onderzoek op individuele prestaties theoretisch een stuk interessanter is, omdat het zicht biedt op mogelijke interacties tussen lezers- en tekstkenmerken. Hierboven bleek al dat het effect van zinslengte afneemt met de leerjaren.

Ten slotte een opmerking over het laatste probleem uit par. 2: we hebben hierboven gewerkt met een globale score per tekst. Daardoor wordt de variantie binnen teksten systematisch onderschat; bovendien blijft onduidelijk waar in de tekst zich begripsproblemen kunnen voordoen. Dit probleem raakt de kern van de onzekere relatie tussen leesbaarheidsonderzoek en tekstverbetering. Een oplossing ervan zal ingrijpende koerswijzigingen vergen. Ten eerste moet gezocht gaan worden naar een ander type voorspellers, die een weerslag zijn van bepaalde gebeurtenissen in de tekst: extreem moeilijke zinnen of woorden, of eigenaardige overgangen van de ene naar de andere zin of alinea. Met name de analyse van deze overgangen vraagt om meer contextgevoelige, sequentiële tekstkenmerken dan tot nu toe gebruikt zijn. De automatische afleiding van dat soort kenmerken is reeds mogelijk, en het effect ervan op het lezen begint nu te worden onderzocht. We denken aan de semantische overlap tussen tekstdelen zoals bepaald met Latent Semantic Analysis (Pynte e.a. 2008) en aan de voorspelbaarheid van woorden en zinsconstructies (Demberg en Keller 2008). Onderzoek naar het effect van dit soort kenmerken vraagt ook andere verwerkingsmaten dan de gebruikelijke off-line begripstoetsen. In plaats daarvan kunnen oogbewegingsdata worden geanalyseerd. Dat soort data zou het daarnaast mogelijk maken de status van off-line data zoals cloze-scores beter te bepalen.
Vatten we dit alles samen. Nieuwe taaltechnologie maakt het mogelijk meer interessante kenmerken van teksten te beschrijven, en maakt een kleine predictiewinst mogelijk. Het onderzoek naar de begripseffecten van die kenmerken moet op dit moment echter bescheiden zijn in zijn pretenties. Ten eerste omdat niet zoveel variantie verklaard wordt als wel eens wordt gedacht. Ten tweede omdat er nog maar weinig betrouwbare causale uitspraken gedaan kunnen worden.

Onze conclusie is dat leesbaarheidsonderzoek meer aandacht moet besteden aan de feitelijke rol van tekstkenmerken tijdens het begripsproces. Daarbij zouden nieuwe, sequentiële tekstkenmerken wel eens belangrijke voorspellers kunnen gaan vormen.

1. Dank aan Huub van den Bergh voor zijn hulp bij deze analyse.

Sprache. In: Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie IX (1), 20-28