Qualitative Comparative Analysis (QCA) is een onderzoeksmethode die uiterst geschikt is voor de systematische vergelijkende evaluatie van een beperkt aantal cases. In haar oorspronkelijke vorm worstelt de methode echter met het evalueren van cases die door de tijd evolueren, zoals beleidsprocessen. Recent zijn verschillende methodologische innovaties ontwikkeld om tijd en proces te incorporeren in de systematische vergelijking met QCA. In dit artikel bespreken we de belangrijkste innovaties en geven we aan welke strategie het beste zou passen bij een gegeven evaluatietype en -vraag. We bespreken de volgende strategieën: een conventionele QCA in een mixed-methods design, het gebruiken van temporele condities, het uitvoeren van meerdere QCA-analyses voor verschillende perioden, het uitvoeren van één QCA voor verschillende perioden, Trajectory-Based QCA (TJ-QCA), Temporal QCA (TQCA) en Time-Series QCA (TS/QCA). We vergelijken de verschillende strategieën op hun sterktes en zwaktes en geven aan onder welke voorwaarden ze toegepast kunnen worden voor de evaluatie van beleidsprocessen.

In De marktconforme verzorgingsstaat beschrijft Naomi Woltring hoe in de jaren negentig neoliberale denkbeelden zorgen voor een grondige aanpassing van de Nederlandse verzorgingsstaat. Ze laat zien hoe dat uitpakte voor de volkshuisvesting en de sociale zekerheid. Deze grondige geschiedschrijving roept vragen op over de precieze aard van neoliberalisme, over de mogelijkheden van een alternatieve ontwikkeling en over de rol van beleidsonderzoek bij de ontwikkeling en uitrol van neoliberaal beleid in die periode.

Deze beschouwing staat stil bij praktische belemmeringen en belangen waarmee een onderzoeker te maken kan krijgen in beleidsevaluaties. Het eerste deel reflecteert (niet uitputtend) op enkele praktische uitdagingen en hoe een onderzoeker daarmee in de praktijk om kan gaan. Een eerste uitdaging is dat evaluaties wat betreft aantallen, scope en timing niet altijd aansluiten bij de informatiebehoeften van beleidsmakers. Evaluatoren zullen voorts bij het uitwerken van een onderzoeksopzet (niet geheel onverwacht) ervaren dat beleidsmakers doorgaans geen of weinig rekening houden met een (latere) evaluatie. De laatste uitdaging in dit deel betreft toenemende verwachtingen van beleidsmakers (als opdrachtgever van evaluaties) ten aanzien van kwantificering in en digitalisering van evaluaties. Het tweede deel van deze beschouwing behandelt meer politieke belangen die de keuzeruimte voor een evaluator beperken. Het omgaan met deze belangen in beleidsevaluaties vereist de vaardigheid om partijen te kunnen overtuigen van de juistheid van de keuzes die een evaluator in zijn (of haar) onderzoek maakt. Het negeren van deze belangen kan de doorwerking van een onderzoek beperken. Het tweede deel staat daarom apart stil bij doorwerking.

Reflexieve Monitoring in Actie (RMA) is een flexibele methodologie die start in de praktijk van een transitie-initiatief van vernieuwers die samenwerken om systeemverandering te realiseren. De methodologie verbindt het hier en nu met verleden en toekomst om het veranderingsproces te versterken door te stimuleren dat de vernieuwers reflecteren op hun activiteiten in het licht van een bestaand systeem en de ambitie van systeemverandering. De reflectie kan aanleiding zijn om activiteiten, prioriteiten en de gekozen richting van het initiatief aan te passen. Zo draagt RMA bij aan leren en bijsturen in de eigen transitiecontext. Op basis van recente inzichten presenteert dit artikel de essentiële kenmerken van RMA met de onderliggende theorie enerzijds en de vele mogelijkheden voor de praktijk van uitvoering anderzijds. De vier voorbeelden schetsen hoe reflexief monitoren steeds weer gaat over het kiezen, met overtuiging, voor wat belangrijk is op dát moment, en dus maatwerk is.

Begin juli 2024 rondde de commissie Sorgdrager het klokkenluidersonderzoek naar een mogelijke misstand bij het College voor de Rechten van de Mens af. Er is in toenemende mate kritiek op dit soort onderzoek, hier kortheidshalve aangeduid als integriteitsonderzoek. Eerder schreef Lennart de Ruig in dit tijdschrift een kritisch artikel over de onderzoeken naar de zogenoemde ‘WODC-affaire’, en hoogleraar Michiel de Vries publiceerde in 2023 een vernietigend boek over een groot aantal andere integriteitsonderzoeken.
Dit artikel wil bijdragen aan het versterken van het integriteitsonderzoek in het openbaar bestuur, in het bijzonder bij de rijksoverheid. Voortbouwend op onder andere de door De Vries gehanteerde maatstaven wordt een beoordelingskader voor integriteitsonderzoek ontwikkeld. Op basis daarvan wordt het onderzoek van de commissie Sorgdrager tegen het licht gehouden. Voor zover is na te gaan voldoet ook dit onderzoek niet aan de eisen die er aan deugdelijk integriteitsonderzoek zijn te stellen. Het artikel eindigt met een pleidooi nu serieus aan de slag te gaan met de verbetering van dit type onderzoek. Niet alleen omdat, zoals De Vries zegt, ondeugdelijk integriteitsonderzoek mensen kapot maakt, maar ook omdat het niet bijdraagt aan de verbetering van de omstandigheden die ertoe aanleiding geven. Zorgen voor deugdelijk integriteitsonderzoek is helpen zorgen voor een deugdelijk werkklimaat.

Je kon erop wachten: na jaren royaal spenderen uit de rijksbegroting klinkt nu overal in Den Haag weer de roep om meer zicht op doelmatigheid. En terecht: anders dan vaak wordt gedacht, is het snel uitgeven van meer geld niet hetzelfde als het voeren van goed beleid. In aanvulling op de regels budgetdiscipline hebben we daarom regels beleidsdiscipline nodig. Dat scheelt nog geld ook. In deze column legt de auteur dat ‘tongue in cheek’ uit.

Dit artikel beschrijft achtergronden, stappenplan, voorbeelden, uitdagingen en vraagtekens bij contributie-analyse (CA) in beleids- en evaluatieonderzoek. De kern van de aanpak wordt in enkele punten gepresenteerd, er is oog voor methodologische en kennistheoretische aspecten ervan, alsook voor de vraag hoe CA zich verhoudt tot aanpalende benaderingen en methoden (zoals ‘realist evaluation’ en ‘process tracing’). Daarnaast wordt een aantal toepassingen genoemd, alsmede een lijstje met literatuursuggesties.

Responsieve evaluatie is een visie op beleidsevaluatie waarin de dialoog tussen diverse stakeholders centraal staat. Deze dialoog vormt een middel om de stem en issues van stakeholders eerst te articuleren in de kring van convergerende belangen, om die vervolgens in onderhandeling te brengen met anderen, zodat wederzijds begrip kan ontstaan over de (beleids)praktijk. Belanghebbenden worden actief betrokken in alle fasen van de evaluatie. De methode is participatief en genereert impact tijdens de evaluatie. Responsieve evaluatie is bruikbaar voor beleidsterreinen met een grote mate van ambiguïteit en divergerende belangen en perspectieven.

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan een reviewstudie naar de effecten van het gebruik van mobiele telefoons in de klas.

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de haalbaarheidsstudie voor een opleiding voor data scientists.

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de evaluatie van het uniform subsidiekader (USK).

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan de beleidsdoorlichting van artikel 1 (‘duurzame economische ontwikkeling, handel en investeringen’) van de begroting van Buitenlandse Handel en Ontwikkelingssamenwerking (BHOS).

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar de doeltreffendheid en doelmatigheid van de wezenuitkering.

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar dodelijke verkeersongevallen op rijkswegen.

In de rubriek Beleidsonderzoek Benut besteden we dit keer aandacht aan het onderzoek naar de mate waarin fiscale regelingen voldoen aan het toetsingskader uit de Rijksbegrotingsvoorschriften.

Jaarlijks reikt de Nederlandse Vereniging van Rekenkamers & Rekenkamercommissies (NVRR) de Goudvink uit als prijs voor het beste rekenkamerrapport. Het winnende onderzoek van de Rekenkamer Amersfoort werd uitgevoerd door onderzoeksbureau Pro Facto en richtte zich op het ondermijningsbeleid van de gemeente. De hoofdvraag luidde: ‘In hoeverre hanteert de gemeente zowel qua beleid als qua uitvoering een adequate aanpak in de bestrijding van ondermijning?’ Beleidsonderzoek Online sprak met ambtelijk secretaris Martine van Engen en rekenkamerlid William Maassen van de Rekenkamer Amersfoort: over de Goudvink, hun ervaring met het begeleiden van het onderzoek en de doorwerking van het rapport.

De begrippen ‘ontwikkeling’ en ‘hulp’ hebben voor velen een ongemakkelijke klank: er klinken superioriteit en ongelijke verhoudingen uit op. Die laatste worden nog eens versterkt door het uitvoeren van ‘top-down’ evaluaties. In plaats van hulp zouden we moeten spreken over ‘internationale samenwerking’, responsief moeten evalueren en vooral hard moeten werken aan het eerlijker maken van handel en financiën. ‘Dekoloniseren’ betekent volgens Peter van der Knaap daarbij niet zozeer dat je vertrekt, maar dat je als onderzoeker je perspectief kantelt.

Om een beleidsvraagstuk ‘in volle omvang’ te kunnen adresseren, is het nodig het vanuit meerdere invalshoeken te belichten. Kristallisatie is een onderzoeksbenadering die dit doet. De benadering vindt haar oorsprong in de gedragswetenschappen en stelt zich een beleidsvraagstuk voor als een kristal met veel vlakjes. We beschrijven de twee uitgangspunten van kristallisatie – multiperspectiviteit en dialoog – en vertalen deze naar richtlijnen voor (beleids)onderzoek. We illustreren vervolgens de toepassing van de benadering met een onderzoek naar toekomstbestendig leraarschap, waarin we door de inzet van zeven onderzoeksbouwstenen en het betrekken van diverse groepen belanghebbenden in dialoog zowel theoretische als praktische inzichten over het vraagstuk ontwikkelden. We besteden in onze aanpak specifiek aandacht aan de combinatie van wetenschap en kunst die kristallisatie nastreeft als een effectieve manier om multiperspectiviteit in beeld te brengen en professionele dialoog te voeden. We laten in illustraties van de toepassing van kristallisatie zien dat de benadering met name van waarde kan zijn voor beleidsonderzoekers die ernaar streven doelgroepen bij de ontwikkeling en implementatie van nieuw beleid te betrekken of die in de fasen van ex durante of ex post evaluatie op zoek zijn naar belevingsgerichte aspecten van beleid.

Eind 2023 verscheen het omvangrijke Handbook of Public Policy Evaluation. Dit handboek, geredigeerd door Varone, Jacob en Bundi, bevat 26 bijdragen over het evalueren van beleid. In deze boekbespreking richten de auteurs zich op het handboek als geheel en komen tot de conclusie dat het boek als thematisch gefocust handboek tekortschiet. Veel meer dient dit boek te worden gezien als naslagwerk dat zich richt op verschillende doelgroepen.

Maatschappelijke kloven worden groter en dieper. Verwijdering tussen verschillende groepen in de samenleving neemt toe en door sommige groepen wordt ‘de wetenschap’ in toenemende mate gewantrouwd. Om het tij te keren is het van belang dat wij kritisch naar ons eigen aandeel hierin gaan kijken. Hiervoor moeten we de ideologische, politieke en/of culturele normen en waarden die onderzoek, en onszelf, beïnvloeden erkennen, expliciteren en bevragen. Op die manier kunnen we maatschappelijke kloven overbruggen, in plaats van deze te vergroten.