Beleidsonderzoek Online, december 2024

Lasse Gerrits & Stefan Verweij: Kansen voor de vergelijkende evaluatie van beleidsprocessen: recente ontwikkelingen in QCA

Lasse Gerrits en Stefan Verweij

1. Introductie

Een beleidsevaluatiemethode die de laatste vijftien jaar in Nederland in toenemende mate in de belangstelling is komen te staan, is Qualitative Comparative Analysis (QCA) (Bouterse & Pattyn, 2018; Pattyn & Verweij, 2014; Stinckens, 2016; Ter Weel et al., 2022; Thijssen et al., 2019; Van der Knaap et al., 2020; Van Hattem & Van der Horst, 2022). In het Nederlands is deze methode eerder ook wel aangeduid als Systematische Kwalitatieve Vergelijkende Analyse (SKVA) (Pattyn et al., 2015; Verweij & Gerrits, 2012). Ook buiten Nederland krijgt QCA aandacht als geschikte methode voor de evaluatie van beleid (bijv. Befani, 2013; Gerrits & Verweij, 2016, 2018; Hudson & Kühner, 2013; Pattyn et al., 2017; Rihoux & Grimm, 2006; Stern et al., 2012). De methode is oorspronkelijk ontwikkeld om kwalitatieve casuïstiek onderling vergelijkbaar te maken. In tegenstelling tot enkelvoudige casusstudies kan QCA een gestructureerd onderscheid maken tussen unieke en zich herhalende patronen tussen cases. In tegenstelling tot statistische methoden identificeert QCA die verschillen en overeenkomsten op basis van gedetailleerde (vaak kwalitatieve) data die sterk in de casuïstiek zijn verankerd. Ook kan QCA goed omgaan met kleine en middelgrote steekproeven.

De sterke en zwakke punten van QCA voor de evaluatie van beleid zijn veelvuldig in die literatuur besproken.¹x Voor algemene introducties in QCA voor de evaluatie van beleid verwijzen we naar bestaande literatuur over de methode (bijv. Gerrits & Verweij, 2016, 2018; Stinckens, 2016; Verweij & Gerrits, 2012). De methode is van oudsher minder geschikt voor het vergelijken van processen die zich over langere perioden ontwikkelen. Kort gezegd: QCA werd primair toegepast voor relatief statische cases. Hoewel er genoeg scenario’s zijn waarbij dat prima werkt, is het vaak ook belangrijk de dynamiek van beleid en beleidscontext in de evaluatie mee te nemen. Een Nederlands voorbeeld daarvan is de evaluatie van de Hogesnelheidslijn Zuid. Hoewel het project vaak als één geheel wordt beschouwd, bestond het feitelijk uit meerdere parallelle processen – zoals de uitvoering van de bouw en de aanbesteding van het rollend materieel – die, op verschillende momenten gemeten en vergeleken, als meer of juist minder succesvol konden worden bestempeld (Gerrits & Marks, 2014, 2017; Gerrits & Verweij, 2018). Een systematische vergelijking van die processen zou bijdragen aan het verklaren van de uitkomst. QCA zoals oorspronkelijk ontwikkeld (Ragin, 1987), kan niet goed overweg met dergelijke dynamiek, maar onderzoekers hebben verschillende nieuwe varianten van QCA ontwikkeld die veranderingen door de tijd beter kunnen verdisconteren. Veel van die varianten zijn de afgelopen vijf jaar voorgesteld in de literatuur. In dit artikel vatten we deze recente varianten samen en schetsen we hoe deze voor beleidsevaluatie zouden kunnen worden gebruikt.

QCA valt binnen de stroming van realistische evaluatie (Befani & Sager, 2006; Befani et al., 2007; Renmans, 2023; Sager & Andereggen, 2012; Van der Knaap et al., 2020; Verweij & Gerrits, 2013) – wat Van der Knaap et al. de stroming van ‘contextueel-realistische beleidsevaluatie’ noemen (2020, pp. 95-102) – en het kan worden gebruikt voor het verklaren van de werking en uitkomsten van beleid (dus niet het meten van de effecten van beleid), waarbij oog is voor de specifieke contexten waarin het beleid wordt gemaakt of toegepast. QCA is ontwikkeld op een specifieke visie op causaliteit die sterke verwantschap heeft met de premissen van realistische evaluatie. Causaliteit wordt in QCA als complex verondersteld, gedefinieerd als het bestaan van:
- Conjuncties: het is onwaarschijnlijk dat de uitkomsten van beleid worden bepaald door één belangrijke variabele, zoals in additieve benaderingen wordt verondersteld. In plaats daarvan is het een combinatie van condities die de uitkomst verklaart, waarbij de combinatie als geheel effecten verklaart die de condities afzonderlijk niet zouden kunnen voortbrengen.
- Equifinaliteit: meerdere verschillende combinaties van condities kunnen worden geassocieerd met de uitkomst. Oftewel: de uitkomsten van beleid kunnen op meerdere manieren worden verklaard.
- Multifinaliteit: of een conditie bijdraagt aan de aan- of afwezigheid van de uitkomst, hangt af van de andere condities in de combinatie. Oftewel: sterk gelijkende combinaties van condities kunnen tot andere beleidsuitkomsten leiden.
- Asymmetrische causaliteit: een verklaring voor de afwezigheid van de beleidsuitkomst is niet automatisch het omgekeerde – het spiegelbeeld – van de verklaring voor de aanwezigheid van de uitkomst (Gerrits & Verweij, 2018; Van der Knaap et al., 2020).
Hoewel QCA met deze eigenschappen in staat is veel van de complexiteit van de werking en uitkomsten van beleid in kaart te brengen, is de methode van oudsher ongevoelig voor een belangrijk aspect van complexiteit: veranderingen die zich over de tijd afspelen. Voor het ontwikkelen van plausibele causale verklaringen is het evident dat temporaliteit belangrijk is, maar in QCA worden cases ‘bevroren in tijd’ en vervolgens op gestructureerde wijze vergeleken (Gerrits & Verweij, 2018). Reeds bijna veertig jaar geleden, toen Charles Ragin met zijn boek The Comparative Method de methode QCA introduceerde, wees hij al op deze tekortkoming: ‘(…) the examples presented are relatively static. This feature contradicts the emphasis on Boolean analysis as an aid to comparative historical analysis’ (Ragin, 1987, p. 162). In dat boek gaf Ragin ook een eerste aanzet voor hoe tijdgebonden veranderingen in QCA een plek zouden kunnen krijgen, door condities te formuleren in de vorm van ‘A toen B’ en die vervolgens op te nemen in een waarheidstabel, welke vervolgens wordt geanalyseerd.
In de QCA-literatuur zijn reeds enkele overzichten te vinden van strategieën om tijdgebonden veranderingen methodologisch te verwerken (De Meur et al., 2009, pp. 161-164; Fischer & Maggetti, 2017, pp. 352-356; Gerrits & Pagliarin, 2021, pp. 508-510; Gerrits & Verweij, 2018, pp. 120-133; Schneider & Wagemann, 2012, pp. 263-274). In dit artikel gaan we dieper op die strategieën in. Ze onderscheiden zich in de manieren waarop cases worden gedefinieerd en hoe ze worden afgebakend en ingedeeld. De kalibratie van cases is een van de belangrijkste aspecten hierbij. Kalibratie betekent dat cases worden onderscheiden naar de mate waarin ze van elkaar verschillen of naar hun aard. Hierbij is het belangrijk dat de evaluator een goed beeld heeft van de uiterste waarden (anchor points) en van de drempel die bepaalt of een casus in de ene of de andere categorie hoort (thresholds en cross-over points). Het definiëren van de cases (ook wel casing genoemd) en het kalibreren van de cases hebben gevolgen voor de wijze waarop vergeleken kan worden. In dit artikel introduceren we de bestaande tijdgevoelige QCA-varianten en verduidelijken we welke kansen deze bieden voor beleidsevaluatie. Strategieën kunnen gericht zijn op de integratie van tijd in de reconstructie van de cases, op de kalibratie en/of op de systematische vergelijking via de analyse (minimalisatie) van de waarheidstabel (Gerrits & Verweij, 2018).

2. Strategieën

2.1 Combinatie van analysemethoden

De eerste strategie grijpt nauwelijks in op hoe QCA wordt uitgevoerd, maar combineert de vergelijking zelf met andere methoden, zoals tijdreeksanalyse, sequentie-analyse, narratieve analyse, process tracing en event sequentie-analyse (De Meur et al., 2009; Gerrits & Verweij, 2018; Gerrits et al., 2021; Ragin, 1987). Deze strategie is daarmee in feite een mixed-methods benadering (Poth, 2018), waarbij de methoden sequentieel worden uitgevoerd (Leech & Onwuegbuzie, 2009).
Met name de combinatie van QCA en process tracing heeft veel aandacht gekregen in de QCA-literatuur (Álamos-Concha et al., 2022; Beach, 2018; Beach & Rohlfing, 2018; Rohlfing & Schneider, 2013; Schneider, 2024; Schneider & Rohlfing, 2013; Williams & Gemperle, 2017). QCA is een cross-case methode, gericht op het identificeren van patronen – configuraties van condities – over de cases heen. Deze configuraties kunnen dan worden geassocieerd met de uitkomst. Process tracing, daarentegen, is een within-case methode, gericht op het identificeren van de productieve elementen – de causale mechanismen – die verklaren welke factoren bijdragen aan de ontwikkeling van het proces. Bij het combineren van QCA en process tracing gaat het er meestal om dat de resultaten van een QCA worden verdiept door voor specifieke cases uit de QCA te reconstrueren op welke wijze (vanwege welke causale mechanismen) de condities of configuraties hun invloed hebben gehad op de uitkomst. Op deze manier kunnen aanvullende verklaringen worden gegenereerd voor de bevindingen uit de QCA. Het is echter ook mogelijk te starten met process tracing, gevolgd door de vergelijkende analyse van cases (Beach & Rohlfing, 2018). Op die manier kunnen de condities die belangrijk zijn voor een proces worden geïdentificeerd en vervolgens worden vergeleken (cross-case) om te bepalen welke condities uniek zijn en welke terugkeren in andere processen.
Een combinatie van onderzoeksmethoden in een mixed-methods design kan sequentieel of parallel worden uitgevoerd. De sequentiële benadering heeft de voorkeur. Door de combinatie van QCA met process tracing kan een evenwichtige evaluatie van beleid worden bereikt: generieke, synchrone patronen kunnen worden vastgesteld door middel van de toepassing van QCA – waarbij aandacht is voor de causale complexiteit van beleid – en tegelijkertijd worden in-depth, diachrone verklaringen gezocht via de toepassing van process tracing.

Naast het combineren van QCA met een andere methode in een mixed methods-design zijn er ook strategieën waarbij tijd wordt geïntegreerd in QCA zelf.

2.2 Condities temporeel maken

De tweede strategie is om de condities zelf temporeel te maken. Zo kan de tijdsdimensie in de definitie van condities worden ingebouwd (Gerrits & Verweij, 2018). Aminzade (1992) onderscheidt verschillende concepten van tijd: duur, tempo en traject. Bij ‘duur’ gaat het om de tijd die is verstreken. Condities hebben dan de vorm van bijvoorbeeld ‘oude beleidsmaatregelen’, ‘lange implementatieduur’, een ‘twintigjarig contract’ of ‘beleid voor 1990’. Deze condities kunnen aanwezig zijn in cases (bijv. de beleidsmaatregel was oud) of afwezig (bijv. de beleidsmaatregel was recent). Bij ‘tempo’ gaat het om de snelheid waarmee iets heeft plaatsgevonden. Voorbeelden van condities zijn ‘snelle implementatie’ of een ‘langzaam planproces’. Cases kunnen worden gekenmerkt door snelle implementatie (conditie is aanwezig) of langzame implementatie (conditie is afwezig). Bij ‘traject’ gaat het om de volgorde van gebeurtenissen die een proces hebben gevormd. Een voorbeeld van een conditie is ‘lokale stakeholders werden betrokken bij de beleidsvoorbereiding vóór de officiële bekendmaking van het beleid’. Deze conditie kan dan af- of aanwezig zijn in cases.
Deze strategie wordt regelmatig toegepast in QCA-onderzoek vanwege de simpliciteit en brede toepasbaarheid ervan (Fischer & Maggetti, 2017). Temporaliteit wordt met deze strategie echter alleen impliciet geoperationaliseerd; het heeft betrekking op de selectie en kalibratie van condities en geeft verder geen inzicht in het dynamische en diachrone verloop van beleidsprocessen (Fischer & Maggetti, 2017; Gerrits & Verweij, 2018). De veranderingen moeten worden toegelicht met kwalitatieve data.

2.3 Meerdere QCA-analyses voor verschillende perioden

Een derde strategie is het uitvoeren van aparte QCA-analyses voor verschillende tijdsperioden. Elke casus wordt dan opgedeeld in verschillende tijdsperioden. Voor iedere tijdsperiode worden de cases gekalibreerd en vervolgens systematisch vergeleken via de analyse van de waarheidstabel (Gerrits & Verweij, 2018). Dit resulteert in een aparte waarheidstabel en aparte resultaten voor elke periode. Deze strategie is enkele keren toegepast in empirisch onderzoek (Basurto, 2013; Järvinen et al., 2012; Vis et al., 2013) en recentelijk verder uitgewerkt door Verweij en Vis (2021).
Verweij en Vis (2021) analyseerden welke condities een ‘toename van overheidsuitgaven aan actieve arbeidsmaatregelen’ verklaren. Zij maakten daarvoor gebruik van een dataset van 53 cases uit 18 landen (zie Vis, 2011). Elke casus was de regering van een land; voor de meeste landen zijn dus meerdere regeringen onderzocht. Zo bevatte de dataset de Nederlandse regeringen uit verschillende perioden: NL_1980, NL_1990, NL_1995 en NL_2000. Vijf condities werden onderzocht: toename van werkloosheid (‘UNEM’/‘unem’), economische groei (‘GROWTH’/‘growth’), een rechtse regering (‘RIGHT’/‘right’), een open economie (‘OPEN’/‘open’) en een corporatistisch land (‘CORP’/‘corp’).²x Wanneer een conditie met hoofdletters is weergegeven, betekent dit de aanwezigheid van de conditie; wanneer geschreven met kleine letters, betekent dit de afwezigheid van de conditie. Zo betekent ‘UNEM’ een toename van de werkloosheid en duidt ‘unem’ op afnemende werkloosheid of ten minste geen toenemende werkloosheid; en betekent ‘RIGHT’ de aanwezigheid van een rechtse regering en duidt ‘right’ op de aanwezigheid van een meer linkse regering. Door de totale dataset op te knippen in vier tijdsperioden – namelijk: 1980 (14 cases), 1990 (15 cases), 1995 (16 cases) en 2000 (8 cases) – ontstonden er vier datamatrices, die elk apart werden geanalyseerd via de systematische vergelijking van de cases in de waarheidstabel. Aangezien er vijf condities werden onderzocht, bevatte iedere datamatrix 32 rijen (2⁵), waardoor de limited diversity substantieel is,³x Limited diversity ontstaat wanneer voor een deel van alle mogelijke combinaties van condities geen empirisch bewijs beschikbaar is (oftewel: geen cases beschikbaar zijn). vooral voor de tijdsperiode 2000, waarvoor slechts acht cases beschikbaar waren. Dit resulteerde in behoorlijk complexe resultaten (veel combinaties met veel condities); zodoende werd in de uitwerking door Verweij en Vis (2021) alleen de parsimonious solution gepresenteerd.⁴x De parsimonious solution is de oplossing die alle lege rijen in een waarheidstabel includeert in de vergelijking, ook wanneer deze niet plausibel kunnen worden geacht. De resultaten van de vier analyses werden vervolgens samen weergegeven, zoals in Tabel 1.

Tabel 1 Illustratie van de strategie ‘meerdere QCA-analyses voor verschillende perioden’ (Verweij & Vis, 2021, p. 104)

Configuratie	Periode 1980	Periode 1990	Periode 1995	Periode 2000
#1	unem	OPEN*unem	growth*right	unem
Cases	ES_1980; FI_1980; US_1980; DE_1980; SE_1980; PT_1980, UK_1980_1; NL_1980	NZ_1990; DK_1990, NO_1990	UK_1995; PT_1995	FI_2000; NL_2000; NO_2000

#2	RIGHT*corp	OPENgrowthcorp	OPENGROWTHRIGHT	OPEN*RIGHT
Cases	US_1980; UK_1980_2; PT_1980, UK_1980_1	NZ_1990; CND_1990	AU_1995, NL_1995, ES_1995, CH_1995; DE_1995	NL_2000; PT_2000_2; CH_2000; NO_2000

#3			OPENunemcorp
Cases			UK_1995; FR_1995

InclS	0.717	0.837	0.982	0.797
PRI	0.477	0.511	0.947	0.376
CovS	0.874	0.747	0.815	0.882

Met deze strategie kunnen condities en (onderdelen van) configuraties door de tijd heen worden gevolgd. Door de resultaten van de meerdere QCA-analyses met elkaar te vergelijken kan inzicht worden verkregen in welke (combinaties van) condities stabiel zijn door de tijd heen en/of hoe verschillende tijdsperioden worden gekarakteriseerd door verschillende (combinaties van) condities (Fischer & Maggetti, 2017; Verweij & Vis, 2021). Zo valt op dat een afnemende werkloosheid – of in ieder geval de afwezigheid van werkloosheidstoename (‘unem’) – in alle perioden een belangrijke conditie is. In de perioden 1980 en 2000 is het een voldoende verklaring (sufficient condition) voor het nemen van actieve arbeidsmarktmaatregelen door regeringen. In de perioden 1990 en 1995 is het een noodzakelijke maar onvoldoende conditie als onderdeel van een combinatie met andere condities (1990; 1995).⁵x In het tweede geval wordt in de QCA-literatuur gesproken over INUS-condities. Een INUS-conditie is ‘een conditie die noch individueel noodzakelijk, noch individueel voldoende is voor een uitkomst, maar die wel deel is van een configuratie die niet noodzakelijk, maar wel voldoende is voor een uitkomst’ (Pattyn et al., 2015, p. 30). Er kan worden geconcludeerd dat een afnemende werkloosheid een indicator is voor een goede of verbeterende sociaaleconomische situatie van een land, waardoor de ruimte – de ‘luxe’ (Vis, 2011, p. 249) – ontstaat om te investeren in actieve arbeidsmaatregelen (Vis, 2011). Ook de condities van een niet-corporatistisch land (‘corp’) en een open economie (‘OPEN’) zijn door de tijd heen belangrijke medebepalende condities geweest (resp. 1980-1995 en 1990-2000). Andere voorbeelden zijn dat de combinaties ‘OPEN*unem’, ‘OPEN*corp’ en ‘OPEN*RIGHT’ zich door de tijd heen herhalen (resp. 1990-1995, 1990-1995 en 1995-2000). Die combinaties duiden op het belang van een open economie, maar dan wel in combinatie met andere condities (zie Vis, 2011).

2.4 Eén QCA-analyse voor verschillende perioden

Ook bij de vierde strategie worden de cases opgedeeld in verschillende tijdsperioden, waarna ze worden gekalibreerd en vergeleken. Echter, in plaats van het uitvoeren van aparte QCA-analyses voor verschillende perioden worden nu alle opgesplitste cases in een enkele waarheidstabel samengevoegd, die vervolgens wordt geminimaliseerd. Bij de presentatie van de resultaten van die ene analyse worden vervolgens de cases uitgesplitst naar de tijdsperiode waartoe ze behoren. Ook deze strategie is recentelijk door Verweij en Vis (2021) uitgewerkt, waarbij wederom gebruik werd gemaakt van de dataset van 53 cases uit 18 landen die we hierboven noemden (zie Vis, 2011). De resultaten van de toepassing van deze strategie zijn weergegeven in Tabel 2. Waar bij de vorige strategie het groeperen van de cases naar de tijdsperiode waarin ze vallen (1980, 1990, 1995 of 2000) gebeurde voordat de analyse van de waarheidstabellen zou plaatsvinden, wordt bij deze vierde strategie de splitsing aangebracht nadat de analyse van de enkele waarheidstabel heeft plaatsgevonden.

Tabel 2 Illustratie van de strategie ‘één QCA-analyse voor verschillende perioden’ (Verweij & Vis, 2021, p. 102)

	Configuratie	InclS	PRI	CovS	CovU	Periode 1980	Periode 1990	Periode 1995	Periode 2000
#1	OPEN*unem	0.904	0.731	0.775	0.207	SE_1980, PT_1980, UK_1980_1, NL_1980	NZ_1990, DK_1990, NO_1990	UK_1995, PT_1995, NO_1995, FR_1995, BEL_1995, DK_1995_1, DK_1995_2, FI_1995, SE_1995, AU_1995, NL_1995, ES_1995, CH_1995	FI_2000, NL_2000, NO_2000

#2	unemrightcorp	0.906	0.698	0.319	0.023	ES_1980	AUS_1990	UK_1995, FR_1995

#3	unemRIGHTCORP	0.912	0.698	0.442	0.016	FI_1980, DE_1980, NL_1980		NO_1995, AU_1995, NL_1995, ES_1995, CH_1995	NL_2000, NO_2000
		0.892	0.723	0.814

Daar waar de vorige strategie inzicht geeft in (combinaties van) condities door de tijd heen – per tijdsperiode werd gekeken welke combinaties de uitkomst verklaarden – geeft de vierde strategie meer inzicht in de periode waarin bepaalde (combinaties van) condities de dominante verklaring waren: per gevonden combinatie uit de QCA-analyse kan worden bekeken van welke periode de cases zijn (Verweij & Vis, 2021). Zo valt uit de tabel op te maken dat een open economie gecombineerd met een afnemende werkloosheid (‘OPEN*unem’) door de tijd heen de dominante verklaring was voor het nemen van actieve arbeidsmarktmaatregelen door regeringen (1980-2000). Dit maakt de vierde strategie wat meer geschikt voor beleidsonderzoek, gericht op het identificeren van verklaringen voor een heel tijdsbestek bestaande uit meerdere perioden en overeenkomsten daartussen, terwijl de derde strategie beter past bij gedetailleerd onderzoek waarbij de aandacht uitgaat naar specifieke perioden en verschillen daartussen.

2.5 Trajectory-Based QCA (TJ-QCA)

Een variant van de strategie uit de vorige paragraaf is Trajectory-Based QCA, afgekort als TJ-QCA (Gerrits & Pagliarin, 2021; Pagliarin & Gerrits, 2020). Ook TJ-QCA heeft als doel om veranderingen door de tijd heen te vergelijken in één QCA. TJ-QCA gaat er daarbij echter expliciet van uit dat elke casus een eigen tijdgebonden dynamiek kent en verdisconteert deze casus-eigene tijd in een vergelijking. Op deze manier kunnen processen die onderling verschillen in dynamiek – bijvoorbeeld een proces dat in korte tijd drie verschillende stadia doorliep en een proces dat over langere tijd vier stadia kende – toch worden vergeleken. Een belangrijk element van deze techniek is dan ook temporal casing (Gerrits et al., 2021), waarbij processen worden opgedeeld in perioden of fases die worden gemarkeerd door een kwalitatieve verandering in de dynamiek van de casus. Elke fase van een dergelijk proces wordt dan een aparte casus die in de waarheidstabel wordt geregistreerd. Bijvoorbeeld, een proces ‘PRO’ dat uit drie fases bestaat, wordt dan opgedeeld in de cases ‘PRO1’, ‘PRO2’ en ‘PRO3’ als er kwalitatieve veranderingen worden waargenomen. Een serie van cases vormt gezamenlijk een traject door de waarheidstabel. In die zin is de strategie vergelijkbaar met die uit de vorige paragraaf (zie Tabel 2). Echter, TJ-QCA legt de nadruk op de totstandkoming van perioden of fases waarbij de dynamiek van de cases zelf het uitgangspunt is. Niet uniformiteit tussen cases in termen van een bepaalde periode die ze beslaan – bijvoorbeeld: iedere casus heeft een looptijd van vijf jaar – is het uitgangspunt, maar de ontwikkeling binnen cases is bepalend voor hoe ze worden afgebakend. Vandaar de naam van deze benadering; TJ-QCA is niet alleen georiënteerd op de veranderingen (trajecten) die cases ondergaan, zoals de vorige strategie ook doet, maar is daarnaast ook trajectory-based. De analyse van de waarheidstabel toont vervolgens niet alleen of processen variëren per fase op de uitkomstconditie, maar ook onder welke condities deze verandering plaatsvindt. Op deze manier konden Gerrits et al. (2023) elf langdurige stedelijke transformaties in Duitsland, Oostenrijk en Zwitserland vergelijken – een dataset die 33 cases bevatte (zie Tabel 3) – om aan te tonen dat er twee combinaties van condities zijn die leiden tot een stedelijke transformatie die kwalitatief anders is dan de oorspronkelijke situatie (een succesvolle uitkomst) – bijvoorbeeld een stationsgebied waaraan hotels en winkels zijn toegevoegd en waar voetgangers en lokaal openbaar vervoer voorrang krijgen op autoverkeer – en meerdere combinaties die samenhangen met langzame of vastgelopen transformaties waarbij oorspronkelijke plannen niet of nauwelijks ten uitvoer komen (het uitblijven van succes).

Temporaliteit komt in TJ-QCA naar voren in de temporal casing, waarbij de casus-eigene tijdlogica de indeling in fases bepaalt. Met andere woorden, deze benadering houdt het ritme van (beleids)processen aan in plaats van ze aan een extern tijdsregime te onderwerpen, zoals het opdelen in perioden of cohorten die kalenderperioden aanhouden (bijv. jaren of maanden) (Gerrits et al., 2021).
De transformatie van Dessau, bijvoorbeeld, doorliep drie stadia. Als voormalige Oost-Duitse stad kampt Dessau met demografische leegloop en economische krimp; een revitalisering van de binnenstad werd gezien als noodzakelijk om deze negatieve spiraal te doorbreken. In de eerste fase (dessau_innenstadt_1; 1990-2003) werd veel gepland en bedacht, maar was er weinig daadwerkelijke verandering te zien. In de tweede fase (dessau_innenstadt_2; 2003-2011) veranderde wel veel, wat samenhangt met het toekennen van strategisch belang aan de transformatie (zie de conditie ‘STRATEGIC’ in Tabel 3). Dat genereerde substantiële publieke investeringen van onder meer de landsregering van Sachsen-Anhalt en van de Europese Commissie. Het traject van Dessau beschrijft daarmee de route van configuratie 0100 naar 0110. Als later de prioriteiten veranderen en de publieke investeringen afnemen, zien we dat de transformatie tot stilstand komt (dessau-innenstadt_3; 2011-2020). Het traject van Dessau verloopt dan van configuratie 0110 terug naar 0100 (zie Tabel 3). De strategische publieke investeringen die in Dessau werden gedaan, zijn daarmee wel noodzakelijk maar niet voldoende geweest voor de transformatie, aangezien ze voorkomen in combinatie met de leidende rol van de publieke actoren (conditie ‘PUBLIC’) en de locatie van de transformatie (‘SITE’). De combinatie ‘PUBLIC*STRATEGIC’ is zichtbaar in veel stedelijke transformaties in deze TJ-QCA.
Temporal casing en TJ-QCA zijn nuttig voor beleidsonderzoek wanneer de uitkomsten van verschillende beleidsprocessen of projecten – die worden gekenmerkt door trajecten die onderling verschillen in duur en tempo – moeten worden vergeleken.

Zoals geldt voor de andere strategieën die we tot dusver hebben besproken, zijn voor TJ-QCA wel voldoende data voor elke periode nodig. Bij voorkeur wordt gebruik gemaakt van kwalitatieve data vanwege de informatiedichtheid die helpt om cases af te bakenen en te kalibreren. Daarnaast moet helder worden afgesproken wanneer er sprake is van een kwalitatieve verandering in die trajecten om zo de casing een solide basis te geven.

Tabel 3 De waarheidstabel van de elf trajecten (33 cases) in de stedelijke transformaties (in bewerkte vorm overgenomen uit Gerrits et al., 2023). Het traject van Dessau (vetgedrukt) dient hier als voorbeeld. Lege rijen en contradicties zijn weggelaten uit de waarheidstabel.

Rij	CIVIC	PUBLIC	STRATEGIC	SITE	OUT	N	Incl	PRI	Cases (periode) [score uitkomst]
16	1	1	1	1	1	1	0.841	0.398	wien_aspern_1 (1992-2010) [0.33]
7	0	1	1	0	1	5	0.839	0.589	freiburg_vauban_3 (2000-2009) [0.67] freiburg_vauban_4 (2009-2014) [0.67] dessau_innenstadt_2 (2003-2011) [0.67] eisenhüttenstadt_1 (1989-2002) [0.67] eisenhüttenstadt_2 (2002-2020) [0.67]
15	1	1	1	0	1	5	0.817	0.556	jena_stadtum_1 (1990-1993) [0.00] jena_stadtum_2 (1993-2003) [0.67] jena_stadtum_3 (2003-2020) [1.00] freiburg_vauban_1 (1989-1996) [0.33] freiburg_vauban_2 (1996-2000) [0.67]
4	0	0	1	1	1	2	0.790	0.433	hafencity_3 (2001-2011) [0.67] hafencity_4 (2011-2020) [0.67]
8	0	1	1	1	1	4	0.781	0.420	wien_aspern_2 (2010-2020) [1.00] munich_riem_1 (1987-1995) [0.33] munich_riem_2 (1995-2015) [0.67] munich_riem_3 (2015-2020) [0.67]
10	1	0	0	1	0	1	0.711	0.000	stuttgart_europa_2 (1995-2012) [0.33]
5	0	1	0	0	0	5	0.627	0.092	ulm_citybahnhof_1 (2006-2013) [0.33] ulm_citybahnhof_2 (2013-2017) [0.33] ulm_citybahnhof_3 (2017-2020) [0.33] dessau_innenstadt_1 (1990-2003) [0.67] dessau_innenstadt_3 (2011-2020) [0.33]
6	0	1	0	1	0	5	0.583	0.000	neuoerlikon_4 (2000-2010) [0.33] stuttgart_europa_1 (1985-1994) [0.00] hamburg_altona_1 (1997-2010) [0.00] hamburg_altona_2 (2010-2016) [0.00] hamburg_altona_3 (2016-2020) [0.33]
2	0	0	0	1	0	5	0.496	0.000	hafencity_1 (1992-1997) [0.00] hafencity_2 (1997-2001) [0.33] neuoerlikon_1 (1975-1988) [0.00] neuoerlikon_2 (1988-1998) [0.00] neuoerlikon_3 (1998-2000) [0.33]

2.6 Temporal QCA (TQCA)

Ragin (1987) gaf bijna veertig jaar geleden al de eerste aanzet voor de integratie van tijd in QCA, door condities te formuleren in de vorm van ‘eerst A dan B’ en die vervolgens op te nemen in een waarheidstabel, welke vervolgens wordt geanalyseerd. Deze strategie is later uitgewerkt in de vorm van Temporal QCA, afgekort als TQCA (Caren & Panofsky, 2005; Ragin & Strand, 2008; Schneider & Wagemann, 2012, pp. 269-273).
In TQCA wordt elke volgorde van bepaalde condities omgezet naar een extra conditie. In het geval van drie condities – A, B en C – komen er dan extra condities bij, zoals ‘A dan B’ en ‘B dan C’. Neem bijvoorbeeld de studie van Vis (2011), die we bespraken bij de derde strategie (zie 2.3). Wellicht zijn er redenen om te verwachten dat het belangrijk is voor een toename van overheidsuitgaven aan actieve arbeidsmarktmaatregelen (de uitkomst) dat er eerst een rechtse regering was en daarna economische groei. In dat geval zou de extra conditie ‘RIGHT THEN GROWTH’ aan de studie kunnen worden toegevoegd.⁶x Dit komt overeen met Aminzade’s (1992) conceptualisering van ‘traject’ uit de tweede strategie (zie 2.2) (Gerrits & Verweij, 2018). De logische operator ‘THEN’ wordt in deze strategie uitgedrukt met een schuine streep (‘/’). Wanneer deze specifieke volgorde van gebeurtenissen aanwezig is, wordt deze conditie met ‘1’ genoteerd. Wanneer cases worden gekenmerkt door eerst groei en dan een rechtse regering, is de conditie afwezig (er wordt dan ‘0’ genoteerd); wanneer een van de twee condities ‘right’ en/of ‘growth’ afwezig is, dan is de volgorde irrelevant en ontvangt een casus geen score voor die conditie (vgl. Ragin & Strand, 2008). De verdere vergelijking nadat de volgorde van de condities is bepaald, volgt min of meer de standaardprocedures voor QCA. Het is een elegante manier om de temporele orde of sequentie van condities in de vergelijking op te nemen. Het nadeel is dat deze strategie in potentie al snel resulteert in een enorme waarheidstabel, waardoor ook de kans op limited diversity toeneemt en dat moet dan vervolgens worden opgelost. Waar er met twee condities normaal gesproken vier logisch mogelijke combinaties zouden zijn (2²) – namelijk: A*B, A*b, a*B en a*b – zijn dat er nu acht geworden, namelijk: A/B, A/b, a/B, a/b, B/A, Ba, b/A en b/a (Schneider & Wagemann, 2012). Op deze manier explodeert de lengte van de waarheidstabel al snel: bij drie condities zouden er niet acht logisch mogelijke combinaties zijn (2³), maar 48 (2³*3*2*1); bij vier condities zouden er niet 16 (2⁴), maar 384 (2⁴*4*3*2*1) logisch mogelijke combinaties zijn, enzovoort.
In de literatuur zijn wel verschillende voorstellen gedaan om deze complexiteit te beteugelen (Caren & Panofsky, 2005; Ragin & Strand, 2008). Zo kan alleen worden gefocust op sequenties waarbij de condities aanwezig zijn (namelijk: A/B en B/A), kan alleen worden gekeken naar paren van gebeurtenissen (en niet naar de volgordelijkheid van meer dan twee condities) en kan de volgorde van een van de condities worden vastgezet (Schneider & Wagemann, 2012). Op deze manier kunnen veel combinaties – die wel mogelijk zijn (algebraïsch gezien), maar die niet relevant zijn (theoretisch of empirisch gezien) – op voorhand worden uitgesloten. Desondanks zou het goed kunnen dat de complicaties van de methode ertoe leiden dat er, een enkele uitzondering daargelaten (bijv. Iannacci, 2015), maar weinig toepassingen van TQCA zijn gepubliceerd. Voor beleidsonderzoek zou TQCA nuttig kunnen zijn als er goede redenen zijn om aan te nemen dat de volgtijdelijkheid van een beperkt aantal condities verklaringen kan bieden voor de geobserveerde uitkomst. TQCA werkt met zowel kwalitatieve als kwantitatieve data. Daar waar de vorige strategieën – zeker de derde, vierde en vijfde – als een uitgangspunt hebben dat cases trajecten vormen – richt TQCA zich op de volgorde van condities als mogelijke verklaring voor de uitkomsten in cases. Niet de ontwikkeling van cases, maar de volgordelijkheid van condities staat centraal.

2.7 Time-Series QCA (TS/QCA)

Een zevende strategie is Time-Series QCA, afgekort als TS/QCA, zoals ontwikkeld door Hino (2009). Net zoals TJ-QCA volgt TS/QCA de casus-eigene tijdvariatie, maar dan uitgewerkt in tijdreeksanalyses op basis waarvan de condities worden gedefinieerd en gekalibreerd. Hino (2009) ontwikkelde deze strategie in reactie op de belangrijkste complicatie van TQCA zoals hierboven beschreven, namelijk dat daar de omvang van de waarheidstabel extreem toeneemt. TS/QCA is zeer recentelijk toegepast (Casady, 2024; Tao et al., 2023).
TS/QCA kent drie verschillende varianten: Pooled QCA, Fixed Effects QCA en Time Differencing QCA (Hino, 2009). De eerste twee varianten hebben duidelijke overeenkomsten met de vierde en vijfde strategie (zie 2.4 en 2.5): de cases worden opgesplitst in verschillende tijdsperioden en alle opgesplitste cases worden in een enkele waarheidstabel samengevoegd, waarna de QCA als normaal plaatsvindt. Het verschil zit in hoe er wordt gekalibreerd. In TS/QCA is die kalibratie gebaseerd op een clusteranalyse met tijdreeksgegevens.
In Pooled QCA worden alle opgesplitste cases in een clusteranalyse gestopt. De clusteranalyse wijst op clusters, die dan worden gescheiden door de thresholds en zo komen set-membership scores tot stand. Op deze manier wordt bepaald hoe de cases, per conditie, moeten worden gekalibreerd. Zo konden Zhang et al. (2024) met Pooled QCA aantonen dat er drie paden zijn naar technologische innovatie-gedreven regionale groene groei in China. Zij deden dit op basis van een dataset van 30 provincies, waarbij elke provincie is opgesplitst in acht tijdvakken, resulterend in 240 cases. Die cases zijn vervolgens geclusterd – apart voor de uitkomst en apart voor iedere conditie – middels directe kalibratie van de data waarbij de cross-over werd bepaald door de 50^e percentiel, en membership scores van 0 en 1 door de 25^e, respectievelijk de 75^e percentiel.
In Fixed Effects QCA wordt rekening gehouden met de specifieke ruimtelijke context van de cases: de clusteranalyse wordt voor iedere ruimtelijke eenheid apart gedaan. Bijvoorbeeld: in plaats van een clusteranalyse van alle 53 cases uit de dataset van Vis (2011), wordt nu een aparte clusteranalyse uitgevoerd voor elk van de 18 landen in de dataset – dus 18 aparte clusteranalyses – waarna per land de sub-cases (bijv. NL_1980, NL_1990, NL_1995 en NL_2000) worden gekalibreerd. Dit principe zou ook kunnen worden uitgevoerd op de TJ-QCA van Gerrits et al. (2023), waarbij bijvoorbeeld drie clusteranalyses worden uitgevoerd – apart voor Duitsland, Oostenrijk en Zwitserland – of 11 clusteranalyses voor elk van de 11 langdurige stedelijke transformaties. In het eerste geval ligt de focus op de variaties tussen de drie landen; in het tweede geval gaat de aandacht uit naar variaties tussen de 11 steden, wat bijvoorbeeld relevant is wanneer theoretisch wordt verwacht dat publieke investeringen belangrijker zijn in kleine steden dan in grote steden.
In de derde variant, Time Differencing QCA, wordt, net als bij Fixed Effects QCA, gekeken naar verschillen tussen cases binnen een ruimtelijke eenheid. Het verschil is dat er bij Time Differencing QCA wordt gekeken naar het verschil tussen het eerste en laatste tijdspunt om de kalibratieregels te definiëren: bijvoorbeeld de verandering in waarden tussen NL_1980 en NL_2000 of tussen het begin en einde van de stedelijke transformaties zoals hierboven beschreven. Dit resulteert dan in een nieuwe casus, bijvoorbeeld: Δ_NL. Vervolgens worden de – in het geval van het voorbeeld van Vis (2011; Verweij & Vis, 2021) – 18 cases in een normale QCA vergeleken. Voorwaarde is wel dat er een waarneembaar verschil tussen de cases moet zijn in de waarheidstabel. Casady (2024) gebruikte deze variant bijvoorbeeld voor het vergelijken van 19 landen om te bepalen hoe institutionele verandering – in termen van drie condities: regelgevend raamwerk, institutionele kennis en investeringsklimaat – van invloed is op de volwassenheid van de markt voor Publiek-Private Samenwerking (PPS) in Latijns-Amerika. Hij keek naar de veranderingen in deze institutionele condities tussen 2009 en 2014 en wist onder andere vast te stellen dat een verbetering (van 2009 naar 2014) van het regelgevend raamwerk gecombineerd met een verbetering van de institutionele kennis noodzakelijk is voor een meer volwassen PPS-markt.
Aangezien TS/QCA primair gaat om het definiëren van kalibratieregels op basis van verschillen tussen cases op verschillende tijdspunten – en niet om de minimalisatie van de waarheidstabel – is het niet in staat om (combinaties van) condities door de tijd heen te volgen, zoals met name bij de derde, vierde en vijfde strategieën wel het geval is (Gerrits & Verweij, 2018; Pagliarin & Gerrits, 2020; Verweij & Vis, 2021). In plaats daarvan kan TS/QCA primair worden gezien als een geavanceerde en kwantitatieve variant op het ontwikkelen van temporele condities (de tweede strategie); en is het geschikt voor het afleiden van robuuste kalibratieregels op basis van kwantitatieve data. TS/QCA is geschikt voor de analyse van kwantitatieve tijdreeksen, waarbij de grote toegevoegde waarde kan zijn dat de kalibratieregels worden afgeleid uit de data in plaats van deze te definiëren op basis van externe referentiepunten (benchmarks) en theorieën.⁷x In de QCA-literatuur is dit wel een discussiepunt: volgens sommigen is het beter om de kalibratieregels niet casus-specifiek te maken, maar ze te baseren op externe observaties en theorieën. Het tegenargument is dat observaties en theorieën per definitie tijdelijk en partieel zijn en dat het juist nuttig en effectief kan zijn om de gegeven dataset te gebruiken voor het afleiden van de kalibratieregels (zie bijv. Greener, 2024).

3. Conclusie

Qualitative Comparative Analysis heeft veel aspecten die het uitermate geschikt maken voor beleidsonderzoek vanwege de manier waarop de relaties tussen interventies en uitkomsten worden begrepen en onderzocht; het werkt ook goed met kleine- en medium-n studies. Een substantiële beperking van de standaard-QCA is dat het geen tijdgebonden dynamiek kan verwerken. Dat is lastig in beleidsonderzoek, dat zich vaak richt op de evaluatie van beleidsprocessen en langdurige beleidsinterventies. Recentelijk is een substantieel aantal QCA-strategieën en -varianten ontwikkeld die proberen die tijdgebonden dynamiek structureel te vangen. In dit artikel hebben we deze strategieën besproken en inzicht gegeven in hoe ze gebruikt zouden kunnen worden voor beleidsonderzoek.
De vergelijking in Tabel 4 laat zien dat elke strategie geschikt is voor een specifiek type evaluatie. Daarnaast laat het zien welk type data benodigd is. In de praktijk van beleidsonderzoek zullen de beschikbaarheid en kwaliteit van data vaak leidend zijn in de keuzes die worden gemaakt. TS/QCA, bijvoorbeeld, heeft kwantitatieve data in de vorm van tijdreeksen nodig, terwijl TJ-QCA juist weer beter werkt met kwalitatieve data. Ten slotte zullen ook pragmatische overwegingen een rol spelen: sommige strategieën zijn bewerkelijker dan andere; sommige strategieën, zoals QCA in een mixed-methods benadering, zullen makkelijker aansluiten bij bestaand onderzoek waarbij een bestaande analyse kan worden uitgebreid en verfijnd met QCA. Welke strategie het beste werkt, hangt dus af van de onderzoeksvraag, het aantal cases dat onderzocht moet worden en de data die beschikbaar zijn (zie ook Thomann & Maggetti, 2020).

Veel van de strategieën zijn nog volop in ontwikkeling. Zo is er zeer recentelijk een procedure voorgesteld voor het opsplitsen van cases op basis van changed-based intervals (Niessen, 2023). Deze procedure kijkt – net zoals temporal casing, dat onderdeel is van TJ-QCA (zie 2.5) – naar de eigen tijdgebonden dynamiek van cases en stelt eveneens voor dat cases moeten worden opgesplitst op basis van veranderingen binnen de cases in plaats van het opsplitsen van cases gebruikmakend van vaste intervallen. Aangezien het opsplitsen van cases in verschillende (casus-eigen) perioden kan resulteren in een toename van contradicties en redundante configuraties, is een specifieke procedure ontwikkeld – de flexible lag condition – om het tijdsverschil tussen de aanwezigheid van een conditie en de aanwezigheid van de uitkomst die met die conditie samenhangt te verdisconteren (Niessen, 2023). Dit is een goede aanvulling, omdat beleidsevaluatie vaak te maken heeft met effecten van beleid die pas later optreden. Een andere ontwikkeling is een analytische procedure die is voorgesteld (Castro & Ariño, 2016) – en recentelijk ook is toegepast (Beynon et al., 2020; Bhattacharya, 2023) – voor het beoordelen van de consistency en coverage van QCA-analyses waarbij gebruik wordt gemaakt van een specifieke vorm van tijdreeksgegevens, namelijk paneldata.
Deze recente ontwikkelingen bieden handvatten voor het beoordelen van de resultaten van tijdgevoelige QCA-strategieën. De zeven strategieën die in dit artikel zijn besproken, zijn vooral gericht op de integratie van tijd in de reconstructie van de cases, op de kalibratie en/of op de systematische vergelijking via de analyse (minimalisatie) van de waarheidstabel (Gerrits & Verweij, 2018).

Tabel 4 De verschillende QCA-varianten vergeleken op de hoofdaspecten en toepassing voor beleidsonderzoek

Strategie		Onderdeel dat wordt aangepast t.o.v. standaard QCA			Datavereisten		Aard van de resultaten	Mogelijke toepassingen beleidsonderzoek
		Casing	Kalibratie	Vergelijking	Kwalitatief/ kwantitatief	Tijd
1	Mixed methods				Afhankelijk van de methode waarmee wordt gecombineerd	Afhankelijk van de methode waarmee wordt gecombineerd	De resultaten van een reguliere QCA worden verdiept of de QCA verbreedt de resultaten van andere methoden	Doordat methoden elkaar aanvullen, kunnen verklaringen voor beleidsuitkomsten worden gevonden die completer en nauwkeuriger zijn (Mevissen, 2019)
2	Temporele condities	X	X		Zowel kwalitatieve als kwantitatieve data kunnen worden gebruikt	Gegevens over duur, tempo of volgordelijkheid van condities	Een reguliere QCA met condities die wat dynamischer zijn dan bij een reguliere QCA	Breed toepasbaar en relatief gemakkelijk uit te voeren, doordat de reguliere QCA-procedures kunnen worden gevolgd
3	Meerdere QCA-analyses, verschillende perioden	X		X	Zowel kwalitatieve als kwantitatieve data kunnen worden gebruikt	Gegevens voor alle condities en de uitkomst over meerdere tijdstippen of perioden voor dezelfde ruimtelijke eenheid	Inzicht in de veranderingen van de condities en configuraties door de tijd heen, die een uitkomst verklaren	Geschikt voor evalueren van de combinaties van maatregelen (en andere condities) die over tijd bijdragen aan veranderingen in de beleidsuitkomsten
4	Eén QCA-analyse, verschillende perioden	X		X	Zowel kwalitatieve als kwantitatieve data kunnen worden gebruikt	Gegevens voor alle condities en de uitkomst over meerdere tijdstippen of perioden voor dezelfde ruimtelijke eenheid	Inzicht in de perioden waarin bepaalde condities of configuraties de dominante verklaring waren; inzicht in hoe de cases zich door de tijd heen ontwikkelen	Geschikt voor het evalueren van hoe beleidsuitkomsten tot stand kwamen, waarbij de focus ligt op de periode waarin bepaalde verklaringen meer of minder dominant waren
5	TJ-QCA	X		X	Bij voorkeur kwalitatieve data, omdat de casusdynamiek leidend is voor het vaststellen van perioden	Gegevens voor alle condities en de uitkomst over meerdere tijdstippen of perioden voor dezelfde ruimtelijke eenheid	Inzicht in de perioden waarin bepaalde condities of configuraties belangrijk waren voor de uitkomst op dat moment; inzicht in hoe de cases zich door de tijd heen ontwikkelen	Geschikt voor het evalueren van hoe beleidsuitkomsten tot stand kwamen, wanneer de dynamiek en de duur van beleidsprocessen onderling verschillen
6	TQCA			X	Zowel kwalitatieve als kwantitatieve data kunnen worden gebruikt	Gegevens over volgordelijkheid van condities	De volgorde waarin condities plaatsvinden (de sequentie van gebeurtenissen) kan als noodzakelijke en/of voldoende voorwaarde worden geïdentificeerd	Geschikt voor het evalueren van beleidsuitkomsten wanneer er goede redenen zijn om aan te nemen dat een bepaalde conditie voorwaardelijk is voor een andere
7	TS/QCA	X	X		Kwantitatieve data in de vorm van tijdreeksen	Gegevens voor alle condities en de uitkomst over meerdere tijdstippen of perioden voor dezelfde ruimtelijke eenheid; voor Time Differencing QCA zijn twee tijdstippen nodig	De veranderingen in de condities tussen een of meer tijdstippen verklaren de uitkomst	Geschikt voor het evalueren van beleidsuitkomsten wanneer er redenen zijn om aan te nemen dat veranderingen in condities verklaringen bieden

De grootste methodologische terreinwinst is dat de oorspronkelijke principes van QCA kunnen worden gebruikt om dynamische ontwikkelingen te bestuderen. Niettemin zal er nog wel tijd overheen gaan voordat QCA – en zeker haar tijdgevoelige sub-strategieën – een standaard instrument wordt in de gereedschapskist van de beleidsonderzoeker. Deels heeft dit te maken met onbekendheid en training. De meeste beleidsonderzoekers zullen zijn opgeleid in een wereld die bestaat uit ofwel statistiek en grote datasets, ofwel kwalitatieve methoden waarmee enkele gevalsstudies worden uitgewerkt. QCA neemt daarin een wat merkwaardige positie in die nog niet altijd begrepen wordt. Daarnaast is het zo dat veel van deze tijdgevoelige varianten nog niet uitgebreid zijn getest met echte datasets. Op lange termijn wordt helder welke strategieën het beste kunnen werken voor beleidsonderzoek.

Álamos-Concha, P., Pattyn, V., Rihoux, B., Schalembier, B., Beach, & Cambré, B. (2022). Conservative solutions for progress: On solution types when combining QCA with in-depth process-tracing. Quality & Quantity, 56, 1965-1997.
Aminzade, R. (1992). Historical sociology and time. Sociological Methods & Research, 20(4), 456-480.
Basurto, X. (2013). Linking multi-level governance to local common-pool resource theory using fuzzy-set Qualitative Comparative Analysis: Insights from twenty years of biodiversity conservation in Costa Rica. Global Environmental Change, 23(3), 573-587.
Beach, D. (2018). Achieving methodological alignment when combining QCA and process tracing in practice. Sociological Methods & Research, 47(1), 64-99.
Beach, D., & Rohlfing, I. (2018). Integrating cross-case analyses and process tracing in set-theoretic research: Strategies and parameters of debate. Sociological Methods & Research, 47(1), 3-36.
Befani, B. (2013). Between complexity and generalization: Addressing evaluation challenges with QCA. Evaluation, 19(3), 269-283.
Befani, B., Ledermann, S., & Sager, F. (2007). Realistic evaluation and QCA: Conceptual parallels and an empirical application. Evaluation, 13(2), 171-192.
Befani, B., & Sager, F. (2006). QCA as a tool for realistic evaluations: The case of the Swiss environmental impact assessment. In B. Rihoux & H. Grimm (Eds.), Innovative comparative methods for policy analysis: Beyond the quantitative-qualitative divide (pp. 263-284). Springer.
Beynon, M. J., Jones, P., & Pickernell, D. (2020). Country-level entrepreneurial attitudes and activity through the years: A panel data analysis using fsQCA. Journal of Business Research, 115, 443-455.
Bhattacharya, P. (2023). How to build and analyze a panel data QCA model? A methodological demonstration of Garcia-Castro and Arino’s panel data QCA model. Methodological Innovations, 16(3), 265-275.
Bouterse, M., & Pattyn, V. (2018). Welke factoren bevorderen of belemmeren het gebruik van beleidsevaluaties? Resultaten van een studie bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Beleidsonderzoek Online, mei.
Caren, N., & Panofsky, A. (2005). TQCA: A technique for adding temporality to Qualitative Comparative Analysis. Sociological Methods & Research, 34(2), 147-172.
Casady, C. B. (2024). A time differencing Qualitative Comparative Analysis (QCA) of Public-Private Partnership (PPP) market maturity. Public Management Review, 26(5), 1360-1382.
Castro, R. G., & Ariño, M. A. (2016). A general approach to panel data set-theoretic research. Journal of Advances in Management Sciences & Information Systems, 2, 63-76-76.
De Meur, G., Rihoux, B., & Yamasaki, S. (2009). Addressing the critiques of QCA. In B. Rihoux & C. C. Ragin (Eds.), Configurational comparative methods: Qualitative Comparative Analysis (QCA) and related techniques (pp. 147-165). Sage.
Fischer, M., & Maggetti, M. (2017). Qualitative Comparative Analysis and the study of policy processes. Journal of Comparative Policy Analysis: Research and Practice, 19(4), 345-361.
Gerrits, L. M., Chang, R. A., & Pagliarin, S. (2021). Case-based complexity: Within-case time variation and temporal casing. Complexity, Governance & Networks, 7(1), 29-49.
Gerrits, L. M., & Marks, P. (2017). Understanding collective decision making: A fitness landscape model approach. Edward Elgar.
Gerrits, L. M., & Marks, P. K. (2014). Vastgeklonken aan de Fyra: Een pad-afhankelijkheidsanalyse van de onvermijdelijke keuze voor de falende flitstrein. Bestuurskunde, 23(1), 55-64.
Gerrits, L. M., & Pagliarin, S. (2021). Social and causal complexity in Qualitative Comparative Analysis (QCA): Strategies to account for emergence. International Journal of Social Research Methodology, 24(4), 501-514.
Gerrits, L. M., Pagliarin, S., Klein, K. U., & Knieling, F. (2023). Tracing complex urban transformations in Germany, Switzerland and Austria using trajectory-based Qualitative Comparative Analysis (TJ-QCA). Cities, 141, 104507.
Gerrits, L. M., & Verweij, S. (2016). Qualitative Comparative Analysis as a method for evaluating complex cases: An overview of literature and a stepwise guide with empirical application. Zeitschrift Für Evaluation, 15(1), 7-22.
Gerrits, L. M., & Verweij, S. (2018). The evaluation of complex infrastructure projects: A guide to Qualitative Comparative Analysis. Edward Elgar.
Greener, I. (2024). Tolerance in QCA: Moving debates on design, calibration, analysis, and interpretation in QCA forward in macrocomparative research. International Journal of Social Research Methodology, 27(2), 189-201.
Hino, A. (2009). Time-series QCA: Studying temporal change through Boolean analysis. Sociological Theory and Methods, 24(2), 247-265.
Hudson, J., & Kühner, S. (2013). Qualitative Comparative Analysis and applied public policy analysis: New applications of innovative methods. Policy and Society, 32(4), 279-287.
Iannacci, F. (2015). Interweaving temporal Qualitative Comparative Analysis with necessary condition analysis: An empirical application in the European monitoring systems context. In L. Mola, F. Pennarola, & S. Za (Eds.), From information to smart society (pp. 269-279). Springer International Publishing.
Järvinen, J., Lamberg, J. A., & Pietinalho, L. (2012). The fall and the fragmentation of national clusters: Cluster evolution in the paper and pulp industry. Journal of Forest Economics, 18(3), 218-241.
Leech, N. L., & Onwuegbuzie, A. J. (2009). A typology of mixed methods research designs. Quality & Quantity, 43, 265-275.
Mevissen, J. (2019). Regressie en progressie in beleidsevaluatie. Beleidsonderzoek Online, augustus.
Niessen, C. (2023). Longitudinal QCA: Integrating time through change-based intervals (CBIs) and a flexible lag condition (FLC). Sociological Methods & Research, 53(4).
Pagliarin, S., & Gerrits, L. M. (2020). Trajectory-based Qualitative Comparative Analysis: Accounting for case-based time dynamics. Methodological Innovations, 13(3), 1-11.
Pattyn, V., Gerrits, L. M., & Verweij, S. (2015). Qualitative Comparative Analysis: Meer behorend bij de kwalitatieve dan de kwantitatieve benadering. KWALON, 20(3), 26-33.
Pattyn, V., Molenveld, A., & Befani, B. (2017). Qualitative Comparative Analysis as an evaluation tool: Lessons from an application in development cooperation. American Journal of Evaluation, 40(1), 55-74.
Pattyn, V., & Verweij, S. (2014). Beleidsevaluaties tussen methode en praktijk: Naar een meer realistische evaluatiebenadering. Burger, Bestuur & Beleid, 8(4), 260-267.
Poth, C. N. (2018). Innovation in mixed methods research: A practical guide to integrative thinking with complexity. Sage.
Ragin, C. C. (1987). The comparative method: Moving beyond qualitative and quantitative strategies. University of California Press.
Ragin, C. C., & Strand, S. I. (2008). Using Qualitative Comparative Analysis to study causal order: Comment on Caren and Panofsky (2005). Sociological Methods & Research, 36(4), 431-441.
Renmans, D. (2023). The ResQ approach: Theory building across disciplines using realist evaluation science and QCA. International Journal of Social Research Methodology, 26(4), 469-482.
Rihoux, B., & Grimm, H. (Eds.). (2006). Innovative comparative methods for policy analysis: Beyond the quantitative-qualitative divide. Springer.
Rohlfing, I., & Schneider, C. Q. (2013). Improving research on necessary conditions: Formalized case selection for process tracing after QCA. Political Research Quarterly, 66(1), 220-235.
Sager, F., & Andereggen, C. (2012). Dealing with complex causality in realist synthesis: The promise of Qualitative Comparative Analysis. American Journal of Evaluation, 33(1), 60-78.
Schneider, C. Q. (2024). Set-theoretic multi-method research: A guide to combining QCA and case studies. Cambridge University Press.
Schneider, C. Q., & Rohlfing, I. (2013). Combining QCA and process tracing in set-theoretic multi-method research. Sociological Methods & Research, 42(4), 559-597.
Schneider, C. Q., & Wagemann, C. (2012). Set-theoretic methods for the social sciences: A guide to qualitative comparative analysis. Cambridge University Press.
Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R., & Befani, B. (2012). Broadening the range of designs and methods for impact evaluations: Report of a study commissioned by the Department for International Development. Department for International Development.
Stinckens, M. (2016). Op zoek naar innovatie in het beleidsimplementatieonderzoek: De meerwaarde van ‘Qualitative Comparative Analysis’. Beleidsonderzoek Online, februari.
Tao, Y., Ke, H., & Zhang, Z. (2023). Hybrid strategy and firm performance: A time-series Qualitative Comparative Analysis of the Chinese ICT sector. Journal of Organizational Change Management, 36(4), 561-584.
Ter Weel, B., Janssen, M., Bijlsma, M., & De Boer, P. J. (2022). Durf te leren, ga door met meten: Op zoek naar kaders en methoden voor de evaluatie van systeem- en transitiebeleid. Ministerie van Economische Zaken en Klimaat.
Thijssen, G., Duijnhouwer, A., & Overgoor, R. (2019). Beleidsevaluatie Regeling Groenprojecten 2010-2017: Eindrapport. Rijksdienst voor Ondernemend Nederland.
Thomann, E., & Maggetti, M. (2020). Designing research with Qualitative Comparative Analysis (QCA): Approaches, challenges, and tools. Sociological Methods & Research, 49(2), 356-386.
Van der Knaap, P., Pattyn, V., & Hanemaayer, D. (2020). Beleidsevaluatie in theorie en praktijk. Boom Bestuurskunde.
Van Hattem, J., & Van der Horst, M. (2022). Innovatieve beleidsevaluatie: Een beeld van de mogelijkheden voor innovatie in beleidsevaluatiemethoden bij mobiliteitsbeleid. Kennisinstituut voor Mobiliteitsbeleid.
Verweij, S., & Gerrits, L. M. (2012). Systematische kwalitatieve vergelijkende analyse. KWALON, 17(3), 25-33.
Verweij, S., & Gerrits, L. M. (2013). Understanding and researching complexity with Qualitative Comparative Analysis: Evaluating transportation infrastructure projects. Evaluation, 19(1), 40-55.
Verweij, S., & Vis, B. (2021). Three strategies to track configurations over time with Qualitative Comparative Analysis. European Political Science Review, 13(1), 95-111.
Vis, B. (2011). Under which conditions does spending on active labor market policies increase? An fsQCA analysis of 53 governments between 1985 and 2003. European Political Science Review, 3(2), 229-252.
Vis, B., Woldendorp, J., & Keman, H. (2013). Examining variation in economic performance using fuzzy-sets. Quality & Quantity, 47(4), 1971-1989.
Williams, T., & Gemperle, S. M. (2017). Sequence will tell! Integrating temporality into set-theoretic multi-method research combining comparative process tracing and Qualitative Comparative Analysis. International Journal of Social Research Methodology, 20(2), 121-135.
Zhang, Z., Chen, H., & Wu, L. (2024). How does technological innovation drive green growth in China’s complex environments? A configuration approach. Journal of Environmental Planning and Management, 67(11), 2583-2604.

Noten

1 Voor algemene introducties in QCA voor de evaluatie van beleid verwijzen we naar bestaande literatuur over de methode (bijv. Gerrits & Verweij, 2016, 2018; Stinckens, 2016; Verweij & Gerrits, 2012).
2 Wanneer een conditie met hoofdletters is weergegeven, betekent dit de aanwezigheid van de conditie; wanneer geschreven met kleine letters, betekent dit de afwezigheid van de conditie. Zo betekent ‘UNEM’ een toename van de werkloosheid en duidt ‘unem’ op afnemende werkloosheid of ten minste geen toenemende werkloosheid; en betekent ‘RIGHT’ de aanwezigheid van een rechtse regering en duidt ‘right’ op de aanwezigheid van een meer linkse regering.
3 Limited diversity ontstaat wanneer voor een deel van alle mogelijke combinaties van condities geen empirisch bewijs beschikbaar is (oftewel: geen cases beschikbaar zijn).
4 De parsimonious solution is de oplossing die alle lege rijen in een waarheidstabel includeert in de vergelijking, ook wanneer deze niet plausibel kunnen worden geacht.
5 In het tweede geval wordt in de QCA-literatuur gesproken over INUS-condities. Een INUS-conditie is ‘een conditie die noch individueel noodzakelijk, noch individueel voldoende is voor een uitkomst, maar die wel deel is van een configuratie die niet noodzakelijk, maar wel voldoende is voor een uitkomst’ (Pattyn et al., 2015, p. 30).
6 Dit komt overeen met Aminzade’s (1992) conceptualisering van ‘traject’ uit de tweede strategie (zie 2.2) (Gerrits & Verweij, 2018). De logische operator ‘THEN’ wordt in deze strategie uitgedrukt met een schuine streep (‘/’).
7 In de QCA-literatuur is dit wel een discussiepunt: volgens sommigen is het beter om de kalibratieregels niet casus-specifiek te maken, maar ze te baseren op externe observaties en theorieën. Het tegenargument is dat observaties en theorieën per definitie tijdelijk en partieel zijn en dat het juist nuttig en effectief kan zijn om de gegeven dataset te gebruiken voor het afleiden van de kalibratieregels (zie bijv. Greener, 2024).