• Inleiding

  Sinds de introductie van de term ‘implementatie’ in de beleidsanalyse in de jaren zeventig en tachtig van de vorige eeuw (o.a. DeLeon, 1999: 312-313; Slack, 2005: 3) is het beleidsimplementatieproces voorwerp geweest van heel wat studies (o.a. Berman, 1980; Hill, 2003; Hill & Hupe, 2002; Hill & Hupe, 2009; Hogwood & Gunn, 1984; Lipsky, 1980; Matland, 1995; McLaughlin, 1987; O’Toole, 1986; Pressman & Wildavsky, 1973; Ryan, 1995; Sabatier & Mazmanian, 1980; Smith, 1973; Van Meter & Van Horn, 1975). Hoewel deze studies nuttige inzichten opleverden, kenmerken ze zich door enkele belangrijke tekortkomingen. Zo blijkt er tot op heden nog steeds geen duidelijkheid te bestaan over de ‘kritieke’ implementatie beïnvloedende variabelen (DeLeon, 1999: 314; O’Toole, 1986: 184; Saetren, 2014: 10). Matland (1995: 146) suggereert bijvoorbeeld dat er meer dan driehonderd variabelen zijn die de implementatie van beleid kunnen beïnvloeden. Daarnaast bestaat er te weinig duidelijkheid over de manier waarop een variabele in combinatie met andere variabelen implementatiesucces en -falen kan beïnvloeden. Een andere beperking verwijst naar de onduidelijkheid over de afhankelijke variabele in implementatieonderzoek (Winter, 2006: 158-159). Vaak wordt deze niet of nauwelijks gedefinieerd, zodat het niet altijd duidelijk is waarop de aangehaalde onafhankelijke variabelen een impact hebben. Niet alleen deze theoretische tekortkomingen kenmerken het implementatieonderzoek, ook methodologisch zijn er beperkingen. Zo werd de voorbije decennia in implementatiestudies voornamelijk gebruikgemaakt van onderzoeksdesigns met een beperkt aantal cases. Daarnaast werd er weinig aan hypothesetoetsing gedaan. Diverse auteurs (o.a. Goggin, 1986: 335-342; Saetren, 2014: 8-9) wezen dan ook op de nood aan nieuwe onderzoeksdesigns en analysetechnieken om theorieontwikkeling in het implementatieonderzoek te versterken.

  Een dergelijke veelbelovende analysemethode voor implementatieonderzoek is Qualitative Comparative Analysis (QCA) (Ragin, 1987), in het Nederlands ook wel aangeduid als Systematische Kwalitatieve Vergelijkende Analyse (SKVA) (Verweij & Gerrits, 2012). Hoewel diverse auteurs de voorbije jaren gewezen hebben op de meerwaarde van deze analysemethode voor beleidsonderzoek (o.a. De Meur, Rihoux, & Varone, 2004; Pattyn & Verweij, 2014; Rihoux & Grimm, 2006; Varone, Rihoux, & Marx, 2006), blijft het aantal toepassingen van QCA in implementatiestudies beperkt. In deze bijdrage beargumenteren we waarom deze analysemethode specifiek geschikt is voor dit type onderzoek. QCA vertrekt van de sterktes van het casestudieonderzoek, maar maakt het dankzij de inbreng van Booleaanse algebra mogelijk om de analyseresultaten te formaliseren. Meer bepaald laat QCA toe om op zoek te gaan naar de condities of combinatie van condities die kunnen verklaren waarom beleid al dan niet succesvol wordt geïmplementeerd. Daarbij zou het dan de bedoeling zijn om noodzakelijke en voldoende voorwaarden voor implementatiesucces en -falen te identificeren. Op die manier zou deze analysemethode tegemoet kunnen komen aan de beperkingen die het huidige implementatieonderzoek kenmerken.

  Omdat er weinig eensgezindheid bestaat over de omschrijving van beleidsimplementatie, beginnen we deze bijdrage met een afbakening van dit concept. Vervolgens bieden we een overzicht van de theoretische en methodologische beperkingen van het huidige implementatieonderzoek. Daarna wordt QCA als analysemethode toegelicht. Hierbij wordt QCA eerst kort geïntroduceerd, waarna de stappen uit een QCA-procedure besproken worden. Vervolgens gaan we na in welke mate deze analysemethode reeds in implementatieonderzoek werd toegepast. Ten slotte motiveren we hoe het gebruik van QCA een belangrijke meerwaarde kan bieden voor implementatieonderzoek door de link te leggen met de beperkingen die deze onderzoeksdiscipline kenmerken. We ronden af met een conclusie en enkele implicaties voor verder onderzoek.

• 1 Beleidsimplementatie: what’s in a name?

  Algemeen wordt aangenomen dat implementatie of uitvoering verwijst naar die fase in de beleidscyclus die volgt op de fase van de beleidsbepaling. Het is dus de fase waarin eerder bepaalde beslissingen over de beleidsinhoud worden uitgevoerd (Palumbo, Maynard-Moody, & Wright, 1984: 49). Ondanks deze gemeenschappelijke basis verschillen bestaande definities op minstens drie aspecten. Een eerste verschil betreft de opzet van het implementatieproces. Soms wordt gefocust op de inlossing van eerder gecreëerde verwachtingen (o.a. DeLeon, 1999: 330), soms op de realisatie van bepaalde maatschappelijke effecten (o.a. Mazmanian & Sabatier, 1983: 48). We zien ook variatie in het beginpunt van het implementatieproces. Volgens sommige auteurs volgt implementatie al meteen na de formulering van een beleidsintentie; anderen spreken pas over beleidsimplementatie als er sprake is van een formele beslissing in de vorm van wet- of regelgeving. Zo wordt een onderscheid gemaakt tussen respectievelijk ‘basic policy decision’ (Mazmanian et al., 1983: 20-21), ‘legislative act’ (Edwards, 1980: 1), ‘governmental intention’ (O’Toole, 2000: 266) en ‘policy intention’ (John, 1998: 204) als eindpunt van beleidsbepaling en dus beginpunt voor de implementatie. Een derde punt van variatie betreft de mate van precisie over de actoren die een rol spelen in het implementatieproces. Sommigen (o.a. Jann & Wegrich, 2007: 51; Van Meter et al., 1975: 447) spreken over publieke en private actoren, terwijl anderen deze actoren niet nader omschrijven (o.a. Birkland, 2011: 263; DeLeon, 1999: 330; Rein & Rabinovitz, 1978: 7). Wellicht hebben deze verschillen te maken met het feit dat deze benaderingen uit diverse disciplines komen, waaronder bestuurskunde en strategisch management, waartussen maar weinig uitwisseling van theoretische inzichten heeft plaatsgevonden (o.a. O’Toole, 1986: 182; Schofield, 2001: 246). Het resultaat daarvan: ‘The meaning of implementation is loosely developed’ (Paudel, 2009: 46).

  In deze bijdrage kiezen we er in navolging van Ferman (in Hill et al., 2009: 2) voor om implementatie te omschrijven als ‘what happens between policy expectations and (perceived) policy results’. Deze definitie heeft niet alleen als voordeel dat ze, gezien de interesse in ‘what happens’, focust op wat er echt gebeurt op de werkvloer (aanvullend op hoe het in het beleid wordt voorgesteld), maar ook dat ze de afhankelijke variabele afbakent tot ‘de resultaten’ of ‘output’ van beleid (zie hierna). Dit impliceert meteen ook een keuze op de eerste dimensie waarop definities variëren: de opzet van het implementatieproces in deze definitie betreft het verklaren van de prestaties (producten of diensten) die geleverd worden als gevolg van het beleid (De Peuter, De Smedt, & Bouckaert, 2007: 38). Wat de tweede dimensie betreft, maakt deze definitie geen expliciete keuze over het beginpunt van het implementatieproces. Dit beginpunt hangt immers vaak van het beleid zelf af. In bepaalde gevallen omvat het beleid duidelijke formele beslissingen, terwijl in andere gevallen de implementatie gebeurt op basis van verwachtingen die niet uitdrukkelijk op papier gezet zijn. Ook wat de derde dimensie betreft, maakt de definitie geen expliciete keuze. In tijden van New Public Management en publiek-private samenwerking is er vaak een veelheid van publieke en private actoren betrokken bij de implementatie van een concreet beleid. De gehanteerde definitie moet dat perspectief dus open houden.

• 2 Vier decennia van beleidsimplementatieonderzoek: een overzicht van de beperkingen

  De meeste auteurs (o.a. DeLeon, 1999: 312-313; Slack, 2005: 3) situeren de eerste implementatiestudies in de Verenigde Staten in de jaren zeventig en tachtig van de vorige eeuw. Klassieke werken zoals Implementation: how great expectations in Washington are dashed in Oakland (Pressman et al., 1973) en The missing link: the study of the implementation of social policy (Hargrove, 1975) worden traditioneel gezien als het beginpunt van het beleidsimplementatieonderzoek. O’Toole (2000: 264) stelt hierover het volgende: ‘From nowhere policy implementation moved to a position of prominence perhaps even overemphasis.’ Hill en Hupe (2009: 42) schreven deze populariteit toe aan toenemende overheidsinterventies in de VS en de vaststelling dat die vaak niet in hun opzet slaagden, met een groot aantal implementatiestudies als gevolg. Hoewel deze onderzoeken nuttige inzichten opleverden, hebben ze toch ook enkele tekortkomingen op theoretisch en methodologisch vlak. In dit onderdeel lichten we deze beperkingen achtereenvolgens toe.

  2.1 Theoretische beperkingen

  Ondanks vier decennia implementatieonderzoek blijkt er zowel over de afhankelijke als over de onafhankelijke variabelen nauwelijks eensgezindheid. Wat de afhankelijke variabele betreft, valt op dat in bestaande implementatiestudies vaak weinig aandacht besteed wordt aan de omschrijving ervan. Bestaande onderzoeken gaan hier doorgaans aan voorbij of blijven erg vaag. Daar waar er wel omschrijvingen worden geboden, is er heel wat variatie. We vinden minstens vier categorieën van afhankelijke variabelen, namelijk (1) het eigenlijke beleidsimplementatieproces (o.a. Schneider, 1982: 719), (2) de beleidsoutput (o.a. Hasenfeld & Brock, 1991: 465; Winter, 2006: 159), (3) de beleidseffecten of -impact (o.a. Mazmanian et al., 1983: 48) en (4) losse indicatoren zoals ‘indices of policy system change’ en ‘administrative reorganization’ (Hill et al., 2002: 121). Meerdere auteurs (o.a. Hill et al., 2009: 137; Winter, 2006: 158-159) hebben dan ook gewezen op het belang van een meer consistente en heldere afbakening van de afhankelijke variabele in implementatieonderzoek.

  Ook bij de onafhankelijke variabelen is er heel wat diversiteit en soms zelfs verwarring. Matland (1995: 146) en Hill (2003: 273) stelden dat meer dan driehonderd variabelen het beleidsimplementatieproces kunnen beïnvloeden. De verwarring rond de afhankelijke variabele maakt het er uiteraard niet makkelijker op, aangezien het niet altijd duidelijk is waarop de betreffende onafhankelijke variabelen dan precies een impact hebben. In de literatuur worden onder meer de volgende groepen van mogelijke onafhankelijke variabelen vermeld: factoren gerelateerd aan de beleidsvoorbereiding (o.a. Matland, 1995: 156; Winter, 2012: 258), factoren gerelateerd aan het te implementeren beleid (o.a. Hill, 2003: 267), factoren op organisatieniveau (o.a. Hogwood et al., 1984: 205; Van Meter et al., 1975: 471), factoren gerelateerd aan personen belast met de beleidsuitvoering (o.a. Sabatier et al., 1980: 542; Schneider, 1982: 724) en contextuele factoren (o.a. Sabatier et al., 1980: 542; Van Meter et al., 1975: 463). Daarbij wordt de invloed van deze variabelen vaak apart onderzocht. Zelden wordt nagegaan hoe een variabele in combinatie met andere variabelen het beleidsimplementatieproces kan beïnvloeden.

  2.2 Methodologische beperkingen

  Implementatiestudies in de voorbije decennia richtten zich vaak op slechts een beperkt aantal cases. Goggin (1986: 329) wees erop dat dergelijke studies kampten met het ‘too few cases / too many variables problem’. Een groot aantal variabelen werd onderzocht in analyses met een te kleine N, wat de identificatie van de kritieke implementatiebeïnvloedende variabelen bemoeilijkt.¹xHoewel dit probleem door Goggin (1986) werd omschreven als een methodologische beperking, kan dit ook als een meer praktisch probleem worden gezien. Onderzoekers hebben immers niet steeds de middelen (financiële middelen, tijd) om een groot aantal cases diepgaand te onderzoeken. Enkele decennia geleden werd dan ook al gewezen op het belang van andere onderzoeksdesigns in implementatieonderzoek, zoals longitudinaal onderzoek (o.a. Lester, Bowman, Goggin, & O’Toole, 1987: 212) en casestudies met een grotere N (o.a. Goggin, 1986: 333). Wat dit laatste betreft, toont een recente systematic review van Saetren (2014: 10) aan dat er de voorbije jaren weinig vooruitgang werd geboekt.

  Lester et al. wezen er in 1987 al op dat er in het implementatieonderzoek te weinig aandacht wordt besteed aan hypotheseformulering en -toetsing: ‘Attempts to translate extant analytical frameworks into measurable variables, as well as the careful testing of these hypotheses, have only just begun’ (Lester et al., 1987: 210). De recente ‘systematic review’ van Saetren (2014) geeft aan dat deze vaststelling nog steeds opgaat. Deze auteur stelt wel vast dat het aantal implementatiestudies waarin expliciet hypothesen worden geformuleerd, toegenomen is, maar dat dat nog steeds maar in de helft van de 547 onderzochte implementatiestudies het geval was (Saetren, 2014: 8).

  2.3 Tussenconclusie

  De voorbije decennia werd veel onderzoek gedaan naar het beleidsimplementatieproces en dat leverde nuttige inzichten op. Toch zijn er minstens vier verbeteringen nodig, wil men theorieontwikkeling in implementatieonderzoek versterken. Ten eerste is het belangrijk om de afhankelijke variabele in implementatiestudies duidelijker te omschrijven. Veel studies zijn wat dit betreft vaag en onduidelijk. Ten tweede bestaat er nood aan implementatieonderzoek dat zich toespitst op een beperkt aantal onafhankelijke variabelen. Op die manier kan het grote aantal implementatie beïnvloedende variabelen worden gereduceerd tot diegene die ‘kritiek’ zijn. Hierbij is het belangrijk dat de invloed van één variabele op het beleidsimplementatieproces niet alleen in isolatie wordt onderzocht, maar ook in combinatie met andere variabelen. Ten derde dringt het gebruik van casestudies met een groter aantal cases zich op, waarbij ten vierde de toetsing van deductief geformuleerde hypothesen een belangrijke plaats zou mogen innemen. In de volgende onderdelen wordt toegelicht hoe QCA een bijdrage kan leveren aan het implementatieonderzoek op deze vier vlakken.

• 3 Qualitative Comparative Analysis toegelicht

  Qualitative Comparative Analysis is een analysemethode die voor het eerst werd beschreven door Ragin (1987). Het werd gepresenteerd als een synthese tussen kwalitatief casusonderzoek en kwantitatief variabele-georiënteerd onderzoek. In deze paragraaf lichten we deze analysemethode toe. Hiervoor wordt in de eerste plaats gebruikgemaakt van de basisliteratuur (o.a. Ragin, 1987; Rihoux & Ragin, 2009; Schneider & Wagemann, 2012). Daarnaast baseren we ons op de beschikbare Nederlandstalige publicaties over deze analysemethode (o.a. Pattyn, Gerrits, & Verweij, 2015; Pattyn et al., 2014; Verweij et al., 2012). Na een bespreking van de belangrijkste kenmerken worden de verschillende stappen uit een QCA-procedure toegelicht aan de hand van een hypothetisch voorbeeld. Hierbij trachten we te verklaren waarom het actieplan woninginbraken in bepaalde politiekorpsen succesvol wordt geïmplementeerd, terwijl dit in andere politiekorpsen niet het geval is.²xDe ‘cases’ in dit voorbeeld betreffen dus organisaties. De bruikbaarheid van QCA blijft echter niet beperkt tot dit ‘mesoniveau’. Meerdere auteurs (o.a. Berg-Schlosser, De Meur, Rihoux, & Ragin, 2009a: 3-4) suggereren dat deze analysemethode ook geschikt is voor onderzoek op het nationale (‘macro’) en individuele (‘micro’) niveau. Aangezien QCA de condities of combinaties van condities die noodzakelijk of voldoende zijn voor beleidssucces en -falen kan identificeren (zie hierna), lijkt deze analysemethode uiterst geschikt om deze vraag te beantwoorden.

  3.1 Introductie

  QCA laat toe om meerdere cases systematisch te vergelijken. Aanvankelijk ging het om een klein of middelgroot aantal cases, ongeveer 5 tot 50 (o.a. Berg-Schlosser & De Meur, 2009: 27; Rihoux, 2003: 353; Rihoux & Lobe, 2009: 223; Rihoux & Marx, 2013: 168). De voorbije jaren werd de bruikbaarheid bij cases met een grote N ook aangetoond (o.a. Greckhamer, Misangyi, & Fiss, 2013; Vis, 2012). De centrale doelstelling van QCA is om op zoek te gaan naar de noodzakelijke en voldoende voorwaarden die de aan- of afwezigheid van een uitkomst binnen de verschillende cases kunnen verklaren. Met een noodzakelijke voorwaarde wordt verwezen naar een conditie die aanwezig is telkens als de uitkomst aanwezig is. Deze conditie is dus noodzakelijk om de verschijning van de uitkomst mogelijk te maken (Schneider et al., 2012: 69). Dit impliceert echter niet dat deze voorwaarde ook voldoende is om de uitkomst te doen verschijnen. Een conditie of een configuratie van condities (causaal pad) kan als voldoende worden gezien als die op zichzelf voldoende is om de uitkomst te laten verschijnen (Schneider et al., 2012: 57). Telkens als deze conditie of configuratie van condities aanwezig is, is de uitkomst dat ook. De uitkomst kan evenwel ook verschijnen onder andere condities. Voldoende voorwaarden zijn met andere woorden niet altijd noodzakelijke voorwaarden. Om deze noodzakelijke en voldoende voorwaarden te identificeren maakt deze analysemethode gebruik van Booleaanse algebra.

  Belangrijk is dat QCA uitgaat van de ontologische stelling of veronderstelling dat de sociale werkelijkheid wordt gekenmerkt door ‘multiple conjunctural causation’ (Schneider et al., 2012: 5-6; Wagemann & Schneider, 2010: 8-9) of ‘meervoudige gecombineerde oorzakelijkheid’ (Pattyn et al., 2015: 30). Dit impliceert dat (a) een uitkomst doorgaans wordt gerealiseerd door een combinatie van onafhankelijke variabelen, (b) verschillende combinaties van onafhankelijke variabelen tot dezelfde uitkomst kunnen leiden, (c) een onafhankelijke variabele een verschillende invloed op de uitkomst kan hebben in functie van de context en (d) dat de aan- en afwezigheid van een uitkomst een verschillende verklaring kan hebben, ook wel omschreven als ‘asymmetrische causaliteit’ (Berg-Schlosser, De Meur, Rihoux, & Ragin, 2009b: 9). In QCA is causaliteit dus ‘context- and conjuncture-sensitive’ (Ragin, 1987: 55). Deze visie op causaliteit is fundamenteel verschillend van die in traditionele statistische methoden, waar causaliteit als lineair en additief wordt opgevat. Een lineaire vorm van causaliteit veronderstelt dat ‘het effect van een bepaalde voorwaarde kan worden geïsoleerd van de effecten van andere voorwaarden’ (Verweij et al., 2012: 27). Dat staat haaks op de opvatting van causaliteit in QCA. Hier dient de onderzoeker immers niet te komen tot een specifiek causaal model dat overeenkomt met het geheel van de data, maar dient hij of zij het aantal en de aard van de verschillende causale paden die binnen meerdere vergelijkbare cases bestaan, te bepalen (Ragin, 1987: 167). Aangezien QCA causaliteit als complex opvat, bieden correlaties geen soelaas. Daarom wordt gebruikgemaakt van set-relaties en set-theorie (Verweij et al., 2012: 27; Verweij & Gerrits, 2013: 47), waardoor een eigen terminologie, namelijk ‘condities’ en ‘uitkomst’ in plaats van resp. onafhankelijke en afhankelijke variabele(n), wordt gehanteerd (Schneider & Wagemann, 2010: 8).

  3.2 Standaardstappen in Qualitative Comparative Analysis

  Sinds het werk van Ragin heeft men de methodologie verder uitgewerkt, waarbij ondertussen enkele standaardstappen worden onderscheiden. QCA start vanuit een helder omschreven onderzoeksvraag. In het hypothetische voorbeeld kan deze onderzoeksvraag bijvoorbeeld zijn: ‘Welke configuratie van condities is noodzakelijk en/of voldoende voor de succesvolle implementatie van het actieplan woninginbraken in een politiekorps?’ Vervolgens vraagt deze analysemethode om een weloverwogen selectie van de cases en de condities. Aangezien QCA erop is gericht om het al dan niet verschijnen van een bepaalde uitkomst te verklaren, is het belangrijk dat de cases zo geselecteerd worden dat er voldoende variatie is inzake de uitkomst (Rihoux, 2006: 688). In de meest elementaire vorm van QCA (‘crisp-set QCA’) (zie hierna) gaat het om de aan- of afwezigheid van de uitkomst. Toegepast op het voorbeeld dienen er dus politiekorpsen met zowel een succesvolle als een niet-succesvolle implementatie van het actieplan in de analyse te worden betrokken. Ook de selectie van de condities dient nauwgezet te gebeuren, aangezien deze (1) voldoende dienen te variëren (Rihoux, 2006: 688) en (2) er maar een beperkt aantal condities in de analyse kan worden betrokken (Schneider et al., 2010: 6). Schneider en Wagemann (2010: 6; 2012: 276) adviseren om dit aantal op ‘a moderate level’ te houden. Belangrijk hier is niet het absolute aantal condities dat in de analyse wordt opgenomen, maar eerder de verhouding tussen het aantal condities en het aantal cases (Marx & Dusa, 2011: 114-118). Algemeen wordt aangenomen dat in een analyse met een middelgrote N, ongeveer 10 tot 40 cases, vier tot zeven condities kunnen worden betrokken (Berg-Schlosser et al., 2009: 27). Stel dat er bijvoorbeeld elf politiekorpsen worden onderzocht, dan lijkt de selectie van drie of vier condities aannemelijk. Het is bijgevolg belangrijk om die condities te selecteren waarvan theoretisch wordt verondersteld dat ze een belangrijke invloed uitoefenen op de uitkomst. Literatuur toont zo bijvoorbeeld aan dat de volgende drie condities de succesvolle implementatie van een actieplan zouden kunnen verklaren: (1) heldere beleidsdoelstellingen (o.a. Van Meter et al., 1975: 464), (2) sterke betrokkenheid van medewerkers bij de beleidsvoorbereiding (o.a. Alexander, 1985: 96; Giles, 1991: 77; McLaughlin, 1987: 172) en (3) de aanwezigheid van een controle- of monitoringssysteem (o.a. Alexander, 1985: 92). Vervolgens kunnen de op grond van deze condities theoretisch onderbouwde hypothesen getest worden (Rihoux et al., 2009: 225; Rihoux et al., 2013: 169; Schneider et al., 2010: 3). Die hypothesen hebben betrekking op de relatie tussen een conditie en de uitkomst of over de eventuele samenhang tussen twee of meerdere condities bij de realisatie van een uitkomst. Ze worden in principe geformuleerd met verwijzing naar de terminologie van ‘noodzakelijke en voldoende voorwaarden’ (Berg-Schlosser et al., 2009: 28). Toegepast op het hypothetische voorbeeld zouden de volgende hypothesen relevant kunnen zijn: ‘een sterke betrokkenheid van medewerkers bij de beleidsvoorbereiding van het actieplan is een noodzakelijke voorwaarde voor succesvolle implementatie’ of ‘heldere beleidsdoelstellingen in het actieplan en de aanwezigheid van een controle- of monitoringssysteem vormen een voldoende voorwaarde voor de uitkomst’.
  Voor de operationalisering van zowel de condities als de uitkomst worden de verzamelde data vertaald in een score die zal verschillen afhankelijk van de versie van QCA die men gebruikt. Er bestaan namelijk drie types QCA: (1) crisp-set QCA (csQCA), (2) fuzzy-set QCA (fsQCA) en (3) multi-value QCA (mvQCA). In de crisp-set versie van QCA wordt elke conditie en elke uitkomst door de onderzoeker vertaald in een binaire score 0 of 1, die respectievelijk de aan- en afwezigheid ervan aangeven. In fuzzy-set QCA (Ragin, 2000; Ragin, 2008; Ragin, 2009) kunnen de condities en uitkomst eender welke waarde tussen 0 en 1 aannemen. Daardoor komen de complexiteit en het kwalitatief karakter van casussen beter tot hun recht (Verweij et al., 2012: 32). Multi-value QCA, tot slot, werd ontwikkeld voor data die zinvoller te vatten zijn in meer dan twee modaliteiten van condities maar moeilijk in een fuzzy-set score kunnen worden uitgedrukt, zoals bijvoorbeeld ‘geloofsovertuiging (christelijk, protestants enz.)’ of ‘relationele status (vrijgezel, gehuwd, gescheiden enz.)’ (Cronqvist & Berg-Schlosser, 2009: 71). MvQCA betreft een middenweg tussen csQCA en fsQCA. Vink en Van Vliet (2009: 266) stellen hierover: ‘It is not quite crisp because it allows the use of intermediate values to denote degrees of set membership, but it is also not yet fuzzy because membership scores remain discrete and the outcome is always dichotomous.’ In deze bijdrage introduceren we de crisp-set versie omdat die het meest eenvoudig is en daardoor het meest geschikt lijkt om de algemene principes van QCA toe te lichten. Belangrijk is dat bij de toekenning van een score steeds gebruik moet worden gemaakt van theoretische en empirische kennis (Rihoux & De Meur, 2009: 42), aangezien de drempels tussen de aanwezigheid enerzijds en afwezigheid anderzijds van de conditie en de uitkomst niet zomaar zijn gegeven. Op die manier wordt de onderzoeker in QCA gedwongen om elke conditie en de uitkomst helder te definiëren en operationaliseren. Aangezien er in QCA moet worden gescoord in ‘0’ of ‘1’ termen, wordt niet alleen nagedacht over de inhoud van beide termen, maar ook over de grens tussen beide. In de QCA-literatuur worden heel wat richtlijnen gegeven over hoe deze threshold setting het best gebeurt (o.a. Ragin, 2009: 106; Yamasaki & Rihoux, 2009: 130), maar dit valt buiten het bestek van deze bijdrage.

  In een volgende fase moet een matrix van de ruwe data worden opgesteld. Deze matrix bestaat uit een tabel met voor elke case een overzicht van de gedichotomiseerde scores op de condities en de uitkomst. Tabel 1 geeft de datamatrix van het hypothetische voorbeeld. In deze matrix worden de drie condities samen met de uitkomst weergegeven voor de elf politiekorpsen. De rijen geven de scores van elk politiekorps op de drie condities en de uitkomst aan. De cijfers ‘0’ en ‘1’ in de cellen verwijzen respectievelijk naar de af- en aanwezigheid van de condities en de uitkomst.

  Tabel 1 Datamatrix van hypothetisch voorbeeld ‘De implementatie van het actieplan woninginbraken in een politiekorps’

  Politiekorps (PK)	Conditie ‘heldere beleidsdoelstellingen’	Conditie ‘sterke betrokkenheid medewerkers bij beleids- voorbereiding’	Conditie ‘aanwezigheid controle- of monitorings-systeem’	Uitkomst ‘realisatie van vooropgestelde beleidsoutput’
  PK 1	1	0	0	0
  PK 2	1	0	0	1
  PK 3	1	1	1	1
  PK 4	1	0	1	1
  PK 5	1	1	0	1
  PK 6	0	0	1	0
  PK 7	1	0	1	1
  PK 8	1	1	1	1
  PK 9	0	1	0	0
  PK 10	1	1	1	1
  PK 11	0	0	1	0

  Op basis van de ruwe datamatrix moet vervolgens een ‘truth table’ of ‘waarheidstabel’ worden ontwikkeld (Ragin, 1999: 1230). Voor elke logische combinatie van condities die empirisch werd vastgesteld, wordt aangegeven welke cases aan deze combinatie voldoen. Aangezien QCA uitgaat van asymmetrische causaliteit, dienen de aan- en afwezigheid van de uitkomst afzonderlijk te worden geanalyseerd. Tabel 2 presenteert de waarheidstabel op basis van de datamatrix uit tabel 1. Elk van de zes rijen geeft de relatie van een empirisch vastgestelde combinatie van condities tot de uitkomst aan. Onder ‘N’ wordt aangegeven hoeveel politiekorpsen aan deze combinatie van condities voldoen, waarna deze opgesomd worden.

  Tabel 2 Waarheidstabel

  	Conditie ‘heldere beleidsdoelstellingen’	Conditie ‘sterke betrokkenheid medewerkers bij beleids-voorbereiding’	Conditie ‘aanwezigheid controle- of monitorings-systeem’	Uitkomst ‘realisatie van vooropgestelde beleidsoutput’	N	PK
  1	1	0	0	C	2	PK 1, PK 2
  2	1	1	1	1	3	PK 3, PK 8, PK 10
  3	1	0	1	1	2	PK 4, PK 7
  4	1	1	0	1	1	PK 5
  5	0	0	1	0	2	PK 6, PK 11
  6	0	1	0	0	1	PK 9

  Tabel 2 geeft weer dat drie verschillende combinaties van condities leiden tot de aanwezigheid van de uitkomst (rijen 2 t/m 4) en dat twee combinaties van condities de afwezigheid van de uitkomst (rijen 5 en 6) kunnen verklaren. Daarnaast is er sprake van één contradictorische combinatie (rij 1). Politiekorps 1 en politiekorps 2 vertonen namelijk eenzelfde combinatie van condities, maar hebben toch een verschillende uitkomst. Logisch mogelijke combinaties waarvoor geen empirische cases zijn gevonden, worden in QCA ‘logische of theoretische cases’ of remainders genoemd. In dit hypothetische voorbeeld zijn er twee mogelijke combinaties van condities die niet empirisch vastgesteld werden, namelijk (1) de afwezigheid van de drie condities en (2) de afwezigheid van de conditie ‘heldere beleidsdoelstellingen’ gecombineerd met de aanwezigheid van de condities ‘sterke betrokkenheid medewerkers bij de beleidsvoorbereiding’ en ‘aanwezigheid van een controle- of monitoringssysteem’. Deze combinaties werden dus niet in de tabel opgenomen, aangezien de waarheidstabel enkel voor elke combinatie van condities die empirisch werd vastgesteld aangeeft welke cases hieraan voldoen. De QCA-literatuur biedt allerlei strategieën om met dergelijke ‘contradicties’ (o.a. Rihoux et al., 2009: 48-49 ) en remainders (o.a. Rihoux et al., 2009: 59-65) om te gaan.

  Vervolgens gaat QCA door middel van Booleaanse algebra op zoek naar een ‘minimale formule’ om de uitkomst te verklaren. Het doel van de analyse is immers om op een ‘spaarzame’ (parsimonious) manier de onderzochte cases met een bepaalde uitkomst te beschrijven in de vorm van causale paden. De algemene rekenregel die wordt gehanteerd bij het proces van Booleaanse minimalisering, is de volgende:

  a*b*c + a*B*c = F => a*c = F
  a : de afwezigheid van conditie a
  A : de aanwezigheid van conditie a
  + : en
  = : leiden tot

  Deze formule geeft aan dat ‘de afwezigheid van condities a, b en c’ of ‘de afwezigheid van condities a en c met de aanwezigheid van conditie B’ leiden tot een uitkomst F. Met andere woorden: indien condities a en c afwezig zijn, dan verschijnt, onafhankelijk van de aanwezigheid van conditie B, uitkomst F. Conditie B is dus een irrelevante conditie voor de aanwezigheid van F. Anders geformuleerd: wanneer twee Booleaanse uitdrukkingen enkel verschillen op de waarde van één enkele conditie en ze toch dezelfde uitkomst vertonen, dan kan de conditie die de twee uitdrukkingen doet verschillen, beschouwd worden als irrelevant.

  Toegepast op het hypothetisch voorbeeld geeft dit de volgende formule voor de aanwezigheid van de uitkomst: HELDERE BELEIDSDOELSTELLINGEN*STERKE BETROKKENHEID MEDEWERKERS BIJ BELEIDSVOORBEREIDING*AANWEZIGHEID CONTROLE- OF MONITORINGSSYSTEEM + HELDERE BELEIDSDOELSTELLINGEN*sterke betrokkenheid medewerkers bij beleidsvoorbereiding*AANWEZIGHEID CONTROLE- OF MONITORINGSSYSTEEM + HELDERE BELEIDSDOELSTELLINGEN*STERKE BETROKKENHEID MEDEWERKERS BIJ BELEIDSVOORBEREIDING*aanwezigheid controle-of monitoringssysteem => realisatie van de vooropgestelde beleidsoutput.

  Na minimalisering levert dit de volgende minimale formule op: HELDERE BELEIDSDOELSTELLINGEN*AANWEZIGHEID VAN CONTROLE- OF MONITORINGSSYSTEEM + HELDERE BELEIDSDOELSTELLINGEN*STERKE BETROKKENHEID MEDEWERKERS BIJ BELEIDSVOORBEREIDING => realisatie van de vooropgestelde beleidsoutput.

  Er zijn dus twee causale paden voor de realisatie van de vooropgestelde beleidsoutput, namelijk (1) ‘heldere beleidsdoelstellingen gecombineerd met de aanwezigheid van een controle- of monitoringssysteem’ en (2) ‘heldere beleidsdoelstellingen gecombineerd met een sterke betrokkenheid van medewerkers bij de beleidsvoorbereiding’. Beide combinaties vormen dus voldoende voorwaarden voor het realiseren van de uitkomst. Het is vervolgens aan de onderzoeker om op basis van theoretische en empirische kennis deze gevonden minimale formule te interpreteren en te verduidelijken.

  Nu de belangrijkste eigenschappen van QCA duidelijk zijn, gaan we in de volgende paragraaf na in welke mate deze analysemethode reeds werd toegepast in het beleidsimplementatieonderzoek.

• 4 QCA in het beleidsimplementatieonderzoek

  De voorbije jaren wezen verschillende auteurs op de meerwaarde van QCA voor beleidsonderzoek (o.a. De Meur et al., 2004; Pattyn et al., 2014; Rihoux et al., 2006; Varone et al., 2006). Toch bleef het aantal implementatiestudies waarin deze analysemethode wordt toegepast beperkt. Rihoux, Rezsöhazy en Bol (2011) onderzochten de toepassing van QCA binnen beleidsanalyse (‘public policy analysis’). Zij stelden vast dat 47 van de 143 QCA-toepassingen implementatiestudies betroffen (Rihoux, Rezsöhazy, & Bol, 2011: 21). Toch wensen we dit aantal te nuanceren. Zij delen de onderzochte studies in naargelang de fase uit de beleidscyclus: (1) ‘agenda-setting and policy initiation’, (2) ‘policy-making and policy design’, (3) ‘policy implementation and its outputs’ en (4) ‘policy evaluation’ (Rihoux et al., 2011: 19), maar bakenen deze fasen niet scherp af. In de door ons gehanteerde definitie van ‘beleidsimplementatie’ wordt de afhankelijke variabele expliciet afgebakend tot de ‘resultaten’ (zie hiervoor). Hiermee bedoelen we ‘de beleidsoutput’, namelijk de prestaties (producten of diensten) die geleverd worden als gevolg van het beleid. De beleidsoutput verschilt wezenlijk van het einddoel van het beleid, met name de beleidseffecten of beleidsoutcome: veranderde maatschappelijke actoren en factoren (Bouckaert & Auwers, 1999: 194; De Peuter et al., 2007: 38). We delen de mening van een aantal andere auteurs (o.a. Winter, 2012: 162) dat een goed inzicht in het tot stand komen van de beleidsoutput ook tot meer inzicht in het tot stand komen van het effect zal leiden. Vaak is men bij evaluatieonderzoek immers zo geïnteresseerd in het effect, dat een grondige studie van output over het hoofd wordt gezien. Om de impact van beleid echt te begrijpen is het nochtans belangrijk om te weten welke prestaties voorafgaand aan de effecten geleid hebben tot deze effecten en op welke manier.

  Wanneer de hiervoor geïntroduceerde definitie van beleidsimplementatie zou worden toegepast op de 47 QCA-studies die door Rihoux et al. (2011) als implementatiestudies worden gezien, dan zou dit aantal veel beperkter zijn. Veel van de door hen onder implementatie ondergebrachte studies (o.a. Boyer, 2007 in Rihoux, Rezsohazy & Bol, 2011; Metelits & Weber, 2008 in Rihoux, Rezsohazy & Bol, 2011; Olsen & Nomura, 2008 in Rihoux, Rezsohazy & Bol, 2011) focussen immers op de beleidsoutcome en niet op de beleidsoutput. De studies die volgens de door ons gehanteerde definitie wel als implementatiestudie gezien kunnen worden, bevinden zich bovendien voornamelijk op het nationale niveau (het ‘macroniveau’). Deze onderzoeken richten zich doorgaans op het verklaren van de prestaties van een of meerdere landen (o.a. Blatter, Kreutzer, Rentl, & Thiele, 2010; Haynes, Hill, & Banks, 2010; Sager & Rielle, 2013), waarbij onder meer wordt nagegaan welke factoren de implementatie van supranationale wet- en regelgeving kunnen beïnvloeden (o.a. Di Lucia & Kronsell, 2010; Svevo-Cianci, Hart, & Rubinson, 2010). Studies die QCA hanteren om de implementatie van beleid tussen en binnen organisaties (het ‘mesoniveau’) of op het individuele niveau (het ‘microniveau’) te bestuderen, komen veel minder voor.

  Samenvattend kan gesteld worden dat (1) het aantal implementatiestudies dat QCA hanteert beperkt is en (2) maar een deel van het volledige implementatieonderzoek door QCA gevat wordt, aangezien de focus ligt op de implementatie van beleid op nationaal niveau. Toch zijn we van mening dat QCA een belangrijke meerwaarde kan bieden voor dit type onderzoek. In de volgende paragraaf lichten we daarom toe hoe deze analysemethode een antwoord kan bieden op de hoger vermelde vier tekortkomingen van het bestaande implementatieonderzoek. Daarbij verwijzen we telkens naar het hoger geïntroduceerde voorbeeld (zie tabel 1 en 2), ter illustratie.

• 5 QCA als antwoord op de beperkingen van vier decennia beleidsimplementatieonderzoek

  Een eerste beperking betreft de onduidelijkheid en vaagheid inzake de afhankelijke variabele in implementatiestudies. Bij concrete QCA-studies kunnen de onderzoekers zich dat niet meer permitteren. Zij moeten immers bij de selectie van de cases goed weten hoe de uitkomst gedefinieerd is, aangezien zij zowel cases met uitkomst 1 als cases met uitkomst 0 nodig zullen hebben. Bovendien dwingt de vereiste dat elke uitkomst hetzij een score 0 hetzij een score 1 moet krijgen de onderzoekers om de grens tussen de aan- of afwezigheid van de uitkomst duidelijk te bepalen. Stel dat we dus de implementatie van het actieplan woninginbraken binnen een politiedienst wensen te onderzoeken. Men zou de uitkomst kunnen omschrijven als de mate waarin vooropgestelde beleidsdoelstellingen worden gerealiseerd (zie hiervoor). In het geval van crisp-set QCA zal de uitdaging daarbij zijn om precies te bepalen waar de grens ligt tussen ‘wel’ en ‘niet’ realiseren. Daar zal ook al rekening mee moeten worden gehouden bij de steekproeftrekking. In een eerste verkennende analyse kunnen dan de oorspronkelijke beleidsdoelstellingen worden vergeleken met bijvoorbeeld jaarverslagen, zodat kan worden ingeschat welke politiekorpsen de eerder bepaalde beleidsdoelstellingen al dan niet gerealiseerd hebben. Op die manier kunnen er voldoende cases met een ‘0’ en ‘1’ score in de analyse betrokken worden.

  Een tweede beperking heeft betrekking op het grote aantal onafhankelijke variabelen waarvan wordt verondersteld dat die de implementatie van beleid kunnen beïnvloeden. Hoger werd geargumenteerd dat onderzoekers zich zouden moeten focussen op de ‘kritieke’ implementatie beïnvloedende variabelen en dat men bovendien het best de invloed van combinaties van variabelen zou onderzoeken, eerder dan variabelen apart. QCA kan hier op twee verschillende manieren aan tegemoetkomen. Omdat het niet mogelijk is om een groot aantal condities in de analyse te betrekken (zie hiervoor), wordt de onderzoeker ten eerste gedwongen om deze weloverwogen te selecteren. Die condities waarvan in de literatuur wordt gesuggereerd dat ze de grootste verklarende kracht hebben, worden in de analyse betrokken. Ten tweede richt QCA zich op de identificatie van de causale paden die leiden tot een bepaalde uitkomst. Men zoekt naar de condities of combinatie van condities die noodzakelijk of voldoende zijn voor de realisatie van de uitkomst. QCA biedt aldus een kader voor een rijkere en genuanceerdere theorievorming dan de eenvoudige juxtapositie van individuele onafhankelijke variabelen uit het traditionele implementatieonderzoek. Toch moeten we in het achterhoofd houden dat deze analysemethode causaliteit beschouwt als ‘context- and conjuncture-sensitive’ (zie hiervoor). Deze eigenschap betreft zowel een sterkte als een zwakte. QCA slaagt erin om bij de systematische vergelijking van de cases aandacht te hebben voor hun specifieke context. Dit impliceert echter ook dat de gevonden resultaten sterk afhankelijk kunnen zijn van deze context en de in de analyse betrokken cases (o.a. Marx, Cambré, & Rihoux, 2013: 39; Rihoux, 2003: 359). Het hypothetische voorbeeld toonde al hoe QCA tot vernieuwende inzichten in het beleidsimplementatieonderzoek kan leiden. Zo bleken twee combinaties van condities voldoende voor de realisatie van de vooropgestelde beleidsoutput, namelijk (1) ‘heldere beleidsdoelstellingen gecombineerd met de aanwezigheid van een controle- of monitoringssysteem’ en (2) ‘heldere beleidsdoelstellingen gecombineerd met een sterke betrokkenheid van medewerkers bij de beleidsvoorbereiding’. De afzonderlijke condities bleken dus geen rol te spelen voor het genereren van de uitkomst. Enkel wanneer deze samen voorkomen, beïnvloeden ze de beleidsoutput. QCA slaagt er dus in om uit de grote hoeveelheid implementatie beïnvloedende variabelen de relevante condities te identificeren en na te gaan hoe deze in combinatie met elkaar een rol kunnen spelen voor de uitkomst.

  Een derde methodologische beperking van het huidige implementatieonderzoek betreft het gebruik van een te klein aantal cases in implementatieonderzoek. QCA werd net ontwikkeld voor meervoudig casestudieonderzoek waarbij een middelgroot aantal cases systematisch met elkaar wordt vergeleken.

  Een vierde methodologische beperking in het implementatieonderzoek betreft het gebrek aan hypotheseformulering en -toetsing. QCA wil doorgaans bestaande theorieën en hypothesen deductief toetsen. Deze worden bij voorkeur in termen van noodzakelijke en voldoende voorwaarden geformuleerd. Toch blijkt dit niet altijd evident. Vaak biedt bestaande literatuur weinig aanknopingspunten voor configurationele hypothesen en is de onderzoeker aangewezen op zijn theoretische en/of empirische kennis om deze te formuleren. Dit verwijst echter naar een andere vaak aangehaalde doelstelling van QCA, namelijk ‘developing new theoretical arguments in the form of hypotheses’ (Berg-Schlosser et al., 2009b: 16). Doordat de onderzoeker wordt gedwongen om vernieuwende configurationele hypothesen te formuleren, kunnen innovatieve theoretische ideeën empirisch worden getest. Zowel deze deductieve als de meer inductieve aanpak in QCA blijkt dus nuttig voor theorietesting en -ontwikkeling. Voor het hypothetische voorbeeld werden twee hypothesen in termen van noodzakelijk en voldoende geformuleerd (zie hiervoor). De tweede hypothese werd na de analyse bevestigd. Het is duidelijk dat dergelijke hypotheseformulering een grondige kennis van de beschikbare literatuur of onderzochte cases vereist.

• 6 Algemene conclusie

  Door haar specifieke eigenschappen kan Qualitative Comparative Analysis, zowel in de vorm van crisp-set, multi-value of fuzzy-set QCA, een belangrijke meerwaarde bieden voor implementatieonderzoek. Onder meer de identificatie van de verschillende causale paden die het beleidsimplementatieproces beïnvloeden of de bepaling van de condities of combinaties van condities die noodzakelijk of voldoende zijn voor een uitkomst, kan zorgen voor een innovatieve aanpak in implementatiestudies. Op die manier kan QCA een belangrijke bijdrage leveren aan theorieontwikkeling in het implementatiedomein. Een voor de hand liggende volgende stap betreft dan ook het daadwerkelijk durven toepassen van deze analysemethode in implementatieonderzoek. Hoewel enkele onderzoekers deze stap reeds hebben gezet, blijft het aantal QCA-toepassingen binnen dit onderzoeksdomein beperkt. Enkel door de empirische toepassing van deze analysemethode kunnen mogelijke valkuilen worden geïdentificeerd en suggesties voor verbetering worden geformuleerd.

  Hoe groot de voordelen van QCA ook zijn, het is uiteraard geen panacee. Ook deze analysemethode heeft haar beperkingen. We denken hierbij bijvoorbeeld aan het omgaan met contradicties en theoretische of logische cases, waarbij combinaties van condities die empirisch niet voorkomen in de analyse worden betrokken (o.a. Markoff, 1990; Romme, 1995). Ook de transformatie van ruwe data naar een 0 of 1 score in het geval van crisp set QCA, wat zou kunnen leiden tot het verlies van contextinformatie, wordt gezien als een beperking. Meer algemeen laat de werkelijkheid zich niet altijd vatten in noodzakelijke en voldoende voorwaarden. Informatie over processuele aspecten en de concrete sequentie van de gebeurtenissen gaat bijvoorbeeld vaak verloren bij de ‘vertaling’ in de door QCA vereiste terminologie. Maar ook vanuit het tegenovergestelde perspectief kan op de beperkingen van QCA gewezen worden. Sommigen (o.a. Goldthorpe, 1997) vinden QCA juist te contextgevoelig en wijzen op het risico dat de resultaten zo te afhankelijk worden van de geselecteerde condities en cases. Empirisch onderzoek zal moeten aantonen in welke mate dergelijke moeilijkheden problematisch zijn voor implementatiestudies en hoe deze kunnen worden aangepakt.

Literatuur

• Alexander, L.D. (1985). Succesfully implementing strategic decisions. Long Range Planning, 18(3), 91-97.

• Berg-Schlosser, D. & De Meur, G. (2009). Comparative research design: case and variable selection. In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 19-32). Thousand Oaks: Sage.

• Berg-Schlosser, D., De Meur, G., Rihoux, B., & Ragin, C.C. (2009a). Qualitative Comparative Analysis (QCA) as an approach. In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 1-18). Thousand Oaks: Sage.

• Berg-Schlosser, D., De Meur, G., Rihoux, B., & Ragin, C.C. (2009b). Qualitative Comparative Analysis (QCA) as an approach. In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 1-18). Thousand Oaks: Sage.

• Berman, P. (1980). Thinking about programmed and adaptive implementation: matching strategies to situations. In H.M. Ingram & D.E. Mann (Eds.), Why policies succeed or fail (pp. 205-227). Beverly Hills: Sage.

• Birkland, T.A. (2011). Policy implementation, failure and learning. In T.A. Birkland (Ed.), An introduction to the policy process: theories, concepts and models of public policy making (pp. 263-286). Armonk: Sharpe.

• Blatter, J., Kreutzer, M., Rentl, M., & Thiele, J. (2010). Preconditions for foreign activities of European regions: tracing causal configurations of economic, cultural, and political strategies. Publius: the journal of federalism, 40(1), 171-199.

• Bouckaert, G. & Auwers, T. (1999). Prestaties meten in de overheid. Brugge: Die Keure.

• Cronqvist, L. & Berg-Schlosser, D. (2009). Multi-Value QCA (mvQCA). In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 69-86). Thousand Oaks: Sage.

• DeLeon, P. (1999). The missing link revisited: contemporary implementation research. Policy Studies Review, 16(3/4), 311-338.

• De Meur, G., Rihoux, B., & Varone, F. (2004). L’analyse quali-quantitative comparée (AQQC): un outil innovant pour l’étude de l’action publique. Pyramides, 8, 137-148.

• De Peuter, B., De Smedt, J., & Bouckaert, G. (2007). Handleiding beleidsevaluatie: deel 1: evaluatiedesign en -management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

• Di Lucia, L. & Kronsell, A. (2010). The willing, the unwilling and the unable - explaining implementation of the EU Biofuels Directive. Journal of European Public Policy, 17(4), 545-563.

• Edwards, G.C. (1980). Implementing public policy. Washington DC: Congressional Quarterly Press.

• Giles, W.D. (1991). Making strategy work. Long Range Planning, 24(5), 75-91.

• Goggin, M.L. (1986). The ‘too few cases/too many variables’ problem in implementation research. The Western Political Quarterly, 39(2), 328-347.

• Goldthorpe, J.H. (1997). Current issues in comparative macrosociology: a debate on methodological issues. Comparative Social Research, 16, 1-26.

• Greckhamer, T., Misangyi, V., & Fiss, P.C. (2013). The two QCAs: small- and large-N comparative approaches in organization studies. In P. Fiss, B. Cambre, & A. Marx (Eds.), Configurational theory and methods in organizational research (pp. 49-75). Bingley: Emerald.

• Hargrove, E.C. (1975). The missing link: the study of the implementation of social policy. Washington, DC: Urban Institute.

• Hasenfeld, Y. & Brock, T. (1991). Implementation of social policy revisited. Administration & Society, 22(4), 451-479.

• Haynes, P., Hill, M., & Banks, L. (2010). Older people’s family contacts and long-term care expenditure in OECD countries: a comparative approach using qualitative comparative analysis. Social Policy & Administration, 44(1), 67-84.

• Hill, H.C. (2003). Understanding implementation: street-level bureaucrats’ resources for reform. Journal of Public Administration Research and Theory, 13(3), 265-282.

• Hill, M. & Hupe, P. (2002). Implementing public policy: governance in theory and practice. Londen: Sage.

• Hill, M. & Hupe, P. (2009). Implementing public policy: an introduction to the study of operational governance. Londen: Sage.

• Hogwood, B.W. & Gunn, L.A. (1984). Policy analysis for the real world. Oxford: Oxford University Press.

• Jann, W. & Wegrich, K. (2007). Theories of the policy cycle. In F. Fischer, G.J. Miller, & M.S. Sidney (Eds.), Handbook of public policy analysis. Theory, politics and methods (pp. 43-62). Boca Raton: CRC Press/Taylor & Francis.

• John, P. (1998). Analysing public policy. London: Pinter.

• Lester, J.P., Bowman, A.O., Goggin, M.L., & O’Toole, L.J. (1987). Public policy implementation: evolution of the field and agenda for future research. Policy Studies Review, 7(1), 200-216.

• Lipsky, M. (1980). Street-level bureaucracy: dilemmas of the individual in public services. New York: Russell Sage Foundation.

• Markoff, J. (1990). A comparative method: reflections on Charles Ragin’s innovations in comparative analysis. Historical Methods, 23(4), 177-181.

• Marx, A., Cambré, B., & Rihoux, B. (2013). Crisp-set qualitative comparative analysis in organizational studies. In P. Fiss, B. Cambre, & A. Marx (Eds.), Configurational theory and methods in organizational research (pp. 23-47). Bingley: Emerald.

• Marx, A. & Dusa, A. (2011). Crisp-set qualitative comparative analysis (csQCA), contradictions and consistency: benchmarks for model specification. Methodological Innovations, 6(2), 103-148.

• Matland, R.E. (1995). Synthesizing the implementation literature: the ambiguity-conflict model of policy implementation. Journal of Public Administration Research and Theory, 5(2), 145-174.

• Mazmanian, D.A. & Sabatier, P.A. (1983). Implementation and public policy. Chicago: Scott Foresman & Co.

• McLaughlin, M.W. (1987). Learning from experience: lessons from policy implementation. Educational Evaluation and Policy Analysis, 9(2), 171-178.

• O’Toole, L.J. (1986). Policy recommendations for multi-actor implementation: an assessment of the field. Journal of Public Policy, 6(2), 181-210.

• O’Toole, L.J. (2000). Research on policy implementation: assessment and prospects. Journal of Public Administration Research and Theory, 10(2), 263-288.

• Palumbo, D.J., Maynard-Moody, S., & Wright, P. (1984). Measuring degrees of successful implementation: achieving policy versus statutory goals. Evaluation Review, 8(1), 45-74.

• Pattyn, V., Gerrits, L.M., & Verweij, S. (2015). Qualitative Comparative Analysis: meer behorend bij de kwalitatieve dan de kwantitatieve benadering. KWALON, 20(3), 26-33.

• Pattyn, V. & Verweij, S. (2014). Beleidsevaluaties tussen methode en praktijk: naar een meer realistische evaluatiebenadering. Burger, Bestuur en Beleid, 8(4), 260-267.

• Paudel, N.R. (2009). A critical account of policy implementation theories: status and reconsideration. Nepalese Journal of Public Policy and Governance, xxv(2), 36-54.

• Pressman, J.L. & Wildavsky, A. (1973). Implementation: how great expectations in Washington are dashed in Oakland: or, why it’s amazing that Federal programs work at All, this being a saga of the economic development administration as told by two sympathetic observers who seek to build morals on a foundation of ruined hopes. Berkeley, CA: University of California Press.

• Ragin, C.C. (1987). The comparative method: moving beyond qualitative and quantitative strategies. Berkeley: University of California Press.

• Ragin, C.C. (1999). Using qualitative comparative analysis to study causal complexity. Health Services Research, 34(5), 1225-1239.

• Ragin, C.C. (2000). Fuzzy-set social science. Chicago: The University of Chicago Press.

• Ragin, C.C. (2008). Redesigning social inquiry: fuzzy sets and beyond. Chicago: The University of Chicago Press.

• Ragin, C.C. (2009). Qualitative Comparative Analysis Using Fuzzy Sets (fsQCA). In B. Rihoux & C. C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 87-121). Thousand Oaks: Sage.

• Rein, M. & Rabinovitz, F.F. (1978). Implementation: a theoretical perspective. In W.D. Burnham & M.W. Weinberg (Eds.), American Politics and Public Policy (pp. 307-335). Cambridge, MA: MIT Press.

• Rihoux, B. (2003). Bridging the gap between the qualitative and quantitative worlds? A retrospective and prospective view on Qualitative Comparative Analysis. Field Methods, 15(4), 351-365.

• Rihoux, B. (2006). Qualitative Comparative Analysis (QCA) and related systematic comparative methods. Recent advances and remaining challenges for social science research. International Sociology, 21(5), 679-706.

• Rihoux, B. & De Meur, G. (2009). Crisp-Set Qualitative Comparative Analysis (csQCA). In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 33-68). Thousand Oaks: Sage.

• Rihoux, B. & Grimm, H. (2006). Introduction. Beyond the qualitative-quantitative divide: innovative comparative methods for policy analysis. In B. Rihoux & H. Grimm (Eds.), Innovative comparative methods for policy analysis: beyond the quantitative-qualitative divide (pp. 1-9). New York: Springer.

• Rihoux, B. & Lobe, B. (2009). The case for Qualitative Comparative Analysis (QCA): adding leverage for thick cross-case comparison. In D. Byrne & C.C. Ragin (Eds.), The SAGE handbook of case-based methods (pp. 222-242). Los Angeles: Sage.

• Rihoux, B. & Marx, A. (2013). QCA, 25 years after ‘The comparative method’: mapping, challenges, and innovations - Mini - symposium. Political Research Quarterly, 66(1), 167-235.

• Rihoux, B. & Ragin, C.C. (2009). Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques. Thousand Oaks: Sage.

• Rihoux, B., Rezsöhazy, I., & Bol, D. (2011). Qualitative Comparative Analysis (QCA) in public policy analysis: an extensive review. German Policy Studies, 7(3), 9-82.

• Romme, A.G.L. (1995). Boolean comparative analysis of qualitative data: a methodological note. Quality and quantity, 29(4), 317-329.

• Ryan, N. (1995). Unravelling conceptual developments in implementation analysis. Australian Journal of Public Administration, 54(1), 65-80.

• Sabatier, P. & Mazmanian, D. (1980). The implementation of public policy: a framework of analysis. Policy studies journal, 8(4), 538-560.

• Saetren, H. (2014). Implementing the third generation research paradigm in policy implementation research: an empirical assessment. Public policy and administration, 29(2), 84-105.

• Sager, F. & Rielle, Y. (2013). Sorting through the garbage can: under what conditions do governments adopt policy programs? Policy sciences, 46(1), 1-21.

• Schneider, A.L. (1982). Studying policy implementation: a conceptual framework. Evaluation Review, 6(6), 715-730.

• Schneider, C.Q. & Wagemann, C. (2010). Standards of good practice in qualitative comparative analysis (QCA) and fuzzy-sets. Comparative Sociology, 9(3), 1-22.

• Schneider, C.Q. & Wagemann, C. (2012). Set-theoretic methods for the social sciences. A guide to qualitative comparative analysis. Cambridge: Cambridge University Press.

• Schofield, J. (2001). Time for a revival? Public policy implementation: a review of the literature and an agenda for future research. International Journal of Management Reviews, 245-263.

• Slack, J.D. (2005). Limitations in policy implementation research: an introduction to the symposium. Public Administration Quarterly, 29(1/2), 3-6.

• Smith, T.B. (1973). The policy implementation process. Policy sciences, 4(2), 197-209.

• Svevo-Cianci, K.A., Hart, S.N., & Rubinson, C. (2010). Protecting children from violence and maltreatment: a qualitative comparative analysis assessing the implementation of U.N. CRC Article 19. Child Abuse & Neglect: The International Journal, 34(1), 45-56.

• Van Meter, D.S. & Van Horn, C.E. (1975). The policy implementation process: a conceptual framework. Administration & Society, 6(4), 445-488.

• Varone, F., Rihoux, B., & Marx, A. (2006). A new method for policy evaluation? Longstanding challenges and the possibilities of Qualitative Comparative Analysis (QCA). In B. Rihoux & H. Grimm (Eds.), Innovative comparative methods for policy analysis: beyond the quantitative-qualitative divide (pp. 213-236). New York: Springer.

• Verweij, S. & Gerrits, L.M. (2012). Systematische kwalitatieve vergelijkende analyse. KWALON, 17(3), 25-33.

• Verweij, S. & Gerrits, L.M. (2013). Understanding and researching complexity with Qualitative Comparative Analysis: Evaluating transportation infrastructure projects. Evaluation, 19(1), 40-55.

• Vink, M.P. & Van Vliet, O. (2009). Not quite crisp, not yet fuzzy? Assessing the potentials and pitfalls of multi-value QCA. Field Methods, 21(3), 265-289.

• Vis, B. (2012). The comparative advantages of fsQCA and regression analysis for moderately large-N analyses. Sociological Methods and Research, 41(1), 168-198.

• Wagemann, C. & Schneider, C.Q. (2010). Qualitative Comparative Analysis (QCA) and fuzzy-sets: agenda for a research approach and a data analysis technique. Comparative Sociology, 9, 376-396.

• Winter, S.C. (2006). Implementation. In G. B. Peters & J. Pierre (Eds.), Handbook of public policy (pp. 151-166). London: Sage.

• Winter, S.C. (2012). Implementation. In B. G. Peters & J. Pierre (Eds.), The Sage Handbook of Public Administration (pp. 255-263). Londen: Sage.

• Yamasaki, S. & Rihoux, B. (2009). A commented review of applications. In B. Rihoux & C.C. Ragin (Eds.), Configurational comparative methods: qualitative comparative analysis (QCA) and related techniques (pp. 123-145). Thousand Oaks: Sage.

Noten

• 1 Hoewel dit probleem door Goggin (1986) werd omschreven als een methodologische beperking, kan dit ook als een meer praktisch probleem worden gezien. Onderzoekers hebben immers niet steeds de middelen (financiële middelen, tijd) om een groot aantal cases diepgaand te onderzoeken.

• 2 De ‘cases’ in dit voorbeeld betreffen dus organisaties. De bruikbaarheid van QCA blijft echter niet beperkt tot dit ‘mesoniveau’. Meerdere auteurs (o.a. Berg-Schlosser, De Meur, Rihoux, & Ragin, 2009a: 3-4) suggereren dat deze analysemethode ook geschikt is voor onderzoek op het nationale (‘macro’) en individuele (‘micro’) niveau.