Inleiding

Internationaal zien we het laatste decennium een grotere vraag naar rationalisering en professionalisering van het beleidsproces ontstaan, een vraag die onder meer ingegeven wordt door de stijgende onzekerheid en complexiteit van de issues waarmee beleidsmakers te maken krijgen. De relatief recente trend van ‘evidence-based policy’ (en van evidence-based practice) ligt in het verlengde hiervan.
De aandacht voor evidence-based policy neemt ook in België toe, waar ze vooral zichtbaar wordt op Vlaams niveau. Vanuit de Vlaamse overheid ontstond rond 2000 een grotere vraag naar een wetenschappelijke onderbouwing van het beleid (EWI, 2003), wat onder meer resulteerde in het oprichten van een Studiedienst van de Vlaamse Regering en van de Steunpunten voor Beleidsrelevant Onderzoek (waarbij de overheid een aantal brede thematische beleidsprioriteiten groepeert waarop universitaire onderzoeksequipes kunnen intekenen en die resulteren in vier jaar contractuele samenwerking). Verder zijn ook de sterkere coördinatie en het institutioneel verankeren van beleidsrelevant onderzoek opmerkelijk. In tegenstelling tot de situatie in Nederland wordt het beleidsondersteunend onderzoek in België bijna uitsluitend door overheidsinstellingen zoals universiteiten of hogescholen, dan wel intern binnen de overheid zelf, gevoerd. De praktijk van consultancybedrijven die zich richten op beleidsonderzoek is schaars en er is eerder sprake van een verambtelijking, waarbij de overheid zelf onderzoek gaat doen (zie ook Devroe, 2010), in plaats van een vermarkting (Hoppe, 2002) van het Belgische beleidsonderzoek. Initiatieven zoals de Steunpunten vormen het bewijs van een belangrijke inzet op mechanismen om de kloof tussen beleid en wetenschap te verminderen. De Steunpunten verrichten beleidsvoorbereidend onderzoek en zijn gebaseerd op een win-winsituatie. De wetenschappelijk onderzoekers hebben meer stabiliteit door een langduriger tewerkstelling (beleidsrelevant onderzoek is meestal van korte duur, wat resulteert in een outflow van capabele onderzoekers). De overheid kan door een langdurig samenwerkingsverband met een bepaalde onderzoeksgroep meer kennis consolideren alsook de te onderzoeken thema’s tijdens het proces verder afstemmen en differentiëren in functie van de zich ontwikkelende beleidsproblematieken. De Studiedienst van de Vlaamse regering doet aan onderzoek naar demografische, sociaal-maatschappelijke en macro-economische ontwikkelingen, regionale statistieken en adviseert andere overheidsdiensten met betrekking tot monitoring en beleidsevaluatie.

Ondanks de toegenomen aandacht voor evidence-based policy blijft de kennis over kennisgebruik door beleidsmakers en de eigenlijke doorwerking van sociaalwetenschappelijk onderzoek (vanaf nu afgekort als SWO) tot nog toe tamelijk beperkt (Brans et al., 2004; Henry & Mark, 2003). Het merendeel van de literatuur is ook Anglo-Amerikaans en kan niet zomaar geëxtrapoleerd worden naar landen met een ander politiek systeem. Het ontbreekt vooral aan empirisch onderzoek.

Doelstelling en methode

Dit artikel is gebaseerd op een doctoraatsonderzoek naar doorwerking en kennisgebruik van sociaalwetenschappelijk onderzoek (Smet, 2013). Centraal in het artikel staan volgende vragen:

• Is er in Vlaanderen reeds sprake van een evidence-based policy en hoe wordt ‘evidence-based’ ingevuld door beleidsmakers?

• Schept de toegenomen aandacht voor evidence-based policy betere voorwaarden voor de doorwerking van SWO?

• Welke rol zien beleidsmakers voor SWO? Wat zijn voor beleidsmakers de belangrijkste gebruiksverhogende factoren en de belangrijkste obstakels? Komen de onderzoekers hieraan tegemoet en hoe?

Er werd gebruikgemaakt van een multi-methodisch onderzoeksdesign, met name een combinatie van een literatuurstudie, een citaats- en inhoudsanalyse van Vlaamse parlementaire bronnen (1995-2010, N = 163) en een online bevraging (in 2010) van Vlaamse universitaire onderzoekers uit de sociale wetenschappen (N = 641) en Vlaamse beleidsmakers (N = 97).

Gelet op de beperkte kennis inzake kennisgebruik op de verschillende beleidsniveaus en aangezien uit onderzoek bleek dat de beleidsvormingsrol van ambtenaren onderschat wordt (Van Coppenolle, 2009), werd beslist om alle groepen beleidsmakers/beleidsniveaus binnen de Vlaamse overheid te bevragen: in se de kabinetten, departementen en de agentschappen (de zgn. IVA’s en EVA’s) (tabel 1). De departementen dienen bij te dragen aan zowel de beleidsvoorbereiding als -evaluatie van de beleidsuitvoering. Ze dienen ook het beleidsgericht onderzoek aan te sturen en de resultaten ervan aan te wenden, wat ze een relevante groep maakt voor de vraag naar kennisgebruik. De agentschappen dienen beleidsrelevante informatie aan te leveren voor de beleidsevaluatie en staan verder in voor de beleidsuitvoering. Intern verzelfstandigde agentschappen (IVA’s) behoren tot een ministerie en worden van nabij door de minister aangestuurd. Samen met het departement vormen zij het Vlaams Ministerie van een beleidsdomein. Extern verzelfstandigde agentschappen (EVA’s) maken geen deel uit van het ministerie. Ze hebben een eigen raad van bestuur en een eigen rechtspersoonlijkheid. De grootste groep respondenten werkt voor het beleidsdomein Bestuurszaken, gevolgd door Onderwijs & Vorming en daarna Cultuur, Jeugd, Sport & Media. 61,4% werkt reeds meer dan vijf jaar in hetzelfde beleidsdomein, hetgeen toont dat de respondenten aanzienlijk vertrouwd zijn met hun domein.

Zowel onderzoekers die reeds onderzoek voor de overheid deden als onderzoekers die dit niet deden werden bevraagd, in functie van de identificatie van mogelijke verschillen tussen deze groepen, niet alleen op het niveau van onderzoeksthema’s, aantal onderzoeken en publicaties, maar ook op het vlak van de disseminatie van onderzoeksresultaten. De onderzoekers die reeds opdrachtonderzoek deden, kregen een aantal bijkomende vragen voorgelegd.

De survey bestond uit meerkeuzevragen, rangschikkingsvragen en een aantal stellingen (5-punt Likertschaal) rond de topics kennisgebruik en doorwerking en de variabelen omtrent deze topics die in de literatuur werden geïdentificeerd. Deze topics vielen onder volgende categorieën:

• kenmerken van de informatie (kwaliteit van het onderzoek, relevantie van het onderzoek in beleidskringen, adaptaties met het oog op een grotere doorwerking, enz.);

• kenmerken van de onderzoeker/onderzoeksgroep (expertise, attitude ten aanzien van adaptatie, disseminatie, reputatie, enz.);

• kenmerken van de interactie (linking mechanisms, gedeelde probleemdefinitie, hoeveelheid beschikbare wetenschappelijke informatie, enz.);

• kenmerken van de gebruiker (betrokkenheid bij het onderzoeksproces, ontvankelijkheid ten aanzien van outside information en wetenschappelijk onderzoek, enz.);

• politiek-ideologische context (welgevalligheid van onderzoeksresultaten, supportive policy environment, eigenheid van het besluitvormingsproces, enz.).

Per topic werd de mogelijkheid gegeven om bijkomende opmerkingen te maken. Er werd met een vraaglogica gewerkt, waardoor respondenten voor wie bepaalde vragen niet van toepassing waren (bijvoorbeeld beleidsmakers die niet in contact komen met onderzoek of onderzoekers die geen opdrachtonderzoek doen), automatisch werden doorverwezen naar de verdere vragen.

1 Evidence-based policy: what’s in a name?

België en Vlaanderen lijken de internationale tendens naar een roep om meer evidence-based policy (hierna afgekort als EBP) te volgen (Devos & Verlet, 2010; Devroe et al., 2008; Devroe & Ponsaers, 2008). De term evidence-based policy komt regelmatig voor in het Vlaamse beleidsdiscours. Een belangrijke vraag die echter zelden wordt gesteld, is wat beleidsmakers precies verstaan onder evidence-based policy. EBP lijkt een begrip dat ‘supposé connu’ is, het blijkt moeilijk om een eenduidige definitie te vinden (zie ook Baum et al., 2013; Young et al., 2002).

1.1 Definiëring van EBP

In brede zin kunnen we evidence-based policy opvatten als ‘wetenschappelijk gefundeerd beleid’, wat inhoudt dat wetenschappelijke kennis input kan leveren in elke fase van het beleidsproces (Davies, 2004). Een belangrijke voorwaarde hierbij is het gebruik van verschillende en internationale wetenschappelijke studies (Pawson, 2006). Daarnaast bestaat er ook een engere definitie van EBP, namelijk beleid dat zich baseert op ‘what works’ (Hope, 2004). In deze visie op EBP zien we voornamelijk een grote rol voor evaluerend onderzoek weggelegd en wordt voornamelijk invloed verwacht in de fase van de beleidsevaluatie. Deze beleidsevaluatie manifesteert zich vaak in de vorm van monitoring en effectmetingen.

Verder wordt soms ook een onderscheid gemaakt tussen evidence-based en evidence-informed (knowledge informed) policy (Devroe, 2010; Nevo & Slolim-Nevo, 2011), waarbij beleidsmakers zich bij het laatste wel laten informeren door ‘evidence’, maar de genomen beslissingen niet noodzakelijk voortvloeien uit deze bewijzen (cfr. het subtiele verschil tussen kennisgebruik en doorwerking, zie o.m. Kirkhart, 2000).

Bovenstaande definities van EBP maken duidelijk dat de invulling van ‘evidence’ kan verschillen. Alvorens na te kunnen gaan of er sprake is van EBP, is het dan ook van belang om te weten welke specifieke invulling van ‘evidence-based policy’ beleidsmakers hanteren.

1.2 Hoe vullen beleidsmakers evidence-based in?

Aan de hand van een citaats- en inhoudsanalyse van de Vlaamse parlementaire documenten (documenten tussen 1995 en 2010, N = 163) werd het voorkomen en de invulling van de term ‘evidence-based’ (voortaan afgekort als EB) nagegaan. Bij alle bronnen waarin de term EB voorkwam, werd ook gecontroleerd of en welke studieverwijzingen aanwezig waren.

In meer dan de helft van de bronnen waarin de term EB voorkwam, bleek EB niet gedefinieerd te worden (59,9%, N = 97). Wanneer EB wel ingevuld werd, wordt voornamelijk verwezen naar wetenschappelijk onderzoek (32,1%, N = 52). De term ‘wetenschappelijk onderzoek’ blijkt op beleidsniveau evenwel behoorlijk ruim te worden opgevat. Voorbeelden van wat als wetenschappelijk onderzoek wordt geclassificeerd, zijn de overheid die zelf aan onderzoek doet (het bevolkingsonderzoek, de veiligheidsmonitor, bevragingen door Kind & Gezin, enz.), werken met een instituut dat zegt wetenschappelijk te onderbouwen (bijv. Sensoa), of met een centrum dat internationale publicaties tegen betaling toegankelijk maakt (bijv. CEBAM). Ook praktijkkennis en kennis van ervaringsdeskundigen worden in de beleidsdocumenten beschouwd als wetenschappelijk bewijs.

EB als het monitoren, het opstellen van indicatoren, het uitvoeren van effectmetingen en het evalueren van beleid scoort bijzonder laag in de geanalyseerde beleidsdocumenten (4,3%, N = 7). Dit doet ons besluiten dat de cultuur van EBP in termen van evaluatie en bijbehorende monitoring nog niet sterk is doorgedrongen op het Vlaamse beleidsniveau (zie ook De Peuter, 2008), en dat bij het bestuderen van Vlaams beleid in termen van EBP beter gebruik kan worden gemaakt van de ruime definitie van op (wetenschappelijk) bewijs gebaseerd beleid in plaats van EBP te gaan verengen tot louter ‘what works’.

Ietwat verrassend bleek in 90,2% van de documenten waarin de term EB voorkwam (N = 147) géén verwijzing naar een (reeds afgewerkte) studie terug te vinden. In totaal vinden we slechts in 16 van de onderzochte documenten een verwijzing naar één of meerdere studies: 10 bronnen verwijzen naar één studie, 6 naar meerdere studies. Van de 16 documenten met een studieverwijzing wordt in de helft van de gevallen naar internationale studies verwezen. Het aantal studieverwijzingen blijkt niet toe te nemen over de tijd. Dit komt niet overeen met een belangrijke basisvoorwaarde om van EBP te kunnen spreken, namelijk het gebruik van meerdere én internationale studies (Pawson, 2006). Het lijkt er verder op dat onderzoek eerder lukraak wordt gekozen, in functie van legitimatie van het gevoerde beleid of een te nemen beleidsbeslissing (ook bekend als ‘symbolisch kennisgebruik’, zie het volgende punt), meer dan dat een systematische aanpak aan de basis van de keuze ligt. Ook blijft hetzelfde onderzoek over de jaren heen terugkeren als bron.

De citaats- en inhoudsanalyse toonde verder aan dat de focus op EBP sterk afhankelijk is van wie Minister is en welke klemtonen die wil leggen, meer dan tot welke partij die behoort. Ministers uit eenzelfde partij kunnen zelfs binnen hetzelfde beleidsdomein een sterk verschillende aanpak hanteren wat betreft de wetenschappelijke onderbouwing van hun beleid (Smet, 2013).

Uit onderzoek blijkt verder dat de evaluatiemotieven in de klassieke EBP-domeinen (gezondheid, welzijn, onderwijs) lager liggen dan verwacht en sterk fluctueren (De Peuter, 2008), alsook dat beleidsevaluatie in hoofdzaak een interne aangelegenheid is, die niet wordt uitbesteed aan wetenschappelijk onderzoekers (Devroe, 2010; Vande Walle et al., 2010). Wat de rol van SWO in de beleidsevaluatie betreft, zijn de bevraagde Vlaamse beleidsmakers verdeeld. De Vlaamse onderzoekers waarderen evaluatie als mogelijke functie van wetenschappelijk onderzoek eerder laag (zie verder) en blijken het minst vaak aan evaluatieonderzoek in opdracht van het beleid te doen (Smet, 2013). Al deze vaststellingen wijzen erop dat de rol die SWO en onderzoekers kunnen spelen op het niveau van de beleidsevaluatie, tamelijk beperkt is. De cultuur van de beleidsevaluatie is nog onvoldoende ingeburgerd. Als er al aan evaluatie wordt gedaan, is dit voornamelijk een intern proces waar in het beste geval wetenschappelijk onderzoekers de middelen voor de evaluatie (indicatoren, monitor) aanreiken (zie ook Vande Walle et al., 2010) en waarbij we voornamelijk een verambtelijking van de beleidsevaluatie zien (zie ook De Peuter, 2008).

Het is van belang om dieper in te gaan op de mogelijke vormen van doorwerking en kennisgebruik en de mate waarin deze voorkomen binnen het beleidsproces.

2 Doorwerking en kennisgebruik

2.1 Vormen van kennisgebruik en prevalentie

Traditioneel worden drie vormen van kennisgebruik onderscheiden (Cross et al., 2000; Huberman, 1992; Rich, 1991; Weiss, 1999; Weiss & Bucuvalas, 1980):

• Instrumenteel kennisgebruik impliceert het direct gebruik/implementeren van kennis/gegevens bij het vormgeven van beleid, wat resulteert in een gedragswijziging of wijziging van de praxis (Huberman, 1992; NCCDR, 1996). De kennis wordt aangewend om een probleem op te lossen, of om een keuze te maken over de wijze waarop een issue moet worden aangepakt.

• Conceptueel kennisgebruik beïnvloedt de wijze waarop over een bepaald thema wordt gedacht: er vindt een verandering in denkpatronen plaats en/of bepaalde concepten raken ingeburgerd. Deze vorm van gebruik wordt ook wel cognitief gebruik genoemd, of omschreven als ‘enlightenment’ (Weiss, 1977).

• Symbolisch kennisgebruik kent vele benamingen (politiek/strategisch/persuasief/legitimerend/tactisch gebruik) en houdt in dat beleidsmakers kennis gebruiken voor een doel dat weinig van doen heeft met de inhoud van het onderzoek (zie o.m. Ponsaers, 1999). Beleidsmakers kunnen kennis gebruiken ter legitimatie voor hun beslissingen, handelen of niet-handelen, als ammunitie, om te beïnvloeden (persuasief), enzovoort. Politiek gebruik is, met andere woorden, erg selectief: onderzoek dat overeenkomt met specifieke behoeften of idealen wordt opgepikt; wat wringt of kritisch staat ten opzichte van de uitgangspunten of behoeften, wordt niet gebruikt (zie o.m. Peters & Walgrave, 2000). We merken op dat politiek kennisgebruik ondanks de negatieve connotatie daarom niet altijd met slechte bedoelingen gebeurt. Zo kan onderzoek emanciperend werken en gebruikt worden om een publiek of politiek gecontesteerde maatregel een groter draagvlak te geven (Coleman, 1978; Patterson & Redding, 1996). Ook kan het gebruikt worden om een urgente kwestie op de beleidsagenda te krijgen.

Deze drie vormen van kennisgebruik sluiten elkaar niet uit; hetzelfde wetenschappelijk materiaal kan op verschillende manieren en tegelijkertijd gebruikt worden in het besluitvormingsproces. Er is ook de kritiek dat deze categorieën zodanig ruim worden gedefinieerd dat ze tot catch-all categorieën verworden (Rich, 1991), alsook dat kennisgebruik en doorwerking in plaats van als een uitkomstbenadering (input-output) eerder als een dynamisch niet-lineair proces moeten worden gezien (Rich, 1997). Verder werden er ook modellen ontworpen om de potentiële interacties tussen onderzoek en beleid te kaderen (zie o.a. Hoppe, 2002), waarbij onder meer gefocust wordt op het belang van linking mechanisms om de kloof tussen wetenschap en beleid te dichten (Chagnon et al., 2010; Lampinen, 1992; Liberatore, 2001; Young & Mendizabal, 2009). In de studie van de impact van evaluatieonderzoek werden de verschillende vormen van doorwerking verder gedifferentieerd, onder meer op het vlak van individuele, interpersoonlijke en collectieve doorwerking, waardoor ook de minder zichtbare doorwerking die niet resulteert in zichtbare beleidswijzigingen, kan worden geanalyseerd (Henry & Mark, 2003). Ons onderzoek focust echter op de algemene doorwerking van SWO, en daarbinnen specifiek op opdrachtonderzoek. Hoe evaluerend onderzoek doorwerkt op Belgisch niveau en in welke mate we reeds van beleidsleren kunnen spreken, is momenteel voornamelijk onontgonnen terrein, waarbij tot nog toe voornamelijk enkel de aanwezigheid van evaluatiemotieven werd bestudeerd (De Peuter, 2008; De Peuter et al., 2008; Devroe, 2010). Uit een analyse van criminologisch evaluatieonderzoek bleek wel dat een directe doorwerking ervan niet kon worden vastgesteld, ondanks de intentie daartoe, hetgeen door beleidsmakers geweten werd aan de verschillen tussen onderzoek en beleid en door de onderzoekers aan het gebrek aan data en de problematiek van het in beeld brengen van de bestaande problemen voor het beleid (Vande Walle et al., 2010).

2.2 De eigenlijke doorwerking van onderzoek blijkt beperkt

Internationaal wordt hoofdzakelijk een eerder incrementele doorwerking van onderzoek vastgesteld, waarbij conceptueel en politiek kennisgebruik het vaakst voorkomen (Bogenschneider et al., 2000). Instrumenteel kennisgebruik wordt zelden vastgesteld (Brans et al., 2004; Henke, 2001; Ritter & Lancaster, 2013).

Over één punt bestaat in de literatuur consensus: SWO wordt veel te weinig benut door beleidsmakers, zelfs indien het specifiek opdrachtonderzoek betreft (zie o.m. Albaeck, 1995; Devroe & Ponsaers, 2008; Lampinen, 1992; Ritter & Lancaster, 2013). De verklaringen hiervoor situeren zich zowel op het niveau van politiek, beleid en besluitvorming, als op het niveau van wetenschappelijk onderzoek, waar een aantal pijnpunten het kennisgebruik en de doorwerking in de weg kunnen staan (zie o.m. Ritter et al., 2010). Hierna bespreken we kort wat de belangrijkste pijnpunten zijn in de interactie tussen sociaalwetenschappelijk onderzoek en beleid, alsook wat de belangrijkste obstakels en gebruiksverhogende factoren zijn voor de door ons bevraagde beleidsmakers. Eerst gaan we echter kort in op de resultaten van onze survey op het vlak van de doorwerking van SWO.

De bevraagde beleidsmakers gaven aan dat SWO de grootste rol speelt in de beleidsvoorbereiding, over de rol ervan in beleidsevaluatie heerst er verdeeldheid. De rol is het kleinst in de fase van de beleidsformulering, -ontwikkeling en -uitwerking. Potentieel zien de bevraagde beleidsmakers de grootste rol weggelegd voor SWO in de fase van de beleidsevaluatie, hetgeen haaks staat op de ideeën van sociale wetenschappers daarover (zie verder onder 3). Wanneer beleidsmakers wordt gevraagd naar het gebruik van SWO in de belangrijkste beleidsdocumenten, blijkt echter voor geen enkel document vaak een beroep te worden gedaan op SWO; de antwoorden situeren zich alle rond ‘af en toe’, waarbij de jaarlijkse beleidsbrief (63,6%) en ministeriële speeches het hoogst scoren (55,1%). Van alle groepen rapporteren de departementen het vaakst gebruik van SWO voor beleidsdocumenten, gevolgd door de kabinetten. De functies die beleidsmakers als de belangrijkste functies van SWO markeren (zie tabel 4), komen alle overeen met instrumenteel kennisgebruik en zijn verdeeld over de verschillende fasen van het beleidsproces.

Beleidsmakers blijken meer dan louter kennisgebruikers te zijn, en nemen af en toe rollen op zich zoals het analyseren van welk onderzoek er bestaat (66%) en het vertalen van onderzoek naar beleidsmaatregelen (56,3%). Ietwat verrassend blijkt onderzoek van de studiedienst van de eigen Minister slechts zelden opgevolgd te worden (11,9%).

Het verdient aanbeveling om in verder onderzoek de rol van SWO in de verschillende beleidsfasen en beleidsdocumenten verder uit te diepen, opdat de specifieke rol die SWO speelt en de redenen waarom beleidsmakers er een beroep op doen, kunnen worden geanalyseerd. De kans bestaat namelijk dat kennisgebruik niet zichtbaar is en daardoor ook niet naar voren komt in beleidsdocumenten, hetgeen verklaart waarom het aantal studieverwijzingen in de door ons geanalyseerde beleidsdocumenten zo laag ligt. Het blijkt in de praktijk ook moeilijk om (causale) verbanden te vinden tussen beleidswijzigingen en onderzoek (Leeuw & Van Gils, 2010, conform ook de eerder incrementele doorwerking van onderzoek).

2.3 Belangrijkste pijnpunten in de interactie tussen beleid en SWO

De belangrijkste pijnpunten op het vlak van politiek-bestuurlijke organisatie situeren zich op het niveau van input, bestuurslogica, tijdshorizon en de beperkte wendbaarheid van het beleid (conform ‘path-dependency’, Pierson, 2000). Op het niveau van wetenschappelijk onderzoek zijn vooral het gebrek aan neutraliteit (De Melo-Martín & Intemann, 2012; Hewa, 1993), fragmentarische kennis, onzekerheid, de afwezigheid van consensus, de beperkte hoeveelheid ‘bewezen kennis’ en de soms sterke tegenspraak tussen verschillende onderzoeken problematisch (Slob, 2011).

Besluitvorming is geen cognitief rationeel keuzeproces waarbij op basis van de best mogelijke informatie beslissingen worden genomen (Abma & In ’t Veld, 2001; Hafner-Burton et al., 2013). De beleidsagenda verandert niet zo snel, beleid blijft een traag proces van kleine bijsturingen, institutionalisering en een sterke neiging tot behoudsgezindheid (Pierson, 2000). Zelden volgt er een directe beleidsmaatregel uit onderzoek (Ritter & Lancaster, 2013). De kans dat onderzoek voor grote beleidsomwentelingen zorgt, is bijgevolg zeer klein, iets wat vaak over het hoofd wordt gezien door onderzoekers, net zoals dat het geval is met de realiteit van multi-level governance (het ontbreken van een centrale actor) en de implicaties daarvan voor potentiële beleidswijzigingen. Onderzoekers lijken de rationaliteit en beweeglijkheid van het beleidsniveau regelmatig te overschatten. De politiek-bestuurlijke logica en organisatie, waarbij consensus en onderhandelbaarheid van groot belang zijn, strookt niet met de wetenschappelijk-analytische logica. Het tevreden stellen van de achterban, te winnen achterbannen, het voortbestaan van coalities en vriendschappelijke betrekkingen spelen een belangrijke rol, hetgeen de rationele (wetenschappelijke) kennis kan ‘overrulen’. In een pluralistische consensusdemocratie, die zich kenmerkt door overleg en compromissen, blijkt de onderhandelbaarheid van een voorstel veeleer dan de inhoud ervan veelal van doorslaggevend belang (Herbots, 2006; Majone, 1989; Martens, 2006). Wetenschappelijke informatie moet door dit kluwen aan input, relevante actoren, organisatie, patronen en gewoontes heen zien te geraken en al de bovengenoemde factoren kunnen de doorwerking van onderzoek in de weg staan. Een gebrekkige kennis van beleid en besluitvorming bij de betrokken onderzoekers scoort ook relatief hoog qua obstakels voor kennisgebruik bij de door ons bevraagde beleidsmakers (zie tabel 1).

Beleidsmakers worden geconfronteerd met een overaanbod aan informatie (Sorian & Baugh, 2002), slechts een klein deel ervan bestaat uit wetenschappelijke kennis. De hoeveelheid binnenkomende informatie die beleidsmakers te verwerken krijgen, wordt vaak onderschat. Dit overaanbod impliceert dat er automatisch een informatie-filteringsproces plaatsvindt (Nelen, 2010; Weiss, 1999; Weiss & Bucuvalas, 1980). Deze filtering gebeurt niet volledig bewust (Heywood, 2002) en extrarationele elementen zoals onderliggende beliefs en voorkeuren kunnen bij de selectie van doorslaggevend belang zijn. ‘Tacit knowledge’ (zijnde de ervaringen van de betrokken beleidsmakers, hun expertise en oordeel) heeft een belangrijk maar moeilijk te detecteren aandeel in dit proces (zie o.m. Banting, 1986; Bulmer, 1986; Eraut, 2000; Richardson, 2013). Om het obstakel van het overaanbod aan informatie en het tijdsgebrek van beleidsmakers te omzeilen zetten organisaties zoals de Campbell Collaboration met het oog op de ontwikkeling van een meer evidence-informed beleid in op Systematic Reviews, waarbij in hoofdzaak evaluatieonderzoek (veelal effectmetingen) wordt gevoerd naar bepaalde afgelijnde sociale interventiemethoden. Deze praktijk lijkt nog niet erg ingeburgerd onder Vlaamse beleidsmakers, al kan de taal (systematic reviews zijn bijna uitsluitend in het Engels) een belangrijke barrière vormen. In onze survey werden de beleidsmakers niet gevraagd naar het gebruik van systematic reviews; er werd in hoofdzaak gefocust op het gebruik van binnenlands onderzoek (met name van Steunpuntonderzoek, de Studiedienst van de Vlaamse Regering, de studiedienst van de minister, de media en onderzoek van universiteiten of hogescholen). De laatstgenoemde werden het vaakst gebruikt (41,2%), gevolgd door steunpuntonderzoek (34%). Ook de media scoren relatief hoog: 76,5% van de bevraagde beleidsmakers maakt af en toe gebruik van de media als onderzoeksleveranciers, wat meteen het belang van een kwalitatieve disseminatie van onderzoeksresultaten naar de pers aantoont, die waarschijnlijk de snelste weg vormt voor onderzoek dat niet in opdracht van de overheid gebeurde om op beleidsniveau alsnog in the picture te komen. Slechts 15,2% van de bevraagde onderzoekers geeft aan hun niet-besteld onderzoek te communiceren naar de pers, slechts 12,4% verspreidt de resultaten van dit type onderzoek vaak naar beleidsmakers. Dit kan deels liggen aan de onderwerpen van deze onderzoeken. Niettemin blijkt slechts de helft van de onderzoekers (50,2%) zelden zijn opdrachtonderzoeken te verspreiden naar de pers; iets meer dan een vierde van de onderzoekers (28,4%) geeft aan dat ze de resultaten van opdrachtonderzoek vaak naar de pers te verspreiden. De academische verspreiding van opdrachtonderzoek ligt wel hoog: 83,3% van de onderzoekers verspreidt zijn onderzoeksresultaten naar de academische wereld. Dit gaat in tegen het heersend idee dat opdrachtonderzoek niet resulteert in academische output (of ten koste gaat van de academische output) en zich bijgevolg onvoldoende laat controleren op wetenschappelijke kwaliteit. Het aandeel van wetenschappelijk onderzoek in de ‘incoming information’ speelt ook een rol in het kennisgebruik: hoe kleiner het aandeel hoe lager de kans op kennisgebruik (Sorian & Baugh, 2002). De grootste groep van de door ons bevraagde beleidsmakers vond het aandeel van SWO in het totaal aan binnenkomende informatie eerder klein (57,9%, N = 33). Het aandeel ligt het hoogst bij de kabinetten, gevolgd door de departementen, en het laagst bij de EVA’s. De rangschikking van gebruiksverhogende factoren door beleidsmakers (zie tabel 3) komt overeen met de door Weiss en Bucuvalas (1980) geïdentificeerde stapsgewijze informatiefiltering, waarbij de relevantie van het onderzoek voor het beleidsdomein het belangrijkste criterium voor kennisgebruik is (zie ook de ‘vraagzijde’ bij Leeuw & Van Gils, 2010), gevolgd door de betrouwbaarheid van het onderzoek (de zgn. ‘truth-test’, die bestaat uit het aftoetsen van de wetenschappelijke kwaliteit van het onderzoek alsook de geloofwaardigheid van de resultaten, meer bepaald de conformiteit met de eigen, eerder intuïtieve ervaringen in het veld).

2.4 Gebruiksverhogende factoren en obstakels volgens beleidsmakers

Met het oog op het bepalen van de mogelijkheden tot doorwerking van SWO op beleidsniveau is het noodzakelijk om na te gaan wat de grootste obstakels volgens beleidsmakers zijn. Op basis van de literatuurstudie konden zeven belangrijke obstakels geïdentificeerd worden. Tabel 2 toont de rangschikking die de bevraagde beleidsmakers geven aan deze obstakels. Verder werden ook de zeven belangrijkste gebruiksverhogende factoren die uit de literatuur naar voren komen bevraagd (tabel 3). De respondenten werd gevraagd om het belangrijkste en tweede belangrijkste item te markeren.

Zowel qua gebruiksverhogende factoren als qua mogelijke obstakels voor kennisgebruik lijken politiek-ideologische factoren minder belang te hebben dan de kenmerken van de informatie en de kenmerken van de gebruiker. Aangepastheid aan de noden van de gebruiker en relevantie voor het beleidsdomein werken gebruiksverhogend, de afwezigheid van beleidsaanbevelingen, het gebrek aan eenduidigheid, de beperkte kennis van het beleidsproces en het gebrek aan tijd staan doorwerking in de weg. Beleidsmakers prefereren duidelijk een werkklaar, eenduidig en aangepast product, en de belangrijkste obstakels voor doorwerking situeren zich op het vlak van de spanningsvelden tussen wetenschap en beleid. Naarmate onderzoekers meer rekening houden met deze factoren, kan het kennisgebruik mogelijk verhogen. Anderzijds neemt onderzoek dat zich aanpast aan de noden van de gebruiker, de inherente kenmerken van beleid en onderzoek die een obstakel vormen voor doorwerking en kennisgebruik niet weg. Onderzoekers die aan opdrachtonderzoek doen of deden, bleken echter in te zetten op een aantal relevante adaptaties van hun onderzoek. Het vaakst wordt gefocust op de leesbaarheid en begrijpelijkheid (95,8%), het gebruik van operationele doelgerichte conclusies of aanbevelingen (88,4%) en vertaling van het onderzoek naar beleidsmaatregelen (80,1%). Minder werd gelet op de focus op variabelen die beleidsmakers kunnen controleren (39,4%) of op een aantrekkelijke vormgeving (die soms de leesbaarheid en aantrekkelijkheid ten goede komt) (53,7%). Met de gevoeligheden van beleidsmakers werd het minst vaak rekening gehouden (34,4%). Iets minder dan twee derde van de onderzoekers meent dat hun opdrachtonderzoek overeenkomt met de verwachtingen van de gebruiker.

3 Welke functies zien beleidsmakers en onderzoekers voor SWO?

Tot slot werd ook nagegaan welke van de in de literatuur geïdentificeerde mogelijke functies van SWO beleidsmakers het belangrijkste achten (tabel 4). Daarbij lijken vooral functies die overeenkomen met conceptueel (nagaan van mogelijke verklaringen voor een probleem) en instrumenteel (keuze uit mogelijke beleidsalternatieven, evalueren van beleidsmaatregelen) kennisgebruik te domineren. Politiek kennisgebruik lijkt laag te scoren, al kan de respons mogelijk vertekend zijn door sociaal wenselijke antwoorden, gelet op de negatieve bijklank die deze vorm van kennisgebruik heeft. De belangrijkste functies lijken zich te situeren op het niveau van de beleidsvoorbereiding, al zien de bevraagde beleidsmakers ook een belangrijke rol weggelegd voor het evalueren van beleidsmaatregelen. In de bevraging werd evenwel niet gespecificeerd hoe de evaluatie dient te geschieden, mogelijk komt deze functie voornamelijk overeen met het aanleveren van de tools voor de evaluatie, waarna deze verder intern, op het beleidsniveau, gebeurt. De agenderende functie van SWO scoort opmerkelijk laag bij de beleidsmakers, hoewel de bevraagde onderzoekers hier een belangrijke rol voor SWO zien weggelegd. Onderzoekers blijken minder belang te hechten aan de mogelijke rol van SWO naarmate deze dichter bij de beleidsverantwoordelijkheid komt te liggen, de respondenten lijken SWO eerder als een aanzet en een richtinggevend hulpmiddel op te vatten, waarbij de bewustmakingsfunctie in tegenstelling tot resultaten van de beleidsmakers hoog scoort, net zoals de agenderende functie (tabel 4). Evaluatie scoort het laagst als functie van SWO bij de onderzoekers, hetgeen een potentieel probleem vormt voor EBP opgevat als evaluatie en in de lijn ligt met de verambtelijking van de beleidsevaluatie op Vlaams niveau.

4 Discussie en conclusie

Allereerst dienen we op enkele beperkingen van het onderzoek te wijzen. Het ontbreken van een geijkte methode om de invloed van onderzoek te meten bemoeilijkt het antwoord op vragen naar kennisgebruik/doorwerking en hoe evidence-based het huidige beleid is. Een tweede punt dat hierbij aansluit: de invloed van onderzoek in de fase van de beleidsvoorbereiding is vaak niet zichtbaar in beleidsdocumenten, hetgeen mogelijk de sterke discrepantie verklaart die werd vastgesteld tussen het in de survey gerapporteerde en het zichtbare kennisgebruik in de geanalyseerde beleidsdocumenten (zie ook Ritter & Lancaster, 2013). Dit illustreert eens te meer dat kennisgebruik als proces dient te worden benaderd en niet enkel als een uitkomst (Bekkers et al., 2004; Brans et al., 2004; Rich, 1997; Ritter & Lancaster, 2013; Weiss, 1999).

Verder geeft de analyse van parlementaire bronnen geen volledig uitsluitsel wat het gevoerde beleid betreft: of de beleidsintenties effectief omgezet worden in beleid, kan niet worden gecontroleerd aan de hand van deze bronnen. Door het bevragen van beleidsmakers werd gepoogd dit euvel ietwat te ondervangen, al blijft de vraag of beleidsmakers zich wel bewust zijn van welke informatie er binnenkomt, hoe deze wordt verwerkt en of ze hen al dan niet beïnvloedt in hun keuzes (conform beleidsmakers rapporteren SWO slechts af en toe te gebruiken voor beleidsdocumenten). Ook valt de praktijk die men zegt te volgen niet altijd samen met de eigenlijke praktijk (‘action theory of contingent repertoire’) en zijn de motieven die men aangeeft (‘espoused theory of rationalistic repertoire’) niet altijd degene die effectief spelen (Hoppe, 2002; Schön, 1994).

Een aantal vragen blijft onbeantwoord in ons onderzoek (Hoe wordt kennis gebruikt door beleidsmakers? Wat zijn de selectiecriteria? Resulteert onderzoek dat zich meer aanpast aan de noden van beleidsmakers automatisch in meer doorwerking?) en een deel van de bevindingen uit de bevraging komt niet overeen met de gangbare inzichten van de literatuur over kennisgebruik, namelijk het belang dat beleidsmakers hechten aan functies die aansluiten bij instrumenteel kennisgebruik en de rol die SWO kan spelen in de beleidsevaluatie, die echter als de minst belangrijke rol van SWO wordt gemarkeerd door de bevraagde onderzoekers.

Bovenstaande bevindingen maken duidelijk dat er nog werk aan de winkel is op het vlak van de studie van kennisgebruik en doorwerking. Hierbij dienen gestandaardiseerde manieren te worden gezocht om te controleren welke functies onderzoek vervult in de verschillende beleidsfasen en -documenten alsook wat het kennisgebruik precies inhoudt (in plaats van louter te vragen naar gebruik). Verder onderzoek is ook nodig naar de specifieke kennisverwerving van beleidsmakers (ook naar de rol van de media als onderzoeksleverancier en de vraag of Vlaamse beleidsmakers gebruikmaken van systematic reviews en meta-analyses), de bijhorende informatiefiltering en het kennistransformatieproces, waarbij beleidsmakers ook als medekennisproducent opgevat dienen te worden (analyse, interpretatie, samenvatting en vertaling). Idealiter wordt hiervoor multi-methodisch gewerkt, met een combinatie van casestudies van opdrachtonderzoek (het Steunpuntonderzoek zou zich hiertoe goed lenen), interviews met alle betrokkenen en beleidsdocumentanalyse. Meer aandacht is verder nodig voor de praktijk van de beleidsevaluatie en de impact ervan (is er in Vlaanderen sprake van beleidsgericht leren?).

Samenvattend lijkt de EBP-gedachte haaks te staan op de bevindingen in de literatuur wat doorwerking, kennisgebruik en besluitvorming betreft. EBP lijkt een verhoogde rationalisering van het besluitvormingsproces te veronderstellen en grijpt terug naar een rational choice-model van besluitvorming, met bijbehorend instrumenteel kennisgebruik. Onderzoek toonde evenwel aan dat de rational choice-benadering een weinig realistisch besluitvormingsmodel is (Saurugger, 2013; Hafner-Burton et al., 2013) en dat instrumenteel kennisgebruik relatief weinig voorkomt (Bogenschneider et al., 2000; Brans et al., 2004; Henke, 2001; Ritter & Lancaster, 2013). Ook de praktijk van multi-level governance kan de doorwerking van onderzoek in de weg staan. Belgische ambtenaren zijn veelal eerder specialistisch en brengen het merendeel van hun carrière door binnen dezelfde organisatie (Hoet & Brans, 2003). Bijgevolg dient rekening te worden gehouden met het bestaan van veel interne kennis, die de doorwerkingsmogelijkheden van wetenschappelijk onderzoek sterk kan beperken.

Momenteel zien we nog onvoldoende aanwijzingen dat op Vlaams niveau aan EBP wordt gedaan. Het discours is wel aanwezig en komt vaker voor in beleidsdomeinen waar internationaal veel aandacht gaat naar EBP (zoals gezondheid, welzijn en onderwijs; De Peuter, 2008; Smet, 2013), maar van een echte EBP-praktijk blijkt nog geen sprake. Vaststellingen zoals het gebrek aan studieverwijzingen en het feit dat EB in meer dan de helft van de gevallen niet wordt ingevuld, dan wel verschillende invullingen kent die door elkaar worden gebruikt, bevestigen dit. Hoogstens kunnen sommige beleidselementen als evidence-informed policy worden geclassificeerd. Vlaamse beleidsmakers hanteren geen eenduidige invulling van het begrip evidence-based, al domineert de invulling gebaseerd op wetenschappelijk onderzoek (dat eerder ruim wordt opgevat door beleidsmakers) en lijkt de enge definitie van EBP als ‘what works’ (beleidsevaluatie) aanzienlijk minder vaak voor te komen. De potentiële rol van SWO is het grootste op het niveau van de beleidsvoorbereiding. De evaluatiemotieven zijn beperkter aanwezig dan werd verwacht in de terreinen waar internationaal een EBP-trend werd gezien (De Peuter, 2008) en beleidsevaluatie lijkt meer te worden geïnternaliseerd, waarbij wetenschappelijk onderzoekers in het beste geval de meetsystemen ervoor ontwikkelen. Het gevaar bestaat dat het proces hier stopt; men heeft data (bijvoorbeeld op basis van indicatoren), maar de dieperliggende aspecten van fenomenen waar het beleid op wil inspelen, blijven onderbelicht (zie ook Korsten, 2013). Kennis en een beleid gebaseerd op ‘evidence’ kan daardoor gereduceerd worden tot het hebben van cijfers en data, zonder dat over de ‘bigger picture’ en achterliggende verklaringen, die veelal fundamenteler onderzoek behoeven, wordt nagedacht. Onderzoekers zelf lijken weinig belang te hechten aan de rol van beleidsevaluator en zien dit als de minst belangrijke taak voor SWO.

Het hoofdargument tegen een verhoogde doorwerking van SWO naar aanleiding van een toenemend EBP-discours is de vaststelling dat de bevraagde beleidsmakers de pijnpunten en spanningsvelden tussen SWO en beleid als belangrijkste obstakels voor kennisgebruik en doorwerking markeren. Een bijkomende vraag die kan worden gesteld, is of (sociaalwetenschappelijk) onderzoek in se wel kan voldoen aan de eisen van beleidsmakers. De aanzienlijke verschillen tussen wetenschap en beleid blijven immers de belangrijkste pijnpunten in de interactie van SWO en beleid. In het enthousiasme met betrekking tot de mogelijkheden van EBP lijkt voorbij te worden gegaan aan de essentiële kenmerken van beleid en SWO, waarbij de bestaande onzekerheid en het gebrek aan kennis wordt vergeten en de rationaliteit van besluitvorming en het instrumenteel kennisgebruik overschat worden. Er is hoe dan ook behoefte aan meer empirisch onderzoek naar deze thematiek. Verder zal de toekomst moeten uitwijzen hoe de EBP-gedachte zich verder manifesteert in het beleidsproces, en of deze al dan niet resulteert in een verhoogde doorwerking van wetenschappelijk onderzoek, dan wel in een toenemende internalisering en verambtelijking van zowel kennisvergaring als beleidsevaluatie.