Inleiding

Ter gelegenheid van het 25-jarig jubileum van de Vereniging voor Beleidsonderzoek (VBO) op 7 november 2019 mocht ik een terugblik geven op de 25-jarige periode voorafgaand aan de VBO (opgericht medio 1994).
Het was een persoonlijke getuigenis, maar uit de reacties na afloop kon worden opgemaakt dat het heel herkenbaar was voor beleidsonderzoekers die al in die periode actief waren en ook dat er enige lering uit te halen is die waardevol kan zijn voor de huidige tijd. Wat je ervan kunt leren is, kort gezegd, dat het huidige beleidsonderzoek veel professioneler wordt uitgevoerd dan indertijd, dat de relatie opdrachtgever-opdrachtnemer is verzakelijkt en dat de impact van beleidsonderzoek nog steeds te wensen overlaat.
Het leek het bestuur van de VBO een goed idee om dit verhaal te publiceren in Beleidsonderzoek Online.
Aangezien het (vanzelfsprekend) lang geen volledig overzicht is van het beleidsonderzoek in die periode, verwijs ik voor een veel omvattender overzicht graag naar Houppermans et al. (2015).

Professionalisering

In de jaren zeventig werden beleidsonderzoekers gezien als gemankeerde academische onderzoekers, vooral degenen die bij een universiteit werkten. Je stond in de academische wereld in elk opzicht onder aan de ladder: rapporten werden niet gezien als een wetenschappelijke prestatie, je had een tijdelijke aanstelling (meestal een projectaanstelling), je moest hard werken om op tijd klaar te zijn maar dat was je eigen schuld, als je in academisch opzicht vooruit wilde moest je in je schaarse vrije tijd maar proberen om artikelen te schrijven.

Na lezing van een boek van James Coleman over ‘policy research’ (Coleman, 1972) werden we ons (als onderzoekers bij de toenmalige Dienst Sociaal Wetenschappelijk Onderzoek van de Leidse universiteit, die zich richtte op het contractonderzoek in de Faculteit Sociale Wetenschappen) ervan bewust dat beleidsonderzoek iets anders is dan academisch onderzoek en dat je het anders moet uitvoeren en organiseren dan het gebruikelijke universitaire onderzoek.
In Leiden richtten we daartoe een tiental werkgroepen op, zoals mogelijk geworden door de Wet Universitaire Bestuurshervorming van 1971, en binnen die werkgroepen werd al het contractonderzoek ondergebracht. We sloten ons tevens aan bij het Overleg Onderzoekinstituten (OOI), waaraan ook para-universitaire instituten zoals ITS (Instituut voor Toegepaste Sociologie) en IVA (Instituut voor Arbeidsvraagstukken) meededen; in 1985 werd het OOI voortgezet als Vereniging Onderzoekinstituten VOI.
In 1980 publiceerde Mark van de Vall zijn boek Sociaal beleidsonderzoek, een professioneel paradigma, waarmee het tijdperk van professionalisering van het Nederlandse beleidsonderzoek werd ingeluid (Van de Vall, 1980).
Rond die tijd organiseerde het SISWO (Stichting interuniversitair Instituut voor Sociaal-Wetenschappelijk Onderzoek) diverse debatbijeenkomsten over beleidsonderzoek en bracht het later de serie ‘Cahiers beleidsonderzoek’ uit (Van Lohuizen et al., 1983-1986).

Tezelfdertijd kwam er een interdepartementaal stafoverleg voor sociaalwetenschappelijk onderzoek (ISSWO) tot stand, waar onder meer werd gewerkt aan een standaardcontract.
Begin jaren tachtig werd bovendien het Meerjarenplan Sociaal Onderzoek en Beleid van de minister voor Wetenschapsbeleid uitgevoerd, met als doel om de relatie tussen onderzoek en beleid te verstevigen.

In de jaren tachtig werden de eerste particuliere beleidsonderzoekbureaus opgericht, zoals Research voor Beleid en Regioplan. Bovendien moesten instituten die tot dan toe leefden van subsidies ondertussen ook de markt op, met als gevolg dat ze dan wel moesten leren hoe je concurrerende offertes moet schrijven.
Dat leidde begin jaren negentig tot het inzicht dat de professionalisering van ons vak nog lang niet af was en eigenlijk nog maar weinig voorstelde: geen opleiding (ook niet als onderdeel van een studie bestuurskunde), geen leerboeken, geen branchevereniging, geen kwaliteitszorg, en weinig overzicht over het concurrentieveld.
Dat leidde vervolgens tot de oprichting van de Vereniging voor Beleidsonderzoek (VBO).

Al deze ontwikkelingen leidden natuurlijk ook tot een verandering van je rol als onderzoeker. Waar je voorheen tot op zekere hoogte je eigen interesses en creativiteit kon volgen, waardoor je op sommige zaken dieper kon ingaan dan de opdrachtgever had verwacht, ben je tegenwoordig veel meer ingekaderd door de zakelijke opdrachtverstrekking. Aan de andere kant zijn er volgens mij zelfs bij tamelijk gesloten vraagstellingen altijd wel enige vrijheidsgraden voor creativiteit. Maak daar gebruik van, zou ik zeggen.

Al die tijd ontstond er heel wat onenigheid met academische onderzoekers, die zich ten onrechte denigrerend uitlieten over ons vak. Ik was tien jaar lang lid van de facultaire wetenschapscommissie en kon zien dat wij niet het niveau haalden van toponderzoekers in de faculteit, maar dat wij geen moeite hadden om het niveau van de modale onderzoeker te overtreffen. De meeste eerste geldstroomonderzoekers deden maar wat en droegen niet veel bij aan de kennisgroei, terwijl wij in ons onderzoek veel doelgerichter te werk gingen en ook in wetenschappelijke zin aardige bijdragen wisten te leveren.
Ik herinner me ook nog goed dat indertijd veel promovendi aan ons vroegen hoe je tot een onderzoek kon komen dat je binnen vier jaar met succes zou kunnen afronden.

Relatie met opdrachtgevers

Eerst maar even iets over het soort opdrachten dat je vroeger kon krijgen.
Indertijd had je nog diverse mogelijkheden om geld te krijgen voor je eigen onderzoekideeën. Dat is voor zover ik kan overzien inmiddels vooral nog mogelijk op het gebied van de zorg en (in mindere mate dan vroeger) op het gebied van het onderwijs.
Er bestonden nog geen aanbestedingsprocedures, waardoor de meeste projecten zonder gedoe aan de bureaus konden worden gegund die de voorkeur hadden van de opdrachtgever. Onderhandse gunning, waarbij geen concurrentie werd uitgenodigd, kwam ook veel voor.
Je kunt je afvragen of dat allemaal goed was voor het vak, maar de huidige aanbestedingsregels hebben andere bedenkelijke neveneffecten. Waar je vroeger volop de kans kreeg om met de opdrachtgever te praten naar aanleiding van een startnotitie waarin de probleemstelling van een onderzoek werd beschreven, is dat tegenwoordig nauwelijks meer mogelijk. Dat komt niet ten goede aan de kwaliteit van het beleidsonderzoek.

Er was indertijd bij alle departementen meer geld voor beleidsgericht onderzoek, de budgetten per project waren dan ook minder krap dan tegenwoordig. Je kreeg ook meer tijd om een onderzoekproject uit te voeren. Desondanks werd het op het eind van de rit altijd weer haastwerk en moesten er weekeinden worden overgewerkt.
Soms had de opdrachtgever trouwens helemaal geen haast, omdat jouw onderzoek hem in staat stelde om een dure beslissing een tijdlang voor zich uit te schuiven. Dat gaf je wel de kans om er een mooi project van te maken, dat daardoor uiteindelijk ook voor andere stakeholders nuttiger bleek te zijn dan gedacht.

De meeste opdrachten op nationaal niveau kwamen tot stand via programmeringen van beleidsonderzoek (zie Van Hoesel, 1985). Dat had op allerlei manieren een gunstige invloed op de samenhang tussen onderzoekprojecten, maar ook op de koppeling aan de beleidsontwikkeling.
Gek genoeg is daar nauwelijks meer iets van overgebleven. De enige vorm van programmeren die is overgebleven, is de Regeling Periodiek Evaluatieonderzoek (RPE), die met name voorschrijft dat je een begrotingsartikel eens in de zoveel jaar doorlicht op doelmatigheid en doeltreffendheid. De rest van het beleidsonderzoek komt min of meer ad hoc tot stand, en dat kun je bij beleidsdoorlichtingen goed zien, want dan blijkt steevast dat er allerlei lacunes zitten in de monitoring van beleid.
Misschien vervelend om te moeten constateren, maar dat ging vroeger een stuk beter. Toen was er veel meer probleem-verkennend en ex ante onderzoek. Neem bijvoorbeeld het onderzoek dat zich richtte op de experimenten met de basisschool en de middenschool, zie daarvoor de vele rapporten die in dit verband door de Stichting voor Onderzoek van het Onderwijs (SVO) zijn gepubliceerd. Hoeveel van zulke ex ante evaluaties kom je nog tegen? Ik zie ze met name in de zorgsector, maar verder zie ik er niet veel.
Wat je vroeger ook veel meer had, waren voorstudies, haalbaarheidsstudies en dergelijke.
Dat gaf zowel de opdrachtgever als de onderzoeker de ruimte om zich een adequaat beeld te vormen van waar het onderzoek precies over zou moeten gaan en of het ook uitvoerbaar zou zijn. Ook deze volgens mij goede aanpak kom ik nu veel minder tegen.

Wat betreft de omgang met de opdrachtgever tijdens de uitvoering van het onderzoek is er in die zin weinig veranderd dat we altijd te maken hebben gehad met begeleidingscommissies. Wel wil ik opmerken dat je op deze commissies indertijd meer indruk maakte met onderzoekstechnisch jargon dan tegenwoordig, gelukkig maar.
Vroeger kon je meer creativiteit in de onderzoekprojecten kwijt dan tegenwoordig.
Enerzijds door de aanbestedingsregels en anderzijds door de richtlijnen van het ministerie van Financiën is de verhouding tussen opdrachtgevers en opdrachtnemers zakelijker geworden dan voorheen. Dat brengt toch wel enige verschraling met zich mee.

Beleidsonderzoek was indertijd een tamelijk marginale business en dat is volgens mij nog steeds zo. Als vak en als branche is het niet erg bekend, vergelijk het maar eens met marktonderzoek en consultancy, en we moeten erkennen dat de meeste omzet bij bureaus buiten de branche van beleidsonderzoekbureaus terechtkomt. Het kon en kan opdrachtgevers blijkbaar weinig schelen om wat voor type bureau het gaat.
Voor onze branche betekende dit dat we altijd, zelfs in betere tijden, in de overlevingsstand stonden. Ik heb me meermalen afgevraagd of je niet beter een ander vak kunt kiezen, maar ja, het is wel een erg interessant vak waar je nooit ophoudt met leren. Materiële rijkdom bereik je er niet mee, maar de geestelijke rijkdom die je ermee opdoet, maakt dat meer dan goed.

Dan nog iets over de impact van beleidsonderzoek. In de jaren tachtig liet de impact van beleidsonderzoek te wensen over, zoals onder meer naar voren kwam in een van de rapporten (Van Oijen et al., 1984) in het kader van het Meerjarenplan Sociaal Onderzoek en Beleid. Dit lijkt in de loop van de tijd niet echt verbeterd, afgaande op mijn eigen ervaring met vele projecten bij zowat alle ministeries. Dat neemt niet weg dat er gelukkig ook diverse voorbeelden van beleidsonderzoek met merkbare impact bestaan, zoals ik ook heb mogen ervaren. Ik heb het niet echt bijgehouden, maar naar mijn indruk is er sprake van merkbare impact in hoogstens 30% van de gevallen. Ik kan dat niet nader onderbouwen, want voor zover mij bekend is er sinds het artikel van Mulder et al. (1991) geen kwantitatieve informatie te vinden over de benutting van beleidsonderzoek.
De prijswinnende voorbeelden (‘Versnelde participatie en integratie van vluchtelingen: de Amsterdamse aanpak’ en ‘De toekomst van vakmanschap’) die op de jubileummiddag van de VBO naar voren kwamen, laten overigens goed zien hoe belangrijk het is om voldoende tijd en budget te hebben om nuttig beleidsonderzoek mogelijk te maken. Deze onderzoekprojecten waren overigens gefinancierd door NWO, het ging dus niet om opdrachten vanuit de betreffende ministeries.
Aangezien de gemiddelde projectbudgetten vanuit ministeries in de loop van de tijd eerder zijn gedaald dan gestegen, mag je verwachten dat dit de benutting niet ten goede is gekomen.

Vroeger had je het voordeel dat er in de samenleving niet veel twijfels waren rond onderzoekuitkomsten, wat je tegenwoordig nogal veel ziet gebeuren. Maar dat betekende nog niet dat je uitkomsten ook daadwerkelijk werden benut.
Zoals Carol Weiss (1978, 1986) indertijd naar voren bracht, moet je geen snelle benutting verwachten. Het kost veel tijd voordat de uitkomsten van beleidsonderzoek zijn ingedaald in de samenleving. Zodra ze na verloop van tijd niet meer als onderzoekresultaten worden gezien maar als common sense, lukt het een stuk beter om er wat mee te doen.
Persoonlijk vind ik dit te mager. Volgens mij kun je er veel sneller mee aan de slag. In een artikel van Max Herold en mijzelf (Van Hoesel & Herold, 2018) laten we zien hoe dit zou kunnen. Het komt de politiek echter bijna nooit goed uit om direct aan de slag te gaan met onderzoekresultaten, dus gebeurt het maar weinig. Overigens bevinden we ons op dit punt in goed gezelschap, want dit geldt ook voor rapporten van de Algemene Rekenkamer.
Aan de andere kant waren en zijn er ook voorbeelden van onderzoeken die juist al tijdens de rit worden benut. Hoewel dat haaks lijkt te staan op een zorgvuldige afronding van een onderzoek, heb ik dat toch liever dan dat een rapport in de la verdwijnt. Die opvatting werd indertijd ook al gehuldigd in een van de rapporten van het bovengenoemde Meerjarenplan Sociaal Onderzoek en Beleid (Van Oijen e.a., 1984).

Ambachtelijke aspecten

Afgezien van computers op centrale rekencentra bij universiteiten, zoals het CRI in Leiden en SARA in Amsterdam, waar je naar de nacht moest uitwijken om een factoranalyse te draaien, was er helemaal niets geautomatiseerd in ons vak. Je moest voor een statistische analyse trouwens tweemaal naar het rekencentrum: inleveren van de input, bestaande uit een doos met ponskaarten, en de volgende dag ophalen van de output, bestaande uit een berg papier. En als het fout was gegaan, meestal door een ponsfoutje in een van de vele invoerkaarten, moest je het nog eens proberen.

Dat werd al een stuk beter toen SPSS werd ingevoerd. Dat pakket is deels in Leiden ontwikkeld: Norman Nie, een van de grondleggers, werkte begin jaren zeventig op het Leidse CRI en dat was geen toeval, want in Leiden bestonden al heel wat programma’s voor multivariate analyse en meerdimensionale schaaltechnieken (in de toenmalige programmeertalen Fortran, Algol en PL1).
De belangrijkste verbetering was volgens mij dat SPSS eenvoudige analyses met frequentietabellen, kruistabellen, statistische toetsen zoals de t-toets en de chikwadraattoets veel makkelijker maakte. Voordien had je minstens een volle doos ponskaarten van het toenmalige programma Crosstabs nodig om enkele tientallen kruistabellen te fabriceren.

Nog beter werd het toen er decentrale terminals kwamen, waardoor je niet langer op en neer hoefde naar het CRI. Dat was nog wel onhandig, want er waren niet al te veel van die terminals dus die waren bijna altijd bezet.
Een tijdje later kwamen de minicomputers die decentraal opereerden en waaraan een flink aantal ‘domme terminals’ konden worden aangesloten. Heel handig werkten die systemen allemaal niet en het was dan ook een hele opluchting toen het nog makkelijker werd zodra de pc’s hiervoor in de plaats kwamen.

Die pc’s waren niet alleen van betekenis voor het rekenwerk, maar misschien nog wel meer voor de tekstverwerking. Rapporten schreef je in de jaren zeventig en begin jaren tachtig op blocnotes en vervolgens moesten secretaresses proberen jouw slecht leesbare handschrift te ontcijferen, waarbij ze ook nog wijs moesten worden uit allerlei doorhalingen en tekstcorrecties en uit slecht getekende schema’s en tabellen. Gelukkig hadden ze al wel IBM-typemachines met een bolletje en een correctietoets.
Op genoemde minicomputers kwamen ook tekstverwerkingsprogramma’s, die overigens niet makkelijk te hanteren waren.
Met de invoering van de pc werd tevens het programma ‘WordPerfect’ geïntroduceerd, dat zijn naam eer aandeed. Ik heb nooit begrepen waarom dit later is verdrongen door Word, maar hoe dan ook, hiermee ging het schrijven van rapporten een stuk beter.

Wij wisten indertijd niet dat er nog een veel belangrijker doorbraak zat aan te komen, namelijk het internet. Je kunt je bijna niet meer voorstellen hoe je toen naar literatuur, documentatie, informatie moest zoeken. Ja, je kon naar de bibliotheek. Gelukkig had ik begin jaren tachtig een kamer vlak tegenover de bibliotheek van het Sociologisch Instituut en was de bibliothecaris enorm behulpzaam. Bij Research voor Beleid werden knipselarchieven aangelegd over allerlei onderwerpen, waar je gebruik van kon maken bij het schrijven van offertes.
Maar dat was echt een stenen tijdperk vergeleken met de hedendaagse supersnelle en slimme zoekmachines.

Internet heeft ook het enquêteren veranderd. Postenquêtes en later ook telefonische enquêtes zijn inmiddels in hoge mate vervangen door internetenquêtes.
Daarmee is ook het voormalige data-entry gedoe overbodig geworden. In de tijd van de ponskaarten bijvoorbeeld moesten ponstypisten twee keer het bestand inponsen, zodat je de tikfouten eruit kon halen.

Internet heeft bovendien de samenwerking tussen onderzoekers enorm vergemakkelijkt.
Als je vroeger met een ander bureau samenwerkte, was je niet alleen veel reistijd kwijt maar ook veel tijd aan het aan elkaar breien van de uiteenlopende deelproducten. Voor internationaal onderzoek gold dat in het kwadraat.

Wat vroeger ook geen sinecure was, is de omgang met het CBS. Anders dan tegenwoordig was het een tamelijk gesloten bolwerk, zeker wanneer je microdata nodig had, dan moest je worden ingezworen en kon je alleen op het CBS zelf terecht. CBS had indertijd trouwens veel minder datasystemen te bieden dan tegenwoordig.
Toegang tot databestanden van andere onderzoekinstituten kon je krijgen via het SWIDOC, mits de betreffende instituten hun bestanden beschikbaar stelden, maar daar namen ze lang niet altijd de moeite voor.
En wat indertijd ook nog niet bestond, waren big data en datamining. Niet dat dit tegenwoordig al schering en inslag is in het beleidsonderzoek, maar toen was het er helemaal niet.
Indertijd waren econometrische analyses nog weinig in zwang, die lieten we trouwens over aan het CPB. Tegenwoordig zijn heel wat bureaus daarvoor goed toegerust.

Wat het kwalitatieve onderzoek betreft, is er niet zo gek veel veranderd. Diepte-interviews, groepsgesprekken, casestudies en dossieronderzoek werden toen ook toegepast, en dat is nog steeds zo. Er komt nu wat meer automatisering bij kijken, maar verder zie je weinig verschil.

Wat vroeger wel meer plaatsvond dan tegenwoordig, zijn observaties in het veld. Tellingen zijn vervangen door big data, beleids- en praktijkexperimenten waren er veel meer omdat er meer ex ante evaluaties plaatsvonden, onderzoek met ‘mystery clients’ kwam indertijd niet veel voor, maar ook dat is inmiddels vervangen door klanttevredenheidsonderzoek in het kader van de kwaliteitszorg.

Ten slotte

Op het professionele en ambachtelijke vlak is er veel verbeterd. Ga zo door, zou ik zeggen.
Op het vlak van de relatie met opdrachtgevers is het nog steeds zoeken naar een goede verhouding. Volgens mij kan het daarbij geen kwaad om een aantal zaken die in het verleden goed werkten weer in ere te herstellen, zoals de onderzoekprogrammering en meer dialoog tijdens de aanbestedingsprocedure.
Verder verwijs ik in dit verband graag naar eerdergenoemd artikel van Van Hoesel en Herold (2018).