1 Aanleiding

1.1 Ongestructureerde problemen nemen toe in de samenleving

Beleidsopgaven en maatschappelijke opgaven zijn de afgelopen decennia complexer geworden. Denk aan klimaatverandering en de energietransitie, afname van natuur en de verduurzaming van de landbouw en circulair maken en vergroening van de economie. Complexe of ongestructureerde problemen (wicked problems) hebben betrekking op meerdere domeinen, zoals het sociale, het economische en het ecologische. Kenmerkend is dat bij zowel de oorzaak als de aanpak een veelheid aan actoren is betrokken – overheden, maatschappelijke organisaties, bedrijven, burgers. We zien dit bijvoorbeeld bij de decentralisatie van beleidsdossiers zoals bij natuur. De trend van een toename van initiatieven vanuit de samenleving wordt ook wel energieke samenleving genoemd (Hajer, 2011). Door de veelheid aan actoren is het steeds minder helder wie waarvoor verantwoordelijk is. De huidige beleidsopgaven zijn dus vaak meerlagig, multi-actor, persistent, onzeker van karakter en gaan gepaard met maatschappelijke uitdagingen, zoals een tekort aan draagvlak voor maatregelen in de praktijk (legitimiteitstekort) (Ministerie van EZ, 2017; Rob, 2016; RvS, 2016; Hajer, 2011; Van der Steen et al., 2014; Van der Steen et al., 2015; PBL & WUR, 2017). Deze complexe problemen vragen om een andere beleidsaanpak. Overheden zijn daarbij veel meer afhankelijk van initiatieven van anderen en dit vraagt van hen een meer faciliterende en responsieve rol om hier bij aan te kunnen sluiten.

1.2 Ongestructureerde problemen vragen om reflexieve vormen van onderzoek

Reguliere ex-post evaluaties gaan ervan uit dat het systeem kenbaar is en de doelen helder. We zien echter dat het beleid voor complexe maatschappelijke problemen vaak nog volop in ontwikkeling is en dat doelen vaak nog abstract en weinig concreet zijn. De partijen die betrokken zijn bij het vraagstuk, hebben daarbij verschillende belangen en verschillende zienswijzen op het probleem en mogelijke oplossingen. De aanpak vraagt vaak grote veranderingen (transities) die met slechts kleine stapjes worden genomen. Het bijbehorende transitiepad is bovendien niet vooraf vast te stellen en wordt gaandeweg uitgewerkt. Daarbij is behoefte aan kennis die direct gebruikt kan worden en op basis waarvan beleid en uitvoering tussentijds kunnen worden bijgestuurd in plaats van evaluatieresultaten na afloop van het gevoerde beleid.
Behalve een andere beleidsaanpak vragen complexe problemen dus ook om een andere kennisproductie voor de beleidspraktijk, zoals beleidsevaluaties (Faasse & Koens, 2017; PBL, 2018a; PBL, 2018b; Kunseler, 2018; Ministerie van EZK, 2017). De vraagstukken zijn immers vaak multi-actor en meerlagig en gepolariseerd. De verschillende betrokken partijen staan tegenover elkaar vanwege verschillende belangen en waarde-opvattingen over het probleem en de mogelijke oplossingen. Er is kennis nodig die de verschillende perspectieven (normen en waardenkaders) aan boord neemt en maatschappelijk draagvlak geniet, ook wel sociaal-robuuste kennis genoemd. Reguliere evaluaties nemen impliciet met de vraagstelling en keuze voor onderzoeksmethoden bepaalde normen en waardenkaders aan boord. Het is daarbij de vraag wiens zienswijze, belangen en waarden hiermee wel en niet gediend zijn (Turnhout, 2017). Sociaal-robuuste kennis die de verschillende perspectieven bevat, is belangrijk. Beleidsmakers bij overheden en/of maatschappelijke partijen zullen kennis die ze niet herkennen niet gebruiken bij hun besluitvorming. Bovendien is het idee dat betrokkenen bij een bepaald beleidsdossier (zoals bedrijven, maatschappelijke organisaties, burgers, andere overheden) over relevante (praktijk)kennis beschikken, die van waarde is om een beter inzicht in de effectiviteit van beleid en de werking van het systeem te krijgen. Daarnaast kan deze kennis helpen bij het structureren van het maatschappelijk debat.
Ook is er vaak behoefte aan het leren van elkaars ervaringen. Beleidsmakers experimenteren volop met de ontwikkeling van innovatieve beleidsstrategieën gericht op het betrekken van maatschappelijke partijen en bedrijven. Vaak is er behoefte aan begripsvorming over de beleidsontwikkelingen en inzicht in wat werkt en wat niet, om zo te leren en het beleid verder te helpen. Om in deze behoefte te kunnen voorzien is een meer participatieve vorm van beleidsevaluatie nodig, waarbij mensen uit de beleidspraktijk aangeven wat zij beogen met hun beleid en hoe zij denken dat hun interventies daartoe zullen leiden. Door de aansluiting te zoeken bij hun leervragen kunnen zij maximaal leren van beleidsevaluatie en kan de geproduceerde kennis gebruikt worden bij het maken van beleidsbeslissingen.
Kortom, in het geval van complexe maatschappelijke vraagstukken kunnen reguliere beleidsevaluaties het beleid niet altijd volledig voorzien van de benodigde kennis. Als er uit de evaluatievraagstelling een behoefte volgt zoals in bovenstaande punten, dan vergt dat een andere evaluatieaanpak zoals is toegepast bij de evaluatie van het Nederlandse natuurbeleid. Bij deze evaluatie is besloten het reguliere onderzoek te combineren met participatief onderzoek. Hoewel in het Engels deze methode wordt aangeduid als reflexive evaluation, hanteren wij de meer aansprekende aanduiding lerende evaluatie. Hieronder gaan wij nader in op deze vorm van evalueren.

2 Theoretische blik op lerend evalueren

2.1 Lerend evalueren als een mengvorm van reguliere en responsieve evaluatie

Lerend evalueren kan worden gezien als een mengvorm van een reguliere evaluatie en responsieve evaluatie. Tijdens een reguliere evaluatie is beleidsverantwoording het belangrijkste doel. Onderzoekers evalueren op afstand van de beleidsbetrokkenen in hoeverre de vooraf gestelde doelen zijn gehaald en of dit tegen de laagst mogelijke kosten is gebeurd. De centrale vraag die gesteld wordt, is of het beleid effectief en efficiënt is. Om deze vraag te kunnen beantwoorden wordt het verband tussen de beleidsinterventie en het daaruit volgende effect als bekend verondersteld. Een responsieve evaluatie is een evaluatievorm die in vergaande samenspraak wordt uitgevoerd met beleidsbetrokkenen (Abma & Stake, 2001). We zien daarbij responsieve evaluatie als een ‘uiterste’ in het spectrum van participatieve evaluatiemethoden: het zogenoemde ‘vierde generatie evaluatieonderzoek’ van Guba en Lincoln (1989), waar ook de gebruiksgeoriënteerde (utilization-focused) evaluatie van Patton (2008) en de deliberatieve (deliberative) evaluatie van House en Howe (2000) toe worden gerekend. Leren is het voornaamste doel van een responsieve evaluatie. Centrale vragen zijn: wat werkt en wat niet, en waarom? De causaliteit of zelfs het doel dat beoogd wordt, hoeft niet vooraf bekend te zijn. Tijdens een lerende evaluatie komen deze twee doelen voor evalueren samen (Van der Meer & Edelenbos, 2006). Overigens is de conceptualisering van lerend evalueren van het Natuurpact enigszins anders dan zoals eerder door Edelenbos en Van Buuren werd geponeerd (2005). In onze ogen scharen zij lerend evalueren onder responsief evalueren en benadrukken zij daarmee vooral de lerende component. Hoewel wij lerend evalueren ook zouden scharen onder de vierde generatie, benutten we ook de karakteristieken van een reguliere evaluatie.
Lerend evalueren gaat om zowel het verantwoorden van beleidsdoelen áls het aansluiten bij de leerbehoeften van de beleidsbetrokkenen, om zo optimaal te kunnen leren van de ervaringen met het beleid. Een lerende evaluatie combineert hiervoor verschillende kenmerken van zowel een reguliere als een responsieve evaluatie (zie tabel 1) (Van Veen et al., 2016).

2.2 De uitdagingen van lerend evalueren

Lerend evalueren leidt niet vanzelfsprekend tot een succesvolle aanpak. Het samenbrengen van verschillende kijken op evaluatie in één aanpak stelt onderzoekers voor diverse uitdagingen. In deze paragraaf zetten we de voornaamste uitdagingen op basis van wetenschappelijke literatuur uiteen. Deze uitdagingen hebben ook invulling gegeven aan onze aanpak van de lerende evaluatie van het Natuurpact. In paragraaf 4 delen we onze ervaringen ten aanzien van deze (en andere) uitdagingen en trekken we lessen hieruit.
Een eerste uitdaging bij een lerende evaluatie is het betrekken van de ‘juiste stakeholders’. Lerend evalueren vraagt van partijen een actievere rol dan bij reguliere evaluaties. Hun interesse daarin en hun bereidwilligheid om te leren zijn niet vanzelfsprekend (Edelenbos & Van Buuren, 2005). Daarnaast is het vooraf niet altijd helder wie de ‘juiste’ stakeholders zijn. Om doorwerking en impact te realiseren is het nodig dat er partijen aanschuiven die veel belang bij en invloed hebben op het beleid (Reed et al., 2009). Daarbij is het belangrijk om alle relevante perspectieven en zienswijzen aan boord te hebben, anders zullen de partijen die aan zet zijn met de handelingsperspectieven zich niet herkennen in de uitkomsten.
Ten tweede ligt een grote uitdaging in het samenbrengen van leren en verantwoorden. Het is niet voor niets dat in wetenschappelijke literatuur de twee evaluatiedoelen leren en verantwoorden frequent zijn geproblematiseerd en zelfs weleens als onverenigbaar worden aangeduid (bijv. Guijt, 2010). Op bepaalde vlakken staan de twee doelen met elkaar op gespannen voet. Om te kunnen leren moet er sprake zijn van samenwerking en openheid van beleidsbetrokkenen, terwijl beleidsverantwoording juist geslotenheid en strategisch gedrag kan oproepen vanwege de zorg voor onvoldoende resultaten.
Een derde uitdaging volgt uit de tweede, en betreft de wetenschappelijke onafhankelijkheid van onderzoekers. Om in beleidsverantwoording met impact te kunnen voorzien is onafhankelijk onderzoek vereist, maar tegelijkertijd bouwen onderzoekers constructieve relaties en vertrouwen op met de beleidsbetrokkenen om afstemming met de beleidspraktijk te verzorgen en leren te faciliteren. Hoe kun je als onderzoeker deze twee rollen gelijktijdig invullen zonder je geloofwaardigheid te verliezen?
Tot slot vraagt lerend evalueren om een specifieke werkwijze van onderzoekers. Het samenbrengen van verschillende aanpakken vraagt van onderzoekers om te kunnen schakelen tussen diverse rollen en daarmee om een bepaalde sensitiviteit voor de context waarin ze werken (Edelenbos & Van Buuren, 2005).
Deze uitdagingen en meer zijn wij tegengekomen tijdens het uitvoeren van de lerende evaluatie van het Nederlands natuurbeleid. In de volgende paragrafen lichten we eerst deze evaluatie als casus toe. Daarna vervolgen we met een reflectie op onze ervaringen en het trekken van de belangrijkste lessen voor andere complexe beleidsdossiers, om op bovenstaande uitdagingen te kunnen anticiperen en deze het hoofd te kunnen bieden.

3 Casus: de lerende evaluatie van het Nederlands natuurbeleid

3.1 Natuurbeleid in transitie

Het Planbureau voor de Leefomgeving (PBL) heeft samen met de Wageningen University & Research (WUR) ervaring opgedaan met de methode van lerend evalueren en de bovenstaande uitdagingen. Het PBL heeft een lerende evaluatie uitgevoerd van het gedecentraliseerde natuurbeleid (PBL & WUR, 2017). Het toenmalige ministerie van Economische Zaken (nu Landbouw, Natuur en Voedselkwaliteit (LNV)) en het Interprovinciaal Overleg (IPO) hebben in 2013 in het Natuurpact afspraken gemaakt over de financiering en ambities van het Nederlandse natuurbeleid tot 2027. Provincies zijn daarmee volledig verantwoordelijk voor de uitwerking en uitvoering van de afgesproken ambities in het Natuurpact. Het Rijk is verantwoordelijk voor de kaders en legt verantwoording af aan de Europese Commissie over de Europese biodiversiteitsverplichtingen uit de Vogel- en Habitatrichtlijn (VHR) en de Kaderrichtlijn Water (KRW). Het beleid is dus op meerdere overheidsniveaus georganiseerd. De resterende Europese beleidsopgave voor de VHR en KRW is daarbij groot en complex. Provincies pakken de organisatie van het beleid – mede daardoor – in toenemende mate met maatschappelijke partijen op. Ook de inhoud van het natuurbeleid verandert. Met de afspraken in het Natuurpact zijn deze verbreed van biodiversiteit naar het versterken van de relatie tussen natuur en de samenleving en natuur en de economie. Dit zijn nieuwe opgaves waarbij provincies nog volop experimenteren hoe ze dit vorm moeten geven.
De afspraken over de evaluatie van het beleid dat voortkomt uit het Natuurpact, zijn ook vastgelegd in datzelfde Natuurpact. Het Rijk en de provincies verzoeken het PBL dit evaluatieonderzoek tot 2027 eens in de drie jaar uit te voeren. PBL heeft samen met het Rijk en de provincies besloten om deze evaluatie lerend uit te voeren. Provincies en het Rijk willen leren van elkaars ervaringen met het beleid. De aanleiding hiervoor is de decentralisatie van het beleid van het Rijk naar de provincies. De verhoudingen tussen het Rijk en de provincies waren bij aanvang van het evaluatieonderzoek sterk gepolariseerd. Dit vormde een van de redenen waarom is gekozen voor een lerende evaluatie. Dit bood de mogelijkheid om de provincies meer bij het onderzoek te betrekken en niet alleen op een afrekenende manier. Hierdoor beoogden we het eigenaarschap, de kwaliteit en bruikbaarheid van het onderzoek onder beleidsbetrokkenen te vergroten. Daarnaast viel er ook veel te leren van de nieuwe bestuurlijke context met nieuwe inhoudelijke opgaven (waaronder de verbredingsopgave), waarbij provincies op hun eigen manier hun natuurbeleid uitwerken en uitvoeren en daarbij van elkaars ervaringen kunnen leren in plaats van ieder zelf het wiel uit te vinden.
De opgave voor biodiversiteit is daarbij wel een matig gestructureerd probleem omdat het concreet uitgewerkt is in doelen en een beleidstheorie met relaties tussen fysieke maatregelen en effecten. De sturingskant (hoe deze maatregelen gerealiseerd te krijgen met verschillende partijen) is echter niet zo eenduidig. De opgave voor de nieuwe ambities, voor het versterken van de maatschappelijke betrokkenheid bij natuur en het versterken van de relatie tussen natuur en economie, is echter niet gestructureerd. Deze ambities waren niet concreet uitgewerkt in concrete doelen en bijbehorende beleidsstrategieën. Dit is de inhoudelijke reden waarom voor een hybride vorm (lerende evaluatie) is gekozen waarin zowel het verantwoorden (m.n. bij biodiversiteitsdoelen) als leren (m.n. over verbredingsdoelen) centraal staat.
Zie voor een overzicht van de belangrijkste uitkomsten van de lerende evaluatie het rapport ‘Lerende evaluatie van het Natuurpact. Naar nieuwe verbindingen tussen natuur, beleid en samenleving’ (PBL & WUR, 2017).

3.2 Opzet van de lerende evaluatie van het Natuurpact

Uniek aan de lerende evaluatie van het Natuurpact is dat de methode lerend evalueren op nationale schaal is toegepast. De toepassing was tot nu toe beperkt tot programma’s en instrumenten. Het PBL heeft samen met de WUR en de VU (Vrije Universiteit) de lerende evaluatie opgezet als een interactief proces tussen beleid en onderzoek. We verwachten dat het gezamenlijke proces de kwaliteit, impact en bruikbaarheid van het onderzoek bevordert. Het onderzoek sluit door de afstemming met de beleidspraktijk namelijk veel beter aan bij de informatiebehoeften van de beleidspraktijk. Het onderzoek wint daarnaast aan kwaliteit door inbreng van praktijkkennis, waarde-opvattingen en zienswijzen. Door ten slotte het onderzoek tijdens de beleidsontwikkeling en -uitvoering te doen stelt het beleidsmakers in staat de inzichten direct te gebruiken om hun natuurbeleid tussentijds bij te sturen. In het onderzoek is zowel kwalitatieve informatie (bijvoorbeeld over de werking van beleid) als kwantitatieve informatie (over bijvoorbeeld trends in soorten) benut (zie PBL & WUR, 2017).
Tussen onderzoek en beleid zijn regelmatig interactiemomenten georganiseerd. Hierbij gaat het om een gelijktijdige verrijking van zowel het onderzoeksproces als het beleidsproces. De interactie tussen onderzoek en praktijk vindt ten eerste plaats in gezamenlijke leer- of werksessies op overkoepelend niveau, waarvoor steeds provincies, Rijk en maatschappelijke organisaties zijn uitgenodigd (zie figuur 1), zoals werksessies over het evaluatiekader, provinciale beleidsvernieuwing en handelingsperspectieven. Ten tweede vindt structureel interactie plaats via de IPO-werkgroep natuurbeleid, die het onderzoek inhoudelijk begeleidt en richting geeft. Elke provincie wordt in dit maandelijks overleg vertegenwoordigd door een eigen beleidsmedewerker. Deze organiseren het proces voor de evaluatie binnen hun provincie en zijn zo de schakel tussen hun provincie en het evaluatieonderzoek. Ten derde vindt de interactie plaats tussen onderzoek en praktijk tijdens de reguliere onderzoeksactiviteiten. Denk hierbij aan interviews over het beleid en de beleidspraktijk met beleidsbetrokkenen; groepsgesprekken met betrokkenen bij beleidsvernieuwingen in de praktijk; en groepsreviews van de onderzochte potentie van het provinciaal beleid met groepen van drie provincies.
Het evaluatieonderzoek bestaat uit vier verschillende fasen: (1) gezamenlijk selecteren van de onderwerpen, het opstellen van de onderzoekvragen en een evaluatiekader, (2) gezamenlijk vergaren en analyseren van informatie, (3) gezamenlijk betekenis geven aan de resultaten van de analyses, en (4) ontwikkelen van handelingsopties voor beleid en het opstellen van de rapportage. Deze fasen zijn gezamenlijk opgepakt door onderzoek en beleidspraktijk. Bij de evaluatie wordt gebruikgemaakt van een cyclisch leerproces waarbij in de verschillende fasen gereflecteerd wordt op resultaten, het proces, de plannen en/of kaders en context. Op basis van opgedane inzichten worden de onderzochte aspecten – indien nodig – aangepast. Een lerende evaluatie biedt nieuwe kansen voor bruikbaarheid en kwaliteit, maar kent daarbij zijn eigen specifieke uitdagingen. Hierna reflecteren we op basis van de ervaringen in de evaluatie van het Natuurpact op deze uitdagingen om lessen te trekken voor de toepassing van deze methode voor andere beleidsdossiers.

4 Reflectie op onze ervaringen en lessen voor andere complexe beleidsdossiers

Les 1: Betrek de juiste stakeholders en organiseer betrokkenheid door het inzetten van ambassadeurs. Geef stakeholderorganisaties verantwoordelijkheid in de vertegenwoordiging van henzelf.
Een eerste uitdaging bij de lerende evaluatie van het Natuurpact was het betrekken van de provincies bij de evaluatie. Door de decentralisatie van het natuurbeleid zijn de provincies immers de belangrijkste beoogde gebruikers van de mogelijke uitkomsten. Na het sluiten van het Natuurpact was de relatie tussen het Rijk en de provincies nog steeds gespannen. Zo gaf de nog lopende controle van het Rijk op rechtmatig gebruik door provincies van geld van voor de decentralisatie spanning, evenals de decentralisatie van de Dienst Landelijk Gebied (DLG) naar de provincies, die nog volop gaande was. De provincies ervaarden bovendien het PBL daarbij als verlengstuk van het Rijk. Ze waren bang door een slecht evaluatieresultaat, en het debat hierover in de Tweede Kamer, hun net verworven verantwoordelijkheden voor het gedecentraliseerde natuurbeleid te verliezen. Voor participatie van de provincies als essentiële stakeholder zijn vertrouwen en eigenaarschap essentieel, en dat ontbrak nu juist aan het begin van de evaluatie.
Om de provincies te betrekken bij de evaluatie zijn PBL en WUR eerst gaan verkennen wat provincies als kansen en bedreigingen zagen voor de evaluatie om daarop te kunnen voortbouwen. Om te werken aan eigenaarschap bij provincies hebben PBL en WUR ingezet op ambassadeurs bij provincies. Ze kozen hierbij voor personen die aanzien genoten op bestuurlijk en/of ambtelijk niveau en die het belang van onderzoek, in het bijzonder van een lerende evaluatie, inzagen (onder wie gedeputeerde en bijzonder hoogleraar aan de VU Jan Jacob van Dijk en de voorzitter van de ambtelijke werkgroep natuurbeleid Albert Thijssen). We hebben bewust gekozen dit niet alleen via een tussenpartij als het Interprovinciaal Overleg (IPO) te organiseren, maar daarnaast ook met de direct betrokkenen in de provincies (waaronder de werkgroep natuurbeleid waarin alle twaalf de provincies vertegenwoordigd zijn). Het IPO kon in hun ogen niet namens individuele provincies spreken. Hiermee hebben we het proces op gang gebracht en daarbij hebben we de provincies actief bij het onderzoek betrokken om enerzijds het eigenaarschap en anderzijds de impact en landing van de kennis in provinciaal beleid te vergroten. Daarbij hebben we de provincies een actieve rol gegeven om zaken op te pakken in de evaluatie. Belangrijk daarbij was om hen zelf vertegenwoordigers aan te laten wijzen voor deelname aan het onderzoek, voor het verstrekken van informatie of deelname aan werksessies. Dit heeft bijgedragen aan het eigenaarschap en voorkomt ook verwijten achteraf over het betrekken van de verkeerde personen bij het onderzoek.

Les 2: Beleidsverantwoording kan het leren faciliteren doordat de angst bij beleidsmakers voor een slechte beoordeling leidt tot een grote deelname aan de onderzoeksactiviteiten. Om het leren te faciliteren is het belangrijk om ontmoetingen tussen stakeholders te organiseren die in een veilige omgeving plaatsvinden, en te werken aan een vertrouwensrelatie tussen onderzoekers en stakeholders. Voor het vertrouwen is het belangrijk transparant en voorspelbaar te werken aan het onderzoek. De balans tussen leren en evalueren heeft echter continu aandacht nodig.
De betrokkenheid van provincies bij de evaluatie-activiteiten is vanaf het begin groot geweest door het formele karakter van de evaluatie. Doordat de evaluatie formeel is vastgelegd in het Natuurpact, ervaarden de betrokkenen dit onderzoek als een oordeel over de decentralisatie. Vanwege de angst dat de evaluatie negatief voor hen zou uitpakken, hebben veel medewerkers van provincies vaak aan alle activiteiten deelgenomen om de uitkomsten te kennen. Juist door deze grote deelname aan activiteiten (zoals werksessies, casestudies en interviews) ontdekten de provincies de waarde van ontmoetingen met andere professionals (provincies, Rijk en maatschappelijke partijen) voor het opdoen van kennis en ideeën voor hun beleid. De angst voor beleidsverantwoording heeft zo paradoxaal genoeg geleid tot de bereidheid om te leren. Een van vele interactiemomenten betrof het gezamenlijk bespreken van resultaten in een zogenoemde groepsreview. Het ging hierbij om vier bijeenkomsten waar telkens drie provincies vertegenwoordigd waren. Deze groepsreviews zijn belangrijk geweest voor het leren. Deze sessies hebben we zo ingericht dat er een veilige omgeving ontstond voor deelnemers om ervaringen te delen met collega’s uit ander provincies en het Rijk. In de groepsreviews ontbraken vanwege de gespannen bestuurlijke verhoudingen de maatschappelijke partners om zo een veilige setting voor interactie tussen provincies en Rijk te realiseren. Een nadeel hiervan is wel dat de maatschappelijke partners verder van het onderzoek af staan en zich minder eigenaar voelen van de onderzoeksresultaten. Ze zullen om deze reden in de tweede lerende evaluatie wel worden betrokken bij de groepsreviews. De maatschappelijke partners zijn overigens wel betrokken geweest bij andere interactiemomenten, zoals interviews, werksessies en casestudies. Zo is er in de eerste evaluatie een evenwicht gevonden tussen leren en verantwoorden. Daardoor zijn de spanning en het strategisch gedrag verminderd, maar zeker niet verdwenen. Dit blijft een continu punt van aandacht.
In de evaluatie hebben PBL en WUR aan het vertrouwen gewerkt door actief op afstemming in te zetten in alle evaluatiefasen en transparant te zijn over de te maken keuzes in het onderzoek en de gevolgde methoden en de gebruikte gegevens. Dit heeft als voordeel dat de beleidsbetrokkenen de conclusies van de evaluatie kennen, accepteren en gebruiken bij de ontwikkeling van hun beleid. Zo hebben we de onderzoeksresultaten dat het realiseren van de plannen kon leiden tot een toename van het doelbereik (Europese biodiversiteitsdoelen) van 55% nu naar 65% in 2027, maar dat nog een forse opgave resteert, gedeeld en toegelicht aan de staatssecretaris en gedeputeerden voor natuur. De staatssecretaris (Martijn van Dam) refereerde naar deze uitkomsten in een krantenartikel van zijn hand. Gedeputeerden van natuur begrijpen en accepteren deze resultaten ook en kunnen daardoor het gesprek met elkaar en het Rijk aangaan over hoe om te gaan met de resterende opgave. Daarnaast zijn er afspraken gemaakt met het Rijk en de provincies om verrassingsvrij en voorspelbaar te werken. Dit betekende dat gevoelige resultaten altijd worden besproken voordat ze gepubliceerd worden. Er vindt hoor en wederhoor plaats, waarbij bij nieuwe feitelijke informatie de resultaten kunnen wijzigen, maar ook dat resultaten bevestigd kunnen worden als de onderbouwing voor aanpassingen ontbreekt. Dit doen we zodat de betrokkenen de inhoud van de publicatie kennen, weten waarop deze gebaseerd is en hun reactie kunnen voorbereiden. Dit heeft bijgedragen aan het vertrouwen tussen provincies, Rijk en de onderzoekers, hoewel dit geen beoogd resultaat was van het onderzoek. Betrokkenen geven aan dat de lerende evaluatie zo ook heeft bijgedragen aan het verminderen van de spanning tussen Rijk en de provincies en het herstellen van hun samenwerking (Verwoerd et al., 2017).

Les 3: Borg de onafhankelijkheid van het onderzoek door de scheiding van rollen van onderzoekers en het organiseren van een wetenschappelijke review van de resultaten
De lerende evaluatie zorgt ervoor dat de onderzoekers (evaluatoren) meer dan bij reguliere ex-post evaluatie interactiemomenten hebben met beleidsbetrokkenen. Dit roept de vraag op hoe in deze situatie de wetenschappelijke onafhankelijkheid van het onderzoek is te borgen. Om de objectiviteit van het onderzoek te waarborgen hebben we de rollen in het onderzoek verdeeld. Onderzoekers die het leerproces faciliteerden en vertrouwensrelaties opbouwden met de beleidspraktijk om zodoende kennis ten behoeve van de evaluatie te vergaren, hebben niet zelf de conclusies op basis van de inbreng uit leersessies getrokken. Dit hebben we gedaan samen met onderzoekers die niet aanwezig waren bij de leersessies. Daarbij is het belangrijk transparant te zijn over de aanpassingen die we op basis van input van stakeholders wel of niet hebben doorgevoerd. We hebben de criteria en de onderbouwing van de aanpassingen vastgelegd in verslagen en deze met de betrokkenen gecommuniceerd. Zo hebben we aangegeven naar de provincies wat we met hun input op de groepsreview hebben gedaan en op basis van welke criteria en informatie we hier wel of niet iets mee hebben gedaan. We hebben daarbij verschillende bronnen geraadpleegd (triangulatie) om verschillende opvattingen in evenwicht te brengen en tot betrouwbare resultaten te komen. Voor de borging van de wetenschappelijke kwaliteit hebben we drie seminars georganiseerd (start, midterm en eindseminar), waarbij collega-onderzoekers die niet bij het onderzoek zijn betrokken en externen het onderzoeksmateriaal hebben gereviewd. Het conceptrapport hebben we daarnaast zowel intern als extern laten reviewen. PBL werkt bovendien volgens de Aanwijzingen voor de Planbureaus (Stcrt. 2012, 3200). Deze aanwijzingen geven de juridische en financiële basis die de inhoudelijke onafhankelijkheid van het PBL borgen. Deze onafhankelijke positie was ook de reden voor EZ en IPO om voor het PBL te kiezen. Ten slotte heeft de VU het PBL geholpen bij het ontwikkelen van de onderzoeksmethode waarover in 2016 een publicatie is uitgebracht, waarin de methode wordt toegelicht (Van Veen et al., 2016). Ook heeft de VU onderzocht wat de waarden van lerend evalueren zijn geweest en in hoeverre dat overeenkomt met de oorspronkelijke veronderstellingen (Verwoerd et al., 2017). Hier zullen we in een volgend artikel op ingaan.

Les 4: Wees als onderzoeker bescheiden en sensitief richting de mensen in de beleidspraktijk. Ontwikkel daarbij vaardigheden die onderzoekers nodig hebben om de interactie goed vorm te geven, vooral bij de wisseling tussen een faciliterende en beoordelende rol.
Een lerende evaluatie vraagt om een andere manier van werken van onderzoekers. In een lerende evaluatie moeten onderzoekers anticiperen op wat stakeholders inbrengen, zodat een gezamenlijk resultaat kan ontstaan. Daar waar ze gewend zijn om op te treden als expert, moeten ze in een lerende evaluatie ook een faciliterende rol innemen die gericht is op interactie. Dit vergt andere vaardigheden van onderzoekers. Zo vonden bijna alle onderzoekers het lastig om conceptresultaten in een vroeg stadium te delen met stakeholders; ze zijn niet gewend om dit te delen met de beleidspraktijk. Voor een gezamenlijk proces is dit echter wel noodzakelijk. Ze moeten zich daarnaast bewust zijn van hun eigen normatieve opvattingen en de opvattingen die ten grondslag liggen aan hun onderzoeksmethoden. Ze moeten kunnen inschatten hoe hun resultaten geïnterpreteerd kunnen worden in een politiek-bestuurlijke context en wat andere opvattingen daarbij betekenen. Daarbij is het belangrijk dat ze zich bescheiden opstellen en ze niet komen uitleggen hoe het zit, wat ze wel gewend zijn als expert. Zo herkenden de provincies de uitkomsten over vochtcondities voor natuur niet. Het helpt dan niet om uit te leggen dat het de best beschikbare kennis is. Er is dan een proces nodig om te komen tot herkenbare gegevens die aansluiten bij de waarnemingen in de praktijk. Voor onderzoekers was het wisselen tussen een faciliterende en een beoordelende rol het lastigst. Terwijl deze onderzoekers in leersessies met een faciliterende rol werkten aan een goede relatie met beleidsmakers bij de provincie, moesten ze in een later stadium van het onderzoek als expert een oordeel overbrengen over beleidsinspanningen van deze provincies zoals bijvoorbeeld over het verwachte doelbereik, een oordeel dat mede door onderzoekers was geveld die niet bij de leersessies betrokken waren. De onderzoekers werden daarbij geconfronteerd met gespannen reacties van beleidsmakers met wie ze in leersessies een vertrouwensband hadden opgebouwd. Ze konden ineens niet meer faciliteren en meebewegen, maar moesten als expert het oordeel overbrengen en de kaders voor een inhoudelijk onafhankelijk oordeel aangeven. Ze konden daarbij alleen ingaan op relevante inhoudelijke argumenten, moesten andere argumenten afwijzen en tegelijkertijd de relatie behouden. Dit was voor veel onderzoekers een lastige en stressvolle rolwisseling en vergde van hen veel vaardigheden om hiermee om te gaan. In de lerende evaluatie van het Natuurpact is daarom veel aandacht besteed aan de politiek-bestuurlijke context in de provincies, het ontwikkelen van vaardigheden en leren van de interactie met stakeholders, maar ook aan het scheiden van rollen (zie les 3). De sensitiviteit van onderzoekers heeft een belangrijke rol gespeeld in een goede interactie met de beleidspraktijk, zo blijkt uit Verwoerd et al. (2017).

Les 5: Zorg voor een betrokkenheid bij het onderzoek met bestuurlijk mandaat en organiseer interactie met bestuurders. Zorg voor een inhoudelijke en procesbetrokkenheid bij het onderzoek voor alle stakeholders.
Het Rijk en het IPO hebben het PBL gevraagd de evaluatie van het Natuurpact uit te voeren. Het IPO zit als koepelorganisatie van de provincies in het overleg over het onderzoek, en het ministerie van LNV namens het Rijk. In het begin van de evaluatie van het Natuurpact zat er geen directe vertegenwoordiger namens de provincies aan tafel, maar later wel, namelijk de voorzitter van de ambtelijke werkgroep natuurbeleid. Deze directe vertegenwoordiging van de provincies bleek van groot belang voor deelname en betrokkenheid van de provincies aan het onderzoek. De betrokkenheid van het Rijk en de provincies werd daarnaast versterkt door het plan van aanpak voor het onderzoek en het eindrapport bestuurlijk te bekrachtigen door het Rijk en de provincies. Dit laat onverlet dat het PBL eindverantwoordelijk is en blijft voor de uitvoering van het onderzoek en de inhoud van het eindrapport. Dit punt over bestuurlijke betrokkenheid is een nieuwe uitdaging die voortkomt uit de ervaringen met de evaluatie van het Natuurpact. Het ligt in het verlengde van les 1, waarbij het gaat om de juiste stakeholders en een goede verhouding hiermee.
De overleggroep met vertegenwoordigers van Rijk en provincies verzorgde de interface tussen het Rijk en de provincies en het onderzoek. Deze stuurgroep legde ook contact tussen de politieke bestuurders en het onderzoek. We konden daardoor resultaten bij belangrijke bestuurlijke bijeenkomsten (zoals het overleg van alle gedeputeerden voor natuur (BACVP), tweedaagse strategiesessie van IPO, jaarlijks informele excursie van LNV en provincies) inbrengen. Zo is er een leersessie gehouden met de gedeputeerden van natuur en met de gedeputeerden en de staatssecretaris van EZ (het huidige LNV). Samen met de bestuurders is er gekeken naar de betekenis van de resultaten van het onderzoek en naar mogelijke handelingsperspectieven. Deze sessies zijn belangrijk geweest voor de doorwerking van het onderzoek in de beleidspraktijk. Daarnaast is er aan de start van het evaluatieonderzoek een werkgroep vanuit de provincies opgericht die de nadere uitwerking en het proces van het onderzoek adviseerde. Hierbij schoof ook het Rijk aan als partij. Voor de maatschappelijke partijen ontbrak in de eerste evaluatie zo’n structurele rol vanwege de gespannen verhoudingen tussen provincies en Rijk (kort na de decentralisatie). Wel zijn de maatschappelijke organisaties voor de andere interactiemomenten uitgenodigd. Desalniettemin zijn hierdoor het eigenaarschap en de doorwerking van het onderzoek voor deze groep – de maatschappelijke organisaties – wel veel geringer. PBL heeft voor de tweede evaluatie een maatschappelijke klankbordgroep (onder voorzitterschap van Ina Adema, burgemeester van Lelystad en lid van de begeleidingscollege van het PBL) opgericht om deze groepen beter te betrekken bij de tweede editie van de lerende evaluatie (die naar verwachting in juni 2020 gereed zal zijn).

Les 6: Maak goede afspraken over de afbakening van het onderzoek op een relevant overkoepelend schaalniveau. De interactieve aanpak leidt tot een grote informatiebehoefte op een concreet schaalniveau, wat kan leiden tot een onuitvoerbare hoeveelheid onderzoek en/of hoge kosten.
Het onderzoek was opgezet om de beleidsstrategieën van de provincies gezamenlijk te beoordelen waarbij individuele provincies of groepen van provincies hierbij vooral als illustratie dienen voor de werking en/of het potentiële effect van dit beleid. Het onderzoek beoogde inzichten te geven in:

• de ontwikkeling van het provinciale natuurbeleid in Nederland met de belangrijkste verschillen en overeenkomsten tussen provincies,

• de slaag- en faalfactoren van de provinciale natuurbeleidsstrategieën op basis van de eerste ervaringen met deze strategieën binnen de geboden kaders van het Rijk,

• de gezamenlijke potentiële bijdrage van deze provinciale strategieën aan de landelijke VHR-doelen en de individuele bijdragen van provincies hieraan.

Het leren is een centraal onderdeel van het onderzoek. Beleidsmakers hadden daarbij vooral behoefte aan inzichten op het meest concrete niveau, het niveau waarop in de beleidspraktijk de strategieën tot uitvoering en resultaten komen in concrete gebieden in hun provincie. Veel provincies wilden graag inzicht in de ontwikkeling van de beleidsstrategieën in hun provincie en in de faal- en slaagfactoren daarbij. Ze wilden ook graag effecten op soorten en ecosystemen op provincieniveau of op gebiedsniveau. De opzet van het onderzoek was gericht op een landelijke analyse over de provincies heen en voorzag hier maar ten dele in. Tijdens de uitvoering van het onderzoek hebben de onderzoekers hier wel zoveel mogelijk op proberen in te spelen. De onderzoekers, die een vertrouwensrelatie opbouwden met stakeholders in de beleidspraktijk, voelden zich geroepen hun vragen te beantwoorden. Het onderzoek is naar aanleiding hiervan uitgebreid naar een analyse van de beleidsontwikkeling per provincie en een inschatting van de slaag- en faalfactoren daarbij in elke provincie. Deze vraag was veel groter dan voorzien omdat vanwege de decentralisatie de provinciale analyses in twaalfvoud moesten. Bovendien moesten de onderzoekers deze in interactie met de beleidspraktijk vormgeven.
Deze ervaring geeft aan dat het belangrijk is om het onderzoek goed af te bakenen om het hanteerbaar en uitvoerbaar te houden en helder te zijn over de verwachtingen van wat het oplevert, zeker als een lerende evaluatie op nationale schaal wordt toegepast. Dit geldt zowel voor de onderzoekers als de betrokkenen in de beleidspraktijk. Dit punt is ook een nieuwe uitdaging, maar ligt wel in het verlengde van les 3 over het borgen van de onafhankelijkheid en les 4 over sensitiviteit, doordat onderzoekers door het bouwen van vertrouwensrelaties te veel willen gaan meebewegen met kennisbehoeften in de beleidspraktijk zodat de kennis die ontwikkeld wordt daarvoor bruikbaar is.

5 Conclusie: lerend evalueren vergt een voortdurende zorgvuldige afstemming tussen het onderzoek en de beleidspraktijk

Een lerende evaluatie kent zoals elk onderzoek zijn eigen uitdagingen. In de literatuur zagen we voor een lerende evaluatie vier uitdagingen. Een eerste uitdaging is het betrekken van de juiste stakeholders. De ervaringen in de lerende evaluatie van het Natuurpact onderstrepen deze eerste uitdaging. Het is van belang de juiste stakeholders te betrekken, dat wil zeggen die stakeholders die de groepen met een groot belang en veel invloed met mandaat kunnen vertegenwoordigen. Als betrokkenheid van hen niet vanzelfsprekend is, dan is het belangrijk om betrokkenheid te organiseren door het inzetten van ambassadeurs. Het eigenaarschap van de stakeholders kan worden vergroot door stakeholderorganisaties zichzelf te laten vertegenwoordigen in het onderzoek.
Een tweede uitdaging is het samenbrengen van leren en verantwoorden. Enerzijds laat de lerende evaluatie van het Natuurpact zien dat het verantwoorden het leren kan faciliteren. Vanwege de angst bij beleidsmakers voor een slechte beoordeling wilden ze de uitkomsten van het onderzoek goed volgen. Veel medewerkers van provincies kwamen daarom vaak naar leerbijeenkomsten, wat leidde tot uitwisseling van kennis en ideeën tussen verschillende partijen. Anderzijds zagen we ook dat leren en verantwoorden spanning geeft en daardoor voortdurend aandacht vergt. Zo vergt leren een veilige omgeving. Om deze reden ontbraken maatschappelijke partijen in bepaalde leersessies, omdat dit nog te gevoelig lag en het leereffect tussen provincies en Rijk zou kunnen belemmeren. Dit was goed voor het leren tussen provincies en het Rijk, maar het trok daarmee een wissel op het leren tussen provincies, het Rijk en de maatschappelijke partijen. Dit heeft consequenties gehad voor het eigenaarschap en de bruikbaarheid van de evaluatie voor de maatschappelijke partijen.
Een derde uitdaging is het borgen van de wetenschappelijke onafhankelijkheid van onderzoekers. Uit de lerende evaluatie van het Natuurpact blijkt dat het faciliteren van het leren door onderzoekers spanning geeft met hun onafhankelijke expertrol. Voor de wetenschappelijke onafhankelijkheid is het belangrijk om deze rollen goed te scheiden door een onderscheid te maken tussen faciliterende en beoordelende onderzoekers. Zo kan ongewenste invloed van beleidsbetrokkenen op de onderzoeksbevindingen worden voorkomen.
De vierde uitdaging is dat lerend evalueren een specifieke werkwijze vraagt van onderzoekers. Een lerende evaluatie vergt daarnaast de ontwikkeling van vaardigheden van onderzoekers om de interactie met de beleidspraktijk goed vorm te geven. Uit de lerende evaluatie van het Natuurpact bleek het belang om als onderzoeker bescheiden en sensitief te zijn richting de mensen in de beleidspraktijk. Uit deze evaluatie bleek vooral dat onderzoekers het schakelen tussen een faciliterende en een beoordelende rol als lastig en stressvol ervaarden. Onderzoekers moesten overschakelen van de facilitator die meebeweegt naar een expert die een beargumenteerd oordeel overbrengt. Ze moesten hierbij de wetenschappelijke kaders aangeven en de relatie behouden. Onderzoekers vonden de interactie met de beleidspraktijk lastig, vooral bij het wisselen tussen rollen, maar ze ontwikkelden hier gaandeweg meer vaardigheid in.
Daarnaast laat de evaluatie van het Natuurpact ook twee nieuwe uitdagingen zien voor deze methode die nog niet in de literatuur worden beschreven. Ten eerste vergt een succesvolle toepassing een goede interactie met de opdrachtgever. Voor de betrokkenheid van beleidsambtenaren is het van belang dat het onderzoek plaatsvindt met het mandaat van de bestuurders. Participatie van bestuurders aan dit onderzoek is van belang voor een goede eigenaarschap en doorwerking van de bevindingen. Ten tweede vergt een toepassing op nationale schaal van deze methode een goede afbakening om het onderzoek hanteerbaar te houden. Door het faciliteren van de interactie met de beleidspraktijk hebben de onderzoekers de neiging de leerbehoeften uit de beleidspraktijk te willen beantwoorden. Omdat leren vooral plaatsvindt op concreet niveau, kan dit leiden tot een grote hoeveelheid onderzoek en/of hoge kosten.
Een lerende evaluatie is een aanpak die kan leiden tot een bruikbare kennisbehoefte bij complexe problemen. De lerende evaluatie van het Natuurpact laat daarbij zien dat deze aanpak ook goed werkt bij een gepolariseerde gedecentraliseerde beleidscontext zoals in het natuurbeleid. Deze casus laat zien dat deze aanpak zelfs kan bijdragen aan het herstellen van de verhoudingen en samenwerking tussen partijen. Een lerende evaluatie kan daarnaast een neutrale(re) (onpartijdige) kennisproductie leveren dan een reguliere evaluatie doordat betrokkenen diverse perspectieven inbrengen in het onderzoek. Een succesvolle toepassing van de methode vergt een voortdurende en zorgvuldige afstemming tussen het onderzoek en de beleidspraktijk.