· 

Evalueren van een project, crisis, conflict of incident

Professionals leren het meest van hun eigen handelen. Met een evaluatie maak je dat eigen handelen expliciet. Er zijn twee smaken: laten vertellen OVER het handelen en reflecteren OP het handelen. Het grote voordeel van de eerste vorm is dat die het vakmanschap van de professional centraal stelt. Deze vorm gaat uit van vertrouwen in plaats van wantrouwen. Het voordeel van de tweede vorm is dat die objectiever is. Hieronder licht ik de verschillen verder uit.

Projectevaluaties, evalueren van een project
Projectevaluaties en het evalueren van crises, incidenten en conflicten

In de eerste variant -laten vertellen OVER- vraag je betrokkenen naar hun beleving, ervaring en zingeving naar aanleiding van een concreet incident, een crisis, een project of programma. Deze benadering uit de narratieve psychologie werkt volgens de methode van Appreciative Inquiry (begripvol bevragen) en leent zich het beste voor gevoelige zaken. Het verschil met de tweede variant is dat het niet gaat om een reconstructie, maar om de beleving van de verteller. In de tweede variant -reflecteren OP- gaat het wel om een reconstructie. Ik laat hieronder zien hoe de twee varianten werken en wat de verschillen zijn. Kijk hier als je wilt weten waarom en hoe je een beleidsmaatregel vooraf evalueert.

eerste variant: laten vertellen over

Projectevaluatie
Evaluatie van een strategieproces bij een internationale ontwikkelingshulporganisatie. Er zat kou in de lucht. Die was er na de evaluatie uit.

In de eerste variant laat je professionals vertellen over hun ervaring en beleving. Dat doe je in één-op-één interviews. Daarbij gaat het om het verhaal van de verteller en niet om wat er werkelijk gebeurde. Je reist als het ware mee met de verteller. Namen noem je niet omdat mensen dan minder vrijuit praten. In plaats daarvan noem je de functie/rol van de verteller. Vaktaal laat je juist staan. Dat hoort bij de wereld van de verteller. Door over de thematiek te laten vertellen, is het leerproces eigenlijk al begonnen. Vertellen is namelijk ook een kwestie van reflecteren. Verhalen worden daarom ook wel 'realtime zingevertjes' genoemd; net als live muziek doen ze instant hun werk bij zowel de verhalenverteller zelf als bij de luisteraar. De rol van de interviewer is terughoudend. Hij vraagt misschien om een toelichting op een onderdeel ('Hoe bedoel je dat precies?') of een inkleuring ('Hoe ervaar je zo'n moment?'). Het grote voordeel is dat ervaringsverhalen en belevingsverhalen over de hele werkelijkheid en over de echte werkelijkheid gaan. Dat betekent dat de lessen of interventies die je later eventueel gaat trekken c.q. plaatsen, gebaseerd zijn op de héle en op de echte werkelijkheid.

voorbeelden van verhaal-elementen

Uit het langere verhaal van een betrokkene haal je 'afgeronde' miniatuur-verhalen op relevante oorzaak-gevolg-verbanden. Dan gaat het om verhaal-elementen die betrekking hebben op het thema. Hieronder drie voorbeelden van verhaal-elementen uit een van onze evaluaties van een strategieproces voor een internationale hulporganisatie. Thema is dan 'de voorbereiding van strategievorming':   

 

Hoofd Programma’s vertelt: "Er werd van tevoren geen draaiboek gemaakt. Achteraf miste ik dat wel. Wat we zouden gaan doen is op een personeelsbijeenkomst wel verteld, maar we hadden het expliciet ook nog eens op papier moeten zetten wat een strategie wel en niet is, wat de bedoeling is, wie waarvoor verantwoordelijk is, wat er van afhangt. En dat hadden we dan van tevoren met elkaar moeten doorspreken. Maar ik vond dat de taak van de directeur." 

 

Een financieel medewerker vertelt: "Het belang van een participatief strategieproces werd niet gezien. Recruitment had het niet nodig, Communicatie en Marketing vonden het prima en deden ook goed mee en [Naam] wilde liever gewoon zelf bepalen welke richting het op moest."

 

Hoofd Recruitment vertelt: "Wat ik in het hele strategieproces heb gemist is aandacht voor het vertrekpunt: waar staan we als [Organisatie NL] ten opzichte van de corporate strategie van [Organisatie Internationaal]. Dat was wat mij betreft de bandbreedte van een nieuwe strategie geweest: een eigen geluid en een eigen identiteit binnen een internationale organisatie en strategie. Het vertrekpunt had moeten zijn: hoe vertaal je de FfC in een Nederlandse strategie."   

Patronen ontdekken bij verhalend evalueren

Nadat je de verhalen verzameld hebt, cluster je de miniatuur-verhalen volgens een vooropgezet schema dat uiteraard samenhangt met de insteek van de evaluatie. In de wereld van de bouw bijvoorbeeld gaat het vaak om thema's als 'Tijd', 'Kwaliteit', 'Samenwerking', 'Vakmanschap' en 'Meerwerk'. Je laat deelnemers aan de workshop zelf de rode draden uit de thema's trekken en laat ze op die thema's verder doorborduren: welke inzichten ontstaan er? Je laat deelnemers ook reflecteren op woorden die vaak terugkomen: wat zeggen die woorden over de (sub)cultuur? Zijn dat woorden die de uitvoering helpen of juist afremmen?     

tweede variant: reflecteren op de eigen rolinvulling

Projectevaluatie gemeente Amsterdam
Evaluatie van een bouwproject in Amsterdam. Er ontstond schade en daardoor vertragingsschade. De projectontwikkelaar verhaalde de schade op de gemeente Amsterdam en die weer op de aannemer. Het werd een rechtszaak en een hoger beroep.

De tweede variant begint juist wél met een reconstructie en ondervangt een aandachtspunt bij de eerste variant. Professionals en professionele organisaties reflecteren niet altijd even objectief over de eigen rol in projecten. Dat is heel menselijk, maar het staat wel het lerend vermogen in de weg. In deze variant wordt vanuit de uitkomst van een project 'teruggerekend'. Je gaat op zoek naar relevante oorzaak-gevolg verbanden en concentreert je daarop.

Rol evaluator bij tweede variant

Projectevaluatie gemeente Amsterdam
Projectevaluatie van de herprofilering van de Stadhouderskade in Amsterdam. Eigenlijk een routine-klus. Waarom loopt het dan toch anders dan gedacht? Waar ligt dat aan?

Ook hier interview je alle betrokkenen, maar anders dan in de eerste variant vraag je nu wel door op sleutelmomenten om een waarheidsgetrouwe reconstructie in reportagevorm te krijgen. Dat is uiteraard minder ingewikkeld dan het lijkt, omdat de uitkomsten ook op tafel liggen. Daarvoor is het wel van belang om alle partijen te spreken, dus in geval van een gemeentelijk bouwproject niet alleen de gemeentelijke partijen, maar ook de aannemer en de kabelbedrijven. In deze variant ga je er vanuit dat het leren pas kan beginnen als iedereen in het basisverhaal, zeg maar het 'feitenrelaas', is geschreven. Want dat is dan ook meteen het tweede grote verschil met de eerste variant: hier komt het verhaal wél vast te liggen als een soort lanceerplatform voor de evaluatie.  

voorbeelden van verhaal-elementen

Drie voorbeelden van miniatuur-verhalen uit de wereld van een infrastructureel project dat we hebben geëvalueerd: 

 

Een gemeentelijk opdrachtgever vertelt: "Alles wat binnen het bestek moest gebeuren, is ook gebeurd. Behalve nieuwe openbare verlichting. We kregen [partij] niet aan de gang. Die had dat tegelijkertijd met onze werkzaamheden moeten doen. Nu mag het projectgebied niet meer afgesloten worden en moeten ze werken in vervuilde grond, want onze saneringsconstructie is ook afgerond." 

 

Een projectleider vertelt: "Het werk had veel gestructureerder voorbereid en uitgevoerd moeten worden. Omdat het als kleine routineklus binnenkomt, is dat niet gebeurd. En als het dan wordt opgewaardeerd tot een alles-behalve-routineklus, is het kennelijk lastig om de projectstructuur op te schalen. Dan is het project eenmaal als klein routinewerk gelabeld." 

 

Een projectleider vertelt: "Mijn les is: ik wil een goedgekeurd DO hebben, voordat ik met de volgende stap verder ga. Dat probeer ik toch wel zoveel mogelijk mee te nemen. Je probeert zo goed mogelijk te anticiperen; maar stopzetten doe je niet. Ik probeer tot het uiterste door te gaan en de opdrachtgever tevreden te stellen. En het uiterste gaat soms heel ver. Misschien moet je ook de optie openlaten van STOP HIER NU. Maar die houding is voor [organisatie] wel tegennatuurlijk."

 

Een verzameling van dit soort verhalen cluster je en de rode draden bespreek je per cluster in een workshop. Aan de workshop kunnen de direct betrokkenen deelnemen, maar ook indirect betrokkenen (managers) en derden (collega's en junior professionals). Belangrijk is dat de insteek toekomstgericht is: je kijkt terug op het project om te kijken wat je in de toekomst kunt verbeteren, niet om te Zwarte Pieten. Dus: hoe had het idealiter moeten lopen? Wie had dan wat moeten doen? Hoe zit de afhankelijkheidsrelatie precies in elkaar? En hoe zou het dan in de toekomst moeten? Hoe zorgen we ervoor dat het dan zo ook gebeurt? Hoe borgen we dat? Wie moeten we er dan bij betrekken?

Waarom evalueer je een project?

  • Proces- en kwaliteitsverbetering;
  • Verantwoording richting Gemeenteraad, Provinciale Staten of Tweede Kamer;
  • Het in handen krijgen van commerciële troeven voor toekomstige projectverwerving;
  • Voorbereiding op een (mogelijke) rechtszaak.

Voordelen van verhalend evalueren

Projectevaluatie gemeente Amsterdam
Gelegenheidsuitgave in opdracht van de gemeente Amsterdam voor de ingebruikstelling van de IJtram. N.a.v. de projectevaluatie en aangeboden aan minister Karla Peijs.

Het grote voordeel van de verhalende reportagevorm is dat ook professionals die niet direct bij het project betrokken waren (junior projectleiders bijvoorbeeld) van hun collega's kunnen leren, maar dan in een veilige setting. Zo'n verhaal in reportagevorm laat zich namelijk heel goed lezen. Zeker voor jongere collega's die gretig zijn om te leren uit de praktijk. Eventueel met een hieraan gekoppelde workshop. Bovendien kun je zo'n verhaal ook goed ombouwen tot een relatiegeschenk bij een opening of ingebruikstelling of tot een mooie case study in offertetrajecten.

Bob Duynstee evalueerde in opdracht van de gemeente Amsterdam een tiental ruimtelijke projecten (bouwprojecten en infrastructurele projecten) en diverse strategische processen, o.a. voor een internationale ontwikkelingshulp-organisatie en diverse projecten voor Boer & Croon.  

meer weten?

Opmerking: De met * gemarkeerde velden zijn verplicht.

verder lezen?

Reactie schrijven

Commentaren: 0