Verhalend evalueren; projectevaluaties die hout snijden

Professionals leren het meest van hun eigen handelen. Met een evaluatie maak je dat eigen handelen expliciet. Er zijn twee smaken: laten vertellen over het handelen en reflecteren op het handelen. Dat laatste is een zwaardere variant. Het grote voordeel van de eerste vorm is dat die het vakmanschap van de professional centraal stelt. Deze vorm gaat uit van vertrouwen in plaats van wantrouwen. Het voordeel van de tweede vorm is dat die objectiever is. Met beide varianten hebben wij ervaring opgedaan.

Verhalend evalueren; de rol van storytelling bij evalueren
Verhalend evalueren; de tweede variant werkt met een reconstructie op basis van relevante oorzaak-gevolg verbanden.

In de eerste variant vragen we betrokkenen naar hun beleving, ervaring en zingeving naar aanleiding van een concreet incident, een crisis, een project of programma. Uiteraard is het wel handig als je weet op welke thematiek of in welk perspectief de organisatie wil evalueren. Dat geeft richting aan het beluisteren van verhalen. Dat geldt overigens ook voor de tweede variant. Het verschil met de tweede variant is dat het niet gaat om een reconstructie, maar om de beleving van de verteller. In de tweede variant gaat het wel om een reconstructie. Daar begint het evalueren pas echt als iedereen in het verhaal geschreven is. We laten hieronder zien hoe de twee varianten werken en wat de verschillen zijn. Maar eerst nog een alinea waarom kwalitatieve evaluaties tegenwoordig zo belangrijk zijn voor professionele organisaties die zich willen blijven verbeteren.

professionele organisaties en bureaucratische controle

Een professional beschikt over specialistische kennis, is het aan zijn beroepseer verplicht kwaliteit te leveren en voelt zich zelf verantwoordelijk voor wat hij doet. Productiedwang als gevolg van de marktwerking betekent echter steeds meer bureaucratische controle. En bureaucratische controle is feitelijk niets anders dan geïnstitutionaliseerde argwaan tegen professionele zelfsturing. Zie daar de verklaring voor alle audit-systemen, verantwoordingsprotocollen en examen- en visitatiecommissies. Het gaat niet langer om het geven van werkelijk goede feedback, maar om het zodanig invullen van beoordelingsformulieren dat de visitatiecommisie er geen vat op krijgt. En wat leren professionele organisaties daar dan van?

eerste variant van verhalend evalueren

Projectevaluatie
Evaluatie van een strategieproces bij een internationale ontwikkelingshulporganisatie. Er zat kou in de lucht. Die was er na de evaluatie uit.

In deze variant laten we betrokken professionals vertellen over hun ervaring en beleving. Dat doen we in één-op-één interviews. Belangrijk om te weten is dat het daarbij gaat om het verhaal van de verteller en niet om wat er werkelijk gebeurde. De rol van de interviewer is terughoudend. Hij vraagt misschien om een toelichting op een onderdeel ('Hoe bedoel je dat precies?') of een inkleuring ('Hoe ervaar je zo'n moment?'). Het grote voordeel is dat ervaringsverhalen en belevingsverhalen over de hele werkelijkheid en over de echte werkelijkheid gaan. In die zin zijn verhalen 'holistisch' en 'authentiek'. Dat betekent ook dat de lessen of interventies die je later eventueel gaat trekken c.q. plaatsen, gebaseerd zijn op de hele werkelijkheid en op de echte werkelijkheid.

 

Uit het langere verhaal van een betrokkene halen we 'afgeronde' miniatuur-verhalen. Dan gaat het om verhalen die betrekking hebben op het thema. Drie voorbeelden van zulke miniatuur-verhalen uit een van onze evaluaties van een strategieproces voor een internationale hulporganisatie: 

 

 

 

Hoofd Programma’s vertelt: "Er werd van tevoren geen draaiboek gemaakt. Achteraf miste ik dat wel. Wat we zouden gaan doen is op een personeelsbijeenkomst wel verteld, maar we hadden het expliciet ook nog eens op papier moeten zetten wat een strategie wel en niet is, wat de bedoeling is, wie waarvoor verantwoordelijk is, wat er van afhangt. En dat hadden we dan van tevoren met elkaar moeten doorspreken. Maar ik vond dat de taak van de directeur." 

 

Een financieel medewerker vertelt: "Het belang van een participatief strategieproces werd niet gezien. Recruitment had het niet nodig, Communicatie en Marketing vonden het prima en deden ook goed mee en [Naam] wilde liever gewoon zelf bepalen welke richting het op moest."

 

Hoofd Recruitment vertelt: "Wat ik in het hele strategieproces heb gemist is aandacht voor het vertrekpunt: waar staan we als [Organisatie NL] ten opzichte van de corporate strategie van [Organisatie Internationaal]. Dat was wat mij betreft de bandbreedte van een nieuwe strategie geweest: een eigen geluid en een eigen identiteit binnen een internationale organisatie en strategie. Het vertrekpunt had moeten zijn: hoe vertaal je de FfC in een Nederlandse strategie."   

rol evaluator bij verhalend evalueren

We laten betrokkenen vooral vertellen. We reizen als het ware mee met de verteller. Namen noemen we niet omdat mensen dan minder vrijuit praten. In plaats daarvan noemen we de functie/rol van de verteller. In coalitieprojecten zul je echter wel de namen van organisaties moeten kunnen gebruiken. Tenslotte wil je straks ook kunnen reflecteren op de verhalen en de interventies c.q. non-interventies tijdens het project, de crisis of het incident. Vaktaal laat je juist staan. Dat hoort bij de wereld van de verteller. Door over de thematiek te laten vertellen, is het leerproces eigenlijk al begonnen. Vertellen is namelijk ook een kwestie van reflecteren. Verhalen worden daarom ook wel 'realtime zingevertjes' genoemd. Net als live muziek doen ze instant hun werk bij zowel de verhalenverteller zelf als bij de luisteraar. Dus dat is de eerste winst.

Patronen ontdekken bij verhalend evalueren

Nadat we de verhalen verzameld hebben, nodigen we collega's en managers uit om in een workshop de verhalen te clusteren volgens een vooropgezet schema dat uiteraard samenhangt met de insteek van de evaluatie. In de wereld van de bouw bijvoorbeeld gaat het vaak om thema's als 'Tijd', 'Kwaliteit', 'Samenwerking', 'Vakmanschap' en 'Meerwerk'. We laten deelnemers aan de workshop zelf de rode draden uit de thema's trekken en laten ze op die thema's verder doorborduren: welke inzichten ontstaan er? We laten deelnemers ook reflecteren op woorden die vaak terugkomen: wat zeggen die woorden over de (sub)cultuur? Zijn dat woorden die de uitvoering helpen of juist afremmen?     

tweede variant van verhalend evalueren

Projectevaluatie gemeente Amsterdam
Evaluatie van een bouwproject in Amsterdam. Er ontstond schade en daardoor vertragingsschade. De projectontwikkelaar verhaalde de schade op de gemeente Amsterdam en die weer op de aannemer. Het werd een rechtszaak. Een hoger beroep.

De tweede variant begint juist wél met een reconstructie en ondervangt een aandachtspunt bij de eerste variant. Professionals en professionele organisaties reflecteren niet altijd even objectief over de eigen rol in projecten. Dat is heel menselijk, maar het staat wel het lerend vermogen in de weg. In deze variant wordt vanuit de uitkomst van een project 'teruggerekend'. We gaan op zoek naar relevante oorzaak-gevolg verbanden en concentreren ons daarop.

Rol evaluator bij tweede variant

Projectevaluatie gemeente Amsterdam
Projectevaluatie van de herprofilering van de Stadhouderskade in Amsterdam. Eigenlijk een routine-klus. Waarom loopt het dan toch anders dan gedacht? Waar ligt dat aan?

Ook hier interviewen we alle betrokkenen, maar anders dan in de eerste variant vragen we nu wel door op sleutelmomenten om een waarheidsgetrouwe reconstructie in reportagevorm te krijgen. Dat is uiteraard minder ingewikkeld dan het lijkt, omdat de uitkomsten ook op tafel liggen. Daarvoor is het wel van belang om alle partijen te spreken, dus in geval van een gemeentelijk bouwproject niet alleen de gemeentelijke partijen, maar ook de aannemer en de kabelbedrijven. In deze variant gaan wij er vanuit dat het leren pas kan beginnen als iedereen in het basisverhaal is geschreven. En dat is dan ook meteen het tweede grote verschil met de eerste variant: hier komt het verhaal wél vast te liggen als een soort lanceerplatform voor de evaluatie.  

 

 

Drie voorbeelden van miniatuur-verhalen uit de wereld van een infrastructureel project dat we hebben geevalueerd: 

 

 

Een gemeentelijk opdrachtgever vertelt: "Alles wat binnen het bestek moest gebeuren, is ook gebeurd. Behalve nieuwe openbare verlichting. We kregen [partij] niet aan de gang. Die had dat tegelijkertijd met onze werkzaamheden moeten doen. Nu mag het projectgebied niet meer afgesloten worden en moeten ze werken in vervuilde grond, want onze saneringsconstructie is ook afgerond." 

 

Een projectleider vertelt: "Het werk had veel gestructureerder voorbereid en uitgevoerd moeten worden. Omdat het als kleine routineklus binnenkomt, is dat niet gebeurd. En als het dan wordt opgewaardeerd tot een alles-behalve-routineklus, is het kennelijk lastig om de projectstructuur op te schalen. Dan is het project eenmaal als klein routinewerk gelabeld." 

 

Een projectleider vertelt: "Mijn les is: ik wil een goedgekeurd DO hebben, voordat ik met de volgende stap verder ga. Dat probeer ik toch wel zoveel mogelijk mee te nemen. Je probeert zo goed mogelijk te anticiperen; maar stopzetten doe je niet. Ik probeer tot het uiterste door te gaan en de opdrachtgever tevreden te stellen. En het uiterste gaat soms heel ver. Misschien moet je ook de optie openlaten van STOP HIER NU. Maar die houding is voor [organisatie] wel tegennatuurlijk."

 

Een verzameling van dit soort verhalen clusteren we en de rode draden gaan we per cluster in een workshop bespreken. Aan de workshop kunnen de direct betrokkenen deelnemen, maar ook indirect betrokkenen (managers) en derden (collega's en junior professionals). Belangrijk is dat de insteek toekomstgericht is. We kijken terug op het project om te kijken wat we in de toekomst kunnen verbeteren. Dus: hoe had het idealiter moeten lopen? Wie had dan wat moeten doen? Hoe zit de afhankelijkheidsrelatie precies in elkaar? En hoe zou het dan in de toekomst moeten? Hoe zorgen we ervoor dat het dan zo ook gebeurt? Hoe borgen we dat? Wie moeten we er dan bij betrekken?

Voordelen van verhalend evalueren

Projectevaluatie gemeente Amsterdam
Gelegenheidsuitgave in opdracht van de gemeente Amsterdam voor de ingebruikstelling van de IJtram. N.a.v. de projectevaluatie en aangeboden aan minister Karla Peijs.

Ook in deze variant werken we met een geanonimiseerd verhaal. Uiteraard zit er ook hier een leereffect in de eerste interviewfase, maar de grootste waarde haalt een organisatie uit de workshopfase. En ook hier zit een derde leerfase aan vast. Want het grote voordeel van de verhalende reportagevorm is dat ook professionals die niet direct bij het project betrokken waren (junior projectleiders bijvoorbeeld) van hun collega's kunnen leren, maar dan in een veilige setting. Zo'n verhaal in reportagevorm laat zich namelijk heel goed lezen. 'Als een trein', horen we vaak. Als het niet zo serieus was, zou zou je het zelfs 'spannend' kunnen noemen. En precies om die reden kun je zo'n verhaal ook goed ombouwen tot een relatiegeschenk bij een opening of ingebruikstelling.

Bob Duynstee

Voor iedere vraag ontwikkelen wij een praktisch en inspirerend traject. Wil je een gratis en vrijblijvend adviesgesprek over het evalueren van een project, crisis of incident?

Reactie schrijven

Commentaren: 0