Evaluatie met hulp van een survey

Door: Suzanne Verdonschot

"We willen dit leertraject graag grootschalig evalueren. Met een vragenlijst". Van klanten krijgen we wel vaker het verzoek om mee te denken over manieren om na een omvangrijk leertraject ook de opbrengsten ervan duidelijk in kaart te brengen. Die vraag is zo eenvoudig nog niet. De uitdaging zit hem erin een voor de deelnemers aantrekkelijke vragenlijst te combineren met voor de evaluatie relevante vragen. Als je wilt dat veel mensen de vragenlijst invullen, helpt het als de vragenlijst aantrekkelijk is om in te vullen. Simpel gezegd: voorkom dat er een waslijst aan vragen is opgenomen die gaan over de temperatuur van de ruimte en de gebruikte leermaterialen. Hieronder enkele ideeen en een paar valkuilen. 

Ideeen om de vragenlijst aantrekkelijk te maken: 

• Maak een vragenlijst die de leerinterventie verbindt aan datgene waar het je om te doen was. Dus bijvoorbeeld als je doel met een bepaalde interventie was dat medewerkers innovatiever zouden, dan kun je een vragenlijst gebruiken over innovatief werkgedrag waarbij je ze vraagt de interventie als uitgangspunt te nemen. Of je verrijkt de vragenlijst met items speciaal over de aangeboden interventie. 
• Als je na het invullen persoonlijke feedback krijgt, werkt dat motiverend. Dan wordt het echt een leerinstrument, zo'n vragenlijst. Door de vragenlijst in te vullen, draag je niet enkel bij aan het doel van de onderzoekers maar kom je ook iets over jezelf te weten. 
• Koppel de vragenlijst aan een poll. Zo'n poll maakt direct visueel hoe je collega's ergens over denken. Via www.surveymonkey.com kun je korte vragenijsten gratis aanmaken. Als je deelnemers regelmatig prikkelt met vijf vragen, kan dat reflectie bevorderen. Helemaal als je als deelnemer ook terugkoppeling krijgt over 'jouw score' aan het eind van het traject. 
• Om hoge respons te krijgen helpt het om deelnemers persoonlijk te benaderen. Bedenk een leuke actie waarmee je mensen attendeert op de vragenlijst. Een kaartje op hun bureau, tijdens de lunchpauze mensen uitnodigen hem in te vullen, ...

Valkuilen: 

• Zorg dat je geen meetinstrument maakt dat met elk item (elke vraag) iets anders wil meten. Het helpt om onderscheid te maken tussen WAT je wilt weten (enkele thema's/clusters) en HOE je dat gaat meten (enkele items per thema). Als je vooraf niet nadenkt over de thema's waarover je iets te weten wilt komen, loop je het risico elk ingevuld item apart te gaan analyseren (op deze vraag scoorden respondenten gemiddeld x) en weinig meer te weten komt dan dat x deelnemers gemiddeld y scoorden op die en die vraag. 
• Voor het maken van items zijn ook een paar valkuilen die je gemakkelijk kunt voorkomen. Maak bijvoorbeeld eenduidige items die makkelijk te begrijpen zijn. Zonder al te veel ontkenningen. En maak in je vragen onderscheid tussen enerzijds intentie en wensen (wat mensen nog niet hebben gedaan) en anderzijds werkelijk gedrag (wat ze feitelijk hebben gedaan). In het boek 'Praktijkonderzoek, motor voor verandering in organisaties' zijn nog meer tips te vinden over het maken van items.