Monitoring Brede Regeling Combinatiefuncties (BRC)

Redenen om aan monitoring en evaluatie te doen zijn afhankelijk van de situatie. De belangrijkste en/of meest voorkomende redenen zijn:

• Borging: draagvlak wordt vergroot wanneer lokale partijen inzicht hebben in de opbrengsten, wat leidt tot toekomstbestendigheid van de activiteiten.
• Volgen: hoe verloopt de uitvoering van de plannen/doelen?
• Bijsturen: moeten we beleid of uitvoering bijsturen aan de hand van gemonitorde processen/resultaten/effecten?
• Verklaren: welke factoren beïnvloeden proces/resultaten/effecten?
• Verantwoorden: hebben investeringen geleid tot de gewenste resultaten/effecten?
• Financieren: financiën zijn makkelijker te verkrijgen wanneer sponsors/subsidieverstrekkers inzicht hebben in de opbrengsten.

Monitoring gaat over het structureel bijhouden van de inzet van middelen, uitgevoerde activiteiten en behaalde prestaties, bijvoorbeeld door of met de inzet van buurtsportcoaches. Het belangrijkste kenmerk van een monitor is dat op gezette tijden data worden verzameld en dat dit doorlopend plaatsvindt.

Evaluatie gaat over het zoeken naar verbanden tussen vooraf geformuleerde doelen en de resultaten uit de monitoring. Het doel van een evaluatie is een tussen- of eindoordeel te vormen over het te voeren beleid of een interventie. Monitoring en evaluatie vullen elkaar aan en bevorderen samen resultaatgericht werken. Er zijn verschillende soorten evaluatie: een proces- of een effectevaluatie.

Een effectevaluatie kijkt kwantitatief of significante verschillen tussen het voor- en eindresultaat aantoonbaar zijn. Een goede effectevaluatie heeft een controlegroep, een vergelijkbare groep die niet heeft deelgenomen aan een interventie/activiteiten, om effect sterker aan te tonen.

Een procesevaluatie is meer kwalitatief ingestoken en haalt ervaringen op bij de gebruikers of betrokkenen. Een procesevaluatie beschrijft hoe bepaalde resultaten worden bereikt, zoals de werking en de uitvoering van de activiteiten/werkzaamheden van de buurtsportcoach. Een procesevaluatie kan nuttig zijn om sturing te geven aan beleid, maar kan geen uitspraken doen over het daadwerkelijke effect van beleid/interventie.

Meer weten over verschillende niveaus van het meten van effectiviteit? Lees de kwaliteitscriteria voor interventies, die RIVM, NJi, NISB, Trimbos instituut, Vilans, Movisie en NCJ gebruiken om interventies te beoordelen.

Monitoren kost minder werk wanneer vooraf is nagedacht over wat, waar en wanneer welke data bijgehouden moeten worden. Beschrijf dit in het vooraf opgestelde monitoringsplan. Door structureel en consequent data bij te houden, wordt monitoren een vast onderdeel van het werken van de buurtsportcoach. Dit voorkomt dat achteraf veel tijd gestoken wordt in het ophalen van ervaringen die niet tussentijds zijn vastgelegd. Dit betekent wel dat vooraf tijd moet worden geïnvesteerd in het opstellen van de monitoringsagenda, zodat dit tijdens en na het monitoren tijd bespaart (stap 4 van het stappenplan).

Ook evalueren kost minder tijd wanneer een goed evaluatieplan is opgesteld. Omdat in dit plan is nagedacht waarom welke data moeten worden verzameld, is de interpretatie van deze data bij de evaluatie ook makkelijker. Concreet, specifiek en tijdgebonden geformuleerde doelstellingen dragen ook bij aan een minder tijdsintensieve evaluatie (stap 2 van het stappenplan). Met goede doelstellingen is het makkelijker om achteraf de data te vergelijken met de beoogde doelen (zie werkblad vergelijking doelen en resultaten).

Bijvoorbeeld wanneer de gemeente recentelijk is gestart met de inzet van buurtsportcoaches; beleid sterk heeft gewijzigd; het monitorings- en evaluatiebeleid wil herzien.

Doorloop het hele stappenplan voor het monitoren en evalueren van de inzet van buurtsportcoaches. In acht stappen nemen we je mee in het proces van doelen formuleren, gegevens verzamelen, analyseren en bijsturen. Werkbladen zijn bijgesloten bij het stappenplan, om je in dit proces van monitoren en evalueren praktisch te ondersteunen.

Bedenk dat achteraf evalueren beperkingen met zich meebrengt. Zo is een effectevaluatie niet mogelijk, omdat daarvoor een meting nodig is voorafgaand aan het beleid/de interventie. Wanneer tussentijds wordt verteld dat een evaluatie nodig is, dan kan een procesevaluatie worden uitgevoerd. Is deze mededeling achteraf? Dan is een evaluatie niet meer mogelijk, maar kunt u wel bepaalde zaken monitoren. Zie de uitleg bij tussentijds of achteraf hieronder. Meer weten over verschillende niveaus van het meten van effectiviteit? Lees de kwaliteitscriteria voor interventies, die RIVM, NJi, NISB, Trimbos instituut, Vilans, Movisie en NCJ gebruiken om interventies te beoordelen.

Tussentijds

Een procesevaluatie haalt ervaringen op bij de gebruikers of betrokkenen. Met een procesevaluatie beschrijf je hoe bepaalde resultaten door buurtsportcoaches zijn bereikt, ingaande op de werking en uitvoering van de activiteiten en werkzaamheden van buurtsportcoaches. Met deze procesevaluatie kun je geen uitspraken doen over de effectiviteit van het beleid, maar kunnen resultaten wel sturing geven aan het beleid en de waardering van gebruikers/betrokkenen ophalen.

Zet de opgehaalde informatie af tegen de vooraf gestelde doelen om te bepalen wat de waardering van betrokkenen is over de inzet van de buurtsportcoaches (zie werkblad vergelijking doelen en resultaten). Kijk goed naar de vraag die je met de evaluatie wilt beantwoorden en probeer een concreet antwoord te formuleren. Het is belangrijk om te beoordelen waarom ervaringen wel of niet zijn zoals beoogd. Het antwoord hierop geeft namelijk input om beleid bij te sturen en effectiever of efficiënter te maken. Lees meer over de interpretatie van cijfers in stap 7 van het stappenplan.

Achteraf

Bedenk wat het doel is of de doelen zijn met de inzet van buurtsportcoaches (zie ook stap 2 van het stappenplan). Verzamel vervolgens relevante registratiedata omtrent deze doelen die doorlopend worden verzameld. Niet alles is relevant om te beoordelen of doelstellingen zijn behaald: verzamel alleen data die relevant zijn voor uw doelstellingen. De openbare data kun je hier inzien, gerangschikt naar onderwerp. Zet alle opgehaalde informatie af tegen de vooraf gestelde doelen om te bepalen wat de inzet van de buurtsportcoaches wellicht heeft opgeleverd (zie werkblad vergelijking doelen en resultaten).

Het is van belang om complexe doelen klein, specifiek en tijdgebonden te formuleren (zie stap 2 ‘doelen stellen’ in het stappenplan). Ga samen met nauw betrokken partners het gesprek aan om focus te geven aan een doel.

Als voorbeeld nemen wij de doelstelling: ‘talentontwikkeling bevorderen bij kinderen’. Stel allereerst definities vast (wat is ‘talentontwikkeling’?; wat houdt ‘bevorderen’ in?) en specificeer de doelgroep (‘kinderen van 4-12 jaar’). Stel vervolgens een tijdsperiode af waarin je een bepaald resultaat wilt zien. We blijven bij ons voorbeeld. De doelstelling is dan: over vier jaar hebben kinderen van 4-12 jaar in gemeente X meer mogelijkheid tot talentontwikkeling, doordat ze met vijf nieuwe soorten sporten en culturele activiteiten op school in aanraking komen.

Deze doelstelling kan nog veel concreter, maar of dit nodig is hangt af van de lokale situatie. Sommige informatie is wellicht nog niet bekend, denk aan de vraag of sommige kinderen minder toegang hebben tot talentontwikkeling dan anderen in gemeente X. Dit moet eerst worden uitgezocht, voordat het specifiek in beleid/uitvoeringsplan kan worden opgenomen.

Wanneer alle gegevens systematisch verzameld zijn, is al een grote stap gezet in het monitoren en evalueren. Bekijk stap 7 ‘gegevens interpreteren’ van het stappenplan om te zien hoe je de gegevens die je hebt verzameld kunt interpreteren. Bedenk wat het doel is geweest van het bijhouden van gegevens. Wat wil je bereiken met de evaluatie? Bekijk wel of de stappen 1 t/m 6 van het stappenplan goed zijn uitgevoerd voordat je aan stap 7 begint. Wat waren de vooraf geformuleerde doelstellingen? Kun je aan de hand van monitoringsgegevens bepalen of de doelstellingen zijn behaald?

Voor doelen op effectniveau is een harde relatie tussen inzet van buurtsportcoaches en behaald resultaat vaak moeilijk aan te tonen. Denk aan doelen als: ‘afname van overgewicht met 5 procent bij kinderen van 4-12 jaar in tien jaar’. Je kunt niet stellen of een eventuele daling in overgewicht volledig te danken is aan de inzet van buurtsportcoaches. Veel factoren kunnen van invloed zijn op deze daling.

Wel mogelijk is het beredeneren of het aannemelijk is dat de inzet van de buurtsportcoaches aan dit resultaat heeft bijgedragen. Zijn bijvoorbeeld meer sportactiviteiten georganiseerd op de basisscholen door de buurtsportcoaches? En blijkt uit het onderzoek dat de kinderen, naast minder overgewicht, ook vaker lid zijn bij een sportvereniging? Dan valt te beredeneren dat het aannemelijk is dat de inzet van buurtsportcoaches heeft bijgedragen aan de afname van overgewicht bij kinderen.

Denk ook aan de combinatie ‘tellen en vertellen’ en combineer cijfers met verhalen. Peil bijvoorbeeld de ervaringen van deelnemers. Wellicht benoemen deelnemende kinderen dat zij lid zijn geworden van een sportvereniging, omdat hun ouders hier eerder geen geld voor hadden en via Jeugdfonds Sport en Cultuur dit nu wel mogelijk is gemaakt. Dit betekent dat de rol van de buurtsportcoach voor de toename van lidmaatschap bij sportverenigingen kleiner is geweest dan verwacht.

Als de doelen klein, specifiek en tijdgebonden zijn geformuleerd, dan is de evaluatievraag makkelijker te beantwoorden en kun je stellen of de inzet wel of niet effectief was. Denk aan doelen als: ‘aantal sportactiviteiten op basisscholen in gemeente X gestegen met 10 procent in twee jaar’ of ‘het aandeel 65-plussers met een lichamelijke beperking in activiteit X is binnen twee jaar minimaal 50 procent’. Voor doelen op activiteiten- of prestatieniveau is het vaak wat makkelijker om iets te zeggen over effectiviteit. Op deze manier kun je een indicatie geven van de effectiviteit van uw inzet en duiding geven waarom wel of niet een effect is opgetreden. Deze resultaten kun je gebruiken om beleid en activiteiten aan te scherpen.

Sinds de invoering van de AVG (Algemene Verordening Gegevensbescherming) in 2018 mag je niet zomaar persoonsgegevens van iemand noteren zonder toestemming. Een persoonsgegeven is alle informatie over een geïdentificeerde of identificeerbare natuurlijke persoon, dus informatie die direct over iemand gaat of naar deze persoon te herleiden is. In Excel mag je dus niet zonder meer bijhouden bij welke activiteiten bijvoorbeeld ‘Jeroen Smit’ was. Wanneer ‘Jeroen Smit’ hiervoor toestemming geeft, mag dit wel. Vraag dus – indien mogelijk – toestemming als je iets wilt registreren en leg dit op papier of digitaal vast.

Soms is het vragen van toestemming niet mogelijk of lastig. Een oplossing kan zijn om te werken met respondentnummers. Zet niet in Excel dat ‘Jeroen Smit’ aanwezig was, maar respondent 14. In een ander beveiligd document kan jij vervolgens terugvinden dat ‘Jeroen Smit’ respondent 14 is. Wanneer derden jouw registratie willen inzien, kunnen ze niet zien dat ‘Jeroen Smit’ regelmatig deelneemt, maar wel dat respondent 14 vaak aanwezig is.

Houd als leidraad aan dat het registreren van persoonsgegevens een doel moet hebben en dat je deze niet zomaar met derden deelt. Twijfel je of iets wel of niet mag? Het is veiliger om het dan niet te doen. Een gemeente of andere grote organisatie heeft veel te maken met de privacywet en kan je hierover wellicht advies geven. Op de website www.autoriteitpersoonsgegevens.nl staat ook veel informatie over dit onderwerp.

Buurtsportcoaches worden op veel verschillende manieren ingezet. Niet vreemd dus dat ook het monitoren en evalueren door gemeenten op verschillende manieren wordt georganiseerd. Wij hebben twee voorbeelden uitgewerkt van de gemeenten Soest en Enschede. Zelf kun je ook bijvoorbeeld een gemeente bij jou in de buurt of een collega ambtenaar bij een andere gemeente die je kent benaderen om te vragen hoe het daar in zijn werk gaat.

Vind je dat jouw gemeente als goed voorbeeld dient en wil je deze methodiek graag ter inspiratie aan andere gemeenten aanbieden? Laat het ons weten via w.vanstam@mulierinstituut.nl.

Het Mulier Instituut heeft samen met Kenniscentrum Sport een overzicht gemaakt van openbare databronnen en meetinstrumenten. In dit overzicht staat aangegeven op welk niveau deze data beschikbaar zijn (landelijk, gemeentelijk, buurt/wijk). Deze data zijn gerangschikt naar de zes thema’s van het Nationale Sportakkoord.

Op www.sportenbewegenincijfers.nl van het RIVM is ook veel data beschikbaar op landelijk, regionaal, gemeente- en wijkniveau over de kernindicatoren sport. En op www.waarstaatjegemeente.nl staat veel informatie op gemeenteniveau die vergeleken kan worden met andere gemeenten of landelijke gemiddelden.

Met het Excel-registratieformulier kunnen meerdere buurtsportcoaches data registreren over hun activiteiten, het bereiken van hun doelgroep, of betrokken samenwerkingspartners. Door automatische tellingen en figuren, kunnen registratiedata overzichtelijk over een langere tijd op één plek worden verzameld.

Vragenlijsten voor enquêtes:

• Voor gemeenten (Mulier Instituut)
• Voor betrokken organisatie (Mulier Instituut)
• Voor buurtsportcoaches (Mulier Instituut)
• Voor cultuurcoaches (LKCA, pagina 27-33)

Vragenlijsten voor interviews:

• Voor gemeenten (Mulier Instituut)
• Voor betrokken organisaties (Mulier Instituut)
• Voor buurtsportcoaches (Mulier Instituut)

Instrumenten:

• Excelregistratieformulier voor de werkzaamheden van de buurtsportcoach (Mulier Instituut)
• Excelinstrument voor het inventariseren van ervaren effect (gemeente Soest)
• De website van Sport en Bewegen in de Buurt. Zij houden allerlei handige producten en instrumenten bij in hun overzicht
• ‘Zicht op effect’,  een overzicht van instrumenten om zelf je aanpak te meten (Movisie)

Andere handige instrumenten:

• Overzicht openbare data en meetinstrumenten, waar staat aangegeven op welk niveau deze data beschikbaar is (landelijk, gemeentelijk, buurt/wijk). Deze data zijn gerangschikt naar de zes thema’s van het Nationale Sportakkoord (Mulier Instituut & Kenniscentrum Sport)
• Quickscan buurtsportcoach, waarmee het actieterrein, doel(groepen) en organisatiestructuur van de buurtsportcoach worden bepaald (Expertisecentrum Buurtsport en CATCH-onderzoeksteam, België)