Nulmeting en evaluatiekader NLCS
Een goede voorbereiding is het halve werk
In 2022 is de Nederlandse cybersecuritystrategie 2022-2028 gepresenteerd. Het doel van deze strategie is de digitale weerbaarheid van Nederland te vergroten, het cybersecuritystelsel te versterken en digitale dreigingen aan te pakken. De NLCS wordt in 2025 geëvalueerd. Als voorbereiding hierop is een nulmeting uitgevoerd en is er een monitoringskader opgesteld.
De NLCS in het kort
In oktober 2022 is de Nederlandse Cybersecuritystrategie (NLCS) 2022-2028 gepresenteerd. De NLCS bouwt voort op de Nederlandse Cyber Security Agenda (NSCA) en is bedoeld als een toekomstgerichte, duurzame visie op het versterken van de digitale veiligheid in Nederland. Lees ook mijn eerdere blog over de Nederlandse Cybersecuritystrategie. Om de visie van de NLCS te realiseren, zijn doelstellingen en acties geformuleerd op basis van vier pijlers:
- Pijler 1: het kabinet wil de digitale weerbaarheid van de overheid, bedrijven en maatschappelijke organisaties verhogen en bij ontdekte cyberincidenten de schade beperken.
- Pijler 2: het kabinet wil toewerken naar een veilige en innovatieve digitale economie. Digitale producten en diensten moeten veiliger zijn en de cybersecuritykennis- en innovatieketen moet versterkt worden.
- Pijler 3: het kabinet wil het zicht op digitale dreigingen van staten en criminelen vergroten om op basis hiervan te handelen.
- Pijler 4: het kabinet wil meer inzetten op cybersecurityspecialisten en goed onderwijs om de digitale veiligheid en digitale weerbaarheid van burgers te bevorderen.
Elke pijler beschrijft de doelen en initiatieven die het kabinet neemt om de doelen te bereiken. In mijn blog ‘De cybersecuritystrategie – pijler 1 en 2’, en ‘De cybersecuritystrategie – pijler 3 en 4’ ga ik hier dieper op in.
Aanleiding onderzoek
Na evaluatie door de NCSA blijkt dat een effectieve evaluatie niet mogelijk is zonder een nulmeting. Minister Yeşilgöz-Zegerius van Justitie en Veiligheid heeft daarom het Wetenschappelijk Onderzoek- en Datacentrum (WODC) gevraagd een nulmeting uit te voeren bij aanvang van de NLCS. Dit heeft ook als doel om een monitoringskader te ontwikkelen voor de jaarlijkse voortgangsrapportage en de geplande evaluatie van de NLCS. WODC heeft Dialogic gevraagd een nulmeting uit te voeren en een monitoringskader voor de strategie te ontwikkelen. De onderzoeksopzet bestaat uit vijf stappen per NLCS- pijler: kernactiviteiten, beleidslogica, meetbaarheid, nulmeting en monitoring. Om dit te realiseren zijn verschillende onderzoeksmethoden gebruikt, waaronder deskstudie, interviews en validatiesessies.
Het onderzoeksrapport bespreekt de resultaten van de NLCS. Hoofdstukken 3 tot en met 6 bieden een gedetailleerd overzicht van de onderzoeksresultaten voor elk van de vier pijlers. Hierbij wordt dieper ingegaan op de context van de activiteiten en het bijbehorende beleid. Ook wordt geanalyseerd of de beleidsactiviteiten, mits goed uitgevoerd, leiden tot de doelstellingen zoals geformuleerd in de strategie. Bovendien zijn voor elke pijler de kernactiviteiten vastgesteld, is een concrete nulmeting uitgevoerd, en worden er suggesties gedaan voor monitoring.
Onderzoeksresultaten
In vijf stappen
In het rapport worden conclusies getrokken gebaseerd op de vijf stappen van de onderzoeksopzet:
1. Kernactiviteiten:
De NLCS benadrukt vijf belangrijke speerpunten. In het rapport wordt geconcludeerd dat de kernactiviteiten van de vier pijlers goed aansluiten bij deze punten. Enkele observaties die opvallen zijn:
- Er zijn relatief weinig extra middelen toegewezen aan het vergroten van het aantal cybersecurityspecialisten. Het is onduidelijk welke extra bijdrage het actieplan levert aan dit doel.
- Er is behoefte aan een herschikking van verantwoordelijkheden en meer publiek-private samenwerking. De NLCS zet hier wel op in, maar het is moeilijk vast te stellen welke middelen beschikbaar zijn voor dit punt.
2. Beleidslogica
Op het niveau van de pijlers is beoordeeld of de beleidsactiviteiten, indien goed uitgevoerd, logisch bijdragen aan de doelstellingen van de strategie. De conclusie is dat dit grotendeels het geval is in het actieplan. Dit komt doordat bij het opstellen van het actieplan specifiek aandacht is besteed aan beleidslogica, een verbetering ten opzichte van de NCSA. Belangrijke aandachtspunten per pijler zijn:
- Pijler 1: Er wordt onvoldoende gedaan om het MKB en maatschappelijke organisaties te betrekken.
- Pijler 2: Innovaties die vastlopen in een theorie of ‘proof of concept’ voegen nauwelijks waarde toe.
- Pijler 3: Er heeft onvoldoende internationale afstemming plaatsgevonden.
- Pijler 4: Het actieplan pakt het tekort aan cybersecurityspecialisten niet aan.
3. Nulmeting
De nulmeting is een belangrijk resultaat van dit onderzoek. In de bijlage van het onderzoeksrapport staat een tabel met een nulmeting voor elk van de 136 activiteiten uit het actieplan. De belangrijkste observaties per pijler zijn:
- Pijler 1: Richt zich vooral op het verbeteren van bestaande organisaties, wetten en procedures. Activiteiten zitten vaak in de beginfase. Voorbeelden zijn de samenvoeging van het CSIRT-DSP en het DTC in het NCSC, en het invoeren van NIS2 in de Wbni. De verbetering van (landelijke) plannen voor incidenten, continuïteit en herstel volgt een vergelijkbare trend, waarbij het LCP-digitaal als voorbeeld geldt. Meer sectoren en organisaties worden betrokken bij deze plannen, zoals blijkt uit ISIDOOR.
- Pijler 2: Veel activiteiten hangen af van ontwikkelingen op Europees niveau. De Concept Regulatory Act (CRA) zit nog in de conceptfase en er wordt nog onderhandeld tussen de Europese Commissie, het Parlement en de Raad. In juli 2023 is een motie aangenomen om de implementatie van de Algemene Beveiligingseisen Rijksoverheid opdrachten (ABRO) te versnellen. Dcypher heeft twee routekaarten gemaakt voor het innovatie-ecosysteem, gericht op geautomatiseerd kwetsbaarhedenonderzoek en cryptocommunicatie. De start van NEXIS is uitgesteld tot eind volgend jaar.
- Pijler 3: Het uitvoeren van een nulmeting voor pijler 3 is niet overal mogelijk vanwege de vertrouwelijkheid van de AIVD en MIVD. Het beleid van de Politie en het Openbaar Ministerie is vastgelegd in Veiligheidsagenda 2023-2026. Momenteel zijn 35 diplomaten op de ambassade bezig met cybervraagstukken.
- Pijler 4: De nulmeting van bewustwordingsactiviteiten toont aan dat de belangrijkste campagne jaarlijks plaatsvindt tijdens de cybersecuritymaand in oktober, waaronder Alert Online. In 2023 lag de focus op social engineering, 2-factor authenticatie en updates voor slimme apparaten. Voor curriculumherziening zijn conceptversies van kerndoelen voor basisvaardigheden opgeleverd in de zomer van 2023, en het ‘masterplan basisvaardigheden’ is gestart in het schooljaar 2022-2023. Het Ministerie van Onderwijs, Cultuur en Wetenschap investeert vanaf 2023 jaarlijks 14 miljoen euro in HBO-opleidingen in de bètatechniek, en sectorplannen in het WO zijn gestart in 2018, inclusief investeringen in cybersecurity.
4. Meetbaarheid
De meetbaarheid van de NLCS is aanzienlijk verbeterd in vergelijking met vroeger. Dit komt vooral door duidelijke formuleringen van activiteiten, het noemen van eigenaren en betrokkenen, en de structuur van de strategie. Hierdoor is de samenhang van activiteiten nu duidelijker. Meer dan de helft van de activiteiten (73) is makkelijk meetbaar. Bij een volgend meetmoment kan worden vastgesteld of de activiteit is afgerond of uitgevoerd.
5. Monitoring
Bij het opstellen van de monitoring wordt onderscheid gemaakt tussen het monitoren van de voortgang (output) en het monitoren van het effect (uitkomsten en impact).
- Om de voortgang te volgen, is het slim om dezelfde metingen te gebruiken als in het onderzoek. Door deze metingen gedurende de looptijd van de NLCS uit te voeren, kan de voortgang op actie en doelniveau worden gemonitord en aangepast. Bestaande monitors, zoals jaarverslagen, kunnen hiervoor worden gebruikt. Bij de tussentijdse evaluatie in 2025 moeten belangrijke onderdelen van het actieplan zijn afgerond. Tijdens deze evaluatie kunnen indicatoren voor effectmeting worden vastgesteld en moet worden geanalyseerd hoe meetbaar de kernactiviteiten zijn.
- Wat betreft het monitoren van het effect wordt opgemerkt dat het niet mogelijk is om vast te stellen in hoeverre activiteiten bijdragen aan de beleidseffecten. Wel is het waardevol om de ontwikkeling van het cybersecuritylandschap te monitoren de komende tijd. Deze informatie kan worden gebruikt om de keuzes die binnen de NLCS worden gemaakt op het gebied van prioritering en inzet te onderbouwen met kennis over de stand van zaken wat betreft cyberdreigingen, -weerbaarheid en -veiligheid. Dynalogic heeft een overzicht gemaakt van bestaande generieke meetinstrumenten (zie hoofdstuk 7.2). Hoewel er geen sprake is van een daadwerkelijke effectmeting, stellen deze instrumenten beleidsmakers wel in staat om de inzet in een bredere context te plaatsen.
Conclusie en aanbevelingen
Dialogic merkt op dat eigenaren van activiteiten snel zijn gestart met het uitvoeren van het actieplan. Hoewel er verschillen zijn tussen departementen, bijvoorbeeld door urgentie en beschikbare middelen, is er geen stagnatie zichtbaar sinds de start van de NLCS. De focus ligt op noodzakelijke activiteiten, vooral gericht op wettelijke kaders, zoals de aanpassing van de Wet beveiliging netwerk- en informatiesystemen (Wbni) vanuit de aankomende NIS2 en het wetsvoorstel ter bevordering van de digitale weerbaarheid van bedrijven. Als deze kaders niet zijn vastgesteld, wordt de uitvoering van gerelateerde activiteiten, zoals het instellen van toezicht, vertraagd. Het is daarom belangrijk om de voortgang van deze activiteiten te bewaken voor het realiseren van het actieplan. Daarnaast worden er drie concrete aanbevelingen gegeven ten aanzien van de knelpunten die zijn vastgesteld tijdens het onderzoek:
- Vergroot cybersecurity-expertise op de arbeidsmarkt, vooral in IT. Dit is een politieke kwestie: waar leggen we als land prioriteit? Beleidsmakers kunnen gebruikmaken van lopende arbeidsmarktonderzoeken om het aanbod van cybersecurity-expertise te behouden of te vergroten zodra er concrete keuzes worden gemaakt.
- Zorg voor overzicht en controle op vertrouwelijke activiteiten van inlichtingen- en veiligheidsdiensten (I&V-diensten), die essentieel zijn voor de NLCS en veel middelen gebruiken. Beleidsmakers moeten dit scherp monitoren en bijsturen waar mogelijk.
- Adresseer de uitdaging met bestaande verantwoordingslijnen van uitvoeringsorganisaties. Zorg voor een centrale informatievoorziening voor de voortgang van de strategie. Jaarlijkse voortgangsrapportages en monitorsuggesties kunnen hierbij helpen.
Tot slot, wordt benadrukt dat het meten van de impact van de strategie op het verbeteren van cyberweerbaarheid ingewikkeld is door verschillende redenen. Effectmetingen moeten worden aangepast aan snel veranderende digitale dreigingen. We moeten niet alleen doelen behalen, maar ook kijken naar de directe invloed van het beleid op deze doelen. Ik kijk alvast uit naar de beleidseffectmeting. Immers, al dat geld moet ook iets opleveren toch?
