Een GenAI-controleframework voor een Nederlandse overheidsinstantie

Aanpak en oplossing

Nemko Digital pakte dit aan door een scenarioraamwerk voor besturing en beheersing van GenAI-toepassingen te ontwikkelen dat zowel uitvoerbaar als schaalbaar is binnen de organisatie. We startten met een gedetailleerde analyse van de scenario en de context; vervolgens werd een gestructureerde GenAI-risicobeoordeling uitgevoerd. Op basis van een uitgebreide AI-risicoatlas werden risico's geïdentificeerd, geclassificeerd en geprioriteerd op basis van waarschijnlijkheid en impact, waarna het resterende netto-risico werd vastgesteld.

Voor ieder risico werden passende beheersmaatregelen gedefinieerd en in kaart gebracht. Bestaande maatregelen werden beoordeeld om eventuele ontbrekende elementen vast te stellen. In samenwerking met interne experts werd een concreet en transparant overzicht opgesteld van meer dan 40 GenAI-risico's met bijbehorende netto-risico's voor dit specifieke scenario, ondersteund door een bredere set van meer dan 150 potentiële beheersmaatregelen. Ongeveer een derde van de risico's werd geclassificeerd als significant en vereiste aanvullende maatregelen voorafgaand aan de productie. Voor deze risico's werden 39 concrete aanpassingen en nieuwe beheersmaatregelen vastgesteld, variërend van kleine procedurele aanscherpingen tot meer ingrijpende wijzigingen.

Daarnaast werd de IBM Risk Atlas aangepast en geïntegreerd in een organisatiespecifieke GenAI-risicoatlas, waarmee een herbruikbaar instrument voor toekomstige GenAI-initiatieven werd gecreëerd.