Nieuwe DPIA over EduGenAI: Nederlandse generatieve AI-oplossing voor het onderwijs

Bron: 192.168.178.29:8095

Nieuwe DPIA over EduGenAI: Nederlandse generatieve AI-oplossing voor het onderwijs

Bron:www.privacycompany.eu

Nieuwe DPIA voor EduGenAI: Nederlandse generatieve AI-oplossing voor het onderwijs

Resultaten DPIA: 12 bekende risico's op het gebied van gegevensbescherming

In opdracht van SURF, de Nederlandse IT-coöperatie van Nederlandse onderwijs- en onderzoeksinstellingen, heeft Privacy Company advies gegeven over maatregelen om risico's op het gebied van gegevensbescherming en risico's in verband met overmatige afhankelijkheid van AI te voorkomen tijdens de ontwikkeling van de nieuwe dienst. Hoewel Privacy Company de nauwkeurigheid en de impact op de mensenrechten van de verwerking van persoonsgegevens via de gebruikersinterface en de verschillende modellen nog niet kon testen, heeft Privacy Company de verschillende gegevensstromen van inhoudsgegevens, accountgegevens, diagnostische gegevens, ondersteuningsgegevens en websitegegevens in kaart gebracht en geholpen bij het identificeren van effectieve maatregelen ter bescherming van de privacy.Op basis van deze analyse identificeert de DPIA een groot aantal juridische, technische en organisatorische ontwikkelingsdoelen. Als SURF en de AI Hub al deze doelen halen en de onderwijsinstellingen helpen bij het testen van de toereikendheid en effectiviteit van maatregelen, kunnen de geïdentificeerde hoge gegevensbeschermingsrisico's allemaal worden beperkt.Privacy Company publiceert deze blog over de bevindingen met toestemming van SURF. Zie het persbericht en de volledige DPIA op de website van SURF.‍Functionaliteiten EduGenAIEduGenAI is een AI-systeem dat op een privacyvriendelijke manier toegang biedt tot meerdere generatieve AI-tools. Dit omvat toegang tot open source Large Language Models (LLM's) die door SURF zelf worden gehost in het eigen datacenter van SURF in Watergraafsmeer, maar ook gepseudonimiseerde toegang tot bekende commerciële LLM's in de cloud, zoals de verschillende OpenAI LLM's (gehost op Azure door Microsoft), Llama, Mistral en Claude van Anthropic. EduGenAI biedt ook toegang tot een of meer zoekmachines om de gegenereerde informatie te 'updaten'. De onderwijsinstellingen die EduGenAI gebruiken, kunnen zelf bepalen of ze eindgebruikers toestaan om cloud-LLM's en zoekmachines te gebruiken, of dat ze alleen toegang hebben tot de on-premises LLM's. Gebruikers kunnen hun prompts ook permanent onderbouwen met aanvullende informatie door Personae te maken. Gebruikers kunnen metaprompts gebruiken om de informatie in een Persona beschikbaar te maken voor specifieke doeleinden, zoals delen met collega's of studenten. EduGenAI streeft ernaar zo min mogelijk persoonlijke gegevens te delen met de externe cloud-LLM's.EduGenAI zal veel maatregelen in de gebruikersinterface opnemen om overmatig vertrouwen in AI te voorkomen, dat wil zeggen dat gebruikers te veel vertrouwen hebben in de nauwkeurigheid en betrouwbaarheid van de antwoorden en vergeten deze te controleren.Gebruikers kunnen kiezen welk AI-systeem ze willen gebruiken om informatie te genereren en kunnen zelfs tijdens een promptdialoog van systeem wisselen, terwijl EduGenAI hun privacy en de rechten van personen die in de promptdialoog worden genoemd, beschermt door een filter toe te passen om persoonlijke gegevens te maskeren.‍PrivacycontrolesEduGenAI is ontworpen om veel maatregelen voor privacy by design en privacy by default te implementeren. Enkele belangrijke geplande hoogtepunten zijn:• Alle metagegevens (IP-adressen, cookies, identificatiegegevens) uit de zoekopdrachten van gebruikers verwijderen.• Een filter voor het maskeren van persoonsgegevens toepassen op de inhoud van zoekopdrachten.• Onderwijsinstellingen laten bepalen welke LLM's toegankelijk zijn (alleen on-premises of ook cloud-LLM's).• De chatgeschiedenis standaard opslaan op het apparaat van de eindgebruiker en niet centraal op de servers van SURF.‍GDPR-rollenSURF biedt de samenwerkende onderwijsinstellingen (CO's) een gegevensverwerkingsovereenkomst aan voor 4 van de 5 geïdentificeerde categorieën persoonsgegevens: voor de accountgegevens, de diagnostische gegevens, de ondersteuningsgegevens en de websitegegevens. Omdat de onderwijssector echter een zeer unieke sector is, waarin het doel is om van elkaar te leren, heeft SURF gekozen voor gezamenlijk beheer door de CO's en EduGenAI als het gaat om de inhoudelijke kwaliteit van de dienst. SURF zal nauw samenwerken met de instellingen die deelnemen aan de pilot om te onderzoeken of de voorgestelde maatregelen effectief zijn en welke taalmodellen het meest geschikt zijn voor verschillende taken.‍Resultaat: 12 lage gegevensbeschermingsrisico'sHet resultaat van deze DPIA is dat, mits alle ontwikkelingsdoelen effectief worden geïmplementeerd en vervolgens getest, SURF en de onderwijsinstellingen effectieve maatregelen kunnen nemen om de 12 geïdentificeerde gegevensbeschermingsrisico's te verlagen of te beperken. De aanbevolen maatregelen staan vermeld in de (lange) tabel:‍

Op basis van deze analyse identificeert de DPIA een groot aantal juridische, technische en organisatorische ontwikkelingsdoelen. Als SURF en de AI Hub al deze doelen halen en de onderwijsinstellingen helpen bij het testen van de toereikendheid en effectiviteit van maatregelen, kunnen de geïdentificeerde hoge gegevensbeschermingsrisico's allemaal worden beperkt.Privacy Company publiceert deze blog over de bevindingen met toestemming van SURF. Zie het persbericht en de volledige DPIA op de website van SURF.‍Functionaliteiten EduGenAIEduGenAI is een AI-systeem dat op een privacyvriendelijke manier toegang biedt tot meerdere generatieve AI-tools. Dit omvat toegang tot open source Large Language Models (LLM's) die door SURF zelf worden gehost in het eigen datacenter van SURF in Watergraafsmeer, maar ook gepseudonimiseerde toegang tot bekende commerciële LLM's in de cloud, zoals de verschillende OpenAI LLM's (gehost op Azure door Microsoft), Llama, Mistral en Claude van Anthropic. EduGenAI biedt ook toegang tot een of meer zoekmachines om de gegenereerde informatie te 'updaten'. De onderwijsinstellingen die EduGenAI gebruiken, kunnen zelf bepalen of ze eindgebruikers toestaan om cloud-LLM's en zoekmachines te gebruiken, of dat ze alleen toegang hebben tot de on-premises LLM's. Gebruikers kunnen hun prompts ook permanent onderbouwen met aanvullende informatie door Personae te maken. Gebruikers kunnen metaprompts gebruiken om de informatie in een Persona beschikbaar te maken voor specifieke doeleinden, zoals delen met collega's of studenten. EduGenAI streeft ernaar zo min mogelijk persoonlijke gegevens te delen met de externe cloud-LLM's.EduGenAI zal veel maatregelen in de gebruikersinterface opnemen om overmatig vertrouwen in AI te voorkomen, dat wil zeggen dat gebruikers te veel vertrouwen hebben in de nauwkeurigheid en betrouwbaarheid van de antwoorden en vergeten deze te controleren.Gebruikers kunnen kiezen welk AI-systeem ze willen gebruiken om informatie te genereren en kunnen zelfs tijdens een promptdialoog van systeem wisselen, terwijl EduGenAI hun privacy en de rechten van personen die in de promptdialoog worden genoemd, beschermt door een filter toe te passen om persoonlijke gegevens te maskeren.‍PrivacycontrolesEduGenAI is ontworpen om veel maatregelen voor privacy by design en privacy by default te implementeren. Enkele belangrijke geplande hoogtepunten zijn:• Alle metagegevens (IP-adressen, cookies, identificatiegegevens) uit de zoekopdrachten van gebruikers verwijderen.• Een filter voor het maskeren van persoonsgegevens toepassen op de inhoud van zoekopdrachten.• Onderwijsinstellingen laten bepalen welke LLM's toegankelijk zijn (alleen on-premises of ook cloud-LLM's).• De chatgeschiedenis standaard opslaan op het apparaat van de eindgebruiker en niet centraal op de servers van SURF.‍GDPR-rollenSURF biedt de samenwerkende onderwijsinstellingen (CO's) een gegevensverwerkingsovereenkomst aan voor 4 van de 5 geïdentificeerde categorieën persoonsgegevens: voor de accountgegevens, de diagnostische gegevens, de ondersteuningsgegevens en de websitegegevens. Omdat de onderwijssector echter een zeer unieke sector is, waarin het doel is om van elkaar te leren, heeft SURF gekozen voor gezamenlijk beheer door de CO's en EduGenAI als het gaat om de inhoudelijke kwaliteit van de dienst. SURF zal nauw samenwerken met de instellingen die deelnemen aan de pilot om te onderzoeken of de voorgestelde maatregelen effectief zijn en welke taalmodellen het meest geschikt zijn voor verschillende taken.‍Resultaat: 12 lage gegevensbeschermingsrisico'sHet resultaat van deze DPIA is dat, mits alle ontwikkelingsdoelen effectief worden geïmplementeerd en vervolgens getest, SURF en de onderwijsinstellingen effectieve maatregelen kunnen nemen om de 12 geïdentificeerde gegevensbeschermingsrisico's te verlagen of te beperken. De aanbevolen maatregelen staan vermeld in de (lange) tabel:‍

Privacy Company publiceert deze blog over de bevindingen met toestemming van SURF. Zie het persbericht en de volledige DPIA op de website van SURF.‍

Functionaliteiten EduGenAI

EduGenAI is een AI-systeem dat op een privacyvriendelijke manier toegang biedt tot meerdere generatieve AI-tools. Dit omvat toegang tot open source Large Language Models (LLM's) die door SURF zelf worden gehost in het eigen datacenter van SURF in Watergraafsmeer, maar ook gepseudonimiseerde toegang tot bekende commerciële LLM's in de cloud, zoals de verschillende OpenAI LLM's (gehost op Azure door Microsoft), Llama, Mistral en Claude van Anthropic. EduGenAI biedt ook toegang tot een of meer zoekmachines om de gegenereerde informatie te 'updaten'. De onderwijsinstellingen die EduGenAI gebruiken, kunnen zelf bepalen of ze eindgebruikers toestaan om cloud-LLM's en zoekmachines te gebruiken, of dat ze alleen toegang hebben tot de on-premises LLM's. Gebruikers kunnen hun prompts ook permanent onderbouwen met aanvullende informatie door Personae te maken. Gebruikers kunnen metaprompts gebruiken om de informatie in een Persona beschikbaar te maken voor specifieke doeleinden, zoals delen met collega's of studenten. EduGenAI streeft ernaar zo min mogelijk persoonlijke gegevens te delen met de externe cloud-LLM's.

EduGenAI zal veel maatregelen in de gebruikersinterface opnemen om overmatig vertrouwen in AI te voorkomen, dat wil zeggen dat gebruikers te veel vertrouwen hebben in de nauwkeurigheid en betrouwbaarheid van de antwoorden en vergeten deze te controleren.

Gebruikers kunnen kiezen welk AI-systeem ze willen gebruiken om informatie te genereren en kunnen zelfs tijdens een promptdialoog van systeem wisselen, terwijl EduGenAI hun privacy en de rechten van personen die in de promptdialoog worden genoemd, beschermt door een filter toe te passen om persoonlijke gegevens te maskeren.‍

Privacycontroles

EduGenAI is ontworpen om veel maatregelen voor privacy by design en privacy by default te implementeren. Enkele belangrijke geplande hoogtepunten zijn:

• Alle metagegevens (IP-adressen, cookies, identificatiegegevens) uit de zoekopdrachten van gebruikers verwijderen.

• Een filter voor het maskeren van persoonsgegevens toepassen op de inhoud van zoekopdrachten.

• Onderwijsinstellingen laten bepalen welke LLM's toegankelijk zijn (alleen on-premises of ook cloud-LLM's).

• De chatgeschiedenis standaard opslaan op het apparaat van de eindgebruiker en niet centraal op de servers van SURF.‍

GDPR-rollen

SURF biedt de samenwerkende onderwijsinstellingen (CO's) een gegevensverwerkingsovereenkomst aan voor 4 van de 5 geïdentificeerde categorieën persoonsgegevens: voor de accountgegevens, de diagnostische gegevens, de ondersteuningsgegevens en de websitegegevens. Omdat de onderwijssector echter een zeer unieke sector is, waarin het doel is om van elkaar te leren, heeft SURF gekozen voor gezamenlijk beheer door de CO's en EduGenAI als het gaat om de inhoudelijke kwaliteit van de dienst. SURF zal nauw samenwerken met de instellingen die deelnemen aan de pilot om te onderzoeken of de voorgestelde maatregelen effectief zijn en welke taalmodellen het meest geschikt zijn voor verschillende taken.‍

Resultaat: 12 lage gegevensbeschermingsrisico's

Het resultaat van deze DPIA is dat, mits alle ontwikkelingsdoelen effectief worden geïmplementeerd en vervolgens getest, SURF en de onderwijsinstellingen effectieve maatregelen kunnen nemen om de 12 geïdentificeerde gegevensbeschermingsrisico's te verlagen of te beperken. De aanbevolen maatregelen staan vermeld in de (lange) tabel:

‍