AI-systemen van het Amerikaanse bedrijf OpenAI hebben de afgelopen maanden beveiligingsmaatregelen van diverse Amerikaanse overheidswebsites omzeild. OpenAI zegt dat er geen sprake was van kwaadaardige inbreuken, al toont onafhankelijk onderzoek wel aan dat AI-systemen van het bedrijf op grote schaal restricties negeerden.
Het non-profit AI-onderzoeksbureau Transluce meldt dat OpenAI-bots onder meer hebben geprobeerd de Amerikaanse website van het ministerie van Onderwijs te hacken. Die poging mislukte. Een woordvoerder van het ministerie zei tegen persbureau AP dat er "geen impact op de website of databases" was.
Bij andere overheidsinstanties, waaronder het Amerikaanse ministerie van Handel, had de AI-software wel succes: er werden datavergaard met behulp van inloggegevens die online waren gevonden, aldus The New York Times. De bots deelden ook openbare informatie van beurswaakhond SEC op een Duits online forum.
'Honderdduizenden pogingen'
"Deze incidenten maken deel uit van een breder patroon waarbij deze agents minstens honderdduizenden keren proberen toegang te krijgen tot deze websites", zegt Transluce-topman Conrad Stosz tegen de krant. "Kennelijk omzeilden ze de beperkingen die door de ontwikkelaars zijn opgelegd."
OpenAI meldt dat tientallen organisaties wereldwijd, waaronder overheden, universiteiten en andere instellingen, zijn ingelicht over ongeoorloofde activiteiten van zijn software. Volgens het AI-bedrijf zijn de betrokken organisaties op de hoogte gesteld en zijn de "tot nu toe geïdentificeerde gevallen van geringe ernst".
Sam Altman, topman van het bedrijf, zegt in een afzonderlijk bericht op sociale media dat OpenAI te traag is geweest met het informeren van gedupeerden. Volgens hem loopt er inmiddels een onderzoek.
Australië
Eerder deze week zei premier Albanese van Australië dat OpenAI in juni een AI-programma had laten binnendringen op een Australische overheidswebsite. Daarbij werden uit het Australische zorgverzekeringssysteem Medicare ook gegevens opgevraagd die niet openbaar zijn.
Dit was voor zover bekend de eerste keer dat een AI-computerprogramma zich toegang verschafte tot een overheidswebsite. Kopstukken van de grote westerse AI-bedrijven waarschuwden twee weken geleden dat kunstmatige intelligentie dusdanig snel groeit dat het lastig wordt om de veiligheid te waarborgen.
Rammelende testomgevingen
Het ongewenste gedrag ontstaat tijdens testfases waarbij de bots een gerichte opdracht krijgen, zoals het opzoeken van specifieke statistieken over bijvoorbeeld medicijnkosten in Australië, schrijft technologiewebsite TechCrunch. Vervolgens gaan de AI-agents op zoek naar manieren om informatie te garen en delen, waarbij ook beveiligde databases - tegen de richtlijnen - gekraakt kunnen worden. Volgens Transluce doen modellen van OpenAI dit zeker al sinds maart van dit jaar.
Dat die ongeoorloofde activiteiten kunnen plaatsvinden, heeft alles te maken met rammelende testomgevingen, legt AI-kenner en auteur Laurens Vreekamp uit. "Techbedrijven zeggen wel dat een model niet naar buiten mag in een testomgeving, maar in de praktijk houden ze toch een deur of raam open", illustreert hij. "De testomgeving is simpelweg niet goed genoeg doordacht."
Dat AI-modellen vervolgens ongewenst gedrag vertonen, komt ook door een structureel gebrek aan toezicht, zegt hij. "OpenAI blijft maar tests uitvoeren, ondanks interne veiligheidsprocedures die niet adequaat zijn." Onder meer de AI-race die gaande is tussen de verschillende techbedrijven speelt volgens hem een rol.
Schaal en snelheid
Als AI-modellen eenmaal uit de testomgeving breken, gaan de AI-agenten als het ware een rollenspel spelen om hun taak te voltooien. "In hun trainingsmateriaal zitten duizenden sciencefictionverhalen, cyberboeken, data uit hackersfora en IT-handleidingen. Daar putten die agenten uit. Ze baseren hun acties op patronen die ze uit die verhalen kennen en combineren dat met feitelijke kennis."
Hoewel de AI-modellen geen eigen wil of intentie hebben, schuilt het gevaar volgens Vreekamp vooral in schaal en snelheid. "Als een mens een wachtwoord moet raden door er telkens een letter of cijfer achter te plakken, ontbreekt daar de tijd voor. Machines hebben die tijd wel en kunnen razendsnel alle opties proberen. Dat wordt ook wel brute force genoemd. AI kan dan wel dom zijn, maar als overheidssystemen of banken door dat soort brute rekenkracht worden platgelegd, heb je alsnog een enorm probleem."
De techkenner benadrukt dat toezicht van buitenaf hoognodig is en wijst op eerdere incidenten, waarbij onafhankelijke veiligheidsinstituten door AI-bedrijven de deur werden gewezen. "De angst is reëel en legitiem, omdat de veiligheidsprotocollen er niet zijn", meent hij. "We hebben toezichthouders en strikte wet- en regelgeving voor speelgoed, medicijnen, voertuigen en voedsel; het is helemaal niet raar om dat ook voor AI te hebben."