Når AI-modeller skal kunne hacke for at beskytte

Google har testet sin Gemini-model som angrebsværktøj mod tre virksomheder i et kontrolleret sikkerhedseksperiment. Modellen fik til opgave at opføre sig som en penetrationstester - og den fandt sårbarheder i alle tre tilfælde. Det er ikke første gang AI bruges til sikkerhedstest, men det er første gang en stor sprogmodel demonstrerer at den kan arbejde metodisk gennem et companies forsvar uden forudprogrammerede scripts.

Forskellen mellem traditionel automatiseret scanning og det Gemini gjorde, ligger i tilpasningsevnen. Hvor et vulnerability-scanner kører gennem en kendt liste af svagheder, kan en sprogmodel læse fejlbeskeder, justere sin tilgang og afprøve nye vinkler baseret på hvad den finder. Den opfører sig mere som en menneskelig sikkerhedsanalytiker end som et testværktøj - og det gør den både langt mere effektiv og mere uforudsigelig.

For os der designer og bygger websites og digitale systemer betyder det en dobbelt udfordring. Den samme kapacitet der gør Gemini til en nyttig testpartner, gør den også til et potentielt angrebsværktøj hvis den falder i de forkerte hænder. Vi kan ikke længere stole på at kompleksitet i sig selv beskytter - fordi AI-modeller er exceptionelt gode til at navigere komplekse systemer. Sikkerheden skal bygges anderledes.

Det gode ved situationen er at vi nu har adgang til det samme værktøj som angriberne. Gemini og lignende modeller kan køre kontinuerlige sikkerhedstest mod vores egne produkter - ikke bare ved lancering, men løbende efterhånden som kodebasen ændrer sig. Det kræver dog at vi accepterer at teste med modeller der faktisk forsøger at bryde systemet, ikke bare validere at tingene virker som forventet.

I praksis betyder det nye workflows. Når vi bygger et login-flow, en betalingsintegration eller en formular der håndterer kundedata, skal vi ikke bare teste de normale scenarier. Vi skal teste hvad der sker når en AI-model systematisk afprøver alle de ting vi ikke forudså. Det kræver testbudget, men alternativet er at vente på at nogen gør det for os - uden at fortælle os hvad de fandt.

Den interessante forretningsmulighed ligger i at tilbyde det som en service. De fleste mindre virksomheder har ikke ressourcer til at ansætte penetrationstestere, men de kunne have råd til en AI-drevet sikkerhedsanalyse der kører automatisk hver måned. Det åbner for et marked hvor kvalitetssikring ikke kun handler om funktionalitet, men om at demonstrere at systemet kan modstå målrettede angreb.

Vi kommer til at se sikkerhedscertifikater der dokumenterer at et website er testet af AI-penetration. Det bliver en del af leverancen - ligesom performance-rapporter og tilgængelighedsaudit er i dag. Forskellen er at denne test aldrig bliver færdig. Når modellerne bliver bedre, skal testen køre igen. Sikkerhed bliver en løbende kapacitet, ikke et afsluttet projekt.