AI-agenter skal prøves af på arbejdet, før de får ansvar

En AI-agent, der skal fortælle en direktør det, andre måske holder tilbage, lyder som en særlig anvendelse. Men Databricks’ nye agent peger på et spørgsmål, der også er relevant for web og digital produktion: Hvordan finder man ud af, om en agent faktisk hjælper, når opgaven kræver både kontekst og dømmekraft?

På et website kan opgaven være langt mere afgrænset. Agenten kan for eksempel gennemgå sider for manglende oplysninger, finde modstrid mellem to beskrivelser eller foreslå forbedringer til en produktside. Det er nyttigt, fordi den slags arbejde ofte går igen, og fordi et menneske kan kontrollere resultatet mod en tydelig standard.

Det svære er at skelne mellem et svar, der lyder rigtigt, og et svar, der holder. En agent kan overse, at en pris gælder en bestemt kundegruppe, eller foreslå en tekst, som ikke passer til sidens formål. Derfor skal opgaven beskrives med konkrete kriterier: Hvad skal findes, hvilke kilder må bruges, og hvornår skal agenten lade være med at konkludere?

Jeg ville begynde med en afgrænset gennemgang af eksisterende indhold. Lad agenten pege på mulige fejl og vise, hvilken side eller oplysning den bygger på. En redaktør afgør derefter, hvad der skal rettes. På den måde bliver arbejdet hurtigere at gennemføre, samtidig med at ansvaret for indholdet bliver hos den, der kender virksomheden og dens kunder.

Den samme tilgang kan bruges i design og produktion. En agent kan kontrollere, om en side følger et sæt aftalte krav, samle kommentarer fra en korrekturrunde eller finde gentagne spørgsmål i kundernes henvendelser. Men den bør ikke alene beslutte, hvilken information der er vigtigst, eller hvordan et brand skal lyde. Den slags valg kræver forståelse for sammenhængen.

Før en agent får adgang til flere opgaver, bør man sammenligne dens forslag med menneskers arbejde på et lille udsnit. Notér, hvad den fanger, hvad den overser, og hvor ofte dens forslag kræver rettelser. Det giver et bedre beslutningsgrundlag end en flot demonstration, fordi man kan se, om værktøjet passer til netop ens indhold og arbejdsgang.

Det interessante ved nye AI-agenter er derfor ikke, at de kan påtage sig enhver rolle. Det er, at de kan løse gentagne delopgaver, når grænserne er tydelige, og et menneske kan efterprøve resultatet. For websites er det en praktisk vej frem: Vælg én opgave, fastlæg kvalitetskravene, og udvid først brugen, når arbejdet bliver bedre.