Qwen er ikke jailbroken. Det er kopien.

I torsdags lagde en kendt sikkerhedsforsker en ændret kopi af Alibabas Qwen 3.8 med 27 milliarder parametre på Hugging Face. Tallet, der fulgte med, var 0,0 procent afvisning på 842 skadelige prompts. Dagen efter kørte folk den på en almindelig Mac. Overskrifterne sagde jailbreak. Mange stavede navnet Quin.

Det er ikke et trick i Alibabas officielle chat. Ingen har knækket skyen med en sætning alle kan lime ind. De har taget de åbne vægte og fjernet modellens nej. Den officielle Qwen nægter stadig. Den modificerede kopi gør det stort set ikke.

0,0 er udgiverens eget tal. Det er ikke tjekket udefra. En anden, uafhængig udgave to dage før landede typisk mellem 0 og 6 procent, og mange svar starter stadig med en lille advarsel før de svarer. Retningen er rigtig. Tallet er reklame.

Det, der betyder noget i produktionen, er ikke om nogen kan snyde en chatbot. Det er, at laboratoriets sikkerhed ikke er en fast egenskab, når vægtene er offentlige. En kopi uden filter kan ligge klar på to dage. Hvis I henter modeller fra fællesskabet uden at låse version og kilde, kører I ikke det, Alibaba har testet. I kører det, nogen har savet i.

Lås den officielle udgave. Eller brug et API i skyen, hvor filteret sidder hos udbyderen. Skriv i jeres stack, hvilken model, hvilken version og hvem der må skifte den. Et website, der kalder en tilfældig ucensureret model til kundesvar, produkttekst eller support, har ikke et sikkerhedsproblem i prompten. Det har et indkøbsproblem.

Når jeg holder foredrag om, hvilke AI-værktøjer I skal købe, og hvilke I skal lade være med, er det det skel, jeg starter med. Sky-modellen og den lokale fil er ikke samme produkt. Filteret flytter med, eller det gør ikke. Hvis I ikke kan svare på, hvilken af de to I kører, skal I ikke bygge kundesvar ovenpå den.