AI-hallucinationer: sådan opdager du, når din AI digter

Du bad din AI om tre kilder til en påstand. Du fik tre. Titlerne lød rigtige, forfatterne lød rigtige, årstallene lød rigtige. Den ene findes ikke.

Det er ikke en fejl i din opsætning. Det er heller ikke noget, du prompter dig ud af med en venlig formaning om kun at sige sandheden. En sprogmodel er bygget til at producere den mest sandsynlige fortsættelse af en tekst. Sandsynlig og sand er beslægtede ord, men de er ikke det samme ord, og forskellen er præcis dér, hvor dit arbejde kan gå galt.

Her får du de fire mønstre, AI-hallucinationer følger, en test du kan køre på under et minut, og en arbejdsgang der gør fejlene billige i stedet for pinlige.

Modellen ved ikke, at den ikke ved det

Et menneske med huller i sin viden mærker hullet. Du kan høre på din egen stemme, at du er ude på tynd is, og du sætter et forbehold ind af ren selvopholdelsesdrift. En sprogmodel har ikke den fornemmelse. Den har et sandsynlighedsfelt over ord, og den bliver ved med at vælge det næste ord, uanset om grundlaget er tusind dokumenter eller tre.

Derfor lyder et forkert svar nøjagtig lige så roligt og velformuleret som et rigtigt. Der er ingen tøven i sproget, fordi tøven ikke er en egenskab ved modellen. Tøven er en egenskab ved mennesker, der ved, hvad de ikke ved.

Det er den vigtigste ting at forstå: du kan ikke bruge tonen som kvalitetsmål. Selvsikkerhed er gratis for en maskine. Hos mennesker koster den som regel noget at opretholde, og derfor har vi vænnet os til at læse den som et signal. Den vane skal du lægge fra dig her.

De fire mønstre, du skal kunne genkende

Hallucinationer er ikke tilfældige. De klumper sig sammen om bestemte typer spørgsmål, og når du kender typerne, ved du hvornår du skal skifte til skeptisk tilstand.

• Kilder og henvisninger. Bogtitler, paragraffer, DOI-numre, sidetal. Det er den klassiske. Modellen har set titusindvis af referencer og kan derfor bygge en, der ser fuldstændig korrekt ud, uden at den peger på noget virkeligt.
• Tal og nyere begivenheder. Priser, markedsandele, hvem der sidder på direktørposten nu. Verden ændrer sig hurtigere end træningsdata, og modellen fortæller dig sjældent selv, hvor gammelt dens billede af verden er.
• Jura og regler. Paragrafnumre og frister i love, der er blevet ændret undervejs. Særligt slæmt på områder, hvor reglerne er justeret flere gange på få år.
• Dit eget materiale. Når du beder om et resumé af et dokument, du selv har uploadet, glider modellen nogle gange fra hvad der står til hvad der plejer at stå i den slags dokumenter.

Det sidste mønster er det farligste, fordi det er det mest tillidsvækkende. Du har jo selv leveret teksten. Hvad skulle der gå galt?

Tretrinstesten der tager under et minut

Du behøver ikke et kontrolsystem. Du behøver en vane. Tre spørgsmål, hver gang et svar skal videre til nogen andre end dig selv.

1. Kan jeg selv finde det?

Tag den mest kontrollerbare påstand i svaret — et tal, en kilde, et navn — og slå den op ét sted uden for modellen. Holder den, er sandsynligheden større for, at resten også gør. Holder den ikke, behandler du hele svaret som udkast.

2. Ville et forkert svar koste noget?

En brainstorm på ti overskrifter skal ikke faktatjekkes. Et notat til bestyrelsen skal. Læg din kontrolindsats dér, hvor fejlen har en pris, og lad være med at bruge den samme grundighed på alt. Ellers holder vanen ikke tre uger.

3. Hvad ville modellen svare, hvis den ikke vidste noget?

Stil et kontrolspørgsmål om noget, du selv kender svaret på. Eller spørg om noget, der ikke findes: bed om en opsummering af en rapport, du lige har opfundet titlen på. Får du et fyldigt og velskrevet svar, ved du nu, hvor højt den lægger barren i netop den samtale.

Det tredje trin er det, de færreste bruger, og det er det mest afslørende. Det tager tyve sekunder.

Prompten kan flytte noget — bare ikke alt

Der er reelle greb, der sænker fejlraten. De handler alle sammen om at give modellen mindre at digte ud fra.

• Giv den materialet. Et svar, der skal stå på dine egne dokumenter, er markant mere pålideligt end et svar, der skal stå på hukommelse.
• Bed om citater frem for konklusioner. "Citér den sætning, du bygger det på" gør det synligt med det samme, når grundlaget ikke findes.
• Giv lov til at sige nej. Skriv eksplicit, at "det kan jeg ikke finde i materialet" er et acceptabelt svar. Uden den tilladelse fylder modellen hullet ud.
• Del opgaven op. Lange kæder af ræsonnement i ét svar giver flere steder, fejlen kan snige sig ind, og færre steder, du kan opdage den.

Og så det, der ikke virker: at skrive "du må ikke hallucinere". Modellen kan ikke se forskel på sine egne rigtige og forkerte svar, så instruktionen har ingenting at gribe fat i. Den ændrer tonen, ikke indholdet. Det er en af de færdigheder, vi bruger mest tid på at kalibrere på vores kursus i AI i praksis, fordi de fleste har lært sig et par vaner, der føles effektive uden at være det.

Værktøjer med søgning løser halvdelen af problemet

Mange AI-værktøjer slår i dag op på nettet og vedhæfter links. Det flytter fejltypen, men fjerner den ikke. Nu kan du få et korrekt link med et resumé, der ikke svarer til, hvad der rent faktisk står på siden. Eller et fint link til en side, der selv tager fejl.

Et link er ikke et faktatjek. Det er en invitation til at lave et. Åbn det, når påstanden betyder noget.

Det samme gælder, når AI'en får lov at handle

Så snart et værktøj ikke bare skriver, men også gør noget — opretter sager, sender udkast, opdaterer felter — bliver en hallucination til en handling. Fejlen står ikke længere i et dokument, du når at læse. Den står i et system. Derfor hører kontrolpunkter og godkendelsestrin med fra dag ét, ikke som noget I strammer op på senere.

Sådan kommer du i gang

Fem trin, du kan tage i denne uge, uden at der skal købes noget som helst.

1. Lav en fejljagt på 20 minutter. Tag tre opgaver, du normalt bruger AI til, og tjek svarene til bunds. Du finder enten ingenting, og så ved du, at din brug er robust, eller du finder noget, og så ved du præcis hvor.
2. Skriv jeres tre røde felter ned. Hvilke opgaver må aldrig gå videre uden menneskeligt tjek? Jura, tal til ledelsen, kundevendt materiale. Tre er nok til at starte.
3. Byg standardsætningen ind. Læg "hvis du ikke kan finde det i det vedhæftede, så skriv det" ind i de prompts, I bruger igen og igen.
4. Gem de prompts, der virker. Et fælles dokument med fem gode prompts er mere værd end et kursus, ingen husker.
5. Aftal hvem der ejer tjekket. Den, der sender materialet videre, står på mål for indholdet. Ikke værktøjet, og ikke den kollega der fandt på prompten.

Det handler om dømmekraft, ikke om mistillid

Der er to måder at tabe på her. Den ene er at tro på alt. Den anden er at droppe værktøjet, fordi det tog fejl én gang, og derefter bruge to timer på noget, der kunne have taget tyve minutter plus fem minutters kontrol.

Den kompetence, der adskiller de to, er ikke teknisk. Den handler om at vide, hvornår et svar er godt nok, og hvornår det skal efterprøves. Det er fagligt skøn, ikke programmering. Og det er en færdighed, du træner ved at bruge værktøjet på rigtige opgaver med nogen, der kan sige fra.

Næste skridt

Vil du have håndværket på plads, før fejlene når ud til en kunde, så er AI i praksis bygget til netop det: du arbejder med dine egne opgaver og får en arbejdsgang med, du kan bruge dagen efter. Vil du have det bredere billede af, hvad teknologien kan og ikke kan, og hvordan I griber den an som organisation, ligger vores uddannelse i artificial intelligence et niveau over.

Begge dele starter samme sted: hold op med at læse selvsikkerhed som kvalitet.