Når nogen viser mig et AI-system, spørger jeg ikke først til modellen eller platformen. Jeg stiller fire spørgsmål. Dem har jeg stillet så mange gange efterhånden, at jeg er begyndt at kalde dem de kiilske principper for AI.
De lyder enkle, og det er de også. Alligevel er det forbløffende, hvor få der kan svare skarpt på dem. Jeg har også selv måttet bygge om mere end én gang, fordi mine egne systemer ikke kunne.
1. Hvilke dele er regler, og hvilke er model? #
En sprogmodel er god til skøn. Den kan læse en sjusket mail, sammenfatte en rapport og foreslå en formulering. Til regler er den dårlig. Den kan ikke regne moms, overholde frister eller huske, at en kunde i restance ikke må få kredit.
Regler skal skrives som kode, der kører ens hver gang og kan testes. Står der »husk altid at« i en prompt, har du formuleret et ønske, og et ønske kan ingen teste.
I mit eget ansøgningssystem må modellen skrive brevet frit. I CV’et må den kun skære. Hver linje, den foreslår, bliver sammenlignet ordret med mit master-CV, og afviger blot én af dem, bliver CV’et slet ikke skrevet. Modellen kan altså ikke opfinde en erfaring, jeg ikke har. Prompten beder den godt nok lade være, men det er koden, der sørger for det.
2. Hvad sker der, når modellen svarer forkert? #
Det gør den nemlig. Spørgsmålet er bare, om nogen opdager det.
De farligste fejl larmer ikke. En model, der ikke kender svaret, svarer alligevel. En integration, der er gået i stykker, melder »ingen nye data«, og det ser nøjagtig ud som en rolig dag. Jeg har selv haft en datakilde, der leverede nul resultater i fire dage, uden at noget sagde fra.
Så valider, før der skrives. Stop hellere processen end at levere et tomt svar, der ligner et rigtigt. Og husk, at et tjek, der kun har vist grønt, ved man ikke om virker. Det skal være set sige fra mindst én gang.
Et af de bedste greb, jeg kender, er at stille det samme spørgsmål to gange: én gang med regler og én gang med en model. Hvor de er enige, kører sagen videre. Hvor de er uenige, skal et menneske kigge.
3. Kan I bagefter vise mig, hvorfor systemet traf en bestemt beslutning? #
Jeg spørger ikke, hvad modellen svarede. Jeg spørger, hvorfor systemet gjorde, som det gjorde.
En log over prompts og svar er et referat af en samtale. Et revisionsspor følger beslutningen: hvilken sag det drejede sig om, hvilke data der gik ind, hvilken regel der greb ind, hvad udfaldet blev, og hvem der godkendte.
Det lyder som bureaukrati, indtil en kunde klager eller revisor ringer. Hos mig var det sporet, der afslørede, at en automatisk rykker var ved at rykke mig for noget, jeg allerede havde gjort.
AI-forordningen kræver logning af højrisikosystemer. Men lovkrav eller ej, så kan ledelsen ikke tage ansvar for noget, den ikke kan se.
4. Hvilke handlinger kræver et menneske, og hvorfor netop dem? #
»Et menneske godkender alt« holder i cirka tre uger. Derefter er godkendelsen et klik, ingen læser, og så har man et gummistempel med en logfil bagved.
Mennesket hører til to steder: hvor systemet ved, at det er i tvivl, og foran de handlinger, der ikke kan gøres om.
Mit kriterium er ét spørgsmål. Kan det fortrydes? Et udkast på min egen disk kan jeg bare lave igen, så det kører af sig selv. En ansøgning, der er sendt, kan jeg ikke kalde tilbage, så der venter systemet på mig. Det afgørende er altså ikke, hvor svært et skridt er.
Platformen kommer bagefter #
Læg mærke til, at ingen af de fire spørgsmål handler om, hvilken model, cloud eller vektordatabase løsningen kører på. Det skal selvfølgelig også være i orden, men det er driftens opgave, og den kan løses.
Kan nogen svare skarpt på de fire spørgsmål, er resten detaljer. Kan de ikke, redder ingen platform dem.
Tag dem med næste gang I skal købe, ansætte eller bygge noget med AI. Og stil dem gerne til mig.
Den lange version med flere eksempler har jeg skrevet på docujai.com: Platformen er ikke arkitekturen. Og vil I have hjælp til at stille spørgsmålene til jeres egne systemer, så skriv eller ring.