Hvorfor pokker flytter EU-Parlamentet hele tiden frem og tilbage mellem Bruxelles og Strasbourg? Og hvordan ser en liste ud med de seneste års største skandaler i det britiske kongehus?

Det er den slags svar, den nye superrobot ChatGPT kan levere på få sekunder. Faktisk er ChatGPT, der kom frem i november 2022, tilsyneladende så overbevisende, at den i nogle tilfælde kan måle sig med de tekster, vi producerer i medie- og kommunikationsbranchen – især kortere tekster baseret på eksisterende fakta. Faktisk er det ofte så godt formuleret, at det nærmest er umuligt at se, at det er en robot, der har forfattet teksten.

Problemet er bare, at robottekster ikke kan tillægges samme troværdighed som for eksempel artikler skrevet af en journalist. For ChatGPT kan nemlig lave ekstremt store fejl uden at ane det, mens journalister og kommunikationsfolk til sammenligning som regel kender deres egne begrænsninger og ved, hvornår de bevæger sig ud på tynd is.

Da jeg for eksempel beder ChatGPT om at skrive et portræt af mig, den danske journalist Jakob Albrecht, skriver den – uden at blinke – at jeg har været lokaljournalist, udenrigskorrespondent i Syrien, og at jeg har vundet Cavlingprisen. Alle tre ting er forkerte. Det, ChatGPT misforstår, er, at det er tre emner, jeg har skrevet om, men det gør mig hverken til prisvinder, lokaljournalist eller udenrigskorrespondent i Mellemøsten.

Det er med andre ord vigtigt at vide, om skribenten bag en tekst er et menneske eller en maskine. Hvis det er ChatGPT, skal man være særdeles varsom.

I science fiction-filmen ’Blade Runner’ fra 1982 var det nærmest umuligt for Harrison Ford at skelne de rigtige mennesker fra replikanterne, så han var nødt til at bruge en særlig test for at identificere, om han stod over for et menneske eller en kopi. På samme måde findes der i dag forskellige robot-spotter-værktøjer, der afslører, om for eksempel en artikel eller hjemmesidetekst er skabt af kunstig intelligens eller ej.

Min mission er at undersøge, hvor effektive robot-spotterne er – og jeg kan godt afsløre med det samme: Ligesom Harrison Ford havde svært ved at skelne mellem mennesker og robotter i ’Blade Runner’, så gælder det også nutidens robot-spottere.

Teksterne ligner åbenbart hinanden så meget, at ikke engang en robot med sikkerhed kan se forskel.

It takes one to know one

Den første robot-spotter, jeg besøger, er Grover fra amerikanske Allen Institute for AI.

Grover har eksisteret siden 2019, og folkene bag kalder den for ”state-of-the-art” inden for sit felt. De forudser, at kunstig intelligens vil skabe en flodbølge af fake news, fordi falske nyheder kan masseproduceres på nærmest ingen tid. Modtrækket er et redskab som Grover, der ifølge virksomhedens egne oplysninger kan skelne mellem menneskeskabte og robotskabte tekster i 92 procent af tilfældene.

Fidusen er enkel: Grover er selv i stand til at producere robottekster, og dermed har den de bedste forudsætninger for at genkende andre robotters frembringelser. It takes one to know one.

Jeg smider en hjemmesidetekst fra dmjx.dk om missionen for Danmarks Medie- og Journalisthøjskole ind i Grover.

Af missionen fremgår det blandt andet, at DMJX skal uddanne fremtidens talenter inden for reklame, journalistik, fotografi, kommunikation og medieledelse. Desuden efteruddanner skolen også de mennesker, der allerede har job inden for området.

Skolen har haft præsentationen liggende på hjemmesiden i årevis, så den er helt sikkert skrevet af et rigtigt menneske, længe før ChatGPT kom på banen sidste år.

Grover er få sekunder om at smage på teksten, før den kommer med et svar – som desværre er forkert:

“Vi er ret sikre på, at det her var skrevet af en maskine,” lyder dommen.

Jeg gør forsøget med en konkurrerende hjemmeside, GPTZero, der gik i luften i januar 2023.

Den lover at levere en ”effektiv identifikation af tekster skrevet af kunstig intelligens” ved blandt andet at måle, hvor komplekse teksterne er. Jo større kompleksitet, jo større er sandsynligheden for, at et menneske står bag.

Efter kort tid kommer GPTZero frem til den rigtige konklusion, nemlig at teksten fra DMJX sandsynligvis er skabt af et menneske.

Det er ganske vist et påfaldende forbehold, at den skriver ”sandsynligvis” i sit svar. Men det siger nok noget om, hvilken usikkerhed man opererer med inden for robot-spotter-branchen lige nu.

Status er, at den ene hjemmeside gætter rigtigt, mens den anden gætter forkert.

Jysk fynsk overlegenhed

ChatGPT har de seneste måneder vakt stort postyr i og uden for mediebranchen, fordi den lynhurtigt kan lave tekster på alverdens sprog med største lethed. Perspektiverne i at bruge robotten er blandt fagfolk både blevet kaldt ”verdens mest nyttige værktøj” og ”en virus, der er blevet sluppet løs”.

En af de mange skeptikere i mediebranchen er Steen Rosenbak, chefredaktør på Jyllands-Postens Finans.dk. Han mener, at tekstrobotter som ChatGPT på nuværende tidspunkt er helt ubrugelige.

”Når jeg søger på mig selv, har jeg syv forskellige aldre og 15 forskellige levnedsforløb, og intet af det er rigtigt. Den skrev, at jeg var skuespiller i ’Matador’,” forklarer Steen Rosenbak.

Det er derfor officiel politik på Finans, at journalisterne ikke bruger robotter i deres journalistik, forklarer han.

Hvis Steen Rosenbak en dag modtog en artikel, hvor han havde mistanke om, at den måske var skrevet af en robot, ville han tale med personen, der havde sat sit navn på teksten.

”Men jeg kan slet ikke forestille mig den situation. Jeg stoler på de journalister, vi har, og jeg stoler på, at de ved, at man ikke har et job her ret længe, hvis man lægger GPT-tekster ind i sine artikler,” siger han.

På Danmarks Medie- og Journalisthøjskole siger prorektor Jens Grund, at branchen må indstille sig på, at robotter som ChatGPT er kommet for at blive. Nu handler det om at få det bedste ud af dem.

Men hvordan vil skolen afsløre snyd?

”Vores gængse digitale metode til at afsløre eksamenssnyd er ikke gangbar ved brug af for eksempel ChatGPT, fordi den ikke skriver af fra andre skriftlige kilder, men genererer sin egen tekst ud fra enorme datamængder,” forklarer Jens Grund.

Men snyd ved hjælp af robotter er et område, skolen bør holde øje med, siger han.

”Vi må løbende se på, hvordan vi bedst sikrer os mod opgavesnyd – som jo allerede er forbudt i dag – uanset om det er et menneske eller en robot, der står bag,” forklarer han.

 

Jysk-fynsk robot skriver som et menneske

Faktisk er det ikke helt nyt at bruge robotter til at levere indhold til nyhedsmedierne. For eksempel har JFM (tidligere Jysk Fynske Medier) i en årrække publiceret robotartikler om aktuelle regnskaber fra lokale virksomheder.

Det interessante her er selvfølgelig at teste, om de to robot-spottere kan gennemskue, at JFM’s robot står bag noterne om de lokale regnskaber – eller om brugen af kunstig intelligens er så overlegen, at det snyder selv en robot.

Jeg finder en robottekst bragt i ugeavisen KøbenhavnLIV om regnskabet i den københavnske enmandsvirksomhed Ejler Advokatfirma:

”Overskuddet er i det seneste regnskabsår faldet i Ejler Advokatfirma ApS, der er et firma i København K. Det fremgår af det aktuelle regnskab for 2022, som selskabet netop har registreret hos Erhvervsstyrelsen. I det seneste år er overskuddet dalet fra 130.562 til 31.811 kroner før skat,” begynder noten.

Beskrivelsen af regnskabet er tør, faktuel og uden et eneste ord, der kunne give noten et strejf af kolorit. Hvis den var lavet af et menneske, ville de fleste branchefolk nok mene, at den var forfattet af en uinspireret journalist. Noten lugter med andre ord langt væk af en maskintekst.

Men det fanger mine to robot-spottere Grover og GPTZero ikke. De er begge overbeviste om, at der står et levende menneske bag – hvilket jo er direkte forkert. Den jysk-fynske robot snører robot-spotterne.

Indtil videre har jeg lavet to tests, og stillingen er, at Grover har gættet forkert begge gange. Der er langt op til de 92 procent rigtige svar, den lovede at levere.

Konkurrenten GPTZero fører – men på en billig baggrund med blot et enkelt rigtigt svar og et forkert.

Men måske vil de to hjemmesider vise deres virkelige værd, hvis de bliver præsenteret for en tekst, som tekstrobotternes nye konge, ChatGPT, selv har produceret? Det er jo netop teksterne fra ChatGPT, alle bekymrer sig om lige nu. Så kanske at det netop er her, at robot-spotterne viser deres værd?

Jeg beder ChatGPT om at forklare missionen for DMJX.

Den giver mig et seks linjer langt robotsvar, der ser ganske fornuftigt ud.

Og langt om længe er der point til den hidtidige taber Grover, der er ”ret sikker” på, at teksten kommer fra en maskine, og det er jo sandt. Den ene robot spotter den anden.

GPTZero dumper derimod. Først beder den om et større tekstudsnit, før den svarer. Jeg fodrer den med den komplette tekst. Og så svarer den til sidst forkert:

”Din tekst er sandsynligvis skabt af et menneske.”

Med alle de forkerte svar er risikoen for, at robot-spotterne svarer forkert, åbenbart større end chancen for at ramme rigtigt. I to gange tre forsøg har de to maskiner kun gættet rigtigt en gang hver.

Jeg har skrevet det

Min sidste chance er at vende ryggen til de to uduelige robot-spottere og bede superrobotten ChatGPT om hjælp. Kan jeg for eksempel få ChatGPT til at erkende, at den selv er forfatter til de tekster, den sprøjter ud?

Jeg finder en tekst, chatbotten selv har skrevet, og copy-paster den ind.

Svaret kommer øjeblikkeligt: ”Jeg skrev den tekst, som du netop har citeret.”

Det er et godt tegn: Den er ærlig nok til at lægge kortene på bordet, når den genkender sine egne ord.

Og ikke nok med det: Chatrobotten gennemskuer også, at regnskabsnoten i KøbenhavnLIV var en robots værk:

“Den her tekst er ikke skrevet af et menneske. Det er skrevet af en sprogmodel som mig ved hjælp af kunstig intelligens,” lyder konklusionen.

Indtil videre er ChatGPT mit bedste bud på en testvinder. Den kan åbenbart både producere lækre tekster og afsløre andre robotters værker.

Som en hale på historien tester jeg for sjov, om robotterne tror, at hele artiklen, som du læser lige nu, er forfattet af en maskine eller et menneske.

Både Grover og GPTZero mener, at et menneske står bag. Det er jeg personligt glad for. Så helt galt afmarcheret er de to testværktøjer måske ikke alligevel.

Til gengæld går det på falderebet helt galt for den ellers uovervindelige ChatGPT.

ChatGPT hævder nemlig helt ubeskedent – og helt forkert – at den selv har skrevet hele denne artikel:

“Ja, den her tekst var skrevet af en maskine ved hjælp af OpenAI’s sprogmodel, GPT-3.”

Dumpet igen.