Go to main content

Hvorfor er menneskelig vurdering fortsat guldstandarden for sproglig kvalitet?

Erika Ockelfelt

Senior Director of Operations Excellence & Application Support

Erika Ockelfelt.webp

AI kan nu skrive og oversætte på et niveau, som i mange tilfælde føles meget ligt det, mennesker kan producere. Men der er stadig en forventning om, at mennesker gennemgår og godkender content, før det offentliggøres. Hvorfor?

Hvorfor skal mennesker stadig træffe den endelige afgørelse i forbindelse med sprog? Hvis AI allerede kan producere flydende, nøjagtige oversættelser, hvorfor kan teknologien så ikke også vurdere teksterne?

Det ser jeg nærmere på i denne artikel.Jeg hedder Erika Ockelfelt, og jeg er Senior Director of Operations Excellence, Compliance & Application Support hos LanguageWire. Jeg har over 13 års erfaring fra sprogbranchen, og en stor del af den tid har jeg brugt på at arbejde i krydsfeltet mellem sprog, kvalitet og teknologi.Jeg håber at kunne behandle spørgsmålet så fyldestgørende, som det fortjener, og give dig de oplysninger, du behøver for at få en dybere forståelse af, hvordan du bør betragte samarbejdet mellem mennesker og AI.

Det kræver god smag at vurdere kvaliteten af en oversættelse. Og smag er en menneskelig egenskab

Sprog er ikke kun noget, der er opstået i os mennesker, men omvendt kan det heller ikke betragtes uafhængigt af os. Sprog er en forlængelse af mennesker. Lige nu, mens du læser dette inde i hovedet, interagerer du med sprog på egen hånd. Hvis du fandt på at stoppe op et øjeblik og spørge dig selv: "Hvilket sprog bruger jeg, når jeg tænker?", ville du formentlig bemærke, at du danner sætninger, bruger dit ordforråd og endda anvender korrekt grammatik til disse sætninger inde i hovedet.

Sprog er ikke kun det, vi bruger, når vi taler sammen, men også en del af den måde, vi forstår og "fungerer" på i vores egen bevidsthed.

Jeg skrev oprindeligt denne tekst på engelsk, men det er ikke mit modersmål. Hvis du har britisk eller amerikansk engelsk som dit modersmål og læste min originale engelske tekst i stedet for denne oversættelse, ville du formentlig føle, at nogle af mine formuleringer og ordvalg var lidt kluntede eller unaturlige. Det skyldes, at min hjerne først og fremmest tænker på svensk og kun i anden række på engelsk. Så når jeg rammer grænsen for mine engelskkundskaber, træder svensk til. Og mange gange oversætter jeg i hovedet, selv om jeg tror, at jeg ikke gør det, fordi jeg ikke er ægte tosproget. I de år under min opvækst, hvor min sprogforståelse udviklede sig, hørte, talte og lærte jeg på svensk.

Men hvorfor fabler jeg løs om mig selv? For at bevise en pointe. Produktionen og forbruget af sprog er en yderst personlig og intern proces. Sprog fungerer ikke kun som et kommunikationsmiddel, det er også et værktøj, hvorigennem vi udtrykker vores identitet.

Sprogforståelsen er et vigtigt udgangspunkt, når vi taler kvalitet, fordi den på glimrende vis forklarer, hvorfor kvalitet er så vanskelig at definere.

Der er elementer af sprog, som er regelbaserede, men der er også en stor del, som ikke er. Denne del påvirkes og farves af kontekst og en persons individuelle interaktion med sproget. En dansker, som har boet 20 år i Spanien, vil bedømme en engelsk tekst anderledes end en person, der har engelsk som modersmål, og som bor i Storbritannien. Der indgår en blanding af objektive og subjektive elementer i sprogkvalitet og sproglige vurderinger.

Og den subjektive del påvirkes ikke kun af en kontekst, vi kan kortlægge, såsom kultur, medium, afsender og modtager. Den har også at gøre med det sværeste (efter min mening) subjektive element – et, der er nærmest umuligt at kvantificere: smag.

Sprogs funktion er at udtrykke sig og skabe forestillinger og forbindelser. Det er en persons subjektive smag, som afgør, om den funktion bliver opfyldt eller ej.

Jeg kan ikke forestille mig noget mere subjektivt – kan du?

Hvorfor kan vi ikke bare udstikke regler, som gør sprog mindre subjektivt?

For at reducere dette subjektive element af sprog kan vi anvende regler for grammatik, stavning og fonetik. Når vi kontrollerer den rigtige måde at skrive eller udtale et ord på og den rækkefølge, ord skal anbringes i, ved vi, at hvis alle følger reglerne, kan alle (i teorien) forstå informationen på samme måde.

Men reglerne er ikke nok, fordi sprog er mere end ord.

Sprog er også gestik, kropssprog, lydstyrke og tonefald. Sprog lever ikke i et vakuum. Det får liv, når det møder en modtager. Den måde, vi opfatter sprog på, når vi lytter, læser eller rører (blindeskrift), vil afhænge af processoren – den individuelle menneskelige hjerne.

Hver menneskelig hjerne har sine egne unikke indbyggede forudsætninger. Variationerne i, hvordan neuroner aktiveres, i medfødte evner og intellekt og i fordomme, erfaringer og ens kulturelle linse bidrager alle til den måde, vi opfatter og producerer sprog på.

Mennesker har forsøgt at udtænke regler og teorier, der kan kvantificere sprogs kompleksitet, i et forsøg på at forstå og måske få kontrol over, præcis hvad der sker, når sprog bruges til at kommunikere med.

Men det kan ikke helt lade sig gøre, fordi både afsender og modtager eksisterer i hver sin kontekst, som påvirker måden, sproget forstås og vurderes på.

Sprogbrugernes personlige kontekster (kultur, alder, erfaring), men også den kontekst, som sproget bruges i (offentlig, intern, i en virksomhed) spiller en rolle. Disse kontekster kan tilføre deres egne indbyggede regler eller præferencer til vurderingen af kvaliteten.

Jo bedre vi kan kortlægge sprogets kontekst som led i vores vurdering af det, jo tættere kan vi komme på at sige noget om sprogkvaliteten.

Og vi kan komme ganske tæt ved hjælp af sprogets regler. Men der vil altid være et subjektivt element tilbage, som skal tages i betragtning, uanset hvor gode vi bliver til at kvantificere kvalitet.

Ingen, uanset om det er et menneske eller en AI, kan beslutte, hvad "godt" er. I stedet er målet at finde kvalitetsforventningen.

Denne komplicerede formel er, hvad vi forsøger at håndtere, når vi kvalitetsvurderer sprog. En kvalitetsvurdering er ikke absolut, og jeg tror aldrig, det vil fungere, hvis det, man ønsker at opnå, er "god kvalitet". Ingen, hverken os mennesker eller en AI, kan afgøre, hvad "god kvalitet" er, når vi taler om sprog. Fordi sprogkvalitet til syvende og sidst handler om, hvilket formål sproget tjener. Lever det op til forfatterens og målgruppens krav? Er det passende i konteksten? Det er ting, vi mennesker – såvel som AI – kan hjælpe os med at svare på.

Når man foretager en sproglig kvalitetsvurdering, er målet at træffe en afgørelse ud fra de vilkår og relevante parametre, der gælder i det aktuelle tilfælde. For jeg mener kun, at man kan vurdere sprogs kvalitet i en given kontekst eller i henhold til en bestemt gruppe eller måske ved en flertalsafgørelse (dvs. det, der er mest udbredt).

Sprog er i sin natur menneskeligt, og det menneskelige er ikke en kvalitet, der kan defineres som god eller dårlig.

Det menneskelige er en skala. Det er smidigt, i konstant forandring og perfekt i sin ufuldkommenhed. Vi kan kun måle, om sproget opfylder vores behov og forventninger.

Her kan AI hjælpe os. Hvis vi giver en AI parametre og metrik og afvejer de forskellige subjektive elementer ud fra konteksten, kan den frigøre os fra de mere trivielle eller repetitive opgaver, der har en tendens til at medføre fejl. På den måde kan vi bruge mere tid på interessante ting som kreativitet, menneskelig interaktion og dannelse af forestillinger. AI kan være en del af processen, selv i forbindelse med kvalitetsvurdering. Men det bør være mennesker, der dikterer, hvad AI'en skal gøre og ikke gøre, og hvordan. Det skal være os, der har hånd i hanke med, hvordan en AI leverer enhver form for data, som kan sige eller antyde noget om sprogkvalitet. Og der skal ligge dybere overvejelser bag end blot at kigge efter stavefejl, eller hvad der er mest almindeligt. Det skal omfatte kontekst, formål og det forventede resultat af det producerede sprog.

Den endelige afgørelse er din

Lad mig runde af ved at påpege, at AI allerede er god til – og vil blive endnu bedre til – at producere sprogligt content for os. Jo flere data vi giver en AI, i jo højere grad kan vi lade den tilpasse sprogets subjektive aspekter. Jo mere vi fodrer AI-modellen med kontekstuelle detaljer, jo bedre vil vi synes, at de tekster, vi får fra den, er. Og jo sværere bliver det i sidste ende for dig, den menneskelige læser, at skelne mellem AI-produceret og menneskeligt produceret. Jo bedre AI-teknologien bliver til at producere sprogligt content, desto mere rimeligt bliver det at formode, at den også vil blive bedre til at vurdere kvaliteten af sprogligt content (det være sig produceret af AI eller skabt af mennesker). Som jeg ser det, er nøglen til at forbedre og måle kvalitet at forøge den menneskelige kontrol over processen.

Uanset hvilken metode der bruges til at vurdere kvaliteten af sprogligt content – og uanset om den metode inddrager AI eller ej – ligger den endelige afgørelse af, om kvaliteten er passende, hos dig, som forbruger det pågældende content. Og den bedømmelse er unik for dig.

Der findes ikke noget endegyldigt facit for, hvad der er høj og lav kvalitet. Det bedste, vi kan stræbe efter, er en flertalsafgørelse fra en jury af mennesker, som indgår i den tiltænkte målgruppe for det pågældende sproglige content.

Yderligere ressourcer

AI kan være et effektivt værktøj til at lokalisere content og evaluere kvaliteten af en oversættelse, men den kan ikke stå alene. Den skal trænes og modelleres ud fra kontekst, ordforråd og sprogpar. Det kan måske gå an at bruge en AI uden de rette omgivende strukturerer, herunder vejledning og styring baseret på menneskelig ekspertise, til oversættelse af enkeltstående projekter, men det er ikke en hensigtsmæssig løsning i stor skala.

Som en hjælp til at navigere gennem det komplekse landskab, som AI-lokalisering er, har vi sammensat en liste med yderligere ressourcer til dig: