statistisk maskinoversettelse

Metodene tar utgangspunkt i parallelltekster, det vil si tekster som er oversatt til flere språk, for eksempel bøker, offentlige dokumenter og lignende.

I tillegg til tekster, kan man benytte crowdsourcing hvor deltakere som behersker flere språk blir invitert til å bidra med nye oversettelser, påpeke feil og så videre.

Ved å sammenligne ordsekvenser som befinner seg på samme sted i slike tekster, kan man bygge opp en oversikt over enkeltord, fraser og setninger som sannsynligvis har samme betydning i forskjellige språk.

Tabellen nedenfor illustrerer hvordan en slik oversikt kan se ut. Den angir forekomster av fraser på norsk og engelsk som er funnet på samme sted i ulike parallelltekster. For eksempel er det 15 tilfeller hvor frasen «jeg elsker deg» har samsvart med «I love you», mens frasene «Jeg elsker deg» og «I adore you» har blitt funnet på samme sted seks ganger.

Oversettingen gjennomføres ved at man velger alle par som inneholder ordsekvensen man skal oversette fra i tabellen. Så henter man oversettelsen fra det paret som forekommer flest ganger blant disse.

Ut fra forekomstene i tabellen ovenfor vil for eksempel setningen «jeg liker deg» bli oversatt til «I am fond of you» (13 av totalt 32 forekomster), mens «I am fond of you» vil bli oversatt til «Jeg er glad i deg» (14 av 31 forekomster).

Når disse metodene skal beskrives matematisk er det, av historiske årsaker, vanlig å bruke bokstaven 'e' (engelsk) om det språket man oversetter til, mens språket man oversetter fra angis med bokstaven 'f' (fransk).

Oversikten gir oss informasjon om forekomsten av samhørende ordsekvenser i to språk. Formelt er vi ute etter den verdien av e som har høyest P(e | f), det vil si høyest «sannsynlighet for e, gitt f». Dette beregner vi ved å dividere antallet observerte par: C(e, f) med antall observerte f-er: C(f).

Sannsynligheten for at setningen «jeg liker deg» betyr det samme som «I am fond of you» blir dermed beregnet til 13/32 = ca. 41 prosent.

Metoden ovenfor vil fungere i teorien. Problemet er at det i praksis er umulig å bygge opp tilstrekkelig komplette sett av sekvenser. De fleste språk består av flere hundre tusen ord som kan kombineres på svært mange måter. Derfor vil det alltid være sekvenser som ikke finnes i tekstmaterialet som er tilgjengelig.

Når sekvensen i språket vi oversetter fra ikke finnes i oversikten, vil metoden bryte sammen fordi det blir umulig å finne frem til en sannsynlig oversettelse.

For å unngå dette problemet, utvikler vi regler og analysemetoder som gjør det mulig beskrive å ordsekvenser i form av avledede egenskaper, for eksempel antall ord, forekomsten av bestemte typer ord i bestemte posisjoner og så videre. Dette kalles for derivater.

I stedet for observerte fra-til sekvenser, lager man en oversikt som viser hvor mange ganger slike egenskaper i fra-språk er observert sammen med ordsekvenser i til-språk. Dette kalles for oversettelsesmodeller.

Informasjon om frasen «jeg elsker deg» i den opprinnelige tabellen kan for eksempel representeres på denne måten:

I tillegg trenger vi en språkmodell, det vil si en oversikt over hvor ofte hver enkelt sekvens i til-språket forekommer i tekstmaterialet. Informasjonen i den opprinnelige tabellen vil bli representert slik:

Selve oversettelsen gjennomføres i fire steg:

1. Først finner man derivatene til fra-sekvensen.
2. Deretter benytter man oversettelsesmodellen til å beregne graden av samsvar mellom fra-sekvensen og alle tilgjengelige sekvenser i til-språket.
3. Så benytter man språkmodellen til å vekte graden av samsvar med antall forekomster av sekvenser i til-språket.
4. Til slutt velger den sekvensen hvor samsvarsgraden multiplisert med antall forekomster er høyest.

Statistisk maskinoversettelse er et komplisert felt som neppe vil bli ferdigutforsket. Til det er det for mange språk med forskjellig struktur og ulikt meningsinnhold. To viktige utfordringene er:

• Hvordan tekster skal splittes opp i ordsekvenser. Målsettingen er å bryte dem opp i veldefinerte, meningsbærende enheter som så kan sammenlignes på tvers av språk.
• Hvordan man skal definere avledede egenskaper i et gitt språk. Målsettingen er at to ordsekvenser med samme mening også skal ha de samme egenskapene.

• maskinoversettelse

• Statistical Machine Translation. Adam Lopez, ACM Computing Surveys, 2008