Informasjonsteori, læren om overføring av informasjon mellom en avsender og en mottager, gren av kommunikasjonsteorien.

Det dreier seg om de tre grunnleggenede forhold; - informasjonsmengden som skal overføres, egenskapene til overføringskanalen, og den koding av informasjonen som benyttes.

En melding er dannet ved at man setter sammen et antall symboler som velges fra et gitt register av en eller annen type. En skriftlig melding dannes f.eks. ved valg av bokstaver fra alfabetet, og tale dannes ved valg av bestemte lyder blant de mellom 30 og 40 som brukes i talen. En melding inneholder en viss informasjon som kan utnyttes som summen av informasjonen fra hvert enkelt symbol, så lenge symbolene er statistisk uavhengige. Informasjoner i et symbol er igjen avhengig av hvor mange muligheter det er å velge blant når vi velger symbolet, f.eks. ett blant alfabetets bokstaver. Jo flere muligheter det er, desto mer kan hvert enkelt symbol si oss, desto større er symbolets informasjon.

Informasjonen fremkommer altså ved valg, og for å få et fast uforanderlig mål for informasjon, må vi foreskrive valg av en bestemt art. Dette kan man gjøre ved å redusere alle virkelig forekommende valg til rekker av elementærvalg, dvs. enten/eller-valg. Anta f.eks. at vi vil velge en bokstav blant 32 mulige (i et alfabet med dette antall bokstaver). Det kan gjøres ved fem elementærvalg, idet vi først deler alfabetet i to ganger seksten som vi betegner med symbolene 0 og 1, og merker oss den del av alfabetet, f.eks. 1, hvor bokstaven finnes. Deretter deles denne delen på nytt i to deler à åtte bokstaver, som får betegnelsen 0 og 1, og vi noterer den del hvor bokstaven finnes, f.eks. del 0. Slik kan man fortsette å halvere og notere, inntil man har lokalisert bokstaven fullstendig ved fem elementærvalg. Samtidig er notert en rekke på fem symboler, valgt i registeret 0–1.

Når valgene utføres på denne måten, representerer hvert av dem den samme informasjonsmengde, den har fått navnet 1 bit (forkortet av eng. binary digit = siffer i to-tallsystem). Vår bokstav er dermed representert ved et femsifret tall i to-tallsystemet, f.eks. 10110. Alle 32 bokstaver i alfabetet kan representeres ved femsifrete tall i to-tallsystemet, og hver bokstav har en informasjonsmengde 5 bit.

Informasjonsmengden i en melding kalles også for meldingens negative entropi, da den matematisk har stor likhet med termodynamikkens entropi. (Se termodynamikk.)

En annen viktig størrelse i informasjonsteori er en kanals kapasitet, dvs. den informasjonsmengde den kan overføre per sekund. Den amerikanske matematikeren C. E. Shannon har påvist at så lenge den overførte informasjonsmengde per tidsenhet er mindre enn overføringskanalens kapasitet, kan man ved en hensiktsmessig koding overføre all informasjon feilfritt. Dette er en av informasjonsteoriens viktigste hovedsatser.

Informasjonsteorien ble først fremsatt av H. Nyquist i 1924 og av R. V. L. Hartley i  1928, og den er senere behandlet av C. E. Shannon.  Informasjonsteorien har betydning for kybernetikk, jfr. N. Wiener.

Foreslå endringer i tekst

Foreslå bilder til artikkelen

Kommentarer

Har du spørsmål til artikkelen? Skriv her, så får du svar fra fagansvarlig eller redaktør.

Du må være logget inn for å kommentere.