Stordata, betegnelse på datamengder som kan inneholde mye informasjon, men som er for store, for mangeartede og for ustrukturerte til at man kan benytte tradisjonelle teknikker for å hente ut denne informasjonen.

Stordata er en norsk oversettelse av det engelske begrepet Big Data, som ble tatt i bruk i vitenskapelig litteratur på slutten av 1990-tallet. Meteorologer var blant de første som studerte slike datamengder. Ved hjelp av værobservasjoner over lang tid og datasimulering kan de studere hvordan mange forskjellige fysiske prosesser spiller sammen for å danne været rundt oss.

Utvikling av teknologi og infrastruktur for datainnsamling, datakommunikasjon og datalagring har ført til en drastisk økning av tilgangen på stordata. I dag samler vi inn store mengder data fra våre fysiske omgivelser og menneskelig aktivitet over hele kloden.

De viktigste utfordringene knyttet til bruk av stordata kan deles inn i tre hovedkategorier:

  • utvikling av infrastruktur,
  • utvikling av analyse- og visualiseringsmetoder og
  • forsvarlig håndtering av etiske og juridiske forhold.

Det å håndtere slike store datasett kan være svært ressurskrevende. Blant annet må man ha tilgang på utstyr og programvare som sikrer tilstrekkelig datakvalitet. Man må også disponere tilstrekkelig transport- og lagringskapasitet samt tilstrekkelig regnekraft for å kunne bearbeide og analysere dataene. Utbygging og utvikling av slike ressurser kan være både kostnadskrevende og teknologisk utfordrende.

Stordata kan også være "store" i den forstand at de danner premissene for selve analyseprosessen. Ofte er datamaterialet så uoversiktlig at vi verken vet hva vi kan finne eller hvor vi skal lete. Da kan vi bruke kunstig intelligens og ulike visualiseringsteknikker til å vise oss dataene fra ulike synsvinkler. Datamaterialet blir da et slags landskap hvor vi kan lete oss frem ved hjelp av egen erfaring og intuisjon.

Datamaterialet som benyttes i stordataanalyse kan være samlet inn langt tilbake i tid fra mange forskjellige kilder, og gjerne til helt andre formål enn det man oppdager under analysen. Mye stordataanalyse er i virkeligheten gjenbruk av data i stor stil. Dette kan bidra til verdifull innsikt, men stiller også høye krav til forsvarlig håndtering av dataene, bevissthet hos dem som avgir data og lovverk som regulerer virksomheten.

  • Bryson et. al.: Visually exploring gigabyte data sets in real time. Communications of the ACM 1999.
  • Liu et. al.: Deep Neural Network Modeling for Big Data Weather Forecasting. Information Granularity, Big Data, and Computational Intelligence. Springer International Publishing, 2015

Foreslå endringer i tekst

Foreslå bilder til artikkelen

Kommentarer

Har du spørsmål om artikkelen? Skriv her, så får du svar fra fagansvarlig eller redaktør.

Du må være logget inn for å kommentere.