Store data er ikke bare en moderne dages fad - dummies

Forskere begyndte at kæmpe imod imponerende mængder data i årevis, før nogen udgjorde udtrykket store data. På dette tidspunkt producerede internettet ikke de store summer for data, som det gør i dag. Det er nyttigt at huske, at store data ikke blot er en fad skabt af software- og hardwareleverandører, men har et grundlag i mange af følgende felter:

• Astronomi: Overvej data modtaget fra rumfartøjer på en mission (som f.eks. Voyager eller Galileo) og alle data modtaget fra radioteleskoper, som er specialiserede antenner, der bruges til at modtage radiobølger fra astronomiske organer. Et almindeligt eksempel er Search for Extraterrestrial Intelligence (SETI) -projektet, der søger udadtillige signaler ved at observere radiofrekvenser, der kommer fra rummet. Mængden af ​​data, der modtages, og den computerstyrke, der bruges til at analysere en del af himlen i en enkelt time, er imponerende. Hvis udlændinge er derude, er det meget svært at se dem. (Filmen Kontakt udforsker, hvad der kunne ske, hvis mennesket faktisk opfanger et signal.)
• Meteorologi: Tænk på at forsøge at forudsige vejr til nærmeste sigt givet det store antal nødvendige foranstaltninger, som f.eks. temperatur, atmosfærisk tryk, fugtighed, vind og nedbør på forskellige tidspunkter, steder og højder. Vejrudsigter er virkelig et af de første problemer i store data og ganske relevant. Ifølge Weather Analytics er et firma, der leverer klimadata, mere end 33 procent af verdensomspændende bruttonationalprodukt (BNP) bestemt af, hvordan vejrforhold påvirker landbrug, fiskeri, turisme og transport, for blot at nævne nogle få. Dateret tilbage til 1950'erne blev de første supercomputere brugt til at knuse så mange data som muligt, fordi i meteorologi, jo flere data jo mere præcise prognosen. Det er derfor, at alle er ved at samle mere lagrings- og forarbejdningskapacitet, som du kan læse i denne historie om den koreanske meteorologiske forening for vejrudsigter og undersøgelse af klimaændringer.
• Fysik: Overvej de store mængder data produceret ved eksperimenter ved hjælp af partikelacceleratorer i et forsøg på at bestemme strukturen af ​​materie, rum og tid. For eksempel producerer Large Hadron Collider, den største partikelaccelerator, der nogensinde er oprettet, hvert år 15PB (petabytes) data som følge af partikelkollisioner.
• Genomics: Sequencing en enkelt DNA-streng, hvilket betyder at bestemme den nøjagtige rækkefølge af de mange kombinationer af de fire baser - adenin, guanin, cytosin og thymin - der udgør molekylets struktur, kræver en hel del af data.For eksempel kan et enkelt kromosom, en struktur indeholdende DNA'et i cellen, kræve fra 50 MB til 300 MB. Et menneske har 46 kromosomer, og DNA-dataene for kun én person bruger en hel dvd. Forestil dig den massive opbevaring, der kræves for at dokumentere DNA-data fra et stort antal mennesker eller at sekvensere andre livsformer på jorden.
• Oceanografi: På grund af de mange sensorer, der er anbragt i oceanerne, måler man temperatur, strøm og ved hjælp af hydrofoner lyd til akustisk overvågning til videnskabelige formål (opdager fisk, hvaler og plankton) og militære forsvarsformål (at finde sneaky ubåde fra andre lande). Du kan få en snigekig på dette gamle overvågningsproblem, som bliver mere komplekst og digitalt.
• Satellitter: Optag billeder fra hele kloden og send dem tilbage til jorden for at overvåge Jordens overflade og dens atmosfære er ikke en ny virksomhed (TIROS 1, den første satellit til at sende billeder og data tilbage, går tilbage til 1960). I årenes løb har verden imidlertid lanceret mere end 1, 400 aktive satellitter, der leverer jordobservation. Mængden af ​​data, der kommer på jorden, er forbløffende og tjener både militære (overvågning) og civile formål, som f.eks. Sporing af økonomisk udvikling, overvågning af landbruget og overvågning af ændringer og risici. En enkelt europæisk rumorganisation satellit, Sentinel 1A, genererer 5PB data i to års drift.

Med disse ældre datatendenser genereres eller overføres nye mængder data nu af internettet, skaber nye problemer og kræver løsninger med hensyn til både datalagring og algoritmer til behandling:

• As rapporteret af det nationale sikkerhedsagentur (NSA) udgjorde mængden af ​​oplysninger, der flyder via internettet hver dag fra hele verden, 1, 826 pb data i 2013 og 1. 6 procent af det bestod af e-mails og telefonopkald. For at sikre den nationale sikkerhed skal NSA kontrollere indholdet på mindst 0. 025 procent af alle e-mails og telefonopkald (kigge efter nøgleord, som kunne signalere noget som et terroristbillede). Det svarer stadig til 25PB pr. År, hvilket svarer til 37, 500 cd-rom'er hvert år af data, der er lagret og analyseret (og det vokser). Du kan læse hele historien.
• Things of Things (IoT) bliver en realitet. Du har måske hørt udtrykket mange gange i de sidste 15 år, men nu vil væksten af ​​de ting, der er forbundet med internettet, eksplodere. Tanken er at sætte sensorer og sendere på alt og bruge dataene til både bedre at kontrollere hvad der sker i verden og gøre genstande smartere. Sendeapparater bliver tyndere, billigere og mindre strømforbrugende; nogle er allerede så små, at de kan placeres overalt. (Se bare på den antikvitetsradio, der er udviklet af Stanford-ingeniører.) Eksperter vurderer, at der i 2020 vil være seks gange så mange sammenhængende ting på jorden, da der vil være mennesker, men mange forskningsfirmaer og tænketanke besøger allerede disse tal.