Skrabning, indsamling og håndtering af datalogværktøjer - dummier

Om du har brug for data til støtte for en forretningsanalyse eller et kommende journalistik, kan webskrabning hjælpe dig med at spore interessante og unikke datakilder. I webskrabning konfigurerer du automatiserede programmer og lader dem derefter scure nettet for de data, du har brug for. Her er szome gratis værktøjer, som du kan bruge til at skrabe data eller billeder, herunder import. io, ImageQuilts og DataWrangler.

Skrabdata med import. io

Har du nogensinde forsøgt at kopiere og indsætte et bord fra internettet til et Microsoft Office-dokument og derefter ikke kunne få kolonnerne til at ordne korrekt? Frygtelig, ikke? Dette er præcis det smertepunkt, der importeres. io blev designet til at adressere.

import. io - udtalt "import-eye-oh" - er et gratis desktop-program, som du kan bruge til smertefrit at kopiere, indsætte, rense og formatere enhver del af en webside med kun et par klik med musen. Du kan endda bruge import. io til automatisk at gennemgå og udvinde data fra flersidelister.

Brug af import. Io, du kan skrabe data fra en enkel eller kompliceret serie af websider:

• Simple: Få adgang til websiderne via enkle hyperlinks, der vises på side 1, side 2, side 3.

• kompliceret: > Udfyld en formular eller vælg fra en rulleliste, og send derefter din skrabeanmodning til værktøjet. import. ios mest imponerende funktion er dets evne til at observere dine museklik for at lære, hvad du vil, og så tilbyde dig måder, hvorpå det automatisk kan fuldføre dine opgaver for dig. Selvom importen. Jeg lærer og foreslår opgaver, det tager ikke noget på disse opgaver, før du har markeret forslaget som korrekt. Følgelig mindsker disse menneskelige forstærkede interaktioner risikoen for, at maskinen trækker en ukorrekt konklusion på grund af over-gætteri.

Indsamling af billeder med ImageQuilts

ImageQuilts er en Chrome-udvidelse, der udvikles dels af den legendariske Edward Tufte, en af ​​de første store pionerer inden for datavisualisering - han populariserede brugen af ​​data-til- blækforhold for at bedømme effektiviteten af ​​diagrammer.

Opgaven ImageQuilts udfører er vildledende enkel at beskrive, men meget kompleks at implementere. ImageQuilts laver collage af titusvis af billeder og smider dem alle sammen i en "quilt", der består af flere rækker af samme højde. Denne opgave kan være kompleks, fordi kildebillederne næsten aldrig er den samme højde. ImageQuilts scraperer og ændrer billederne, før de sættes sammen i ét outputbillede.

Den viste billedtekst blev afledt af en "Mærket til genbrug" Google Images-søgning efter udtrykket

data videnskab . ImageQuilts tillader dig selv at vælge rækkefølgen af ​​billeder eller at randomisere dem. Du kan bruge værktøjet til at trække og slippe et billede til et hvilket som helst sted, fjerne et billede, zoome alle billeder på samme tid eller zoome hvert billede individuelt.

Du kan endda bruge værktøjet til at skjule mellem billedfarver - fra farve til gråtoner eller inverteret farve (som er praktisk til at lave kontaktark af negativer, hvis du er en af ​​de sjældne mennesker, der stadig behandler analog fotografi).

Wrangling data med DataWrangler

DataWrangler er et online værktøj, der understøttes af University of Washington Interactive Data Lab (på det tidspunkt DataWrangler blev udviklet, blev denne gruppe kaldet Stanford Visualization Group). Den samme gruppe udviklede Lyra, et interaktivt datavisualiseringsmiljø, som du kan bruge til at skabe komplekse visualiseringer uden programmeringserfaring.

Hvis dit mål er at

sculpt dit datasæt - eller rydde ting op ved at flytte ting rundt som en billedhugger ville (opdele denne del i to, skære den ud og flytte den derovre, skub det ned så alt under det bliver skiftet til højre, og så videre) - DataWrangler er værktøjet til dig. Du kan gøre manipuleringer med DataWrangler ligner det, du kan gøre i Excel ved hjælp af Visual Basic. Du kan f.eks. Bruge DataWrangler eller Excel med Visual Basic til at kopiere, indsætte og formatere oplysninger fra lister på internettet.

DataWrangler foreslår endog handlinger baseret på dit datasæt og kan gentage komplekse handlinger på tværs af hele datasæt - handlinger som f.eks. Eliminering af hoppede rækker, opdeling af data fra en kolonne til to eller ændring af en overskrift i kolonne data. DataWrangler kan også vise dig, hvor dit datasæt mangler data.

Manglende data kan angive en formateringsfejl, der skal ryddes op.