Hjem Personlig finansiering Image Klassificering med Hadoop-dummies

Image Klassificering med Hadoop-dummies

Video: Landuse Classification from Satellite Imagery using Deep Learning 2024

Video: Landuse Classification from Satellite Imagery using Deep Learning 2024
Anonim

Billedklassificering kræver En betydelig mængde databehandlingsressourcer, der imidlertid har begrænset omfanget af implementeringer. Billedklassifikation er et varmt emne i Hadoop-verdenen, fordi ingen mainstream-teknologi var i stand til - indtil Hadoop kom sammen - at åbne døre for denne slags dyre behandling i så stor og effektiv skala.

Billedklassifikation starter med ideen om at du opbygger et træningssæt, og at computere lærer at identificere og klassificere, hvad de ser på. På samme måde som at have flere data hjælper med at opbygge bedre opdagelses- og risikomodeller, hjælper det også systemer til bedre at klassificere billeder.

I dette brugs tilfælde benævnes dataene som træningssættet samt modellerne er klassifikatorer. Klassifikatorer genkende funktioner eller mønstre inden for lyd, billede eller video og klassificere dem passende. Klassifikatorer er bygget og iterativt raffineret fra træningssæt, så deres præcisionsresultater (en måling af præcision) og tilbagekaldingsresultater (et mål for dækning) er høje. Hadoop er velegnet til billedklassificering, fordi den giver et massivt parallelbehandlingsmiljø for ikke kun at oprette klassificeringsmodeller (iteration over træningssæt), men også give næsten grænseløs skalerbarhed til at behandle og køre disse klassifikatorer på tværs af massive sæt ustrukturerede datamængder.

Overvej multimediekilder som YouTube, Facebook, Instagram og Flickr - alle er kilder til ustrukturerede binære data. Figuren viser en måde, hvorpå Hadoop kan scalere behandlingen af ​​store mængder lagrede billeder og video til multimedie semantisk klassificering.

Du kan se, hvordan alle de begreber, der vedrører Hadoop-behandlingsrammen, anvendes på disse data. Bemærk, hvordan billeder indlæses i HDFS. Klassificeringsmodellerne, der er bygget over tid, anvendes nu til de ekstra billedfunktionselementer i kortfasen af ​​denne løsning. Som du kan se i nederste højre hjørne består udgangen af ​​denne behandling af billedklassifikationer, der spænder fra tegnefilm til sport og steder.

Hadoop kan også bruges til lyd- eller stemmeanalyse. En sikkerhedsindustriklient, vi arbejder med, skaber et lydklassificeringssystem til klassificering af lyde, der høres via akustisk berigede fiberoptiske kabler, der ligger omkring omkredsen af ​​atomreaktorer.

Dette system ved f.eks. Hvordan man næsten øjeblikkeligt klassificerer vindens hvisken i forhold til hvisken af ​​en menneskelig stemme eller at skelne lyden af ​​menneskelige fodspor, der løber i perimeterparklandene fra dyrelivet.

Denne beskrivelse kan have slags

Star Trek mærke til det, men du kan nu se levende eksempler. Faktisk offentliggør IBM et af de største billedklassificeringssystemer i verden via IBM Multimedia Analysis and Retrieval System (IMARS). Her er resultatet af en IMARS søgning efter udtrykket

alpint skiløb. Øverst på figuren kan du se resultaterne af klassifikatorerne kortlagt til billedsættet, der blev behandlet af Hadoop, sammen med en tilhørende tagsky. Bemærk den mere groft definerede overordnede klassifikator, i modsætning til den mere granulære. Faktisk bemærke de mange klassificeringsklasser: ruller ind i, som ruller ind - alle genereres automatisk af klassificeringsmodellen, bygget og scoret med Hadoop.

Ingen af ​​disse billeder har nogen tilføjede metadata. Ingen har åbnet iPhoto og tagget et billede som en vintersport for at få det til at dukke op i denne klassifikation. Det er vinter sport klassifikator, der blev bygget til at genkende image attributter og karakteristika af sport, der spilles i en vinterindstilling.

Billedklassificering har mange applikationer, og at kunne udføre denne klassifikation i massiv skala ved at bruge Hadoop åbner flere muligheder for analyse, da andre applikationer kan bruge klassificeringsoplysningerne genereret til billederne.

Se på dette eksempel fra sundhedssektoren. Et stort sundhedsbureau i Asien fokuserede på at levere sundhedspleje via mobile klinikker til en landbefolkning fordelt på en stor landmasse. Et væsentligt problem, som agenturet står overfor, var den logistiske udfordring at analysere de medicinske billeddannelsesdata, der blev genereret i sine mobile klinikker.

En radiolog er en knappe ressource i denne del af verden, så det var fornuftigt at sende de medicinske billeder elektronisk til et centralt punkt og få en hær af læger at undersøge dem. Lægerne, der undersøgte billederne, blev dog hurtigt overbelastet.

Agenturet arbejder nu på et klassifikationssystem for at hjælpe med at identificere mulige forhold for effektivt at give forslag til lægerne om at verificere. Tidlig test har vist denne strategi for at reducere antallet af ubesvarede eller unøjagtige diagnoser, hvilket sparer tid, penge og - mest af alt - lever.

Image Klassificering med Hadoop-dummies

Valg af editor

Hvad er nyt i Microsoft Word 2016? - dummies

Hvad er nyt i Microsoft Word 2016? - dummies

Udgivelsen af ​​Microsoft Word i 2016 er funktionel pakket og kan prale af evnen til at forenkle arbejdsgange og forene arbejdsgrupper. Hvad det betyder for dig er, at det er et meget lettere produkt at bruge i forhold til tidligere versioner. Med funktionelle ændringer, der er indbygget i knapper og faner af Word 2016s båndformede proceslinje, har den ...

Word 2010 Tastaturgenveje - Dummies

Word 2010 Tastaturgenveje - Dummies

Word 2010 tilbyder en række nyttige tastaturgenveje til hurtigt at udføre opgaver. Her er nogle genveje til almindelig Word-formatering, redigering og fil- og dokumentopgaver. Word 2010 Formatering Genveje Kommando Genvej Bånd Placering Fed Ctrl + B Startside Fane, Skrifttype Gruppe Kursiv Ctrl + I Startside, Skriftgruppe Understrege Ctrl + U Startside Fane, Skriftgruppe Center Ctrl + E ...

Word 2007 For Dummies Cheat Sheet - dummies

Word 2007 For Dummies Cheat Sheet - dummies

Word 2007 ser anderledes ud, men tilbyder stadig de praktiske Word hæfteklammer som f.eks. tastaturgenveje til at hjælpe dig med at oprette, formatere, indsætte ting i og flytte gennem dine Word-dokumenter. Og Word 2007 tilbyder også et par nye funktioner, der hjælper dig med at håndtere din tekstbehandling med lethed.

Valg af editor

ASVAB Montering af objekter Subtest: Shapes - dummies

ASVAB Montering af objekter Subtest: Shapes - dummies

Mange mennesker kan finde den anden type montering af objekter problem på ASVAB lettere end forbindelsesproblemerne. Denne type problem er meget som et puslespil, medmindre det ikke resulterer i et billede af Frihedsgudinden eller et kort over USA. Der er også en heck of a ...

ASVAB Aritmetisk Reasoning Subtest: Viser Sammenligninger med Ratioer - Dummies

ASVAB Aritmetisk Reasoning Subtest: Viser Sammenligninger med Ratioer - Dummies

Du skal vide, hvordan du arbejde med forhold for den aritmetiske begrundelse subtest af ASVAB. Et forhold viser et forhold mellem to ting. For eksempel, hvis Margaret investerede i hendes tatoveringslokale i forholdet 2: 1 (eller 2 til 1) til hendes forretningspartner Julie, satte Margaret $ 2 for hver ...

ASVAB Auto & Shop Information Undertest: Drilling, Punching og Gouging Tools - dummies

ASVAB Auto & Shop Information Undertest: Drilling, Punching og Gouging Tools - dummies

Nej, det handler ikke om hånd-til-hånd kamp træning fra grundlæggende træning. Imidlertid vil ASVAB teste din viden om, hvor praktisk du er med boring, stansning og gouging-værktøjer. Masters i butikskunst gør ofte huller i det materiale, de arbejder med for at opbygge det perfekte fuglehus (eller hvad de arbejder på). ...

Valg af editor

EMT-eksamen: Sådan arbejder du med et team under et nødsituation

EMT-eksamen: Sådan arbejder du med et team under et nødsituation

Arbejder helt alene som en EMT er ekstremt sjælden. Selv under disse omstændigheder vil du sandsynligvis interagere med andre sundhedspleje- og offentlige sikkerhedsudbydere på et eller andet tidspunkt under et opkald. Mere sandsynligt vil du fungere som medlem af et hold. Det kan være en enkelt partner, et brandmandsbesætningsmedlem eller endda en nødsituation ...

EMT-eksamen: Sådan dokumenterer du dine tilfælde - dummier

EMT-eksamen: Sådan dokumenterer du dine tilfælde - dummier

Til eksamen og i feltet EMT er forpligtet til at dokumentere, hvad du observerede om patienten og miljøet, de resultater, du vurderede, den omhu du gav, og eventuelle ændringer i patientens tilstand, mens du var i din pleje. Dokumentation kan ske enten på papirformularer eller elektronisk med en computer, bærbar computer, ...