Шта су велики подаци?

Како да

Од странеРиан Дубе

Последњи пут ажурирано26. марта 2020

Током година, много буззворд-ова постаје модно у многим индустријама. Мало је оних који су постали толико популарни, и тако дуго, велики подаци. Али шта су тачно велики подаци?

Велики подаци односе се на виртуелни океан информација из разних извора, анализираних и филтрираних на такав начин да се добију смислени и делотворни резултати.

Процес претварања „великих података“ у смислене резултате може се чинити компликованим и тешким. Међутим, једном када схватите шта су велики подаци и како функционишу, разумевање како то учинити значајним не чини се тако компликовано.

Шта су велики подаци?

Када чујете људе како причају о „великим подацима“, обично је с пуно махања рукама и великим речима. Али када спустите све хиперболе, стварни „подаци“ су заправо многи вишеструки уноси података.

Да бисте то разумели, може вам помоћи пример. Рецимо да имате компанију за производњу кишобрана. Ваше маркетиншко одељење тражи начин да боље предвиди када ће потражња на тржишту порасти.

Пре дана великих података, трговци су проучавали тржишне трендове, слали анкете о купцима и многе друге активности.

Они би прикупљали све те податке и чували их у интерним базама података своје компаније. Неко је можда чак и задужен за ажурирање података маркетиншких истраживања на годишњој или кварталној основи.

Међутим, појава великих података проширује способност провођења ове врсте истраживања. Велики подаци су нарочито ефикасни у идентификовању важних трендова или догађаја у скоро реалном времену.

Уноси података за ову врсту „великих података“ могу укључивати протоке података у реалном времену писањем кода који се прикључује у Апплицатион Программинг Интерфаце (АПИ) многих различитих компанија које су те податке учиниле јавним:

• Твиттер и Фацебоок: Утврдите када и зашто људи разговарају о куповини кишобрана.
• Веатхер: Идентификација временски услови или предвиђања која би могла прерасти у већу продају кишобрана.
• Берза: Сезонске промене трошкова сировина за производњу сунцобрана.
• Корисничко веб коришћење: Коришћење информација из рачунарски колачићи људи који посећују каталог предузећа да би разумели понашање у куповини.
• Историја куповине купаца: Праћење географије и годишњих доба трендова продаје од продаваца.

Да би користили велике податке, маркетиншки тим ове компаније морао би, у неким случајевима, инсталирати нове технологије.

Велики подаци и Интернет

Ово може укључивати Интернет оф Тхингс (ИоТ) технологију код трговаца који прате и извештавају о понашању потрошача. Или би могло подразумевати да програмер напише код потребан за повезивање са Твиттер-овим АПИ-јем како би филтрирао све твитове који спомињу „кишобране“ или назив компаније.

Свака од ових технологија сада је доступна захваљујући интернету. Интернет омогућава било коме да додирне токове података са свих страна свијета.

Ево како подешавање у нашем сопственом примеру може радити у овом случају.

Овај дијаграм приказује како се подаци уливају у „језеро података“ компаније из различитих извора. Долазни подаци могу бити различито структурирани, али важно је прикупити што више података из свих извора.

Шта је податковно језеро?

За разлику од базе података, која садржи структуриране податке организоване у одређене ступце и редове, језеро података је велико спремиште за многе различите облике података.

Подаци који се чувају могу бити структурирани или неструктурирани. Значи да може имати структуриране редове и ступце или не. Подаци могу бити низови који користе засебно обликовање за одвајање података. Сваки извор података може послати податке у језеро података у било којем облику који воли.

Замислите језеро података попут огромне библиотеке која садржи многе облике медија, попут књига, слика из микрофифе и видео записа на ДВД-овима.

Замислите инжењера дигиталне интелигенције и анализу података као покровитеља те библиотеке. Ти мецени могу дигитално извући податке из књига, микрофифа и ДВД-ова и пронаћи начине за мешање и комбиновање тих података и учење ствари из односа података.

Из тих учења потиче стварна, делотворна интелигенција. Неки од ових из нашег примера могу укључивати:

• Чаврљање на Твиттеру и Фацебооку указују на приближавање олује у Нев Иорку, јер хиљаде купаца планира купити кишобране.
• Подаци о куповини рачунарских колачића и машине за куповину на мало говоре да су купци у Калифорнији спремни платити више за дизајнерске сунцобране него људи из Вирџиније.
• Велики обрасци олује показују да ће већи део Источне обале бити прекривен кишном олујом читаву недељу.

Сва ова учења могла би подстаћи маркетиншки тим да инвестира у више оглашавања географски, где је потражња за кишобранима већа. Производња би такође могла да своје производне напоре преусмери на оне делове света ближе оним где је већа вероватноћа да ће се продаја повећати.

На овај начин, користећи велике податке, свака компанија може усмјерити своје маркетинг и пословање.

Шта је Хадооп?

Следеће питање је како компаније обрадјују тако велику количину података и идентификују трендове?

Ова врста дробљења података захтева огромне рачунарске ресурсе. Толико тога, да компаније више не користе велике маинфраме рачунаре у просторијама као некада. Многе од ових услуга сада се купују из облака. Услуге обавештајних података у облаку попут Апацхе Хадооп нуде многе рачунарске чворове на великој облачној мрежи. Сваки од ових чворова доприноси моћи обраде потребне за анализу огромних токова података из више извора.

Ова врста процесорске снаге је срце машинске или дигиталне интелигенције и анализе података. Хадооп је софтверски оквир који чини читаву мрежу масовног рачунарског рада како је потребно за инжењере дигиталне интелигенције.

Једном када рачунски мотор произведе ефикасну интелигенцију, они се обично испоручују компанији у облику контролних табли или извештаја.

Велики подаци нису само буззворд-и

Истина је да су "велики подаци" више од обичног лингоа. Многе компаније уче да бољом употребом података могу остварити бројна достигнућа.

• Произвођачи могу побољшати критичне производне метрике као што су принос, квалитет и ефикасност.
• Продавци на мало могу боље ускладити маркетинг, оглашавање и пословне инвестиције на основу сигнала са тржишта.
• Дистрибутери су у могућности да предвиде потенцијалне проблеме у ланцу снабдевања како би унапред развили планове за ванредне ситуације.
• Новинске организације могу брзо идентификовати догађаје који су значајни анализирајући јавне сигнале на Интернету.
• Стручњаци за кибернетичку сигурност користите сигнале широм интернета за препознавање цибер напада док су у току.

Иако је велики део онога што су велики подаци постигли последњих година јавности практично невидљив, велики подаци су заправо имали значајан утицај на свакодневни живот људи широм света.