Każda strona WWW, aplikacja lub urządzenie, które jest podłączone do internetu, zbiera dane o swoich użytkownikach — i to w ogromnych ilościach. Zbiory tych danych to właśnie big data. W dzisiejszym wpisie spróbujemy wyjaśnić, czym są „wielkie dane”, jak wygląda ich analiza i jakie może przynieść korzyści dla Twojej firmy. Zapraszamy do lektury!
Big data — czym są „wielkie dane”?
Big data to termin obejmujący największe zbiory danych — w praktyce chodzi tu o dane zbierane za pośrednictwem sieci: aplikacji, stron WWW czy tzw. internetu rzeczy. Tym, co wyróżnia big data spośród innych, „tradycyjnych” zbiorów danych jest:
- ilość danych — która jest niemożliwa do przetworzenia przez klasyczne narzędzia analityczne, a tym bardziej — przez człowieka;
- wysoka prędkość przetwarzania danych — dane mogą zmieniać się z sekundy na sekundę — i dlatego też muszą być przetwarzane w czasie rzeczywistym;
- różnorodność — gromadzone dane różnią się formatem (od danych tekstowych i graficznych po informacje ilościowe), źródłem pochodzenia oraz jakością.
Jeszcze jedną ważną cechą big data jest to, jak głęboko powiązane są ze sobą poszczególne informacje w zbiorze. Pojedyncze dane, jeśli są analizowane w oderwaniu od innych, nie niosą realnej wartości. Zyskują ją dopiero, gdy osadzi się je w kontekście całego zbioru danych. I dlatego też do analizy big data wykorzystuje się nieco inne narzędzia niż w klasycznej analizie — takie, które pozwalają wydobyć „pełny obraz” z najbardziej rozproszonych, zróżnicowanych zbiorów. Chyba najlepszym przykładem takich narzędzi mogą być open source’owe platformy rozwijane przez Apache Software Fundation: Hadoop, Spark, Flink oraz Kafka.
Na czym polega analiza danych big data?
Ze względu na objętość i dynamikę zbiorów danych, analiza big data jest dość złożonym procesem — to nie przypadek, że w wielu firmach zajmują się nią wyspecjalizowani inżynierowie i analitycy.
Zanim więc dojdziemy do momentu, w którym zebrane dane będziemy mogli wykorzystać dla osiągnięcia realnych korzyści dla naszej organizacji, należy:
- określić źródła danych — dane możemy czerpać nie tylko z CRM-ów, Google Analytics czy platform społecznościowych, ale także od reklamobiorców i innych partnerów firmy czy z badań rynkowych;
- zebrać dane w jednym miejscu — na przykład we wspomnianym wcześniej Hadoop’ie lub tzw. data lakes, gromadzących dane w surowej formie;
- przetworzyć dane — zweryfikować ich wiarygodność, posortować, przefiltrować; tak, aby przygotować zbiór do dalszych działań;
- oczyścić dane — czyli skorygować konfliktujące ze sobą zbiory informacji, usunąć powtarzające się lub niekompletne dane;
- przeprowadzić analizę danych — w czym w ograniczonym stopniu pomogą nam narzędzia klasycznej analizy statystycznej; bardziej przydadzą się techniki uczenia maszynowego (czyli wsparcie AI, zdolnej do uczenia się na podstawie dostarczonych danych), języki programowania przystosowane do pracy z big data (np. Python czy SAS) oraz konkretne platformy do przetwarzania danych (jak np. Apache Spark).
Jaki potencjał niosą za sobą „wielkie dane”?
Odpowiednio przetworzone i przeanalizowane dane mogą pozwolić firmie uzyskać znaczną przewagę nad konkurencją, pomagając w:
- przewidywaniu zmian rynkowych, dostrzeganiu i „wyprzedzaniu” trendów;
- identyfikacji najmniej (oraz najbardziej) wydajnych procesów;
- analizie zachowań oraz preferencji klientów — i rozwijaniu nowych produktów zgodnie z ich potrzebami;
- obsłudze klientów — poprzez analizę interakcji z nimi za pośrednictwem internetowych kanałów komunikacji;
- przewidywaniu potencjalnych zagrożeń — i zarządzaniu ryzykiem.
Przykłady? To właśnie dzięki analizie big data Uber jest w stanie ustalać ceny przejazdów w czasie rzeczywistym, dostosowując je do aktualnego popytu. Z kolei Netflix wykorzystuje „wielkie dane” do rekomendowania swoim użytkownikom nowych seriali z zaskakującą skutecznością. Na podstawie big data, swoje oferty do możliwości i zachowań finansowych klientów dostosowują wszystkie największe banki — a McDonald’s i Starbucks, przygotowują akcje promocyjne i kupony rabatowe w swoich aplikacjach. Analityka internetowa oparta o big data to potężne narzędzie dla każdej firmy — warto je poznać jak najbliżej.
