Blog Conlea

Data lake - analiza i przetwarzanie danych w T-mobile

Autor: Conlea | 20-11-20 14:04

1000 osób każdego dnia jest zaangażowanych w T-Mobile Polska w przetwarzanie i analizę danych. O tym jak wygląda codzienna praca osób specjalistów od danych i z jakich narzędzi korzysta organizacja rozmawialiśmy podczas czwartej edycji Let’s Manage & T-Mobile Online Meetup.

Każdego dnia firmy przetwarzają ogromne ilości danych i mierzą się z ich porządkowaniem oraz analizą. Równie ważne jest dopasowanie się do potrzeb danej organizacji i obserwacja tego co robią inne serwisy źródłowe, jakie dane będą przekazywać i w jakim formacie.  

 

Nadrzędnym celem osób odpowiedzialnych za zarządzanie big data jest sprawne i skutecznie działanie tak, aby biznes czerpał z niej jak najwięcej korzyści. 

Od ponad dekady zbiory danych odgrywają znaczącą rolę w trakcie pozyskiwania wartościowych informacji biznesowych wytwarzany w firmowych ekosystemach. James Dixon, ówczesny CTO firmy Pentaho jako pierwszy określił je mianem Data Lakes.


James Dixon:
W przeszłości standardowym sposobem obsługi raportowania i analizy danych było zidentyfikowanie najciekawszych atrybutów i zebranie ich w zbiorczej bazie danych. Jeśli myślisz o zbiorczej bazie danych jako o magazynie wody butelkowanej - oczyszczonej, zapakowanej i zorganizowanej w celu łatwego spożycia - jezioro danych to duży zbiornik wodny w bardziej naturalnym stanie. Zawartość Data Lake napływa ze źródła, aby wypełnić jezioro, a różni użytkownicy jeziora mogą przyjść, aby je zbadać, zanurkować lub pobrać próbki.


Hurtownia danych w T-Mobile powstała w ciągu ostatnich 20 lat. W tym czasie firma przeszła szereg zmian i restrukturyzacji systemu zarządzania. Dziś ponad 1000 osób pracujących w nowych strukturach mierzy się z codziennie ze zrozumieniem potrzeb, gromadzeniem i przetwarzaniem danych, aby wspomóc firmę m.in. w sprzedaży produktów, tworzeniu nowych usług, monitorowaniu jakości sieci czy szybkim reagowaniu na zmiany.  Wszystkie czynności odbywają się na podstawie zbieranych każdego dnia informacji.  

W trakcie webinaru na żywo Let’s Manage & T-Mobile Online Meetup #4 przeprowadziliśmy rozmowę z udziałem trzech osób pełniących rolę Data Scientist w T-Mobile Polska. Specjaliści opowiedzieli o zarządzaniu zbiorem danych w Data Lake na podstawie własnego doświadczenia.

W spotkaniu udział wzieli: Michał Obuchowicz, Tribe Technical LeadJakub Leś, Big Data Architect  i Kamil Małachowski, Big Data Developer.

W trakcie webinaru goście podzielili się szczegółami odnośnie komponentów oraz architektury, która w T-Mobile daje możliwość realizacji zaawansowanych projektów wpływających na kluczowe procesy w firmie. Poruszyli zagadnienia, które mogą posłużyć nie tylko jako inspiracja, ale jako praktyczne wskazówki w zarządzaniu danymi. 

 Tematy poruszone w trakcie webinaru Let’s Manage & T-Mobile Online Meetup #4:

  1. Z jakich komponentów zbudowane są hurtownie danych w T-Mobile? 
  2. Z jakich narzędzi analitycznych i raportowania korzysta firma?
  3. Z jakich mikroserwisów zbudowane jest ich Data Lake, jak je integrują i do czego wykorzystują
  4. Jakie narzędzia stosuje T-Mobile w zakresie Data Governance i Data Quality? 
  5. Jak zarządza kosztami tych usług? 
  6. W jaki sposób określane są potrzeby organizacji i czy biorą w nich udział przedstawiciele biznesu?
  7. Hadoop ecosystem historyczym jest i jakie ma znaczenie w Big Data?
  8. Komunikacja miedzy Storage, a warstwami powyżej.
  9. Jak wygląda Cluster w Hortonworks z którego korzysta T-Mobile i jakie są zalety i wady tego systemu zarządzania.  Jak wygląda kwestia dostępu do danych. 
  10. Jakie możliwości daje Hive? 
  11. W jaki sposób T-Mobile podchodzi do danych przychodzących z opóźnieniem do Hive?  
  12. Jak przenieść dane z Kafka przez Spark do Hive? 
  13. Jakie dane przetwarza T-Mobile? Z jakich komponentów składa się architektura danych? 
  14. W jaki sposób działa i jak wygląda architektura monitoringu?
  15. Jakie są plany wdrożeniowe w zakresie Data Lake?

  


Jeśli któryś z tematów jest dla Ciebie szczególnie interesujący obejrzyj całe nagranie:

 


Z rozmowy dowiesz się również o co warto pytać specjalistów od danych,  jak pandemia wpłynęła na ich pracę oraz jakie dalsze plany rozwojowe ma T-Mobile.

Jeśli zainteresowała Cię poruszana tutaj tematyka już dziś dołącz do naszej społeczności IT. Otrzymasz dostęp do zapisu wcześniejszych wywiadów i zasobów. Przede wszystkim jednak nawiążesz relacje z developerami, architektami oraz managerami IT, których praktyczna wiedza pomoże Ci w codziennej pracy. 

Dołącz do naszej społeczności Managerów IT już dziś i rozwijaj swoje umiejętności pod okiem ekspertów. Szczegóły na platformie Let's Manage IT Online.

***

Jakie tematy chcesz, abyśmy poruszyli kolejnym razem? 

Masz pomysł, sugestię, propozycję?

Napisz do Kasi Wiśniewskiej:  katarzyna.wisniewska [AT] letsmanageit.pl

I już dziś zapisz się na kolejne spotkanie z cyklu Let’s Manage IT Live!