--- title: Data lake - analiza i przetwarzanie danych w T-mobile description: "O narzędzach i rozwiązań z których korzysta T-Mobile Polska w przetwarzaniu danych rozmawialiśmy podczas Let’s Manage & T-Mobile Online Meetup #4." --- [Blog Conlea ](https://blog.conlea.pl) # [Data lake - analiza i przetwarzanie danych w T-mobile](https://blog.conlea.pl/data-lake-jako-jedyne-zrodlo-prawdy-przy-podejmowaniu-decyzji-w-oparciu-o-dane) Autor: [Conlea](https://blog.conlea.pl/author/conlea) | 20-11-20 14:04 1000 osób każdego dnia jest zaangażowanych w T-Mobile Polska w przetwarzanie i analizę danych. O tym jak wygląda codzienna praca osób specjalistów od danych i z jakich narzędzi korzysta organizacja rozmawialiśmy podczas czwartej edycji Let’s Manage & T-Mobile Online Meetup. Każdego dnia firmy przetwarzają ogromne ilości danych i mierzą się z ich porządkowaniem oraz analizą. Równie ważne jest dopasowanie się do potrzeb danej organizacji i obserwacja tego co robią inne serwisy źródłowe, jakie dane będą przekazywać i w jakim formacie.     Nadrzędnym celem osób odpowiedzialnych za zarządzanie big data jest sprawne i skutecznie działanie tak, aby biznes czerpał z niej jak najwięcej korzyści.  Od ponad dekady zbiory danych odgrywają znaczącą rolę w trakcie pozyskiwania wartościowych informacji biznesowych wytwarzany w firmowych ekosystemach. James Dixon, ówczesny CTO firmy Pentaho jako pierwszy określił je mianem *Data Lakes.* ** James Dixon:** *W przeszłości standardowym sposobem obsługi raportowania i analizy danych było zidentyfikowanie najciekawszych atrybutów i zebranie ich w zbiorczej bazie danych. **Jeśli myślisz o zbiorczej bazie danych jako o magazynie wody butelkowanej - oczyszczonej, zapakowanej i zorganizowanej w celu łatwego spożycia - jezioro danych to duży zbiornik wodny w bardziej naturalnym stanie. Zawartość Data Lake napływa ze źródła, aby wypełnić jezioro, a różni użytkownicy jeziora mogą przyjść, aby je zbadać, zanurkować lub pobrać próbki. * Hurtownia danych w T-Mobile powstała w ciągu ostatnich 20 lat. W tym czasie firma przeszła szereg zmian i restrukturyzacji systemu zarządzania. Dziś ponad 1000 osób pracujących w nowych strukturach mierzy się z codziennie ze zrozumieniem potrzeb, gromadzeniem i przetwarzaniem danych, aby wspomóc firmę m.in. w sprzedaży produktów, tworzeniu nowych usług, monitorowaniu jakości sieci czy szybkim reagowaniu na zmiany.  Wszystkie czynności odbywają się na podstawie zbieranych każdego dnia informacji.   W trakcie webinaru na żywo **Let’s Manage & T-Mobile Online Meetup #4** przeprowadziliśmy rozmowę z udziałem trzech osób pełniących rolę Data Scientist w T-Mobile Polska. Specjaliści opowiedzieli o zarządzaniu zbiorem danych w Data Lake na podstawie własnego doświadczenia. W spotkaniu udział wzieli: **Michał Obuchowicz**, *Tribe Technical Lead*,  **Jakub Leś**,* Big Data Architect*  i **Kamil Małachowski**, *Big Data Developer*. W trakcie webinaru goście podzielili się szczegółami odnośnie komponentów oraz architektury, która w T-Mobile daje możliwość realizacji zaawansowanych projektów wpływających na kluczowe procesy w firmie. Poruszyli zagadnienia, które mogą posłużyć nie tylko jako inspiracja, ale jako praktyczne wskazówki w zarządzaniu danymi.   **Tematy poruszone w trakcie webinaru Let’s Manage & T-Mobile Online Meetup #4:** 1. Z jakich komponentów zbudowane są hurtownie danych w T-Mobile?  2. Z jakich narzędzi analitycznych i raportowania korzysta firma? 3. Z jakich mikroserwisów zbudowane jest ich Data Lake, jak je integrują i do czego wykorzystują 4. Jakie narzędzia stosuje T-Mobile w zakresie Data Governance i Data Quality?  5. Jak zarządza kosztami tych usług?  6. W jaki sposób określane są potrzeby organizacji i czy biorą w nich udział przedstawiciele biznesu? 7. Hadoop ecosystem history* -  *czym jest i jakie ma znaczenie w Big Data? 8. Komunikacja miedzy Storage, a warstwami powyżej. 9. Jak wygląda Cluster w Hortonworks z którego korzysta T-Mobile i jakie są zalety i wady tego systemu zarządzania.  Jak wygląda kwestia dostępu do danych.  10. Jakie możliwości daje Hive?  11. W jaki sposób T-Mobile podchodzi do danych przychodzących z opóźnieniem do Hive?   12. Jak przenieść dane z Kafka przez Spark do Hive?  13. Jakie dane przetwarza T-Mobile? Z jakich komponentów składa się architektura danych?  14. W jaki sposób działa i jak wygląda architektura monitoringu? 15. Jakie są plany wdrożeniowe w zakresie Data Lake?    Jeśli któryś z tematów jest dla Ciebie szczególnie interesujący obejrzyj całe nagranie:   Z rozmowy dowiesz się również o co warto pytać specjalistów od danych,  jak pandemia wpłynęła na ich pracę oraz jakie dalsze plany rozwojowe ma T-Mobile. Jeśli zainteresowała Cię poruszana tutaj tematyka już dziś dołącz do naszej społeczności IT. Otrzymasz dostęp do zapisu wcześniejszych wywiadów i zasobów. Przede wszystkim jednak nawiążesz relacje z developerami, architektami oraz managerami IT, których praktyczna wiedza pomoże Ci w codziennej pracy.  Dołącz do naszej społeczności Managerów IT już dziś i rozwijaj swoje umiejętności pod okiem ekspertów. [Szczegóły na platformie Let's Manage IT Online.](https://app.lmit.co/) ******* Jakie tematy chcesz, abyśmy poruszyli kolejnym razem?  Masz pomysł, sugestię, propozycję? Napisz do Kasi Wiśniewskiej:  katarzyna.wisniewska [AT] letsmanageit.pl [I już dziś zapisz się na kolejne spotkanie z cyklu Let’s Manage IT Live! ](https://info.letsmanageit.pl/lmitlive_13) [Wyświetl kompletny wpis](https://blog.conlea.pl/data-lake-jako-jedyne-zrodlo-prawdy-przy-podejmowaniu-decyzji-w-oparciu-o-dane) ```json { "@context" : "http://schema.org", "@type" : "BlogPosting", "author" : { "@type" : "Person", "name" : "Conlea" }, "dateModified" : "2023-11-20T20:18:23.365Z", "datePublished" : "2020-11-20T14:04:21Z", "headline" : "Data lake - analiza i przetwarzanie danych w T-mobile", "image" : { "@type" : "ImageObject", "height" : 627, "url" : "https://f.hubspotusercontent40.net/hubfs/6542241/T-Mobile-Data%20Lake-big-data-LMIT-Kafka-Spark-Hive-Flink-Data-Science-hurtownia-danych.jpeg", "width" : 1200 }, "mainEntityOfPage" : "https://blog.conlea.pl/data-lake-jako-jedyne-zrodlo-prawdy-przy-podejmowaniu-decyzji-w-oparciu-o-dane", "publisher" : { "@type" : "Organization", "logo" : { "@type" : "ImageObject", "height" : 60.0, "url" : "https://cdn2.hubspot.net/hubfs/6542241/conlea_transp.png", "width" : 80.10989 }, "name" : "Blog Conlea" } } ```