Data Engineer - Aleje Jerozolimskie, Warszawa, Polska - Scalo

Opis

Sprawdź, co czeka Cię w Scalo:

• uczestnictwo w projekcie dot. rozwoju i utrzymania systemów przetwarzania danych w departamencie hurtowni danych. Przygotowanie środowisk do procesu migracji na środowisko Cloud. Wykorzystywany stos technologiczny: Apache Hadoop, Apache Spark, Cloudera Data Platform, Python/Scala, Json, SQL,
• wdrażanie i projektowanie nowoczesnych systemów przetwarzania danych i systemów Big Data,
• migracja/modernizacja danych w celu dostosowania ich do nowoczesnych praktyk zarządzania danymi,
• migracja obciążeń danych z on-premise do chmury: transfer z serwerów lokalnych na platformy oparte na chmurze w celu zwiększenia skalowalności i dostępności,
• zarządzanie metadanymi w celu śledzenia i dokumentowania pochodzenia, definicji i wykorzystania danych,
• monitorowanie jakości danych w hurtowniach w celu wspierania dokładnych analiz i raportowania,
• automatyzacja procesów wdrożeniowych, konfigurowanie zaawansowanych procesów CI/CD ze zintegrowanym testowaniem (integracja, testowanie systemu), implementowanie strategii wdrożeniowych,
• praca w modelu hybrydowym: wizyty w biurze w Warszawie dwa razy w miesiącu,
• stawka zł/h przy B2B w zależności od doświadczenia.

Dobrze odnajdziesz się w naszym zespole, jeśli:

• masz minimum 5 lat doświadczenia w roli Data Engineera, w szczególności doświadczenie w ekosystemie on-premise,
• znasz koncepcje Big Data, Hurtowni Danych i Zarządzania Danymi,
• znasz platformy Apache Hadoop, Apache Spark, Cloudera Data Platform,
• pracujesz z dużymi zbiorami danych, znasz standardy projektowania, kodowania, dokumentowania, testowania i wdrażania,
• pracujesz z Python lub Scala,
• pracujesz z różnymi formatami danych: JSON, PARQUET, ORC, AVRO,
• znasz bazy danych SQL/NO-SQL,
• posiadasz praktyczną wiedzę w zakresie automatyzacji CI/CD,
• mile widziana znajomość: Java, Jira, Confluence, Kubeflow / Airflow, Kafka, Apache Nifi, Azure Databricks czy Azure Stream Analytics.

Co możesz zyskać?

• długofalową współpracę - różnorodne projekty (działamy w ramach Software Services, Embedded Services, Data Services, Cloud Services),
• możliwość rozwoju kompetencji we współpracy z naszym Center of Excellence,
• dostęp do technologicznych platform e-learningowych - Udemy, Pluralsight,
• kursy języka angielskiego - biznesowego lub angielskiego w IT,
• kafeteryjny system benefitów – Motivizer,
• prywatną opiekę medyczną – Luxmed,
• możliwość wystąpień na naszych autorskich eventach IT- ProMEET.