logo Algoteque

Big Data Engineer

Algoteque • Warsaw (Poland) • Hybrid

Apply

About us

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Job Description

- Projektowanie architektury nowoczesnych systemów Big Data oraz zaawansowanych ekosystemów przetwarzania danych. - Wdrażanie rozwiązań zgodnie z wymaganiami klienta, obejmujących elementy analityki strumieniowej oraz uczenia maszynowego (Machine Learning). - Realizacja procesów przetwarzania danych w trybach batch oraz streaming. - Integracja danych pochodzących z wielu zróżnicowanych źródeł w celu zapewnienia spójności analitycznej. - Zapewnienie jakości rozwiązań poprzez stosowanie standardów projektowania, kodowania, testowania oraz tworzenie dokumentacji technicznej. - Praca w metodyce Scrum, dbając o terminowość i wysoką jakość dostarczanych komponentów systemu.

Required qualifications

- Minimum 5 lat doświadczenia zawodowego w branży IT, w tym potwierdzona praktyka w projektowaniu architektury rozwiązań danych. - Biegłość w technologii Spark (minimum 3 lata doświadczenia) w procesach batch i streaming, przy wykorzystaniu języka Python lub Scala. - Ekspercka wiedza z obszaru Big Data, koncepcji Hurtowni Danych oraz strategii Zarządzania Danymi (Data Management). - Praktyczna znajomość platformy Hadoop (Cloudera/Hortonworks) oraz zaawansowana biegłość w języku SQL. - Doświadczenie w pracy z narzędziami strumieniowymi, takimi jak Kafka oraz Apache NiFi. - Znajomość struktur i formatów danych: JSON, Parquet, ORC, Avro oraz zrozumienie scenariuszy użycia baz takich jak Hive, Kudu, HBase czy Iceberg. - Stosowanie dobrych praktyk inżynierii danych, w tym wzorców projektowych i standardów dokumentowania systemów. - Mile widziane: Doświadczenie w automatyzacji procesów CI/CD oraz praktyczna znajomość narzędzi wspierających Agile (Jira, Confluence). MODEL WSPÓŁPRACY - Forma kontraktu: B2B. - Lokalizacja: Warszawa / Zdalnie (gotowość do wizyt w siedzibie Zleceniodawcy w ramach spotkań projektowych 2x w miesiącu).

Job details

Company

Algoteque

Contract

Full-time

Job location

Hybrid • Warsaw (Poland)

Reference

2533811

Share

Twitter facebook linkedin
Big Data Engineer

Interested in this job ?
Apply

💬 Personalize your message to the recruiter, Click here !


By clicking on Apply, I accept that the information entered will be transmitted to the recruiter and used as part of the management of applications. In accordance with the law "Informatique et Libertés", you can exercise your right of access to the data concerning you and have them rectified by contacting us : jobposting.pro/contact
Learn more about our data protection policy.