About us
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.
Job Description
Poszukujemy Data Engineera, który wesprze nas w budowie nowoczesnej platformy danych — skalowalnej, niezawodnej i zgodnej z najlepszymi praktykami Data & Software Engineeringu. Projekt dotyczy przetwarzania danych o użytkownikach i ich urządzeniach, z naciskiem na budowę streamingowych pipelines w środowisku Databricks i AWS.
Twoje zadania:
- Projektowanie i rozwój potoków danych end-to-end (Databricks, PySpark) w architekturze Medallion.
- Tworzenie i utrzymanie CI/CD w GitLab (testy, code quality, wdrożenia infrastruktury i zmian w bazach danych).
- Monitoring i obserwowalność (Grafana dashboards, alerty).
- Code review, tworzenie Architecture Decision Records (ADR) i projektowanie procesów ETL.
- Integracja danych z wielu źródeł, migracja ETL z AWS Glue/Step Functions do Databricks.
- Definiowanie polityk Data Governance i wdrażanie najlepszych praktyk.
- Wsparcie bezpieczeństwa kodu z wykorzystaniem Snyk.
Required qualifications
Wymagania:
- Minimum 3 lata doświadczenia jako Data Engineer.
- Bardzo dobra znajomość: Python, PySpark, Databricks, Terraform, Kubernetes, AWS.
- Doświadczenie w budowie CI/CD pipelines (GitLab lub podobne).
- Znajomość zasad projektowania skalowalnych systemów przetwarzania danych.
- Komunikatywny angielski (min. B2).
Benefits
b2b
