About us
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.
Job Description
- Projektowanie, rozwój i optymalizacja procesów przetwarzania danych przy użyciu Spark w Pythonie lub Scali
- Zarządzanie i integracja danych z wielu źródeł, zapewniając ich efektywne przetwarzanie i transformację
- Praca z różnymi formatami danych
- Implementacja i utrzymanie potoków danych na platformach opartych na Hadoop (Cloudera)
- Tworzenie i optymalizacja zaawansowanych zapytań SQL do ekstrakcji, transformacji i analizy danych
- Zapewnienie jakości, spójności i wydajności danych w środowisku Big Data
- Współpraca z zespołami międzydziałowymi w celu usprawnienia procesów i architektury danych
Required qualifications
Doświadczenie zawodowe
- Min. 2 lata w branży informatycznej
- Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
- Znajomość platformy Hadoop Cloudera
- Min. 1 rok doświadczenia w programowaniu procesów spark w Python (lub Scala)
- Doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
- Zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase itp.
- Znajomość języka SQL na poziomie zaawansowanym
- Doświadczenie w integracji danych z wielu źródeł danych
Nice to have:
- Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp.
- Znajomość dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów kodowania, dokumentowania, testowania i wdrażania
- Znajomość platformy Kubeflow
- Praktyczna wiedza w zakresie automatyzacji CI/CD
