About us
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.
Job Description
Opis projektu
Budujemy nowoczesną platformę Big Data w oparciu o otwarte i nielicencjonowane technologie open-source, takie jak Apache Hadoop, Spark, Hive, Ranger oraz Airflow. W skład zespołu wchodzą doświadczeni inżynierowie danych, specjaliści DevOps oraz programiści, wspierani przez dwóch doświadczonych architektów rozwiązań.
Twoim zadaniem będzie ścisła współpraca z całym zespołem: wspieranie procesu migracji, testowanie nowych komponentów oraz dokumentowanie wdrożonych rozwiązań.
Zakres obowiązków
- Współpraca z architektami, inżynierami danych i DevOps przy budowie i utrzymaniu platformy Big Data.
- Tworzenie i optymalizacja zadań Apache Spark w języku Java oraz ich orkiestracja w Apache Airflow.
- Pisanie skryptów migracyjnych i automatyzujących procesy w Pythonie.
- Kompilacja i rozwój modułów Hadoop/Spark bezpośrednio ze źródeł.
- Tworzenie dokumentacji technicznej i dzielenie się wiedzą w zespole.
Required qualifications
Wymagania
- Minimum 3 lata doświadczenia w projektach Big Data.
- Bardzo dobra znajomość Java, w tym kompilacja ze źródeł przy użyciu Maven/Gradle.
- Biegłość w Pythonie 3.x – automatyzacja, skrypty migracyjne.
- Praktyczne doświadczenie z Apache Spark oraz Apache Airflow.
- Swoboda pracy w środowisku Linux, znajomość pip, virtualenv.
- Znajomość narzędzi: Git, IntelliJ/VSCode/PyCharm, Jira, Confluence.
- Umiejętność czytania dokumentacji technicznej w języku angielskim.
Mile widziane
- Doświadczenie z CI/CD, szczególnie z Ansible.
- Znajomość narzędzi konteneryzacyjnych, np. Docker/Podman.
