Lead Data Software Engineer

Про посаду

Ми шукаємо Lead Data Software Engineer, щоб керувати еволюцією та зрілістю рішень для даних у динамічному середовищі GCP.

Ця посада передбачає впровадження оркестрації за допомогою Airflow, оптимізацію трубопроводів для надходження даних та забезпечення доставки масштабних, високопродуктивних систем.

Обов'язки

• Покращувати архітектуру для підвищення масштабованості та зрілості рішень для даних
• Впроваджувати оркестрацію робочих процесів за допомогою Airflow для ефективних процесів
• Створювати безпечні REST сервіси на Python 3.x з використанням технологій, таких як FastAPI та асинхронні паттерни
• Оптимізувати трубопроводи та робочі процеси за допомогою передових функцій BigQuery, таких як партиціонування, кластеризація та налаштування запитів
• Проектувати системи з високим навантаженням з акцентом на пропускну здатність, зворотний тиск та масштабованість
• Використовувати сервіси GCP, такі як Cloud Functions, Pub/Sub та Cloud Storage для створення надійних рішень для даних
• Розробляти повноцінні ETL трубопроводи з використанням фреймворк для оркестрації завдань, таких як Airflow
• Керувати процесом проектування від RFC до повноцінних експлуатаційних керівництв з чіткою документацією та відповідальністю

Вимоги

• 7+ років професійного досвіду програмування; 4+ роки досвіду роботи з Python 3.x у виробничих середовищах
• Знання FastAPI та Pydantic, з досвідом роботи з асинхронними паттернами та безпечними REST API
• Досвід роботи з SQL, моделюванням даних та практичний досвід роботи з BigQuery (партиціонування, кластеризація, оптимізація запитів)
• Досвід роботи з сервісами GCP, включаючи Cloud Functions, Pub/Sub, Cloud Storage, IAM/Secret Manager, Cloud Build, або еквівалентними стекамі AWS/Azure
• Досвід проектування систем з високим навантаженням з рішеннями для зворотного тиску, ідемпотентності та масштабованості
• Досвід роботи з ETL трубопроводами з використанням інструментів, таких як Airflow для оркестрації завдань
• Демонстрація чудових комунікаційних, відповідальних та проблемно-орієнтованих навичок

Буде плюсом

• Знання про розбір форматів файлів у великих масштабах, таких як CSV, Excel або XML, а також методів еволюції/версійних схем
• Розуміння фреймворків для забезпечення якості даних, таких як ствердження або очікування, та інструментів, таких як dbt або Dataform
• Досвід у розробці подійно-орієнтованих архітектур або технологій потокової обробки; досвід роботи з Beam/Dataflow є плюсом
• Досвід у синхронізації та профілюванні продуктивності в Python за допомогою asyncio або багатопроцесорної обробки
• Знання практик IaC за допомогою Terraform або методологій SRE
• Знання концепцій безпеки, таких як аутентифікація/авторизація, облікові записи служб та принципи найменших привілеїв

Місцезнаходження

• Віддалено в Україні