Senior Data Engineer

Про посаду

Команда CHI Software не стоїть на місці. Ми любимо свою роботу і віддаємо їй сто відсотків від себе! Кожен новий проект - це виклик, який ми успішно вирішуємо. Єдине, що може нас зупинити... Ну, це нічого! Кількість проектів зростає, і разом з ними зростає і наша команда. І зараз нам потрібен Senior Data Engineer.

Опис проекту

Ми шукаємо Senior Data Engineer для приєднання до нашої динамічної команди. Ви будете відповідальним за розробку рішення для реального часу обробки даних та аналітики для веб-додатку з високою трафікою.

Технологічний стек:

• AWS: AWS Glue Studio, Redshift, RDS, Airflow, AWS Step Function, Lambda, AWS Kinesis, Athena, Apache Iceberg, AWS Data Brew, S3, OpenSearch, Python, SQL, CI/CD, dbt, Snowflake

Обов'язки

• Розробка масштабованої та надійної хмарної архітектури AWS;
• Використання AWS Kinesis для потокової передачі та акумуляції даних у реальному часі;
• Впровадження AWS Lambda для безсерверної обробки даних, зменшення експлуатаційних витрат;
• Налаштування AWS RDS (Relational Database Service) для зберігання структурованих даних та AWS DynamoDB для потреб NoSQL;
• Забезпечення безпеки даних та відповідності з AWS IAM (Identity and Access Management) та службами шифрування;
• Розробка та розгортання дата-піпайнів за допомогою AWS Glue для процесів ETL;
• Написання Python-сценаріїв та SQL-запитів для трансформації та завантаження даних;
• Налаштування піпайнів безперервної інтеграції та безперервного розгортання (CI/CD) за допомогою AWS CodePipeline та CodeBuild;
• Моніторинг продуктивності системи та якості даних за допомогою AWS CloudWatch та власних рішень для логування;
• Співпраця з іншими командами для інтеграції джерел даних та оптимізації потоку даних;
• Досягнення високо масштабованої системи обробки даних у реальному часі, що призводить до 40% підвищення ефективності аналізу даних та значного зменшення експлуатаційних витрат.
• Створення ETL-піпайнів із S3 до AWS OpenSearch за допомогою AWS Glue
• Вільне володіння англійською мовою на рівні Upper-Intermediate та вище.

Вимоги

• Досвід роботи з сервісами AWS (Glue, Kinesis, Lambda, RDS, DynamoDB, IAM, CloudWatch тощо)
• Значний досвід роботи з Python та SQL
• Досвід роботи з dbt, Snowflake, Apache Iceberg - плюс

Ми пропонуємо

• Відпуск: 20 робочих днів та 5 вихідних днів
• Безкоштовні уроки англійської мови
• Гнучкий робочий графік
• Дійсно дружня та підтримуюча атмосфера
• Можливість працювати віддалено або в одному з наших офісів
• Медичне страхування для працівників з України
• Правова підтримка

Про компанію

Приєднуйтесь до нашої динамічної команди CHI Software та внесіть свій внесок у захоплюючі проекти, які розширюють межі обробки даних та аналітики в реальному часі. Ми цінуємо співробітництво та інноваційне середовище, де ваші навички будуть випробувані, а ваші внески будуть визнані.

Ваша мрія про роботу чекає на вас. Подайте заявку зараз!