Senior Data Engineer

Про посаду

Команда CHI Software не стоїть на місці. Ми любимо свою роботу і віддаємо їй сто відсотків! Кожен новий проект - це виклик, який ми успішно вирішуємо. Єдине, що може нас зупинити... Нічого! Кількість проектів зростає, і разом з ними зростає і наша команда. І зараз нам потрібен Senior Data Engineer.

Опис проекту

Це рішення для реального часу обробки даних та аналітики для веб-додатку з високою трафікоюстю.

Технологічний стек:

• AWS: AWS Glue Studio, Redshift, RDS, Airflow, AWS Step Function, Lambda, AWS Kinesis, Athena, Apache Iceberg, AWS Data Brew, S3, OpenSearch, Python, SQL, CI/CD, dbt, Snowflake

Обов'язки

• Розробка масштабованої та надійної хмарної архітектури AWS;
• Використання AWS Kinesis для потокової обробки та акумуляції даних у реальному часі;
• Впровадження AWS Lambda для безсерверної обробки даних, зменшення експлуатаційних витрат;
• Налаштування AWS RDS (Relational Database Service) для зберігання структурованих даних та AWS DynamoDB для NoSQL вимог;
• Забезпечення безпеки даних та відповідності стандартам за допомогою AWS IAM (Identity and Access Management) та служб шифрування;
• Розробка та розгортання дата-піпайнів за допомогою AWS Glue для ETL процесів;
• Написання Python скриптів та SQL запитів для трансформації та завантаження даних;
• Налаштування піпайнів безперервної інтеграції та безперервної доставки (CI/CD) за допомогою AWS CodePipeline та CodeBuild;
• Моніторинг продуктивності системи та якості даних за допомогою AWS CloudWatch та власних рішень для логування;
• Співпраця з іншими командами для інтеграції джерел даних та оптимізації потоку даних;
• Досягнення високо масштабованої системи обробки даних у реальному часі, що призводить до 40% підвищення ефективності аналізу даних та значного зниження експлуатаційних витрат.
• Створення ETL піпайнів із S3 до AWS OpenSearch за допомогою AWS Glue
• Володіння англійською мовою на рівні Upper-Intermediate або вище.

Вимоги

• Досвід роботи з сервісами AWS, включаючи AWS Glue, AWS Kinesis, AWS Lambda, AWS RDS, AWS DynamoDB, AWS IAM, AWS CloudWatch та інші;
• Глибокі знання Python та SQL;
• Досвід роботи з ETL процесами та піпайнами CI/CD;
• Володіння англійською мовою на рівні Upper-Intermediate або вище.

Ми пропонуємо

• Відпустка: 20 робочих днів та 5 вихідних
• Безкоштовні заняття з англійської мови
• Гнучний робочий графік
• Дійсно дружня та підтримуюча атмосфера
• Можливість працювати віддалено або в одному з наших офісів
• Медичне страхування для працівників з України
• Правова підтримка

Про компанію

Приєднуйтесь до нашої динамічної команди CHI Software на посаді Senior Data Engineer для розробки масштабованих хмарних архітектур AWS та оптимізації обробки даних у реальному часі.

Ваша мрія про роботу чекає на вас. Подайте заявку вже зараз!