Марс
Инженер данных
1w ago
RussiaHybridapache airflowapache sparksqlpythonscalajavahadoopapache kafka+1
Responsibilities
- Разработка пайплайнов обработки данных в Apache Airflow
- Оптимизация приложений на Apache Spark
- Участие в развитии лучших инженерных практик внутри компании (готовность)
Requirements
- Опыт разработки пайплайнов обработки данных в Apache Airflow
- Опыт оптимизации приложений на Apache Spark
- Понимание работы СУБД и принципов построения хранилищ данных
- Опыт работы с Hadoop (Apache Spark, HDFS, YARN etc.)
- Уверенное владение SQL, Python/Scala/Java
Nice to have
- Опыт работы с Apache Kafka, Apache NiFi
- Наличие опыта оптимизации потребления ресурсов
Conditions
- Гибрид, СПб
Found in@bds_job