Inca Digital
Data Engineer на Golang уровня Middle / Senior
1 нед. назад
от 4000 USD / мес.Страна неизвестнаMiddleRemote
golangrest apigrpcawskafkarabbitmqsqssql
Data Engineer на Golang уровня Middle / Senior в компании Inca Digital, специализирующейся на аналитике цифровых активов и блокчейн-аналитике, работа полностью удаленная.
О компании
- Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем.
- Наша платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок.
- Мы работаем полностью удаленно и в асинхронном режиме: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О продукте
- Платформа объединяет данные из блокчейнов, бирж, социальных сетей и финансовых рынков для аналитики цифровых активов.
- Продукт предоставляют аналитические данные о блокчейн-транзакциях, биржевые потоки и данные из открытых источников в удобном для анализа виде.
Обязанности
- Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL / ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
- Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объемах.
- Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
- Поддерживать системы данных для управления кейсами, генерации отчетов и аналитического портала.
- Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
- Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
- Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Требования
- Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
- Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
- Опыт работы с REST API и / или gRPC.
- Практический опыт работы в среде AWS.
- Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
- Опыт работы с SQL-базами данных (например, PostgreSQL).
Условия
- Заработная плата: от 4 000 $ за месяц, на руки.
- Работа полностью удаленная.
- Работа в асинхронном режиме с минимумом созвонов.