Data Engineer / データエンジニア
2 нед. назад
Hybrid
Data Engineer role at FinTech company focusing on advancing digital financial platforms.
Обязанности
- Design, develop, and operate robust and scalable data ingestion pipelines using technologies such as Databricks, AWS DMS, and Terraform
- Develop large-scale data processing workflows using Spark, Python, and SQL
- Design and build data integration platforms that connect banking services, payment systems, internal business applications, and external data sources
- Optimize data pipelines by combining Change Data Capture (CDC), streaming, and batch processing architectures
- Build and maintain data lakehouse and data catalog platforms leveraging Databricks Lakehouse and Unity Catalog
- Design and operate data governance capabilities, including data quality management, metadata management, data lineage, access control, and audit logging
- Improve performance, optimize costs, and enhance reliability for large-scale data processing environments
- Implement SRE and observability practices for data platforms, including monitoring, alerting, dashboards, and incident response
- Build, automate, and standardize data infrastructure using Infrastructure as Code (IaC) technologies such as Terraform
- Develop and maintain shared frameworks, tools, templates, and CI/CD pipelines to improve the efficiency and consistency of data engineering operations
- Partner with product, analytics, risk management, security, compliance teams, and other Group companies to drive data utilization and business value
- Operate and enhance data platforms in compliance with the security, privacy, regulatory, and internal control requirements expected of a financial institution
- Databricks、AWS DMS、Terraformなどを活用した、堅牢でスケーラブルなデータ取り込みパイプラインの設計・開発・運用
- Spark / Python / SQLを用いた大規模データ処理ワークフローの開発
- 銀行サービス、決済連携、業務システム、外部データソースなどからのデータ連携基盤の設計・構築
- Change Data Capture、ストリーミング処理、バッチ処理を組み合わせたデータパイプラインの最適化
- Databricks Lakehouse、Unity Catalogなどを活用したデータレイクハウスおよびデータカタログの整備
- データ品質、メタデータ管理、データリネージ、アクセス制御、監査ログなど、データガバナンス機能の設計・運用
- 大規模データ処理におけるパフォーマンスチューニング、コスト最適化、信頼性向上
- モニタリング、アラート、ダッシュボード、インシデント対応など、データ基盤におけるSRE / Observabilityの実践
- TerraformなどのIaCを用いたデータ基盤インフラの構築・自動化・標準化
- データエンジニアリング業務を効率化するための共通フレームワーク、ツール、テンプレート、CI/CDパイプラインの整備
- プロダクト、アナリティクス、リスク管理、セキュリティ、コンプライアンス、PayPayグループ各社との連携によるデータ活用推進
- 金融機関として求められるセキュリティ、個人情報保護、規制対応、内部統制を踏まえたデータ基盤運用
Условия
- Annual salary paid in 12 installments (monthly)
- Based on skills, experience, and abilities
- Reviewed once a year
- Late overtime allowance ※Payroll payment can be changed to digital salary payment “ Paycheck” for an amount set by you
- Social Insurance (health insurance, employee pension, employment insurance and compensation insurance)
- 401K
- Translation/Interpretation support
- VISA sponsor + Relocation support
-
Другое
- is a FinTech company that has grown to over 75M (as of August 2026) users since its launch in 2018. Our team is hugely diverse with members from over 50 different countries.
- We dare to believe that we do not need a clear vision to create a future beyond our imagination. will always stay true to our roots and realize a vision (future) that no one else can imagine by constantly taking risks and challenging ourselves. With this mindset, you will be presented with new and exciting opportunities on a daily basis and have the opportunity to grow and reach new dimensions that you could never have imagined. We are looking for people who can embrace this challenge, refresh the product at breakneck speed and promote with professionalism and passion. ※ Please note that you cannot apply or be selected in parallel with Corporation, Card Corporation and Securities Corporation.
- 2018年にサービスを開始してから約8年でユーザー数7500万人を突破したフィンテック企業であるPayPayは約50か国の国と地域から集まった多様なメンバーで構成されています。
- 我々は自分たちの想像を超える未来を創るためにあえて明確なビジョンは必要ないと考えています。常にDay1であるスタンスを忘れずに、誰もが想像できないようなビジョン（未来）を実現していくのがPayPayです。 この壮大なビジョンに前向きに取り組み、他社に真似できない圧倒的なスピードでプロダクトを磨き上げ、日本のキャッシュレス決済、またそれを使用した金融ライフプラットフォームとしての普及を一気に推進することにプロフェッショナルとして情熱を持って取り組み、自ら課題発見し、周囲と協力して新しい価値創出を共に推進する仲間を募集します。
- ※ PayPay株式会社へご応募いただく際にはPayPayカード株式会社、PayPay証券株式会社へ併願応募はご遠慮いただいております。ご了承ください。
-
- 【PayPayが仕掛ける金融革命】米国ナスダック上場は通過点／デジタル金融プラットフォームに進化／決済・投資・貯蓄・保険などすべてPayPay／内製でシステム開発する理由／グローバル標準の金融サービス
- The assigned organization is primarily advancing projects related to a next-generation digital financial platform. Our team takes the lead in designing, building, and operating modern data engineering infrastructure from scratch to enable data-driven innovation across the group. ※ After joining the company, you are expected to be seconded to Bank as a member of the above project.
- 配属先組織は、次世代型のデジタル金融プラットフォームに関わるデータ基盤プロジェクトをメインに進めています。 グループ全体のデータ活用を加速させるため、モダンなデータ技術を用いた信頼性・拡張性の高いデータエンジニアリング基盤の設計・構築・運用を1からリードする組織です。 ※入社後に上記プロジェクトメンバーとしてPayPay銀行への出向を予定しています。
- As the business continues to grow rapidly, the importance of data utilization across both Bank and the broader Group is increasing. To support product enhancements, marketing initiatives, and fraud detection, establishing a robust data engineering foundation that delivers high reliability, security, and scalability is an urgent task.
- 事業の急激な成長に伴い、PayPay銀行およびPayPayグループにおけるデータ活用の重要性はますます高まっています。プロダクト改善、マーケティング、不正検知などの各種施策を高度化させるため、高い信頼性・セキュリティ・拡張性を兼ね備えたデータエンジニアリング基盤の体制強化が急務とされています。
- Cloud: AWS
- Data Platform: Databricks, Snowflake, Delta Lake, Data Lakehouse
- Processing: Apache Spark, Scala, Python, SQL
- Orchestration: Airflow, Dagster, Prefect
- Streaming / Ingestion: Kafka, CDC tools
- Infrastructure: Terraform, GitOps, CI/CD
- Governance: Unity Catalog, AWS Lake Formation, Data Catalog, Metadata Management
- Observability: Prometheus, Grafana, CloudWatch, Datadog
- Collaboration: GitHub, Jira, Confluence, Slack など
- ※実際の利用技術は、配属チームやプロジェクトにより異なる場合があります。
-
- At Bank, Data Engineers do far more than simply collect and process data. This role is about building the data foundation that powers the next generation of digital financial services by combining the reliability and trust required of a bank with the speed, scale, and user reach of the Group.
- You will have the opportunity to drive data-enabled innovation that directly supports product development and business growth, while meeting the stringent security, governance, compliance, and auditability requirements expected of a financial institution. Leveraging modern data technologies such as Databricks and Lakehouse architectures, you will help establish a scalable and trusted data platform that enables the organization to make better decisions and deliver better customer experiences.
- Bank’s strengths lie in its ability to develop products in-house from concept through implementation, its marketing capabilities that deliver value to tens of millions of users, and its robust financial and corporate foundations that maintain the trust expected of critical social infrastructure. As a Data Engineer, you will play a key role in supporting these strengths across the organization and contribute to the challenge of redefining what a bank can be in the digital era.
- PayPay銀行のデータエンジニアは、単にデータを蓄積・加工する役割ではありません。銀行としての高い信頼性と、PayPayグループのスピード感・ユーザー基盤を掛け合わせ、次世代のデジタル金融を支えるデータ基盤そのものをつくるポジションです。
- 金融機関として求められる厳格なセキュリティ、ガバナンス、監査性を満たしながら、DatabricksやLakehouseアーキテクチャなどのモダンなデータ技術を活用し、プロダクト開発や事業成長に直結するデータ活用を推進できます。
- また、企画から開発までを内製化するプロダクト開発力、数千万人規模のユーザーに価値を届けるマーケティング力、社会インフラとしての信頼を守る金融・コーポレート基盤を強みとして掲げています。データエンジニアとして、これらの強みを横断的に支え、銀行を再定義する挑戦に関わることができます。
-
- 4+ years of professional experience as a Data Engineer, Data Platform Engineer, or in a related role
- Hands-on experience designing, building, and operating data lakes, data warehouses, or data lakehouse platforms
- Experience processing large-scale datasets using one or more of the following technologies: Databricks, Delta Lake, or Apache Spark
- Strong development experience using Python, PySpark, SQL, or related technologies
- Experience with workflow orchestration tools such as Airflow, Dagster, or Prefect
- Experience developing and operating cloud-based systems on AWS
- Experience building and managing infrastructure using Infrastructure as Code (IaC) tools such as Terraform
- Proven experience designing and improving large-scale data pipelines with a focus on performance, reliability, availability, and operational excellence
- Business-level Japanese proficiency (native-level or equivalent to JLPT N1/N2)
- データエンジニア、データ基盤エンジニア、または類似職種での実務経験4年以上
- データレイク、データウェアハウス、またはデータレイクハウスの設計・構築・運用経験
- Databricks、Delta Lake、Apache Sparkのいずれかを用いた大規模データ処理経験
- Python、PySparkなどのプログラミング言語、およびSQLを用いた開発経験
- Airflow、Dagster、Prefectなどのワークフローオーケストレーションツールの利用経験
- AWSを用いたクラウド環境での開発・運用経験
- TerraformなどのInfrastructure as Codeを用いたインフラ構築・運用経験
- 大規模データパイプラインの性能、信頼性、可用性、運用性を考慮した設計・改善経験
- 日本語での業務遂行が可能な方（母国語、または日本語能力試験N1／N2相当）
-
- Experience building and operating data platforms within financial domains such as banking, fintech, payments, credit, securities, or insurance
- Experience with event-driven data architectures and streaming data processing using technologies such as Kafka
- Experience with Change Data Capture (CDC) tools such as Canal, Debezium, or Maxwell
- Experience with data cataloging, access management, and metadata management solutions such as Unity Catalog or AWS Lake Formation
- Experience improving monitoring and observability using tools such as Prometheus, Grafana, Datadog, or Amazon CloudWatch
- Experience designing, building, and operating CI/CD pipelines using tools such as GitHub Actions or Jenkins
- Experience operating cloud-native platforms using Kubernetes, Amazon EKS, Argo CD, or related technologies
- Experience with data quality management, data lineage, data contracts, and master data management (MDM)
- Experience designing access controls, encryption, data masking, and audit logging for systems handling personal data, sensitive information, or financial transaction data
- Experience establishing data engineering standards, development guidelines, shared libraries, and engineering best practices
- Experience leading engineering teams, driving technology selection, conducting architecture reviews, and mentoring engineers
- Business-level English communication skills