Text⭐さぁ、手を動かすのだ⭐
データエンジニアリング実践入門（⚠️工事中です👷）
学習ロードマップ
Chapter 1
イントロダクション
データエンジニアリングの全体像と、本テキストで扱う技術について学びます。
Chapter 2
Snowflake環境のセットアップ
データ分析の基盤となるSnowflakeのセットアップと基本的な操作方法を学びます。
Chapter 3
ローカル環境でのdbt実行
Dockerを用いてローカルにdbt実行環境を構築し、Snowflakeへの接続を確認します。
Chapter 4
dbtモデルの開発
実際のデータを使ってdbtモデルを作成し、データ変換の基本的な処理を学びます。
Chapter 5
AWS環境のセットアップ
データパイプラインのインフラとなるAWSの各種サービス（S3, IAM等）をセットアップします。
Chapter 6
FargateとStep Functionsによるバッチ処理
dbtのバッチ処理をECS on Fargateで実行し、Step Functionsでワークフローを管理します。
Chapter 7
GitHub ActionsによるCI/CD
GitHub Actionsを用いて、テストとデプロイの自動化パイプラインを構築します。
Chapter 8
モデルの改善と最適化
作成したdbtモデルの性能改善、テストの追加、ドキュメント化などの運用面を学びます。
Sponsored by
スポンサーを募集中。紹介コンテンツもご用意しますので、ご興味あればお問い合わせください。