Text⭐さぁ、手を動かすのだ⭐
Data Pipeline ～データパイプラインを構築～
データパイプラインは、データを収集、変換、およびロードするための一連のステップです。 データパイプラインを高品質に構築することはデータエンジニアリングの腕の見せ所です。 高品質なパイプラインを提供することができるとデータの品質が高く保つことができ、利活用を進めるうえでの基礎体力が付いた状態になります。
このテキストでは、AWSとSnowflakeを使用して家計簿を構築していくことで、高い品質のデータを構築するために必要な一覧のプラクティスを学びます。
なぜ家計簿なのか？
実際に自分の生きたデータを利用することができるという点が面白いと思うのです。
これだけキャッシュレスが普及した世の中なので、それなりにデータはたまりつつも、面白いくらいにダウンロードしたデータは扱いずらいのです。
その生の扱いずらいデータを、4種類のキャッシュフローに分類しつつ、資産も併せてその変化をダッシュボードにする過程の中で、 肌感覚を持ってデータパイプラインとはどういうものなのかを学ぶことができると思うのです。
これだけキャッシュレスが普及した世の中なので、それなりにデータはたまりつつも、面白いくらいにダウンロードしたデータは扱いずらいのです。
その生の扱いずらいデータを、4種類のキャッシュフローに分類しつつ、資産も併せてその変化をダッシュボードにする過程の中で、 肌感覚を持ってデータパイプラインとはどういうものなのかを学ぶことができると思うのです。
Sponsored by
スポンサーを募集中。紹介コンテンツもご用意しますので、ご興味あればお問い合わせください。