Extract、Transform、Load（ETL）とExtract、Load、Transform（ELT）は、単一または複数のソースからデータを中央システムに取り込み、容易にアクセスして分析するための、最も一般的な2つの手法です。
ETLとELTはいずれも、抽出、変換、ロードの各フェーズを使ってデータを集約します。違いは処理の順序にあります。フェーズの順序を少し変えても問題ないと思うかもしれませんが、実際には統合プロセスの流れが大きく変わります。
簡単に言えば、ETLは複数のソースからデータを処理して単一のデータベースにロードします。一方、ELTはロード後に処理するため、必要に応じてデータを何度も変換できます。
Extract、Transform、Load（ETL）とは
ETLは、企業がさまざまなソースからデータを収集し、すべてを単一の保存先データベースに転送できるデータ統合手法です。ETLプロセスは、抽出、変換、ロードの3つのフェーズで構成されます。
- 抽出： データベースクエリなどのデータ取得手順を使って、SaaS、インターネット、オンプレミス環境などのソースシステムからデータを抽出します。抽出したデータはステージング領域に送られます。
- 変換： データを特定のデータウェアハウス、データベース、またはデータレイクで利用できるよう準備し、TableauやLookerなどのビジネスインテリジェンスプラットフォームで分析できる標準形式に変換します。
- ロード： フォーマット済みのデータをターゲットシステムが受け取ります。この手順には、区切り文字付きファイルへのテキスト追加、データベーススキーマの構築、新しいアプリケーションオブジェクト型の開発などが含まれる場合があります。
Extract、Load、Transform（ELT）とは
ELTは、ビジネスロジックに基づく変更をデータに加えず、ソースシステムから保存先システムへデータを転送するデータ統合手法です。ELTの手順は、抽出、ロード、変換の3段階で構成されます。
- 抽出： アプリ、SaaS、データベースなど、さまざまなソースから生データを抽出します。
- ロード： 保存先システムにデータを直接配信します。通常、この手順にはスキーマとデータ型の変換が含まれます。
- 変換： その後、ターゲットプラットフォームでレポート作成用にデータを変換できます。企業によっては、dbtなどのテクノロジーを使ってターゲットを変換します。
ETLとELTの違い：類似点
ETLとELTはいずれも、複数のデータベースのデータを単一のデータリポジトリに統合し、適切に準備・検証できます。
この統合データリポジトリにより、分析やさらなる処理に必要なデータへスムーズにアクセスできます。
さらに、信頼できる唯一の情報源となるため、企業全体のデータが正確かつ最新であることを保証できます。
ETLとELTの違い：相違点
処理の小さな変更に見えるものの、ETLとELTには類似点よりもはるかに多くの違いがあります。以下の表にその違いをまとめます。
| 項目 | ETL | ELT |
|---|---|---|
| プロセス | ステージングサーバーでデータを変換し、その後データウェアハウス（DWH）に送信する | データは変換されないままDWHに存在し続ける |
| コードの使用 | 少量のデータや計算負荷の高い変換に適用する | 大規模なデータセットに適用する |
| ロード時間 | まずステージングサーバーにデータをロードし、その後ターゲットシステムにロードするため、時間がかかる | ターゲットシステムに1回だけデータをロードするため、処理が速い |
| 変換の順序 | ETLサーバーのステージング領域で変換を実行する | ターゲットシステムで変換を実行する |
| 変換時間 | 変換が完了するまでロード処理を開始できないため、データ量と変換時間が増加する | ELTプロセスでは、処理速度がデータ量に左右されない |
| メンテナンス時間 | データのロードと変換に多くのメンテナンス時間が必要 | ELTではデータを常に利用できるため、メンテナンス時間が少なくて済む |
| 導入の複雑さ | 初期段階で導入しやすい | ELTの導入には、ツールに関する深い知識と専門性が必要 |
| DWHのサポート | 構造化データとリレーショナルデータ、オンプレミスのインフラに使用する | スケーラブルなクラウドアーキテクチャ上の構造化・非構造化データに使用する |
| データレイクのサポート | サポート対象外 | データレイク内の非構造化データを利用する |
| 複雑さ | 設計時に決めた重要なデータをロードする | 出力を起点に逆向きに開発し、関連データのみをロードする |
| コスト | 中小企業にとっては高コスト | オンラインSaaSプラットフォームによりコストを低く抑えられる |
| ルックアップ | ステージング領域でファクトとディメンションの両方を利用できる必要がある | 抽出とロードが1回の処理で行われるため、すべてのデータを利用できる |
| 集計 | データセットにデータを追加するほど複雑さが増す | ターゲットプラットフォームで大量のデータを高速に処理できる |
| ハードウェア | ツール固有のハードウェア要件により高額になる可能性がある | SaaSのハードウェアコストは問題にならない |
| 非構造化データのサポート | 主にリレーショナルデータをサポートする | 非構造化データをサポートする |
ETLとELTのメリット・デメリット
ETLとELTには、企業ネットワークの規模やニーズに応じて、それぞれメリットとデメリットがあります。一般的に、ETLは強固なコンプライアンスプロトコルを備えた実績あるプロセスですが、速度と柔軟性に欠けます。一方、ELTは大量のデータセットを迅速に移行できる新しい手法である反面、従来のETLが持つ信頼性と安全性に欠けます。
ETLのメリット
ETLのメリットには、分析の高速化、環境面での柔軟性、確実なコンプライアンス、モデルの成熟度などがあります。
- 分析の高速化： ETLによってデータが構造化・変換されると、データクエリの効率が高まり、エンドポイントでの分析が高速化します。
- 環境面での柔軟性： ETLはオンプレミスとクラウドベースのどちらのインフラにも適用できます。
- コンプライアンス： ETLはステージング領域に送る前にデータを変換するため、GDPRなどのデータプライバシー法への準拠が必要な組織は、DWHにロードする前に重要なデータを削除、マスキング、暗号化できます。
- 成熟度： ETLモデルは過去20年間にわたって運用されてきました。その実績により、ETLの導入経験を持つエンジニアが多く、企業内でデータパイプラインを構築するためのETLツールも数多く存在します。
ETLのデメリット
ETLのデメリットには、ロード速度の遅さ、柔軟性に欠けるワークフロー、大量のデータを扱う際の処理停滞などがあります。
- ロード速度： ELTのように抽出直後にロードするのではなく、ステージング領域でデータを変換してからロードする必要があるため、データストアでデータを利用できるようになるまでの時間はELTより長くなります。
- ワークフローの硬直性： データウェアハウスの構造によって有用な新しいクエリや分析を実行できない場合、DWHの変換プロセスとスキーマを変更しなければならないことがあります。
- データ量： 変換に時間がかかるため、ETLは大量のデータを管理する最適な方法ではありません。代わりに、複雑な処理が必要で、分析に役立つ情報を含むことがわかっている小規模なデータセットに適しています。
ELTのメリット
ELTのメリットには、データ形式と変換タイミングの柔軟性に加え、データのロードと実装の速さがあります。
- データ形式の柔軟性： データレイクと組み合わせて使用する場合、ELTでは任意の形式のデータを取り込めます。データレイクは非構造化データのみを受け入れるため、構造やスキーマを考慮する必要がありません。
- 必要に応じた変換： ELTアーキテクチャでは、すべてのデータをロードする前ではなく、分析が必要になったときにのみ変換を実行するため、リソースをより効率的に利用できます。
- データの高可用性： ELTではすべてのデータをデータレイクに格納するため、継続的にアクセスできます。データの変換を待つ必要がないため、構造化データを必要としないツールは、取り込まれたデータを即座に利用できます。
- ロード速度： 変換は「保存時」に行われるため、データが利用可能になるとすぐにデータレイクへ取り込まれ、情報に迅速にアクセスできます。
- 実装速度： 必要に応じて変換を行うELTアプローチでは、新しいソースからデータを迅速に収集し、データレイクに保存できます。これにより、データエンジニアはデータのクエリと分析に最適な方法を見極められます。
ELTのデメリット
ELTには多くのメリットがある一方、ETLより新しいアプローチであるため、コンプライアンスや互換性に関する問題に直面する可能性があります。
- コンプライアンス： 後の変換処理で機密情報を削除するとしても、企業によるその情報の保存を規制で禁じられている場合があります。また、特定の地域や国の域外にあるサーバーへのデータ保存を禁じる法律もあるため、ELTをクラウドと統合すると別の問題が生じる可能性があります。
- 新しいアプローチ： ELTは新しいテクノロジーではありませんが、クラウドネイティブなプロセスであるため、ETLより新しい手法です。導入が広がり始めているものの、認知度と幅広い実用性では依然としてETLに後れを取っています。
- 環境面での柔軟性： 理論上はオンプレミス環境でも実行可能ですが、ELTの本当のメリットを得られるのは、クラウドのストレージと処理能力を組み合わせた場合に限られます。
- 分析速度： ELTでは、データを取り込んで分析が必要になった後にのみ変換を行うため、大量の非構造化データを調査する際、インサイトを得るまでの時間が長くなる可能性があります。ただし、クラウドが提供する計算能力によって、この影響は抑えられます。
ETLとELT：どちらを選ぶべきか？
ETLとELTには、実現しようとしているデータ統合に応じて、それぞれ適した用途があります。保有するデータ、使用するストレージの種類、組織の長期的な要件など、さまざまな要素が最適な選択肢の判断に影響します。
ETLとELTの手法は、いずれもデータの品質と整合性を高めます。ETLの最大の強みは、より深い分析や調査に適したデータ構造であり、ELTの主な強みは、速度と多様なデータ型への対応です。
自社のニーズに照らして両システムのメリットとデメリットを比較し、組織のデータ管理要件と手順に最も適した方を判断することが重要です。どちらを選んでも、煩雑なデータサイロを解消し、組織全体の可視性を高められます。