最高のETLツール：抽出・変換・ロードソフトウェア

抽出・変換・ロード（ETL）ソフトウェアは、複数のソースから、たとえばデータウェアハウスやデータレイクなどの統合リポジトリへデータを移行するために必要なツールです。

ETLツールは約50年にわたって利用され、組織がデータを継続的に分析、開発、活用できるよう支援してきました。老舗の企業向けベンダーが手がけるデータベース管理、分析、ビジネスインテリジェンスは引き続き市場をリードしています。一方、業界向けソリューションは2022年、クラウドおよびエッジでのデータ処理ニーズに対応するため進化を続けています。

この記事では、主要なETLツールとソフトウェアソリューション、データ統合ツールを選ぶ際のポイントを紹介します。

ETLツールとは

ETLツールはデータ統合プロセスを支援または全面的に管理します。このプロセスでは、組織が複数のリポジトリからデータを抽出し、統合したデータを変換し、ロードして新しいリポジトリまたはデータウェアハウスに格納します。

ETLソフトウェアは構造化データと非構造化データを整理し、3段階のプロセス全体でデータの完全性を確保することで、アプリケーション開発者や組織が実用的なデータにアクセスできるようにします。

主要なETLツール

Fivetran

Fivetran

Fivetranは、組織やアプリケーション向けに2つのETLソリューションを提供する、データ統合専門のSaaSベンダーです。プラットフォームの稼働率は99.9％で、クラウドおよびオンプレミスのデータベースを複製し、大量のデータを移行するとともに、事前構築済みのデータモデルで分析を強化できます。

Fivetranの長所と短所

長所

• セキュリティと管理アクセスのための、直感的に使える情報アクセス権限
• 複数のデータベースやクラウドアプリケーション間で簡単にデータを同期可能
• 管理者がスムーズに導入・管理できる、使いやすいGUI
• ベンダーのデータ処理能力を考慮したコストパフォーマンス

短所

• データを手動で再同期するために必要な作業と、限られた選択肢
• 一部の対応コネクターで応答性が断続的に低下する
• 通知やアラートがさらに迅速になる余地がある
• 一部の人気データ移行アプリケーションとの統合機能が不足している

Fivetranの機能

• 特定の列やテーブルが移行先に複製されないようにするデータブロック
• ログベースのレプリケーションによる論理削除に対応し、削除されたデータの分析を継続可能
• Fivetran REST APIでユーザー、グループ、コネクターの中央機能を実行
• 前方向および逆方向の同期ステップによる優先同期
• 次のイベントトラッキングライブラリをサポート：AWS、Apache、Snowplow、Segment、Webhooks

Hitachi Vantara

Hitachi Vantara Lumada DataOps Suite

Hitachi Vantaraは、Hitachi Data Systems（HDS）の後継として、Lumada DataOps Suiteで堅牢なデータ統合、可視化、分析ソリューションを提供しています。Lumadaが提供する主なツールには、データカタログとエッジインテリジェンスがあります。顧客は、Hitachi Vantaraのエンタープライズデータ管理・分析ソリューションであるPentahoを選ぶこともできます。

Hitachi Vantara Lumada DataOps Suiteの長所と短所

長所

• コーディングなしでデータを変換できる豊富なツールにより、時間を節約できる
• データ統合の導入プロジェクトで高い成功率
• Enterpriseエディションの導入に使える、視覚的で直感的なソフトウェア
• Apache 2.0ライセンスで無料提供される堅牢なCommunityエディション

短所

• ドキュメントやエラーメッセージに追加の技術情報が不足している
• ソリューションの管理・保守には、より高度な技術経験が必要
• 問い合わせに対する製品サポートチームの回答が遅い
• Javaへの依存度が高く、Javaのアップデートによってジョブに影響が及ぶ

機能：Hitachi Vantara Lumada DataOps Suite

• 構造化データ、非構造化データ、半構造化データの変換を幅広くサポート
• コンテンツ管理とバージョン管理により、過去のバージョンへ簡単にロールバック可能
• 行数、NULL値の検出、数学関数などのデータプロファイリング
• データパイプラインを作成できるドラッグ＆ドロップ対応のデザイナー
• Hadoopのメタデータ注入により、新しいデータソースを迅速にオンボーディング

IBM

IBM InfoSphere Information Server

IBMは、InfoSphere Information Serverで業界をリードするデータ統合プラットフォームを提供しています。大規模並列処理（MPP）に対応するIBM InfoSphere Information Serverは、エンタープライズ対応のソリューションです。顧客は、マルチクラウドデータ統合、非構造化データのサポート、直感的なWebインターフェースでのデータ品質分析など、さまざまな機能を利用できます。

IBM InfoSphere Information Serverの長所と短所

長所

• ベンダーのソリューションスタックを既に利用している顧客にとって便利
• 使いやすいベンダー製ソフトウェアのドキュメントと、利用しやすい技術サポート
• 堅牢なデータレプリケーションおよび同期機能
• 顧客のSOAに適合する柔軟なイベント駆動型アーキテクチャとREST API

短所

• 他のETLソリューションと比べて高価で、小規模チームには複雑
• ソースからターゲットへのマップ作成や、異なるジョブの分析が難しい
• 安定性の問題や、断続的に応答しなくなるケースがある
• 実装が難しく、初期構成管理を成功に不可欠なものにする

機能：IBM InfoSphere Information Server

• データウェアハウジング向けに、大量のデータを抽出、変換、配布、スケール
• IBM Watson Knowledge Catalogで非構造化データソースを分類
• コンプライアンス要件を満たすためのデータ品質・ガバナンスを自動化
• データをクレンジング、監視、保守し、完全性を維持
• Hadoopなどのビッグデータクラスターでデータプロファイリングや分析のワークロードを実行

続きを読む：2021年に最適なサーバーセキュリティツール＆ソフトウェア

Informatica

1993年に設立されたInformaticaは、長年にわたりデータ変換管理、ソフトウェア開発、ETLを手がけてきたベンダーです。Informatica Cloud Data Integrationは同社のクラウドネイティブソリューションで、データソースの接続性を高め、ユーザーの能力を強化し、クラウドサービス間でメタデータを統合します。Informaticaのソリューションには、現代のデータ統合に向けた高度な機能が多数含まれています。

Informatica Cloud Data Integrationの長所と短所

長所

• 遅延や制限なしに大量のデータを共有可能
• データ変換タスク向けの安定したデータオーケストレーションソフトウェア
• 使いやすさと技術的機能を両立した直感的なインターフェース
• データを修正できる柔軟なデータ変換・操作技術

短所

• データパイプラインの作成や複雑なシナリオのスケジューリングが難しい
• コストのため、予算に余裕のある企業にソリューションが限られる
• スケジューリング機能が限られており、追加ソリューションとの統合が必要
• 変更管理のログ機能には改善が必要

機能：Informatica Cloud Data Integration

• データ統合マッピング向けのSparkサーバーレスコンピューティングエンジンにアクセス
• クラウドおよびオンプレミスシステム向けのすぐに使えるコネクターを数百種類提供
• データ統合ジョブをオーケストレーションおよびスケジューリングするタスクフローデザイナー
• データストア内の変更を可視化できる変更追跡機能
• AIを活用した自動チューニングでクラスターを柔軟にスケール

Microsoft

Microsoft SQL Server Integration Services（SSIS）

Microsoft SQL Server Integration Services（SSIS）は、エンタープライズデータの統合・変換を行うための品質の高いプラットフォームです。直感的なETLを必要とするMicrosoft中心の組織に適しており、SSISには複数の組み込みタスクと変換、パッケージの保存・実行・管理に使うカタログデータベース、パッケージ構築用の可視化ツールが含まれています。

Microsoft SSISの長所と短所

長所

• バックエンドコーディングにも対応した、コンポーネントのドラッグ＆ドロップによる可視化
• データ転送を構造化・自動化し、データ変換を容易にする
• ETLマップやストアドプロシージャを作成する機能がユーザーから高く評価されている
• OutlookやSCDなどのMicrosoftアプリケーションとの統合

短所

• その他の一般的なデータ統合ツールとの統合機能が不足している
• 大量データのワークロードや大規模データウェアハウジングでパフォーマンスに問題がある
• 手動のデプロイプロセスが問題になりやすく、技術的な専門知識が必要
• 他のETLソリューションほど自動化に適していない

機能：Microsoft SSIS

• 組み込みのデータソースコネクター、タスク、変換
• ISオブジェクトのプロパティ、マッピング、列を変更できる高度なエディター
• SSISパッケージの作成、保守、再利用を行うグラフィカルツール
• 変更データキャプチャ管理とデータマイニングクエリ変換
• BI、行、行セット、分割・結合、監査、カスタム変換をサポート

Oracle

Oracle Data Integrator

Oracle Data Integratorは、ビッグデータの準備、データ品質、メタデータ管理、クラウドデータを対象とする、同社のデータ統合ソリューションスイートの一部です。Oracle Data IntegratorのEnterpriseエディションは、統合された管理、高可用性、スケーラビリティを実現するクラスタリング機能により、複雑なデプロイを簡素化できます。

Oracle Data Integratorの長所と短所

長所

• 堅牢なユーザーインターフェースと、非技術系ユーザーにも直感的に使えるUX
• ソリューションの影響分析ツールと信頼性が高く評価されている
• 複雑なワークロードでもコード開発、管理、処理が容易
• データの収集・構造化に利用できる他のアプリとの幅広い統合

短所

• 複雑な導入には、データを適切に操作するための高度なITスキルが必要
• インスタンスのデバッグが難しく、ドキュメントやエラーメッセージの詳細も不足している
• 他のETLツールと比べ、オブジェクトのドラッグ＆ドロップ機能が不足している
• 高額なライセンス費用は、小規模なチームや組織には適していない

機能：Oracle Data Integrator

• 増分処理によるデータウェアハウスへの大容量データロード
• Spark、Hive、Pig、HDFS、HBase、Sqoop向けの組み込みビッグデータ接続
• Oracle GoldenGateによるバッチまたはリアルタイムの移行をサポート
• データ同期インフラストラクチャを管理するマスターデータ管理機能
• 開発、テスト、本番環境を管理するリリース管理

続きを読む：2022年に最適なデータリカバリソフトウェアソリューション

Qlik

Qlik Data Integration

Qlikは、1993年の設立以来、データ統合テクノロジーを専門としてきました。Qlik Data Integrationスイートには、データレプリケーション、データウェアハウスの自動化、エンタープライズ規模のカタログなどに対応する製品が含まれています。Qlik Enterprise Managerを使用すると、クライアントはデータパイプラインを監視し、IT環境全体の構成を管理できます。

Qlik Data Integrationの長所と短所

長所

• ビッグデータ統合プロジェクトにおける柔軟性とスケーラビリティの向上
• 異種ソースからのソーステーブルの追加やタスクのレプリケーションが容易
• 一括データロードに必要な開発作業が少なく、ソースへの影響も最小限
• データに加えられた変更を特定するCDCプロセスが高く評価されている

短所

• 構成ポリシーの初期化時における権限管理関連の問題
• バッチ処理、データガバナンス、時間のかかるデプロイに関する問題
• パフォーマンスが安定せず、本番環境で問題が発生する
• ドキュメントとトラブルシューティング機能に一貫性がない

機能：Qlik Data Integration

• データをリアルタイムに把握するための堅牢な分析ユースケース
• 複数ソースのログ読み取りやレイテンシー抑制などの機能
• ライブレプリケーションと、レイテンシーおよびCPU・RAM使用量のグラフィカルな表示
• テーブルの完全ロードを自動化し、CDC監視へシームレスに移行
• Oracle、SQL Server、Snowflakeなど、プラットフォーム間でタスクに同じ設定を使用可能

SAP

SAP Data Services

SAPは、50年の経験とエンタープライズアプリケーションの総合的なスタックを持つ、老舗の多国籍ソフトウェア企業です。SAP Data Servicesは、ETLツールでの利用を最適化するために、データの統合、変換、接続を行う同社のソリューションです。SAPを利用することで、クライアントはタイムリーかつデータに基づいた意思決定を行い、IT環境全体でビジネスプロセスを強化できます。

SAP Data Servicesの長所と短所

長所

• 有用なデータテンプレートを備えた、高速で信頼性と一貫性のある結果
• SAPモジュールとの組み込み統合を備え、既存のSAPクライアントに最適
• 導入が容易で、テクニカルサポートサービスの品質も高い
• リアルタイムジョブやバッチジョブ、カスタマイズ、詳細なレポートなどの機能

短所

• その他の広く普及しているデータ統合ソリューションとの統合機能が不足している
• GUIは最新のUXプラットフォームというより、コマンドラインインターフェース（CLI）に近い
• デバッグ、ジョブのスケジューリング、Excelファイルのロードが難しい
• 導入と保守には訓練を受けたスタッフと技術的専門知識が必要

機能：SAP Data Services

• 分析向けに複数プラットフォームのデータを安全かつ統合的に統合
• データのレプリケーション、変換、ロードに対応する各種データキャプチャメカニズム
• 220種類の異なるファイル形式と31言語のデータを抽出・変換
• SAP Business SuiteアプリケーションおよびSAP HANAとのネイティブ統合
• 堅牢なデータ品質基準に基づき、データ統合の設計、テスト、デバッグ、実行が可能

続きを読む：2021年に最適なコロケーションデータセンタープロバイダー

Talend

Talend Data Fabric

2005年に設立されたTalendは、Talend Data Fabricソリューションを通じて、データ統合、データの完全性、アプリケーションおよびAPI統合を提供する、データ統合専門のETLベンダーです。クライアントはTalend Trust Scoreにもアクセスでき、ソースデータとデータの健全性を詳細に把握できます。Talendのテクノロジーパートナーには、AWS、Azure、Cloudera、Databricks、Google、Snowflakeが含まれます。

Talend Data Fabricの長所と短所

長所

• 複雑なアプリケーションを設計できる、使いやすいドラッグ＆ドロップインターフェース
• データ統合向けのすぐに使えるコンポーネントと機能を複数搭載
• 外部の専門知識を契約する必要がない、シームレスな導入
• カスタムJavaコンポーネントと多数の接続オプションを備えたアジャイルなソリューション

短所

• クラウドサービス経由でバッチ更新を処理すると、既存ジョブに不安定な影響が生じる
• 管理と運用サポートに追加のオーバーヘッドが必要
• SMB環境での小規模な導入にはあまり適していない
• バージョン管理で2つのバージョンを比較・マージするオプションがない

機能：Talend Data Fabric

• 監査、共有、検索、検出機能を備えたデータインベントリ管理
• IT環境全体で再利用できるデータパイプラインテンプレートを構築・デプロイ
• クラウドデータウェアハウジングとハイブリッドマルチクラウドプロジェクトをサポート
• セルフサービスツールにより、ほぼあらゆるデータソースやファイル形式からデータを取り込み可能
• 移行を容易に作成・テストでき、進行状況も視覚的に確認可能

TIBCO

TIBCO Jaspersoft ETL

TIBCO Softwareは、1997年以来ビジネスインテリジェンスのベンダーとして事業を展開しており、2014年にJaspersoftを買収したことで、ETL市場での存在感を高めました。Talendのデータ統合テクノロジーと連携するTIBCO Jaspersoft ETLは、StandardおよびExtendedのビッグデータサブスクリプションで利用でき、豊富なコネクター、バッチジョブ、プレミアムサポートを提供します。

TIBCO Jaspersoft ETLの長所と短所

長所

• レポートのカスタマイズ性が高く、インタラクティブでユーザー中心
• データ変換の設計、開発、テスト、デプロイが可能
• レポートサーバーへのデータ配信をシームレスにスケジューリング
• 堅牢なレポートソフトウェアを必要とするSMB企業に最適

短所

• 技術的な経験が必要で、学習曲線も急な複雑なユーザーインターフェース
• 統合機能と、ジョブのスケジューリングにおける選択肢やパラメーターが限られている
• 一部の高度なクエリや技術ドキュメントに対応していない
• メモリ使用量が多くパフォーマンスも遅い。複雑なレポートでは遅延が発生する

機能：TIBCO Jaspersoft ETL

• 数千件のジョブに対応する、単発および継続的なデータ同期ステップをサポート
• RDBMS、フラットファイル、クラウド、ビッグデータ、およびNoSQLデータソースからのデータを容易に操作できます。
• Java、Eclipse IDEとの統合、およびデータソース接続
• 必要なコードの設計とテストを迅速に作成
• クレンジング、重複排除、検証、エンリッチメントにより高品質なデータを確立

続きを読む：2022年に最適なSQL Server監視＆パフォーマンスツール

ETLソリューション選定時の検討事項

組織の規模やニーズに応じた、さまざまなETLソリューションがあります。市場を評価する際は、以下の質問を検討してください。

• そのソリューションは、使いやすさと高度な機能のバランスが取れたUIを提供しているか？
• そのソリューションは、必要なデータソース、データベース、アプリケーションと互換性があるか？
• そのソリューションは、データの完全性を確保する効率的なエラー処理を提供しているか？
• そのソリューションには、どのような組み込みコネクターと統合機能が備わっているか？
• そのソリューションは、拡大するデータ統合の取り組みに対応できるスケーラビリティを備えているか？
• そのソリューションは、Webアプリケーションからのリアルタイム監視とデータアクセスを提供しているか？
• ベンダーはどのような技術ドキュメントを提供しているか？
• そのソリューションには、パフォーマンスチューニングとプッシュダウン最適化の機能が備わっているか？
• そのソリューションは、ソースデータと統合データの変更を効率的に管理できるか？

ETLツールの種類

続きを読む： 最適なデータウェアハウスツール＆ソリューション

ETLツールの仕組み

ETLツールは、データレイク、データハブ、データウェアハウス、データベースを管理する担当者にとって不可欠です。これらのソリューションは、組織や顧客のデータフローを効率的かつ安全に管理します。

ETLソフトウェアはデータフロープロセスを実行し、3段階のプロセスでデータを準備します。具体的には、ETLツールは次の処理を行います。

1. 抽出しさまざまなデータベースやファイル形式など、複数のソースから検証済みデータを
2. 変換し、クレンジング、監査、整理して担当者が利用できるようにし
3. ロードして変換したデータをアクセス可能な統合データリポジトリに

最初のステップと2番目のステップの間に、ETLツールはデータクレンジングを実行し、変換後のロードから重複データや無効なデータを分離します。変換ステップでは、複数のデータベースのフィールドを1つの統合データセットに対応付けるプロセスをデータマッピングと呼びます。

時間を節約するため、ETLソフトウェアは処理をデータパイプラインに分け、プロセスの各ステップをデータが進む際の自動的な移行を可能にします。ソース固有のコード、データ形式の変更、データ量の増加といった問題が抽出プロセスに影響し、一般的なエラーを増加させる可能性がある点に注意してください。

ETLとデータ統合の関係

データ処理のプロセスとして、ETLは1970年代および1980年代のデータウェアハウジングとエンタープライズデータベース管理の黎明期から利用されてきました。ETLは依然としてデータ管理に不可欠な機能ですが、多くのソリューションプロバイダーや業界アナリストは、「ETL」という用語自体を使わなくなっています。

その代わり、2022年の主要なETLベンダーの多くは、GartnerやForresterといった業界企業向けに、「データ統合ツール」や「データファブリック」などのソリューションカテゴリーで位置付けられています。そのため、従来型および高度なETLソフトウェアソリューションを説明する際、ETLとデータ統合はしばしば同義で使われます。