Informatica IDMC CDIRの概要とファイル転送の実装ガイド

どんな取り組みか

本記事では、Informaticaのクラウドデータマネジメントプラットフォーム「Intelligent Data Management Cloud (IDMC)」が提供するデータ取り込みソリューション「Cloud Data Ingestion and Replication (CDIR)」の概要と利用シーンについて解説します。

近年、AI活用やデータドリブンな意思決定の重要性が高まる中で、データを迅速かつ簡単に集約・蓄積したいというニーズが増えています。しかし、データ連携の構築・運用には多くの工数がかかり、データ活用推進の障壁となることも少なくありません。CDIRは、このような課題に対し、ノーコード／ローコードで大量データの取り込みやレプリケーションをシンプルかつ高速に実現するサービスです。

この記事では、CDIRの主要機能を紹介するとともに、「File Ingestion and Replication」機能を用いた具体的なファイル転送のサンプル実行を通して、その手軽さと有効性を検証します。

使われた技術スタック

この実装例では、以下の技術・サービスが利用されています。

• Informatica Intelligent Data Management Cloud (IDMC)
  • Cloud Data Ingestion and Replication (CDIR)
    • File Ingestion and Replication
  • Secure Agent
• AWS (Amazon Web Services)
  • Amazon EC2 (Secure Agentの稼働環境)
  • Amazon S3 (データ転送先ストレージ)
  • AWS Systems Manager (SSM)
  • Amazon VPC

実装のポイント

CDIRは、データソースの種類に応じて4つの主要機能を提供しています。それぞれの特徴と、データ統合サービスであるCloud Data Integration (CDI)との使い分けが重要なポイントとなります。

CDIRの4つの主要機能

CDIRは以下の4つの機能の総称であり、利用者は連携元データに応じて適切な機能を選択します。

• アプリケーション取り込みとレプリケーション (Application Ingestion and Replication): SalesforceやSAPなどのアプリケーションデータをデータベースやクラウドストレージに転送します。初期ロード・増分ロードに対応し、ソーススキーマの変更を自動でターゲットに反映するスキーマドリフト機能も利用可能です。
• データベース取り込みとレプリケーション (Database Ingestion and Replication): データベースのレコードを他のデータベースやクラウドストレージに転送します。ログベースのCDC (Change Data Capture) やスキーマドリフト機能に対応しています。
• ファイル取り込みとレプリケーション (File Ingestion and Replication): ローカルフォルダやSFTPサーバ上のファイルをクラウドストレージなどに転送します。ファイルリスナ機能により、ファイルの到着をトリガーとした処理実行も可能です。
• ストリーミング取り込みとレプリケーション (Streaming Ingestion and Replication): Apache KafkaやAmazon Kinesis Data Streamsなどのメッセージングシステムのイベントを、クラウドストレージや他のメッセージングシステムに転送します。

CDIとの使い分け

IDMCには、データ連携サービスとしてCDIも提供されています。CDIRはデータ変換を最小限に抑え、継続的なデータの取り込みや同期、特にストリーミング連携といったユースケースで強みを発揮します。一方、複数のデータソースを結合したり、複雑な変換処理を伴うバッチ的なデータ連携を行いたい場合はCDIが適しています。

サンプル実行手順 (File Ingestion and Replication)

EC2上のSecure Agentがローカルフォルダのファイルを監視し、Amazon S3に転送するシンプルな構成で実装します。

1. サービス・コネクタの有効化: IDMCの管理者画面から、利用するSecure Agentグループで「Mass Ingestion-Files」サービスと「Amazon S3 v2」コネクタを有効化します。
2. IDMCでの接続作成: IDMCの接続設定画面で「Amazon S3 v2」を選択し、接続情報を入力します。接続テストが成功することを確認して保存します。
3. CDIR Fileタスクの作成:
   • データ取り込みおよびレプリケーションメニューから「ファイル取り込みおよびレプリケーション」タスクを新規作成します。
   • ソース設定: 接続タイプとして「ローカルフォルダ」を選択し、ソースディレクトリとファイルパターン（例: `*`）を指定します。
   • ターゲット設定: 事前に作成したS3への接続定義を選択します。フォルダパスは接続定義から自動入力されます。
   • アクションとランタイムオプション: 今回はデフォルト設定のまま保存します。
4. 動作確認:
   • Secure Agentが稼働するサーバのソースディレクトリにテスト用のCSVファイルを配置します。
   • 作成したCDIRタスクを実行します。
   • 「マイジョブ」画面でタスクのステータスが「成功」となったことを確認します。
   • ターゲットとして指定したS3バケットに、ファイルが正しく転送されていることを確認します。

得られた成果や学び

今回のサンプル実行を通じて、CDIRを利用することで、GUIベースの直感的な操作のみで簡単にファイル転送の仕組みを構築できることが確認できました。コーディングを必要とせず、迅速にデータ連携パイプラインを実装できる点は大きなメリットです。

また、データ連携と一言で言っても、その要件は様々です。継続的なデータ同期やストリーミングが求められる場合はCDIR、複雑なデータ変換や加工が必要なバッチ処理ではCDIといったように、それぞれのサービスの長所を理解し、ユースケースに応じて適切に使い分けることの重要性を再認識しました。

まとめ

Informatica IDMCのCDIRは、ノーコード／ローコードで迅速なデータ取り込みとレプリケーションを実現する強力なソリューションです。今回のファイル転送のサンプル実行で示したように、GUIベースの簡単な設定でデータ連携を実装できるため、データ活用基盤の構築・運用にかかる工数を大幅に削減できる可能性があります。データ連携の要件に応じてCDIとCDIRを使い分け、それぞれのサービスの長所を活かしたアーキテクチャを設計することが、効果的なデータ活用への鍵となります。

出典: https://zenn.dev/nttdata_tech/articles/c33b0ae6ebc6d0