Dataphin:Data Integration の概要

背景情報

業界全体でのビッグデータの活用により、Data Integration に対する需要が高まっています。一般的な要件には、多数のデータテーブルに対する同期タスクの効率的な構成、複数の異種データソースの統合、ソースデータに対する軽量な前処理の実行、およびフォールトトレランス、レート制限、同時実行のためのデータ同期タスクの最適化が含まれます。

機能概要

Dataphin は、シンプルで効率的、安全かつ信頼性の高いデータ同期プラットフォームの構築を支援するために、Data Integration 機能をアップグレードしました：

• データ統合効率の向上：フルデータベース移行を使用して、バッチ同期タスクを迅速に生成できます。また、ワンクリックでのターゲットテーブル作成を使用して、手動でテーブルを作成することなく MaxCompute にデータを同期することもできます。詳細については、「フルデータベース移行を使用した統合タスクの設定」をご参照ください。

• フロー および 変換 コンポーネントを使用して、トラフィックスクラビング、変換、フィールドの非特定化、計算、マージ、分配、フィルタリングなどのデータ前処理操作を実行できます。詳細については、「コールド移行パイプラインの作成と設定」をご参照ください。

• 複数の開発者モード：Data Integration は、Dev-Prod モードと Basic 開発者モードの両方をサポートしており、ビジネスシナリオに最も適したモードを選択できます。

• 論理テーブルの同期：Dataphin で作成した論理テーブルをターゲットデータベースに迅速に同期できます。

• カスタムコンポーネント：さまざまなビジネスシナリオにおけるデータ同期のニーズを満たすために、カスタムコンポーネントを作成できます。リレーショナルデータベース管理システム (RDBMS) のデータベースコンポーネントは、Java Database Connectivity (JDBC) を介して接続します。非 RDBMS データベースコンポーネントの場合は、JAR パッケージをアップロードする必要があります。

Data Integration はさまざまなコンポーネントタイプをサポートしており、コンポーネントをドラッグ、設定、組み立てることでオフライン単一パイプラインを生成できます。また、バッチ同期タスクの迅速な生成もサポートしています。フルデータベース移行は、ソースとして MySQL、SQL Server、Oracle をサポートし、宛先として MaxCompute をサポートします。さらに、特定のデータ同期ニーズを満たすためにカスタムコンポーネントを作成することもできます。

Data Integration

クイックアクセス (推奨)

Dataphin のホームページで、プロダクト使用パス内の [データをインポート] をクリックして Data Integration を開きます。

標準アクセス

Dataphin ホームページで、上部のメニューバーから [Data Studio] > [データ統合] を選択してデータ統合ページを開きます。