MaxCompute:MaxComputeとは

機能

説明

サーバーレスアーキテクチャでの完全マネージド型オンラインデータウェアハウジングサービス

• API経由のアクセスをサポートします。 オンラインサービスは、すぐに使えるサービスです。

• 多数のクラスターリソースを提供します。 従量課金方法を使用して、オンデマンドでリソースを購入できます。

• O&Mフリーです。 O&Mコストは最小限に抑えられます。

高い弾力性と拡张性

• ストレージとコンピューティング機能を別々に拡張します。 MaxComputeを使用すると、企業は同じプラットフォーム上のすべてのデータ資産を分析できます。 このようにして、データサイロは排除される。

• ビジネスの山と谷に基づいてリソースをリアルタイムで割り当てます。

集中型の豊富なコンピューティング機能とストレージ機能

• 複数のコンピューティングモデルとさまざまなユーザー定義関数 (UDF) をサポートします。

• ほとんどの場合、データサイズを元のサイズの20% に縮小する列圧縮をサポートします。 このようにして、ストレージコストが大幅に削減されます。

データモデリング、開発、ガバナンス機能

エンドツーエンドのデータ開発およびガバナンスプラットフォームDataWorksに基づいて、グローバルデータの集計、統合、処理、およびガバナンスを実装します。 DataWorksを使用して、MaxComputeプロジェクトを管理し、web側のクエリコードを編集できます。

統合されたAI機能

• Platform for AIとシームレスに統合し、強力な機械学習機能を提供します。

• BI分析にSpark MLを使用できます。

• 機械学習にサードパーティのPythonライブラリを使用します。

Sparkエンジンとの深い統合

• すべてのSpark機能をサポートする組み込みのApache Sparkエンジンを提供します。

• MaxComputeのコンピューティングリソース、データ、および権限システムをSparkエンジンに深く統合します。

レイクハウス

• Object Storage Service (OSS) やHadoop分散ファイルシステム (HDFS) などのデータレイクと統合します。 MaxComputeでは、外部テーブルを使用してデータレイクのデータを分析できます。 Sparkを使用して、データレイクに直接アクセスし、データレイク内のデータを分析することもできます。

• 一連のデータウェアハウジングサービスとユーザーインターフェイスに基づいて、データレイクとデータウェアハウス間の関連付け分析をサポートします。

詳細については、「MaxComputeのレイクハウス」をご参照ください。

オフラインとリアルタイムのデータ処理の統合

• MaxComputeはHologresと深く統合されており、Hologresの外部テーブルを使用し、ストレージ層でデータを直接読み取ることで、データクエリをサポートします。 Hologresで外部テーブルを使用することによるクエリ効率は、他のタイプの外部テーブルを使用することによるクエリ効率よりも5倍以上優れています。

• Hologresは、データ移行を必要とせずにMaxComputeのクエリ高速化をサポートします。 クエリの効率は10倍以上向上します。

• Hologresでは、MaxComputeメタデータを一括インポートできます。 外部テーブルを手動で作成する必要はありません。

ストリーミングの作成とほぼリアルタイムの分析

• ストリーミングデータをリアルタイムで書き込み、データウェアハウス内のデータを分析できます。

• クラウドの主要なストリーミングサービスと深く統合して、さまざまなソースからストリーミングデータを読み取ります。

• ほぼリアルタイムの分析の要件を満たすために、秒単位の柔軟な並列クエリをサポートします。

クラウドでの継続的なSaaSベースのデータ保護

インフラストラクチャ、データセンター、ネットワーク、電源、プラットフォームのセキュリティ機能、ユーザー権限管理、プライバシー保護など、20を超える3つのレベルのセキュリティ機能を企業に提供します。 MaxComputeは、オープンソースのビッグデータサービスやマネージドデータベースと同じセキュリティ機能も提供します。

モジュール

説明

ストレージエンジン

MaxComputeは、MaxComputeテーブルとリソースを保存するためのMaxComputeストレージエンジン (内部ストレージ) を提供します。 外部テーブルを使用して、OSS、Tablestore、ApsaraDB RDSなどのサービスに保存されているデータを読み取ることもできます。

MaxComputeストレージエンジンは、主に列指向ストレージを使用します。 ほとんどの場合、圧縮データのサイズは、元のデータのサイズの5分の1である。

計算エンジン

MaxComputeは、MaxCompute SQLエンジンとCupidコンピューティングプラットフォームを提供します。

• MaxCompute SQLエンジン: MaxCompute SQLタスクを直接実行できます。 MaxCompute SQL文および関数の構文要件と開発例の詳細については、「MaxCompute SQLの概要」をご参照ください。

• キューピッドコンピューティングプラットフォーム: SparkタスクやMarsタスクなど、サードパーティのエンジンのタスクを実行できます。 マルチエンジン開発の開発要件と例の詳細については、「概要」をご参照ください。

クラウドサービス層

MaxComputeでは、異なるタスクキューを作成し、キューごとに異なるリソースと優先順位を設定できます。 これにより、タスクをきめ細かく管理できます。 MaxComputeは、コンピューティングリソースの割り当てと使用を管理および最適化するための強力なスケジューリングシステムも提供します。 これは、システムの全体的な効率を改善するのに役立つ。 MaxComputeは、プロジェクトの分離、権限管理、データの暗号化など、データセキュリティとプライバシーを確保するための多層保護を提供します。

統合されたメタデータとセキュリティシステム

MaxComputeは、オフラインテナントレベルのメタデータを使用するための情報スキーマサービスを提供しています。 情報スキーマでは、MaxComputeの履歴ログに基づいてデータを照会することもできます。 これにより、リソース消費量、実行時間、処理されたデータ量など、ジョブに関する実行情報を分析して、ジョブを最適化したり、リソース容量を計画したりできます。

MaxComputeは、アクセス制御、データ暗号化、動的データマスキングシステムなどの包括的なセキュリティ管理システムも提供し、データのセキュリティを確保します。 セキュリティの詳細については、「セキュリティ機能」をご参照ください。

ユーザーインターフェースと开放性

MaxComputeは、次のユーザーインターフェイスを提供します。

• トンネル: MaxComputeのデータ伝送サービス。 このサービスは、共有クラスターと排他クラスターを提供します。

• APIとSDK

  • 安らかなAPI

  • SDK for JavaおよびPyODPS

• Javaデータベース接続 (JDBC) ドライバ

• コネクタ: Flink、Spark、Kafkaなどのサードパーティサービス用にカプセル化されたコネクタ。 詳細については、「Flinkを使用したDeltaテーブルへのデータの書き込み」と

  KafkaデータをMaxComputeにオフラインまたはリアルタイムモードでインポートするをご参照ください。

データエコシステム

MaxComputeはDataWorksと深く統合されています。 DataWorksを使用して、エンドツーエンドのデータ開発、分析、およびガバナンスを実装できます。 DataWorksは、次のデータ開発および分析シナリオをサポートします。

• データレイク

• データ統合

• データガバナンス

• サードパーティエンジンを使用したデータ開発

• 可視化されたデータ分析

TopConsole (MaxComputeコンソール)

MaxComputeコンソールは、MaxComputeプロジェクト管理、クォータ管理、テナント管理などの基本的な構成管理機能を提供します。 MaxComputeコンソールには、ジョブのO&Mやリソースの監視などの基本的なO&M機能、およびマテリアライズドビューやコスト分析および最適化などの強化されたO&M機能も用意されています。 詳細については、「リソースとジョブの管理」をご参照ください。