MaxCompute:TPC-DSデータ

説明

TPC-DS (TPC Benchmark ^TM DSの略) は、データ管理システムのパフォーマンスを測定するためのベンチマークを定義する最も有名な組織であるTransaction Processing Performance Council (TPC) によって策定された標準ベンチマークです。 ベンチマークの測定結果もTPCによって公開されています。

MaxComputeは、TPC-DSの公式ツールを使用して、10 GB、100 GB、1 TB、および10 TBのTPC-DSデータセットを生成します。 データセットは、MaxComputeパブリックプロジェクトBIGDATA_PUBLIC_DATASETの異なるスキーマに保存されます。 スキーマの詳細については、「スキーマ関連の操作」をご参照ください。 MaxComputeを有効化してプロジェクトを作成した後、プロジェクト間アクセスを実行してTPC-DSテーブルを照会できます。 次の表に、テーブルに関する情報を示します。

宣言

• TPC-DSデータは、TPC-DSベンチマークテストに基づいてMaxComputeパブリックデータセットで生成および分析されます。 MaxComputeパブリックデータセットのデータのテスト結果は、MaxComputeパブリックデータセットに対して実行されるテストがTPC-DSベンチマークテストの要件を満たすことができないため、TPCによって公開されるTPC-DSベンチマーク結果とは異なります。

• MaxComputeが提供するTPC-DSデータセットは、製品テストにのみ使用できます。 データは定期的に更新されません。 したがって、本番環境ではTPC-DSデータセットを使用しないことを推奨します。

• MaxComputeによって提供されるTPC-DSデータは、TPCから取得されます。 TPC-DSデータを生成することもできます。 TPC-DSテストデータを生成する方法の詳細については、「TPC-DSドキュメント」をご参照ください。

サポートされるリージョン

注意事項

パブリックデータセットは、すべてのMaxComputeユーザーが使用できます。 パブリックデータセットを使用する場合は、次の項目に注意してください。

• すべてのデータは、パブリックMaxComputeプロジェクトBIGDATA_PUBLIC_DATASETに保存されます。 このプロジェクトに属するMaxComputeユーザーはいません。 したがって、プロジェクト間でデータにアクセスする必要があります。 SQLスクリプトを作成するときは、テーブル名の前にプロジェクト名とスキーマ名を指定する必要があります。 テナントレベルのスキーマ構文を有効にしない場合は、ステートメントを実行する前にセッションレベルのスキーマ構文を有効にする必要があります。 サンプル文:

  -- Enable the session-level schema syntax.
  set odps.namespace.schema=true; 
  -- In this example, data in the tpcds_10g dataset is queried. If you want to query data from another dataset, manually replace the schema name in the following statement with the name of the schema in which the dataset is stored. 
  select * from bigdata_public_dataset.tpcds_10g.store_sales limit 100;

  説明

  パブリックデータセット内のデータのストレージに対して料金を支払う必要はありません。 ただし、ステートメントの実行時に発生するコンピューティング料金が課金されます。 課金ルールの詳細については、「」をご参照ください。

  コンピューティング価格。

• プロジェクト間アクセスが必要なため、DataWorksの [DataMap] ページでパブリックデータセットのテーブルを見つけることができません。

• TPC-DSデータセットは、スキーマによるストレージをサポートするプロジェクトに保存されます。 テナントレベルのスキーマ構文を有効にしない場合、DataWorksのDataAnalysisが提供するパブリックデータセットのTPC-DSデータセットを表示できませんが、MaxComputeが提供するSQL文を使用してTPC-DSデータセットを照会できます。

• データはプロジェクト全体でアクセスされます。 SQL文が正常に実行されるようにするには、次のコマンドを実行する必要があります。

  -- For data types used in the table schemas of TPC-DS datasets, such as DECIMAL and INT, you need to run the following commands:
  set odps.sql.hive.compatible=true;
  set odps.sql.type.system.odps2=true;
  set odps.sql.decimal.odps2=true;
  -- In the following commands, the flag values are the same as those for new projects and may be different from those for existing projects. Flag values for existing projects remain unchanged to prevent impact on existing queries. 
  -- We recommend that you use the setproject commands to change the flag values to the default values. If you do not change the flag values, an error may be reported when the LIMIT keyword is not included in the ORDER BY clause of an SQL statement. An execution latency may also occur due to an invalid join order of the TPC-DS Q72 query.
  set odps.sql.validate.orderby.limit=false;
  set odps.optimizer.join.reorder.enable=true;
  set odps.optimizer.column.stat.enable=true;
  -- Cartesian products are used when you perform the TPC-DS Q77 query for TPC-DS datasets. By default, Cartesian products produced by MaxCompute are not supported in sort-merge join operations. If you want to use Cartesian products in sort-merge join operations, run the following command: 
  set odps.sql.allow.cartesian=true;

TPC-DSクエリの実行