MaxCompute:パブリックデータセットの概要

カテゴリ

説明

データセット名

スキーマ名

GitHubの公開イベントデータ

多数の開発者がGitHubでオープンソースプロジェクトを開発し、開発プロセス中に多数のイベントを生成します。 GitHubは、イベントタイプ、イベントの詳細、開発者、コードリポジトリなど、各イベントに関する情報を記録します。 GitHubは、主演リポジトリのイベントやコードの送信など、公開イベントも公開しています。

GitHub publicイベントデータセット

github_events

全国統計データ

世界各国および中国本土のすべての州の年間国内総生産 (GDP) データが含まれています。

National statistics dataset

national_data

TPCパフォーマンスデータ

TPC-DS

TPC-DSは、クエリおよびデータ保守を含む、意思決定支援システムのいくつかの一般的に適用可能な態様をモデル化する意思決定支援ベンチマークである。 TPC-DSにより、ビッグデータシステムなどの新しいテクノロジーがベンチマークテストを実行できます。

• 10 GBのパフォーマンステストデータセットのTPC-DS

• TPC-DS 100-GBパフォーマンステストデータセット

• TPC-DS 1-TBパフォーマンステストデータセット

• TPC-DS 10 TBパフォーマンステストデータセット

• tpcds_10g

• tpcds_100g

• tpcds_1t

• tpcds_10t

TPC-H

TPC-Hは意思決定支援ベンチマークです。 これは、ビジネス指向のアドホッククエリと同時データ変更のスイートで構成されています。 図TPC-Hは、大量のデータに対して非常に複雑なクエリを実行し、重要なビジネス上の質問に対する回答を提供する意思決定支援システムを示す。

• 10 GBのパフォーマンステストデータセットのTPC-H

• TPC-H 100-GBパフォーマンステストデータセット

• TPC-H 1-TBパフォーマンステストデータセット

• TPC-H 10 TBパフォーマンステストデータセット

• tpch_10g

• tpch_100g

• tpch_1t

• tpch_10t

TPCx-BB

TPCx-BBは、Hadoopベースのビッグデータシステムのパフォーマンスを測定するために設計されたTPC Expressベンチマークです。 TPCx − BBは、頻繁に実行される分析クエリを実行することによって、ハードウェア構成要素とソフトウェア構成要素の両方の性能を測定する。

• TPCx-BB 10-GBパフォーマンステストデータセット

• TPCx-BB 100-GBパフォーマンステストデータセット

• TPCx-BB 1-TBパフォーマンステストデータセット

• TPCx-BB 10-TBパフォーマンステストデータセット

• tpcbb_10g

• tpcbb_100g

• tpcbb_1t

• tpcbb_10t

デジタルビジネスデータ

Taobaoの広告データ、Taobaoのショッピングデータ、Alibaba Groupのeコマースデータが含まれています。

デジタルビジネスデータセット

commerce

生命サービスデータ

中古住宅、映画、興行収入、携帯電話番号の帰属、および行政、都市、および地方の部門コード情報のデータが含まれています。

Life serviceデータセット

life_service

金融株式データ

株式情報が含まれます。

金融株式データセット

finance

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

github_events

サポート対象リージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都)

テーブル名と説明

多数の開発者がGitHubでオープンソースプロジェクトを開発し、開発プロセス中に多数のイベントを生成します。 GitHubは、イベントタイプ、イベントの詳細、開発者、コードリポジトリなど、各イベントに関する情報を記録します。 GitHubは、主演リポジトリのイベントやコードの送信など、公開イベントも公開しています。 イベントタイプの詳細については、「GitHubイベントタイプ」をご参照ください。

MaxComputeは、GH Archiveが提供する大量のパブリックイベントデータをバッチ処理して開発し、次のテーブルを生成します。

• dwd_github_events_odps: GitHubの公開イベントデータを格納するファクトテーブル。

• dws_overview_by_repo_month: GitHubパブリックイベントの月間メトリックデータを格納する集計テーブル。

更新サイクル

• dwd_github_events_odps: T + 1時間ごとに更新されます。

• dws_overview_by_repo_month: T + 1日ごとに更新されます。

スキーマ照会

-- Enable session-level schema syntax. 
set odps.namespace.schema=true; 
-- Query the schema of the dwd_github_events_odps table. If you want to query the schema of another table, replace the schema name and table name in the following statement. 
desc bigdata_public_dataset.github_events.dwd_github_events_odps;

クエリの例

-- Enable session-level schema syntax. 
SET odps.namespace.schema=true; 
-- Obtain the rankings of starred repositories in the previous year. Note that the situations such as unstarring are not considered in this example.
SELECT
    repo_id,
    repo_name,
    COUNT(actor_login) total
FROM
    bigdata_public_dataset.github_events.dwd_github_events_odps
WHERE
    ds>=date_add(getdate(), -365)
    AND type = 'WatchEvent'
GROUP BY
    repo_id,
    repo_name
ORDER BY
    total DESC
LIMIT 10;

データとクエリの例の詳細については、「GitHub public event data」をご参照ください。

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

national_data

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都)

テーブル名と説明

• annual_gdp_by_province: 中国本土の各州の年間GDPデータを格納します。

• annual_gdp_by_country: 世界中の各国の年間GDPデータを格納します。

更新サイクル

固定データは提供され、更新されません。

スキーマ照会

-- Enable session-level schema syntax. 
set odps.namespace.schema=true; 
-- Query the schema of the annual_gdp_by_province table. If you want to query the schema of another table, replace the schema name and table name in the following statement. 
desc bigdata_public_dataset.national_data.annual_gdp_by_province;

クエリの例

-- Enable session-level schema syntax. 
SET odps.namespace.schema=true; 
-- Query the GDP change trend of Beijing over the past 20 years. 
SELECT
    region,
    gdp,
    year
FROM
    bigdata_public_dataset.national_data.annual_gdp_by_province
WHERE
    region='Beijing'
ORDER BY
    year ASC
LIMIT 20;

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

tpcds_10g、tpcds_100g、tpcds_1t、およびtpcds_10t

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都) 、中国 (香港) 、日本 (東京) 、シンガポール、オーストラリア (シドニー) 閉鎖、マレーシア (クアラルンプール) 、インドネシア (ジャカルタ) 、米国 (バージニア) 、米国 (シリコンバレー) 、英国 (ロンドン) 、ドイツ (フランクフルト) 、アラブ首長国連邦 (ドバイ) 、中国東部2ファイナンス、中国北部2ファイナンス (プレビュー) 、中国北部2 Ali Gov 1、および中国南部1ファイナンス

テーブル名と説明

TPC-DSモデルは、大規模な全国チェーン小売業者の販売システムをシミュレートします。 販売システムには、店舗 (実店舗) 、web (オンラインストア) 、カタログ (電話注文) の3つの販売チャネルが含まれます。 各チャネルでは、1つのテーブルを使用して売上記録を保存し、別のテーブルを使用して返品記録を保存し、複数のディメンションテーブルを使用して製品情報、プロモーション情報、ユーザー情報などの情報を保存します。 テーブルの詳細:

• call_center: 顧客サービスセンターに関する情報を格納します。

• catalog_page: カタログに関する情報を格納します。

• catalog_returns: 電話注文を使用して販売された製品の返品レコードを保存します。

• catalog_sales: 電話注文を使用して販売された製品の販売記録を保存します。

• customer: 顧客情報を保存します。

• customer_address: 顧客アドレス情報を格納します。

• customer_demographics: 顧客に関する基本的なクレジット情報を格納します。

• date_dim: 時間ディメンション情報を格納します。

• household_demographics: 基本的な世帯クレジット情報を格納します。

• income_band: 収益情報を格納します。

• inventory: インベントリ情報を格納します。

• item: 商品情報を格納します。

• promotion: 商品プロモーション情報を保存します。

• 理由: セールスリターンの理由を保存します。

• ship_mode: 製品出荷情報を格納します。

• store: マーチャント情報を格納します。

• store_returns: 店舗売上の商品返品レコードを保存します。

• store_sales: 店舗販売の商品販売レコードを保存します。

• time_dim: 時間ディメンション情報を格納します。

• warehouse: 倉庫情報を格納します。

• web_page: 製品のwebページ情報を格納します。

• web_returns: web販売の製品返品レコードを保存します。

• web_sales: web販売の製品販売レコードを保存します。

• web_site: Webサイトに関する基本情報を格納します。

更新サイクル

固定データは提供され、更新されません。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the call_center table in tpcds_10g. If you want to query a table schema from another dataset, replace the schema name and table name in the following statement. 
DESC bigdata_public_dataset.tpcds_10g.call_center;

クエリの例

SET odps.namespace.schema=TRUE; 
SELECT dt.d_year ,
       item.i_brand_id brand_id ,
       item.i_brand brand ,
       SUM(ss_sales_price) sum_agg
FROM bigdata_public_dataset.tpcds_10g.date_dim dt ,
     bigdata_public_dataset.tpcds_10g.store_sales ,
     bigdata_public_dataset.tpcds_10g.item
WHERE dt.d_date_sk = store_sales.ss_sold_date_sk
  AND store_sales.ss_item_sk = item.i_item_sk
  AND item.i_manufact_id = 190
  AND dt.d_moy = 12
GROUP BY dt.d_year ,
         item.i_brand ,
         item.i_brand_id
ORDER BY dt.d_year,
         sum_agg DESC,
         brand_id LIMIT 100;

異なるデータ仕様のクエリサンプルファイルについては、「TPC-DSデータ」をご参照ください。

データの詳細については、「TPCベンチマークDS標準仕様」をご参照ください。

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

tpch_10g、tpch_100g、tpch_1t、およびtpch_10t

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都) 、中国 (香港) 、日本 (東京) 、シンガポール、オーストラリア (シドニー) 閉鎖、マレーシア (クアラルンプール) 、インドネシア (ジャカルタ) 、米国 (バージニア) 、米国 (シリコンバレー) 、英国 (ロンドン) 、ドイツ (フランクフルト) 、アラブ首長国連邦 (ドバイ) 、中国東部2ファイナンス、中国北部2ファイナンス (プレビュー) 、中国北部2 Ali Gov 1、および中国南部1ファイナンス

テーブル名と説明

TPC-Hは、オンライン分析と処理を評価するために使用されるベンチマークです。 TPC-Hデータは、プロバイダーとバイヤーの間のビジネス行動をシミュレートします。 TPC-Hデータには、注文情報、商品情報、ユーザー情報などの情報が含まれています。 テーブルの詳細:

• customer: 消費者情報を保存します。

• lineitem: オンライン製品情報を格納します。

• nation: 国情報を格納します。

• orders: 注文情報を格納します。

• part: パーツ情報を格納します。

• partsupp: サプライヤ部品情報を格納します。

• region: リージョン情報を格納します。

• supplier: サプライヤー情報を保存します。

更新サイクル

固定データは提供され、更新されません。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the lineitem table in tpch_10g. If you want to query a table schema from another dataset, replace the schema name and table name in the following statement. 
DESC bigdata_public_dataset.tpch_10g.lineitem;

クエリの例

SET odps.namespace.schema=TRUE; 
SET odps.sql.validate.orderby.limit=FALSE;
SET odps.sql.hive.compatible=TRUE;
SELECT l_returnflag,
       l_linestatus,
       sum(l_quantity) AS sum_qty,
       sum(l_extendedprice) AS sum_base_price,
       sum(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
       sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
       avg(l_quantity) AS avg_qty,
       avg(l_extendedprice) AS avg_price,
       avg(l_discount) AS avg_disc,
       count(*) AS count_order
FROM bigdata_public_dataset.tpch_10g.lineitem
WHERE l_shipdate <= date'1998-12-01' - interval '90' DAY
GROUP BY l_returnflag,
         l_linestatus
ORDER BY l_returnflag,
         l_linestatus;

データおよびサンプルクエリの詳細については、「TPCベンチマークH標準仕様」をご参照ください。

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

tpcxbb_10g、tpcxbb_100g、tpcxbb_1t、およびtpcxbb_10t

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都) 、中国 (香港) 、日本 (東京) 、シンガポール、オーストラリア (シドニー) 閉鎖、マレーシア (クアラルンプール) 、インドネシア (ジャカルタ) 、米国 (バージニア) 、米国 (シリコンバレー) 、英国 (ロンドン) 、ドイツ (フランクフルト) 、アラブ首長国連邦 (ドバイ) 、中国東部2ファイナンス、中国北部2ファイナンス (プレビュー) 、中国北部2 Ali Gov 1、および中国南部1ファイナンス

テーブル名と説明

TPCx-BBは、オンライン小売シナリオをシミュレートするビッグデータベンチマークテストツールです。 TPCx − BBデータは、販売記録、返品記録、製品情報、及び販売促進情報を含む。 テーブルの詳細:

• customer: 顧客情報を保存します。

• customer_address: 顧客アドレス情報を格納します。

• customer_demographics: 顧客に関する基本的なクレジット情報を格納します。

• date_dim: 時間ディメンション情報を格納します。

• household_demographics: 基本的な世帯クレジット情報を格納します。

• income_band: 収益情報を格納します。

• inventory: インベントリ情報を格納します。

• item: 商品情報を格納します。

• item_marketprices: 競合他社の商品価格情報を格納します。

• product_reviews: 製品レビュー情報を格納します。

• promotion: 商品プロモーション情報を保存します。

• 理由: セールスリターンの理由を保存します。

• ship_mode: 製品出荷情報を格納します。

• store: ストア情報を格納します。

• store_returns: 店舗売上の商品返品レコードを保存します。

• store_sales: 店舗販売の商品販売レコードを保存します。

• time_dim: 時間ディメンション情報を格納します。

• warehouse: 倉庫情報を格納します。

• web_clickstreams: webページのクリック情報を格納します。

• web_page: 製品のwebページ情報を格納します。

• web_returns: web販売の製品返品レコードを保存します。

• web_sales: web販売の製品販売レコードを保存します。

• web_site: 製品のWebサイト情報を格納します。

更新サイクル

固定データは提供され、更新されません。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the web_sales table in tpcxbb_10g. If you want to query a table schema from another dataset, replace the schema name and table name in the following statement. 
DESC bigdata_public_dataset.tpcxbb_10g.web_sales;

クエリの例

SET odps.namespace.schema=TRUE; 
select * FROM bigdata_public_dataset.tpcxbb_10g.web_sales limit 100;

データとクエリの例の詳細については、「TPCx-BB標準仕様」をご参照ください。

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

コマース

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都)

テーブル名と説明

• adv_raw_sample: 8日以内に100万人を超えるユーザーの広告クリックのログからランダムにサンプリングされた生データを保存します。

• adv_ad_feature: いくつかの広告に関する基本情報をraw_sampleテーブルに格納します。

• user_profile: すべてのユーザーに関する基本情報をraw_sampleテーブルに格納します。

• behavior_log: 22日以内にすべてのユーザーのショッピング行動をraw_sampleテーブルに格納します。 動作には、ブラウジング、ショッピングカートへの追加、お気に入りへの追加、および購入が含まれます。

更新サイクル

固定データが提供され、増分更新されなくなります。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the behavior_log table. If you want to query the schema of another table, replace the table name in the following statement. 
DESC bigdata_public_dataset.commerce.behavior_log;

クエリの例

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the IDs of the top 3 product categories in the behavior_log table within 22 days based on product sales. 
SELECT cate,
       count(btag) sales
FROM behavior_log
WHERE btag='buy'
GROUP BY cate
ORDER BY sales DESC LIMIT 3;

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

life_service

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都)

テーブル名と説明

• movie_basic_info: 映画に関する基本情報を格納します。

• movie_box: ボックスオフィスに関する基本情報を格納します。

• areacode_basic_info_2020: 行政、都市、地方の各部門コードに関する基本情報を2020に保存します。

• phoneno_basic_info_2020: 携帯電話番号の属性に関する基本情報を2020に格納します。

更新サイクル

• movie_basic_infoおよびmovie_box: 日付固有のパーティションのデータが提供され、増分更新されなくなります。

• areacode_basic_info_2020およびphoneno_basic_info_2020: 固定データが提供され、増分更新されません。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the movie_box table. If you want to query the schema of another table, replace the table name in the following statement. 
DESC bigdata_public_dataset.life_service.movie_box;

クエリの例

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE;
-- Query the names of the top 10 most popular movies on January 14, 2017 based on the box office. 
SELECT moviename
FROM bigdata_public_dataset.life_service.movie_box
WHERE ds ='20170114'
ORDER BY rank ASC LIMIT 10;

Project name

BIGDATA_PUBLIC_DATASET

スキーマ名

finance

サポートされるリージョン

中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (ウランカブ) 、中国 (深セン) 、中国 (成都)

テーブル名と説明

• ods_enterprise_share_basic: 基本株式情報を格納します。

• ods_enterprise_share_quarter_cashflow: 四半期ごとのキャッシュフロー情報を格納します。

• ods_enterprise_share_quarter_growth: 四半期ごとのビジネス成長データを格納します。

• ods_enterprise_share_quarter_operation: 四半期ごとの財務売上高データを格納します。

• ods_enterprise_share_quarter_profit: 四半期ごとの利益情報を格納します。

• ods_enterprise_share_quarter_report: 四半期レポート情報を格納します。

• ods_enterprise_share_trade_h: 株価情報を格納します。

更新サイクル

日付固有のパーティション内のデータが提供され、増分更新されなくなります。

スキーマ照会

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE; 
-- Query the schema of the ods_enterprise_share_basic table. If you want to query the schema of another table, replace the table name in the following statement. 
DESC bigdata_public_dataset.finance.ods_enterprise_share_basic;

クエリの例

-- Enable session-level schema syntax. 
SET odps.namespace.schema=TRUE;
-- Query the basic stock information on January 14, 2017. 
SELECT *
FROM bigdata_public_dataset.finance.ods_enterprise_share_basic
WHERE ds ='20170114' LIMIT 10;