AnalyticDB:Data Warehouse Edition を使用した作業の開始

特権アカウントを作成する

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅で、リージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 クラスターリスト ページで、エディションタブをクリックします。管理するクラスタを見つけて、クラスタ ID をクリックします。

2. 左側のナビゲーションウィンドウで、アカウント管理 をクリックします。

3. アカウント管理 タブで、[特権アカウントの作成] をクリックします。

4. アカウントの作成 パネルで、次の表に示すパラメータを設定します。

   パラメータ	説明
   データベースアカウント	特権アカウントの名前。画面上の要件を満たす名前を入力します。
   アカウントタイプ	アカウントタイプ。 Data Warehouse Edition クラスタの場合、このパラメータは自動的に 高特権アカウント に設定されます。
   新しいパスワード	特権アカウントのパスワード。画面上の要件を満たすパスワードを入力します。
   パスワードの確認	特権アカウントのパスワードをもう一度入力します。
   記述	オプション。今後の管理のためにアカウントを識別するために使用される説明。

5. を決定 をクリックします。

標準アカウントを作成して権限を付与する

手順

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅で、リージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 クラスターリスト ページで、エディションタブをクリックします。管理するクラスタを見つけて、クラスタ ID をクリックします。

2. 左側のナビゲーションウィンドウで、データセキュリティ をクリックします。

3. ホワイトリストの設定 タブで、変更デフォルト ホワイトリストの右側にある をクリックします。

   説明

   ホワイトリスト作成グループ をクリックして、IP アドレスホワイトリストを作成することもできます。

4. ホワイトリストグループの設定 パネルで、デフォルトの IP アドレス 127.0.0.1 を削除し、許可する IP アドレスまたは CIDR ブロックを入力します。次に、を決定 をクリックします。

   説明

   クライアントのエグレス IP アドレスを IP アドレスホワイトリストに追加するには、最初に IP アドレスをクエリします。詳細については、「接続」を参照してください。

DMS を使用して AnalyticDB for MySQL に接続するAnalyticDB for MySQL

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅で、リージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 クラスターリスト ページで、エディションタブをクリックします。管理するクラスタを見つけて、クラスタ ID をクリックします。

2. クラスター情報 ページの右上隅にある ログインデータベース をクリックします。

3. 表示されるダイアログボックスで、次の表に示すパラメータを設定します。

   パラメータ	説明
   [データベースタイプ]	クラスタのデータベースタイプ。デフォルトでは、[analyticdb Mysql 3.0] が表示されます。
   [インスタンスリージョン]	クラスタのリージョン。デフォルトでは、クラスタが存在するリージョンが表示されます。 説明 AnalyticDB for MySQL
   [インスタンス ID]	クラスタ ID。デフォルトでは、現在のクラスタの ID が表示されます。 説明 AnalyticDB for MySQL
   [データベースアカウント]	クラスタへの接続に使用するデータベースアカウントの名前。
   [データベースパスワード]	クラスタへのログインに使用するデータベースアカウントのパスワード。 説明 [パスワードを記憶する] を選択できます。これにより、次回現在のAnalyticDB for MySQL クラスタに接続するときに、データベースアカウントの名前とパスワードを入力する必要はありません。

   説明

   • DMS を使用して AnalyticDB for MySQL クラスタに初めて接続すると、クラスタ内のデータは [柔軟な管理] モードで管理されます。クラスタを編集することで、制御モードを変更できます。詳細については、「データベースインスタンスの変更」および「制御モード」を参照してください。

   • パラメータを設定した後、ダイアログボックスの左下隅にある [接続テスト] をクリックできます。接続に失敗した場合は、手順に従って、[データベースアカウント] や [データベースパスワード] パラメータなど、入力した情報を確認してください。

   • DMS サーバーの IP アドレスまたは CIDR ブロックは、クラスタの IP アドレスホワイトリストに自動的に追加されます。IP アドレスまたは CIDR ブロックが追加に失敗した場合は、手動で IP アドレスまたは CIDR ブロックを追加する必要があります。詳細については、このトピックの「ステップ 2: IP アドレスホワイトリストを設定する」セクションと、「DMS の IP アドレスと CIDR ブロックをセキュリティ設定に追加する」を参照してください。

4. [ログイン] をクリックします。

アプリケーション開発中にコードを使用して AnalyticDB for MySQL に接続する

• JDBC

• Druid 接続プール

• Python

• PHP

• macOS 用 C#

• Golang

MySQL コマンドラインツールを使用して AnalyticDB for MySQL に接続する

MySQL コマンドラインクライアントを使用して AnalyticDB for MySQL に接続する

クライアントを使用して AnalyticDB for MySQL に接続する

• DBeaver

• DbVisualizer

• Navicat

• SQL WorkBench/J

データ可視化ツールを使用して AnalyticDB for MySQL に接続する

• FineBI

• Quick BI

• Yonghong BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

前提条件

• Object Storage Service (OSS) バケットにディレクトリを作成して、AnalyticDB for MySQL クラスターからインポートされたデータを格納するには、次の操作を実行します。

  1. OSS をアクティブ化します。詳細については、「OSS をアクティブ化する」をご参照ください。

  2. OSS バケットを作成します。詳細については、「バケットを作成する」をご参照ください。

     重要

     OSS バケットが AnalyticDB for MySQL クラスターと同じリージョンにあることを確認してください。

  3. ディレクトリを作成します。詳細については、「ディレクトリを管理する」トピックの「ディレクトリを作成する」セクションをご参照ください。

  4. オブジェクトをアップロードします。詳細については、「オブジェクトをアップロードする」をご参照ください。

     この例では、oss_import_test_data.txt オブジェクトが OSS の <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ ディレクトリにアップロードされます。行区切り文字は改行、列区切り文字はセミコロン（;）です。次のコードは、このオブジェクトに含まれるデータの一部を示しています。

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• AnalyticDB for MySQL クラスターが作成されます。クラスターには IP アドレスのホワイトリストが構成されています。クラスターのデータベースアカウントとデータベースが作成されます。詳細については、「Data Warehouse Edition を使い始める手順」をご参照ください。

手順

1. CREATE TABLE 文を実行して、adb_demo データベースに外部テーブルを作成します。CSV、Parquet、または TEXT 形式のオブジェクトの OSS 外部テーブルを作成する方法については、このトピックの「OSS 外部テーブルを作成するための構文」セクションを参照してください。

2. OSS データをクエリします。

   外部テーブルのデータを、AnalyticDB for MySQL の内部テーブルのデータにクエリを実行する場合と同じ方法でクエリを実行できます。例：

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • オブジェクトが CSV または TEXT フォーマットで、大量のデータが含まれている場合は、データをクエリする前に、AnalyticDB for MySQL にインポートすることをお勧めします。そうしないと、クエリのパフォーマンスが低下する可能性があります。

   • オブジェクトが Parquet フォーマットの場合、データを直接クエリするか、データをクエリする前にオブジェクトを AnalyticDB for MySQL にインポートするかを決定できます。

3. CREATE TABLE 文を実行して、adb_oss_import_test という名前のデスティネーションテーブルを adb_demo データベースに作成し、OSS からインポートされたデータを格納します。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. INSERT 文を実行して、OSS 外部テーブルから AnalyticDB for MySQL にデータをインポートします。

   重要

   デフォルトでは、INSERT INTO 文と INSERT OVERWRITE SELECT 文はデータを同期的にインポートします。数百ギガバイトのデータをインポートする場合、クライアントは AnalyticDB for MySQL サーバーとの接続を長時間にわたって維持する必要があります。このプロセス中に、ネットワークの切断が原因でインポートが失敗する可能性があります。そのため、大量のデータをインポートする場合は、SUBMIT JOB INSERT OVERWRITE SELECT 文を実行してデータを非同期的にインポートすることをお勧めします。

   • 方法 1：INSERT INTO 文を実行してデータをインポートします。プライマリキーに重複する値がある場合、データは繰り返し挿入されず、INSERT INTO 文は INSERT IGNORE INTO 文と同じです。詳細については、「INSERT INTO」をご参照ください。

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方法 2：INSERT OVERWRITE 文を実行してデータをインポートします。プライマリキーに重複する値がある場合、元の値は新しい値で上書きされます。

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方法 3：INSERT OVERWRITE 文を実行して、データを非同期にインポートします。ほとんどの場合、SUBMIT JOB 文を使用して非同期ジョブを送信します。データインポート文の前にヒント（/*+ direct_batch_load=true*/）を追加して、ジョブを高速化できます。詳細については、「INSERT OVERWRITE SELECT」トピックの「非同期書き込み」セクションをご参照ください。

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     結果例：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     非同期ジョブの送信方法については、「インポートジョブを非同期で送信する」をご参照ください。

5. 次の文を実行して、adb_oss_import_test テーブルのデータをクエリします。

   SELECT * FROM adb_oss_import_test;

前提条件

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"txt|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAIF****5FsE",
    "accesskey":"Ccw****iWjv",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│           └── 000000_1
│       └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"エンドポイント",
    "url":"OSS ロケーション",
    "accessid":"アクセスキー ID",
    "accesskey":"アクセスキー シークレット",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

参照資料

AnalyticDB for MySQL にデータをインポートする方法の詳細については、「サポートされているデータソース」をご参照ください。