Tablestore:検索インデックスの作成

検索インデックスを作成するための最適な方法

クエリ要件に基づいて、データテーブルに作成する検索インデックスの数を決定することをお勧めします。

id、name、age、city、およびsexフィールドを含むデータテーブルがある場合、次のいずれかの方法を使用して、name、age、またはcityでデータをクエリする検索インデックスを作成できます。

• 方法1：フィールドごとに検索インデックスを作成する

  この方法を使用する場合、name_index、age_index、およびcity_indexという検索インデックスを作成する必要があります。

  • 都市別に学生をクエリするには、city_index検索インデックスを使用します。年齢別に学生をクエリするには、age_index検索インデックスを使用します。

  • ただし、12歳未満で都市Aに住んでいる学生をクエリする場合、この方法は機能しません。

  この方法の実装は、グローバルセカンダリインデックス機能の実装に似ています。ただし、この方法は費用対効果が高くありません。この場合は、方法2を使用することをお勧めします。

• 方法2（推奨）：複数のフィールドに1つの検索インデックスを作成する

  この方法では、student_indexという名前の検索インデックスが作成されます。この検索インデックスは、name、age、およびcityフィールドで構成されます。

  • 都市別に学生をクエリするには、student_index検索インデックスのcityフィールドをクエリします。年齢別に学生をクエリするには、student_index検索インデックスのageフィールドをクエリします。

  • 12歳未満で都市Aに住んでいる学生をクエリするには、student_index検索インデックスのageフィールドとcityフィールドをクエリします。

  この方法は、検索インデックスの利点を最大限に活用し、費用対効果が高くなります。検索インデックスを作成する場合は、この方法を使用することをお勧めします。

制限

• 検索インデックス作成の適時性

  検索インデックスを作成した後、検索インデックスを使用できるようになるまで数秒待つ必要があります。この期間中、データテーブルにデータを書き込むことはできますが、インデックスのメタデータをクエリしたり、インデックスを使用してデータをクエリしたりすることはできません。

• 検索インデックスを作成する場合は、検索インデックスのフィールドのタイプが、検索インデックスが作成されるデータテーブルのフィールドのタイプと一致していることを確認してください。詳細については、基本データ型のマッピングを参照してください。

• 検索インデックスの数

  詳細については、検索インデックスの制限を参照してください。

パラメータ

検索インデックスを作成する場合は、tableName、indexName、およびindexSchemaパラメータを設定する必要があります。また、indexSchemaパラメータでfieldSchemas、indexSetting、およびindexSortパラメータを設定する必要があります。次の表に、パラメータを示します。

使用上の注意

• 全文検索を実行するには、検索インデックスのフィールドのタイプをTextに設定し、Textフィールドのアナライザーのタイプを指定します。その後、一致クエリまたは一致フレーズクエリを使用してデータをクエリできます。トークン化の詳細については、トークン化を参照してください。

• データテーブルのフィールドを検索インデックスの仮想列にマッピングして、テーブルのストレージスキーマとデータを変更することなく、新しいフィールドと新しいフィールドタイプのデータをクエリできます。詳細については、仮想列を参照してください。

• データテーブルのStringフィールドまたはIntegerフィールドを検索インデックスのDateフィールドにマッピングできます。これにより、Dateタイプのデータをクエリできます。詳細については、日付データ型を参照してください。

• ベクトルに基づいて近似最近傍検索を実行する場合は、検索インデックスのフィールドのタイプをVectorに設定し、k最近傍（KNN）ベクトルクエリ機能を使用してデータをクエリできます。詳細については、概要を参照してください。

• 検索インデックスにデータを配列として格納する場合は、データをデータテーブルのStringフィールドに格納し、検索インデックスのマッピングされたフィールドのタイプをArrayに設定できます。

  データテーブルにデータを書き込む場合、検索インデックスのArrayフィールドがマッピングされているフィールドの値はJSON配列である必要があります。例：["a","b","c"]。

  説明

  検索インデックスはArrayフィールドをサポートしています。ただし、データテーブルはArrayフィールドをサポートしていません。詳細については、Arrayデータ型とNestedデータ型を参照してください。

• 階層関係または1対多関係を持つデータをフィールドに格納する場合は、検索インデックスのフィールドのタイプをNestedに設定し、ネストクエリを使用してデータをクエリできます。

  データテーブルにデータを書き込む場合、検索インデックスのNestedフィールドがマッピングされているフィールドの値はJSON配列である必要があります。例：[{"tagName":"tag1", "score":0.8}, {"tagName":"tag2", "score":0.2}]。

• データテーブルに格納するデータが地理位置情報である場合は、検索インデックスのフィールドのタイプをGeo-pointに設定し、地理距離クエリ、地理境界ボックスクエリ、または地理ポリゴンクエリを使用してデータをクエリできます。

• デフォルトでは、システムはパーティションキーをルーティングキーとして使用します。カスタムルーティングフィールドを指定して、他のプライマリキー列をルーティングキーとして使用できます。これにより、Tablestoreによってスキャンされるパーティション範囲が狭くなるため、クエリレイテンシが短縮されます。詳細については、ルーティングフィールドの使用方法を参照してください。

• デフォルトでは、検索インデックスを使用してデータをクエリすると、クエリ結果はプライマリキーの昇順で返され、ソートされます。事前ソート方法を指定して、特定のフィールドの値に基づいて、またはプライマリキーの降順でクエリ結果をソートできます。詳細については、インデックスの事前ソートを参照してください。

• TTL機能を使用して、検索インデックスの履歴データを自動的に削除できます。これにより、ストレージの使用量とストレージコストが削減されます。詳細については、検索インデックスのTTLの指定を参照してください。

• クエリ結果で一致したクエリ文字列をハイライトする場合は、ハイライト機能を有効にすることができます。詳細については、ハイライトを参照してください。

方法

Tablestoreコンソールで、またはTablestore CLIまたはTablestore SDKを使用して、検索インデックスを作成できます。

検索インデックスを作成する前に、次の準備が完了していることを確認してください。

• Alibaba CloudアカウントまたはTablestore操作権限を持つRAMユーザーが作成されています。RAMユーザーにTablestore操作権限を付与する方法については、RAMポリシーを使用してRAMユーザーに権限を付与するを参照してください。

  Tablestore SDKまたはTablestore CLIを使用して検索インデックスを作成する場合は、Alibaba CloudアカウントまたはRAMユーザーのAccessKeyペアが作成されます。詳細については、AccessKeyペアの作成を参照してください。

• データテーブルが作成されています。詳細については、データテーブルの操作を参照してください。

• Tablestore SDKを使用して検索インデックスを作成する場合は、OTSClientインスタンスが初期化されます。詳細については、OTSClientインスタンスの初期化を参照してください。

• Tablestore CLIを使用して検索インデックスを作成する場合は、Tablestore CLIがダウンロードされ、予期どおりに起動されます。さらに、インスタンスアクセス情報が設定されます。詳細については、Tablestore CLIのダウンロードとTablestore CLIの起動とアクセス情報の構成を参照してください。

private static void createSearchIndex(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    // データテーブルの名前を指定します。
    request.setTableName("<TABLE_NAME>");
    // 検索インデックスの名前を指定します。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            // フィールドの名前とタイプを指定します。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD),
            new FieldSchema("Col_Long", FieldType.LONG),
            // ベクトルのタイプを指定します。
            new FieldSchema("Col_Vector", FieldType.VECTOR).setIndex(true)
                    // 次元数を4に設定し、ベクトルの距離測定アルゴリズムをドット積アルゴリズムに設定します。
                    .setVectorOptions(new VectorOptions(VectorDataType.FLOAT_32, 4, VectorMetricType.DOT_PRODUCT))
    ));
    request.setIndexSchema(indexSchema);
    // クライアントを呼び出して、検索インデックスを作成します。
    client.createSearchIndex(request);
}

private static void createSearchIndexWithIndexSort(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    // データテーブルの名前を指定します。
    request.setTableName("<TABLE_NAME>");
    // 検索インデックスの名前を指定します。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            new FieldSchema("Col_Keyword", FieldType.KEYWORD),
            new FieldSchema("Col_Long", FieldType.LONG),
            new FieldSchema("Col_Text", FieldType.TEXT),
            new FieldSchema("Timestamp", FieldType.LONG)
                    .setEnableSortAndAgg(true)));
    // Timestampフィールドに基づいてデータを事前ソートします。
    indexSchema.setIndexSort(new Sort(
            Arrays.<Sort.Sorter>asList(new FieldSort("Timestamp", SortOrder.ASC))));
    request.setIndexSchema(indexSchema);
    // クライアントを呼び出して、検索インデックスを作成します。
    client.createSearchIndex(request);
}

// Java用Tablestore SDK V5.12.0以降を使用して検索インデックスを作成します。
public static void createIndexWithTTL(SyncClient client) {
    int days = 7;
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    // データテーブルの名前を指定します。
    request.setTableName("<TABLE_NAME>");
    // 検索インデックスの名前を指定します。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            // フィールドの名前とタイプを指定します。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD),
            new FieldSchema("Col_Long", FieldType.LONG)));
    request.setIndexSchema(indexSchema);
    // 検索インデックスのTTLを指定します。
    request.setTimeToLiveInDays(days);
    // クライアントを呼び出して、検索インデックスを作成します。
    client.createSearchIndex(request);
}

private static void createSearchIndex(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    // データテーブルの名前を指定します。
    request.setTableName("<TABLE_NAME>");
    // 検索インデックスの名前を指定します。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
        // フィールドの名前とタイプを指定します。
        new FieldSchema("Col_Keyword", FieldType.KEYWORD),
        // フィールドの名前とタイプを指定します。
        new FieldSchema("Col_Keyword_Virtual_Long", FieldType.LONG)
             // フィールドが仮想列かどうかを指定します。
            .setVirtualField(true)
             // 仮想列がデータテーブルでマッピングされるソースフィールドの名前を指定します。
            .setSourceFieldName("Col_Keyword"),
        new FieldSchema("Col_Long", FieldType.LONG),
        new FieldSchema("Col_Long_Virtual_Keyword", FieldType.KEYWORD)
            .setVirtualField(true)
            .setSourceFieldName("Col_Long")));
    request.setIndexSchema(indexSchema);
    // クライアントを呼び出して、検索インデックスを作成します。
    client.createSearchIndex(request);
}

private static void createSearchIndexwithHighlighting(SyncClient client) {
    CreateSearchIndexRequest request = new CreateSearchIndexRequest();
    // データテーブルの名前を指定します。
    request.setTableName("<TABLE_NAME>");
    // 検索インデックスの名前を指定します。
    request.setIndexName("<SEARCH_INDEX_NAME>");
    IndexSchema indexSchema = new IndexSchema();
    indexSchema.setFieldSchemas(Arrays.asList(
            // フィールドの名前とタイプを指定します。
            new FieldSchema("Col_Keyword", FieldType.KEYWORD),
            new FieldSchema("Col_Long", FieldType.LONG),
            // Col_Textフィールドのハイライト機能を有効にします。
            new FieldSchema("Col_Text", FieldType.TEXT).setIndex(true).setEnableHighlighting(true)
    ));
    request.setIndexSchema(indexSchema);
    // クライアントを呼び出して、検索インデックスを作成します。
    client.createSearchIndex(request);
}

次の手順

検索インデックスを作成した後、検索インデックスを使用してデータのクエリ、分析、およびエクスポートを行うことができます。

参照

検索インデックスを作成した後、ビジネス要件に基づいて検索インデックスに対して操作を実行できます。

• 検索インデックスのTTLを指定して、検索インデックスの履歴データを削除したり、検索インデックスのデータの保持期間を延長したりできます。詳細については、検索インデックスのTTLを設定するを参照してください。

• 検索インデックスのスキーマを動的に変更して、検索インデックスのインデックス列を追加、更新、または削除できます。詳細については、検索インデックスのスキーマを動的に変更するを参照してください。

• ListSearchIndex操作を呼び出して、データテーブルに対して作成されたすべての検索インデックスをクエリできます。詳細については、検索インデックスをクエリするを参照してください。

• DescribeSearchIndex操作を呼び出して、フィールド情報や検索インデックスの設定など、検索インデックスの説明をクエリできます。詳細については、検索インデックスの説明をクエリするを参照してください。

• 不要になった検索インデックスを削除できます。詳細については、検索インデックスを削除するを参照してください。

• SQLクエリ機能や、MaxCompute、Spark、Hive、HadoopMR、Function Compute、Flink、PrestoDBなどの計算エンジンを使用して、テーブル内のデータを計算および分析することもできます。詳細については、SQLクエリと概要を参照してください。

付録: ベクトルの距離測定アルゴリズム

次の表は、ベクトル間の距離を測定するために使用できるアルゴリズムについて説明しています。アルゴリズムを使用して得られる値が大きいほど、類似性が高いことを示します。

次のサンプルコードは、ベクトルを正規化する方法の例を示しています。

  // ベクトルの正規化を行うサンプルコード
  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector"); // 長さがゼロのベクトルは正規化できません
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }