Platform For AI:EASとOpenSearchを使用してRAGベースのLLMチャットボットをデプロイする

1. インスタンスのIDを準備する

[インスタンス] ページで、目的のインスタンスを見つけ、OpenSearch Vector Search EditionインスタンスのIDを表示し、そのIDをオンプレミスマシンに保存します。

2. インデックステーブルの準備

インスタンスの作成後、インスタンスのステータスは [保留中の設定] に変わります。 インスタンスのテーブル基本情報 > データ同期 > フィールド設定 > インデックススキーマを設定する必要があります。 次に、インデックスが再構築されるまで待ちます。 テーブルを追加するには、次の手順を実行します。

1. インスタンスの [操作] 列で [設定] をクリックします。

2. [基本テーブル情報] パラメーターを設定し、[次へ] をクリックします。

   次の重要なパラメータに注意してください。 その他のパラメーターについては、「一般的なシナリオの開始方法」をご参照ください。

   • テーブル名: テーブル名を入力します。

   • データシャード: クエリノードを購入した場合、値を256以下の正の整数に設定できます。 これにより、インデックス作成が高速化され、クエリのパフォーマンスが向上します。 クエリノードを購入しない場合、値は1でなければなりません。

   • Number of Resources for Data Updates: データの更新に使用されるリソースの数。 デフォルトでは、OpenSearchは、OpenSearch Vector Search Editionインスタンスの各インデックスのデータ更新用に2つのリソースの無料クォータを提供します。 各リソースは、4つのCPUコアと8 GBのメモリで構成されています。 無料クォータを超えるリソースに対して課金されます。 詳細については、「国際サイト (alibabacloud.com) のOpenSearch Vector Search Editionの課金の概要」をご参照ください。

   • シナリオテンプレート: [共通テンプレート] を選択します。

3. [データ同期] パラメーターを設定し、[次へ] をクリックします。

   ビジネス要件に基づいて完全なデータソースを選択します。

   • MaxCompute + API: MaxComputeデータソースをフルデータソースとして使用し、APIを使用して増分データをプッシュします。 その他のパラメーターについては、「MaxComputeデータソース用のテーブルの作成」をご参照ください。

   • OSS + API: OSSを完全なデータソースとして使用し、APIを使用して増分データをプッシュします。 その他のパラメーターについては、「OSSデータソース用のテーブルの作成」をご参照ください。

   • API: 完全および増分データソースとしてAPIを使用します。

4. [フィールド設定] パラメーターを設定し、[次へ] をクリックします。

   次のサンプルコードをJSONファイルとして保存します。 次に、右上隅の [フィールドインデックススキーマのインポート] をクリックし、JSONファイルをインポートします。 フィールドとインデックススキーマは、ファイルに基づいて構成されます。

   フィールドインデックススキーマ

   {
   	"schema": {
   		"summarys": {
   			"parameter": {
   				"file_compressor": "zstd"
   			},
   			"summary_fields": [
   				"id",
   				"embedding",
   				"file_path",
   				"file_name",
   				"file_type",
   				"node_content",
   				"node_type",
   				"doc_id",
   				"text",
   				"source_type"
   			]
   		},
   		"file_compress": [
   			{
   				"name": "file_compressor",
   				"type": "zstd"
   			},
   			{
   				"name": "no_compressor",
   				"type": ""
   			}
   		],
   		"indexs": [
   			{
   				"index_fields": [
   					{
   						"boost": 1,
   						"field_name": "id"
   					},
   					{
   						"boost": 1,
   						"field_name": "embedding"
   					}
   				],
   				"indexer": "aitheta2_indexer",
   				"index_name": "embedding",
   				"parameters": {
   					"enable_rt_build": "true",
   					"min_scan_doc_cnt": "20000",
   					"vector_index_type": "Qc",
   					"major_order": "col",
   					"builder_name": "QcBuilder",
   					"distance_type": "SquaredEuclidean",
   					"embedding_delimiter": ",",
   					"enable_recall_report": "true",
   					"ignore_invalid_doc": "true",
   					"is_embedding_saved": "false",
   					"linear_build_threshold": "5000",
   					"dimension": "1536",
   					"rt_index_params": "{\"proxima.oswg.streamer.segment_size\":2048}",
   					"search_index_params": "{\"proxima.qc.searcher.scan_ratio\":0.01}",
   					"searcher_name": "QcSearcher",
   					"build_index_params": "{\"proxima.qc.builder.quantizer_class\":\"Int8QuantizerConverter\",\"proxima.qc.builder.quantize_by_centroid\":true,\"proxima.qc.builder.optimizer_class\":\"BruteForceBuilder\",\"proxima.qc.builder.thread_count\":10,\"proxima.qc.builder.optimizer_params\":{\"proxima.linear.builder.column_major_order\":true},\"proxima.qc.builder.store_original_features\":false,\"proxima.qc.builder.train_sample_count\":3000000,\"proxima.qc.builder.train_sample_ratio\":0.5}"
   				},
   				"index_type": "CUSTOMIZED"
   			},
   			{
   				"has_primary_key_attribute": true,
   				"index_fields": "id",
   				"is_primary_key_sorted": false,
   				"index_name": "id",
   				"index_type": "PRIMARYKEY64"
   			},
   			{
   				"index_fields": "file_path",
   				"index_name": "file_path",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "file_name",
   				"index_name": "file_name",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "file_type",
   				"index_name": "file_type",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "node_content",
   				"index_name": "node_content",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "node_type",
   				"index_name": "node_type",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "doc_id",
   				"index_name": "doc_id",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "text",
   				"index_name": "text",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "source_type",
   				"index_name": "source_type",
   				"index_type": "STRING"
   			}
   		],
   		"attributes": [
   			{
   				"file_compress": "no_compressor",
   				"field_name": "id"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "embedding"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_path"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_name"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_type"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "node_content"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "node_type"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "doc_id"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "text"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "source_type"
   			}
   		],
   		"fields": [
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "id"
   			},
   			{
   				"user_defined_param": {
   					"multi_value_sep": ","
   				},
   				"multi_value": true,
   				"compress_type": "uniq",
   				"field_type": "FLOAT",
   				"field_name": "embedding"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_path"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_name"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_type"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "node_content"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "node_type"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "doc_id"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "text"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "source_type"
   			}
   		],
   		"table_name": "abc"
   	},
   	"extend": {
   		"description": [],
   		"vector": [
   			"embedding"
   		],
   		"embeding": []
   	}
   }

5. [インデックススキーマ] パラメーターを設定し、[次へ] をクリックします。

   次の重要なパラメータに注意してください。 その他のパラメーターについては、「ベクトルインデックスの一般的な設定」をご参照ください。

   • Vector Dimension: 値を512に設定します。

   • 距離タイプ: InnerProductを選択することを推奨します。

6. [確認] ステップで、[確認] をクリックします。

   [テーブル管理] ページが表示されます。 StatusパラメーターがIn Useに変わると、テーブルが作成されます。

3. OpenSearch Vector Search Editionインスタンスのインターネットアクセスの設定

EASはインターネット経由でのみOpenSearchにアクセスできます。 そのため、EASにVPCを追加し、NATゲートウェイとElastic IP Address (EIP) をVPCに関連付ける必要があります。 また、OpenSearch Vector Search Editionインスタンスのインターネットアクセスを設定し、EIPをホワイトリストに追加する必要があります。 次の手順を実行して、OpenSearch Vector Search EditionインスタンスとEASに関連付けられたVPC間のインターネットアクセスを設定します。 EASに関連付けられているVPCは、必ずしもOpenSearch Vector Search Editionインスタンスに関連付けられているVPCではありません。

1. EASに関連付けられたVPCのインターネットアクセスを設定します。 詳細については、「インターネットNATゲートウェイのSNAT機能を使用したインターネットへのアクセス」をご参照ください。

2. 関連付けられたEIPを表示します。

   1. VPCコンソールにログインします。 目的のVPCを見つけて、VPCのインスタンスID /名前列でIDをクリックします。 VPC詳細ページの [基本情報] タブで、[リソース管理] タブをクリックします。

   2. 表示されるタブの [インターネットへのアクセス] セクションで、関連するインターネットNATゲートウェイをクリックします。

   3. [インターネットNATゲートウェイ] ページで、目的のインターネットNATゲートウェイを見つけ、インターネットNATゲートウェイの [インスタンスID /名前] 列のIDをクリックします。

   4. インターネットNATゲートウェイの詳細ページの [基本情報] タブで、[関連するEIP] タブをクリックして、関連するEIPを表示し、オンプレミスマシンに保存します。

3. OpenSearch Vector Search Editionの [インスタンス] ページで、目的のインスタンスを見つけ、インスタンスの [インスタンス名 /ID] 列で名前をクリックします。 [インスタンス情報] ページが表示されます。

4. [ネットワーク情報] セクションで、[パブリックアクセス] をオンにします。 [パブリックアクセスのホワイトリストの変更] パネルで、プロンプトの指示に基づいて、前の手順で取得したEIPをホワイトリストに追加します。

5. [ネットワーク情報] セクションで、[パブリックエンドポイント] をオンプレミスマシンに保存します。

4. OpenSearch Vector Search Editionインスタンスのユーザー名とパスワードを表示する

[APIエンドポイント] セクションで、OpenSearch Vector Search Editionインスタンスの作成時に設定したユーザー名とパスワードを表示します。

インデックステーブル管理

1. OpenSearch Vector Search Editionインスタンスの [インスタンスの詳細] ページに移動します。

   1. OpenSearch Vector Search Editionコンソールにログインします。

   2. 作成したインスタンスのIDをクリックして、[インスタンスの詳細] ページに移動します。

2. [テーブルの管理] ページに移動し、インデックステーブルを管理します。

   1. 左側のナビゲーションウィンドウで、[テーブル管理] をクリックします。

      現在のインスタンスで作成されたすべてのテーブルがページに表示されます。

   2. ページでは、フィールドの表示、インデックススキーマの表示、インデックステーブルの編集、インデックスの再構築、インデックステーブルの削除などの操作を実行できます。 詳細については、「テーブル管理」をご参照ください。

データ管理

1. OpenSearch Vector Search Editionインスタンスの [インスタンスの詳細] ページに移動します。

   1. OpenSearch Vector Search Editionコンソールにログインします。

   2. 作成したインスタンスのIDをクリックして、[インスタンスの詳細] ページに移動します。

2. データを挿入します。

   1. 左側のナビゲーションウィンドウで、[ベクター管理] > [データの挿入] を選択します。

   2. 右側のドロップダウンリストから [フォームモード] または [開発者モード] を選択します。

   3. データを挿入するテーブルを選択します。

   4. フォームモードで、フィールドごとにデータを入力し、追加をクリックします。 開発者モードで、データ書き込みステートメントを入力し、[作成] をクリックします。 詳細については、「データの挿入」をご参照ください。

      "message": "success" が返された場合、データが挿入されます。

3. テーブルのメトリックを表示します。

   1. 左側のナビゲーションウィンドウで、[メトリックモニタリング] > [テーブルメトリック] を選択します。

   2. 表示するテーブルを選択します。 DocCountやQPSなどのメトリックを表示できます。 詳細については、「Table metrics」をご参照ください。

4. データを削除します。

   1. 左側のナビゲーションウィンドウで、[ベクター管理] > [データの削除] を選択します。

   2. 右側のドロップダウンリストから [フォームモード] または [開発者モード] を選択します。

   3. [テーブル名] を選択し、[プライマリキー] を入力し、[削除] をクリックします。 詳細については、「データの削除」をご参照ください。

      "message": "success" が返された場合、データは削除されます。