OSS + API 資料來源 - OpenSearch

開通OSS服務

添加表

在執行個體詳情>表管理頁，點擊添加表：

填寫表的基礎資訊，點擊下一步：

配置說明：

表名稱：可自訂
資料分區數：分區數設定時，各索引表分區數需保持一致；或至少一個索引表分區數為1，其餘索引表分區數一致
資料更新資源數：資料更新所用資源數，每個索引預設免費提供2個4核8G的更新資源，超出免費額度的資源將產生費用，詳情可參考向量檢索版國際站計費文檔
情境模板：向量檢索版內建了3種模板可供使用者選擇：通用、向量-圖片搜尋、向量-文本語義模板

資料同步，配置資料來源，校正通過後，點擊下一步：

資料來源類型：選擇Object Storage Service
OSS路徑：訪問OSS檔案的路徑，需以/開頭，路徑中不允許包含?、=、&符號
儲存空間（Bucket）：OSS的Bucket名稱
時間戳記：如果有API的增量資料，該配置表示回追多久的增量資料，系統預設最大能回追3天的API增量資料

說明

OSS路徑在建立好的Bucket名稱點擊進入後-建立目錄-選擇建立號的目錄路徑，此處樣本路徑為/opensearch_index_data/：

儲存空間（Bucket）：OSS的Bucket名稱（來源：在開通的OSS服務Bucket裡使用建立好的Bucket名稱-如下圖所示）

欄位配置，配置完成後，點擊下一步：

案例中配置了2個欄位pk、embeddings，範例資料可參考（樣本資料：oss_test.txt）：

CMD=add
pk=999000
embeddings=0.00.0039257140.0098142860.0039257140.00
pk=999000
embeddings=0.00.0039257140

oss中的檔案內容可參考下文中的檔案格式

說明

必選欄位有：主鍵欄位和向量欄位，主鍵欄位為int或string類型並且需要勾選主鍵按鈕，向量欄位為float類型並且需要勾選向量欄位按鈕；
向量欄位預設為多值的float類型，多值分隔字元預設使用ha3分割符^] 進行切分（其對應utf編碼為\x1D），也可以輸入自訂多值分隔字元
當資料中缺少欄位或欄位為空白時，系統將自動補充預設值，數字類型預設補0，STRING類型預設補Null 字元串，支援自訂預設值

索引結構配置，配置完成後，點擊下一步：

此處主要針對向量索引進行配置：

主鍵欄位、向量欄位必須填寫，命名空間欄位非必填，可以為空白。
僅支援選擇固定的三個欄位，不支援新增。
向量維度：根據模型產生的向量按需選擇
向量距離：根據模型產生的向量按需選擇，系統支援的距離類型有兩種：SquareEuclidean和InnerProduct
向量索引演算法：根據模型產生的向量按需選擇，系統支援的向量索引演算法有量化聚類（Quantized Clustering）、linear、HNSW（Hierarchical Navigable Small World）
即時索引：表示API的增量資料是否需要即時構建向量索引，預設為true

其他進階配置，可點擊展開進行配置，參數說明可參考向量索引通用配置：

確認建立，點擊確認建立後，系統將自動建立配置好的表：

可在變更歷史中查看建立表進度：

當表狀態在使用中時，即可在查詢測試頁面進行查詢測試：

檔案格式

檔案是建立索引的資料來源（注意：需要是utf-8的編碼），有著固定的格式，下面介紹標準的輸入格式。

首先看一個完整的資料檔案standard_sample.data的內容

CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里雲計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里雲計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_

可以看到上面的資料檔案中總共有兩個命令，分別是add、delete每個命令由多行組成，每行都是一個key-value對。命令與命令之間用'^^\n'分隔，每一對key-value之間以'^_\n'分隔，多值之間以'^]'分隔。下面詳細介紹。

檔案分隔字元定義

C++編碼	ASCII 16進位	描述	(emacs/vi)中的顯示形態	emacs中輸入方法	vi中輸入方法
"\x1F\n"	1F0A	key value分隔字元	^_（接換行）	C-q C-7	C-v C-7
"\x1E\n"	1E0A	命令分隔字元	^^（接換行）	C-q C-6	C-v C-6
"\x1D"	1D	multi value 分隔字元	^]	C-q C-5	C-v C-5
"\x1C"	1C	section weight標誌符	^\	C-q C-4	C-v C-4
"\x1D"	1D	section 分隔字元	^]	C-q C-5	C-v C-5
"\x03"	03	sub doc 欄位分隔符號	^C	C-q C-c	C-v C-c

命令格式定義
- Add command formatadd命令表示往索引中增加新的內容。add命令第一行必須為CMD=add，後面是該文檔的field，field順序可以與schema中fields順序一致，所有出現的field必須是fields中指定的。

CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里雲計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里雲計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^

- Delete command formatdelete命令表示從索引中刪除指定的內容。delete命令第一"行"必須為CMD=delete，接下來的"行"為index schema中定義屬性為primary key 的field，以及用於partition hash的field，如果兩個field相同，則只需要出現一個field。

CMD=delete^_
PK=12345321^_
^^CMD=delete^_
PK=12345321^_
^^

注意事項

開通的OSS服務，需要和已購買的OpenSearch服務在同一個地區
向量檢索版不支援無地區屬性的OSS的bucket
執行新增OSS資料來源操作時，將會自動建立一個服務關聯角色（如已經建立，則不會重複建立）OpenSearch-向量檢索版服務關聯角色，OpenSearch使用此角色來訪問您在其他雲產品中的資源已完成相應功能。